CN102568492B - 音频处理设备、音频处理方法和摄像设备 - Google Patents
音频处理设备、音频处理方法和摄像设备 Download PDFInfo
- Publication number
- CN102568492B CN102568492B CN201110415369.5A CN201110415369A CN102568492B CN 102568492 B CN102568492 B CN 102568492B CN 201110415369 A CN201110415369 A CN 201110415369A CN 102568492 B CN102568492 B CN 102568492B
- Authority
- CN
- China
- Prior art keywords
- microphone
- output signal
- frequency
- audio processing
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 60
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 230000000873 masking effect Effects 0.000 abstract 2
- 230000005236 sound signal Effects 0.000 description 19
- 238000000034 method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 229920006395 saturated elastomer Polymers 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 239000000203 mixture Substances 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 5
- 238000013139 quantization Methods 0.000 description 4
- 230000001603 reducing effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004810 polytetrafluoroethylene Substances 0.000 description 2
- 229920001343 polytetrafluoroethylene Polymers 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000009331 sowing Methods 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 239000002390 adhesive tape Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Studio Devices (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
Abstract
本发明提供一种音频处理设备、音频处理方法和摄像设备。音频处理设备包括:第一麦克风;第二麦克风;以及遮蔽单元,用于遮蔽从音频处理设备外部向第二麦克风的空气移动。估计和学习滤波器系数以使第一麦克风的输出信号和第二麦克风的输出信号之间的差最小化,从而抑制第二麦克风的输出信号中的在遮蔽单元和第二麦克风之间的封闭空间中所生成的混响成分。
Description
技术领域
本发明涉及一种音频处理设备、音频处理方法和摄像设备。
背景技术
要求音频处理设备在各种环境下忠实地记录音频。当在室外拍摄时,风的噪声(以下称为“风噪声”)尤其明显。提出了许多机械设备和电处理来抑制风噪声。例如,日本特开2006-211302公开了一种用于通过利用胶带向摄像设备的机体的集音部粘贴风噪声抑制器(以下称为“音频抵抗器(audioresistor)”)来抑制风噪声的方法。
然而,在日本特开2006-211302所述的技术中,根据音频抵抗器的材料,在集音部中可能发生混响,结果导致更差的音频质量。
发明内容
考虑到上述问题做出本发明,并且本发明通过在使用音频抵抗器降低风噪声的同时,通过抑制由音频抵抗器所生成的混响声音来提供高质量音频。
根据本发明的一个方面,一种音频处理设备包括:第一麦克风;第二麦克风;遮蔽单元,用于遮蔽从所述音频处理设备外部向所述第二麦克风的空气移动;高通滤波器,用于提取所述第一麦克风的输出信号的第一范围内的频率成分;低通滤波器,用于提取所述第二麦克风的输出信号的第二范围内的频率成分;加法单元,用于将所述高通滤波器的输出信号和所述低通滤波器的输出信号相加;以及自适应滤波器,其被设置在所述第二麦克风和所述低通滤波器之间,并且用于估计和学习滤波器系数以使所述第一麦克风的输出信号和所述第二麦克风的输出信号之间的差最小化,从而抑制所述第二麦克风的输出信号中的、在所述遮蔽单元和所述第二麦克风之间的封闭空间中所生成的混响成分。
根据本发明的另一方面,第一麦克风;第二麦克风;遮蔽单元,用于遮蔽从所述摄像设备外部向所述第二麦克风的空气移动;高通滤波器,用于提取所述第一麦克风的输出信号的第一范围内的频率成分;低通滤波器,用于提取所述第二麦克风的输出信号的第二范围内的频率成分;加法单元,用于将所述高通滤波器的输出信号和所述低通滤波器的输出信号相加;以及自适应滤波器,其被设置在所述第二麦克风和所述低通滤波器之间,并且用于估计和学习滤波器系数以使所述第一麦克风的输出信号和所述第二麦克风的输出信号之间的差最小化,从而抑制所述第二麦克风的输出信号中的、在所述遮蔽单元和所述第二麦克风之间的封闭空间中所生成的混响成分。
根据本发明的另一方面,一种音频处理设备的音频处理方法,所述音频处理设备包括第一麦克风、第二麦克风和遮蔽单元,所述遮蔽单元用于遮蔽从所述音频处理设备外部向所述第二麦克风的空气移动,所述音频处理方法包括以下步骤:第一提取步骤,用于提取所述第一麦克风的输出信号的第一范围内的频率成分;第二提取步骤,用于提取所述第二麦克风的输出信号的第二范围内的频率成分;加法步骤,用于将在所述第一提取步骤中提取的信号和在所述第二提取步骤中提取的信号相加;以及抑制步骤,用于估计和学习滤波器系数以使所述第一麦克风的输出信号和所述第二麦克风的输出信号之间的差最小化,从而抑制所述第二麦克风的输出信号中的、在所述遮蔽单元和所述第二麦克风之间的封闭空间中所生成的混响成分。
根据本发明,可以提供一种通过音频抵抗器降低风噪声并抑制混响声音的记录设备。
通过以下(参考附图)对典型实施例的说明,本发明的其它特征将显而易见。
附图说明
包含在说明书中并构成说明书的一部分的附图,示出本发明的典型实施例、特征和方面,并与说明书一起用来解释本发明的原理。
图1是示出根据实施例的记录设备的结构的框图;
图2A和2B是分别示出摄像设备的立体图和断面图;
图3A~3F是示出麦克风的频率特性的例子的图;
图4A~4D是用于说明麦克风的安装结构的图;
图5是示出混响抑制器的结构的框图;
图6A~6D是示出风检测器根据风噪声的操作的时序图;
图7A~7D是示出混合器的结构和操作的图;
图8是示出相关技术的应用例子的框图;
图9A~9D是示出开关、可变滤波器和可变增益的操作序列的图;
图10是用于说明在不存在HPF时的风噪声处理的时序图;
图11是用于说明在存在HPF时的风噪声处理的时序图;
图12A和12B是示出音频处理设备的其它例子的框图;
图13是示出根据第二实施例的摄像设备的立体图;
图14是示出根据第二实施例的音频处理设备的结构的框图;
图15是示出根据第三实施例的音频处理设备的结构的框图;
图16是示出根据第四实施例的音频处理设备的结构的框图;以及
图17A和17B是用于说明根据第四实施例的被摄体声音和麦克风之间的位置关系的图。
具体实施方式
下面将参考附图详细说明本发明的各种典型实施例、特征和方面。
第一实施例
下面将参考图1~11说明根据本发明第一实施例的记录设备和包括该记录设备的摄像设备。
图1是示出根据本实施例的记录设备的结构的框图。图2A和2B是分别示出包括图1所示的记录设备的摄像设备(照相机)的立体图和断面图。附图标记1表示摄像设备,附图标记2表示装配至摄像设备1的镜头,附图标记3表示摄像设备1的机体,附图标记4表示镜头的光轴,附图标记5表示拍摄光学***,并且附图标记6表示图像传感器。附图标记30表示释放按钮,并且附图标记31表示操作按钮。在摄像设备1中设置第一麦克风7a和第二麦克风7b。在机体3上设置分别用于麦克风7a和7b的开口部32a和32b。音频抵抗器41被粘贴到开口部32b。还可以通过使机体3具有不均匀厚度或者使用额外的部件来形成音频抵抗器41,如后面所述。摄像设备1可以使用麦克风7a和7b,在进行图像获取的同时进行音频记录。
将说明摄像设备1的运动图像拍摄操作。当用户在运动图像拍摄之前按下实时取景按钮(未示出)时,将图像传感器6上的图像实时显示在摄像设备1中所设置的显示装置上。与运动图像拍摄按钮的操作同步,摄像设备1以所设置的帧频从图像传感器6获得被摄体信息,同时从麦克风7a和7b获得音频信息,并且将这些信息同步记录在存储器(未示出)中。与运动图像拍摄按钮的操作同步结束拍摄。
将参考图1说明音频处理设备(Audio-IC)51的结构。附图标记52表示可变高通滤波器(HPF),附图标记53表示由例如混响抑制自适应滤波器所形成的混响抑制器,附图标记54a和54b表示对从麦克风所输出的信号进行数字化的第一A/D转换器(ADC),附图标记55表示第一延迟装置(DL)55,并且附图标记56a和56b表示DC成分截止HPF。
附图标记61表示自动电平控制器(ALC)。ALC61包括用于电平控制的可变增益62a和62b以及电平控制器63。
混合器71混合第一麦克风7a的信号和第二麦克风7b的信号。混合器71包括低通滤波器(LPF)72、可变HPF73、可变增益74和加法器75。
附图标记81表示风检测器。风检测器81包括带通滤波器(BPF)82a和82b、减法器83、第二A/D转换器(ADC)84、第二延迟装置85和电平检测器86。
附图标记87表示控制混响抑制器53的开关,附图标记88表示控制混合器71的开关,并且附图标记89表示模式切换操作单元。
参考图1、2A和2B,将用于麦克风的开口部32a和32b设置在机体3中。将覆盖第二麦克风7b的音频抵抗器41设置在开口部32b上,以遮蔽从设备外部到第二麦克风7b的空气的移动。另一方面,不向开口部32a设置这样的音频抵抗器,从而使得第一麦克风7a可以忠实地获取被摄体声音。将音频抵抗器41设置成与机体3紧密接触。这里假定空气的移动是通过风的空气移动。例如,还可以使用诸如多孔PTFE等材料作为音频抵抗器,其中,多孔PTFE允许空气比风移动的空气更慢地移动,但是不允许风通过。
在音频处理设备51中,HPF52处理来自第一麦克风7a的信号,然后对其进行ADC54a的模拟/数字转换(A/D转换)。第一延迟装置55使来自ADC54a的输出延迟适当量。另一方面,在音频处理设备51中,通过ADC54b对来自第二麦克风7b的信号进行A/D转换,然后对其进行混响抑制器53的混响抑制。后面将说明混响抑制器53的操作和如何使第一延迟装置55施加延迟。
DC成分截止HPF56a和56b分别处理来自第一延迟装置55和ADC54b的输出。HPF56a和56b旨在消除模拟部的偏移,并且仅需要从DC消除可听频率范围以下的成分。为此,将HPF56a和56b的截止频率设置成例如约10Hz。
将来自HPF56a和56b的输出输入至ALC61,并且对其进行可变增益62a和62b的增益控制。此时,同步控制可变增益62a和62b以使得这两个信号电平一致。电平控制器63接收来自可变增益62a和62b的输出,适当控制电平以使得在不会导致饱和的情况下有效使用动态范围。此时,电平控制器63进行电平控制以不会导致来自可变增益62a和62b的输出中较大的一个饱和。
将来自可变增益62a和62b的输出输入至混合器71。使来自可变增益62a的输出通过HPF73,并且将其发送给加法器75。另一方面,经由LPF72和可变增益74将来自可变增益62b的输出发送给加法器75。输出加法器75所混合得到的输出作为风噪声处理之后的音频。
将来自第一麦克风7a的输出和来自混响抑制器53的输出分别输入至风检测器81的BPF82a和82b。BPF82a和82b旨在使在可以由第二麦克风7b忠实地获取被摄体声音的范围内的成分通过。为此,将通带设置成例如约30Hz~1kHz。然而,可以根据音频抵抗器41的结构等改变频率的上限设置值。后面将与第二麦克风7b的频率特性一起进行详细说明。
第二ADC84对来自BPF82a的输出进行A/D转换,并且将其发送给第二延迟装置85。后面将与混响抑制器53的操作一起,对如何使第二延迟装置85施加延迟进行说明。
减法器83计算来自第二延迟装置85的输出和来自BPF82b的输出之间的差,并且将结果发送给电平检测器86。后面将说明电平检测器86的操作。电平检测器86判断风的强度,并且控制开关87以切换对混响抑制器53的反馈。还使用电平检测器86的检测结果来控制用于控制混合器71的开关88。当用户将模式切换操作单元89设置成“关闭”时,开关88工作以始终选择后面将说明的无风状态下的处理。当用户将模式切换操作单元89设置成“自动”时,开关88工作以根据通过电平检测器86所确定的风强度,改变HPF52和HPF73的截止频率和可变增益74。后面将详细说明该处理。
将参考图1、3A~3F以及4A~4D说明音频抵抗器41的效果和期望的特性以及风噪声降低。图3A~3F是示意性示出麦克风的频率特性的图。横坐标表示频率,并且纵坐标表示增益。图3A示出第一麦克风7a的被摄体声音获取特性。图3B示出第二麦克风7b的被摄体声音获取特性。图3C示出第一麦克风7a的风噪声获取特性。图3D示出第二麦克风7b的风噪声获取特性。图3E示出混合器71的输出的被摄体声音获取特性。图3F示出混合器71的输出的风噪声获取特性。为阐明第一麦克风7a和第二麦克风7b之间的特性差异,在图3B和3D中以虚线表示第一麦克风7a的特性。在图3A和3B中,f0表示音频抵抗器41的结构截止频率,并且f1表示图1所示的混合器71中的LPF72和HPF73的截止频率。
如图3A所示,第一麦克风7a的被摄体声音获取特性在可听频率范围中可以是平坦的。这允许忠实地获取被摄体声音。如图3B所示,由于设置了音频抵抗器41以遮蔽来自被摄体的空气移动,所以第二麦克风7b具有不同的特性。第二麦克风7b相对忠实地使频率低于音频抵抗器41的截止频率的音频信号通过。这是因为,作为空气的压缩波的声音激励音频抵抗器41,由此音频抵抗器41以相同方式激励设备中的空气。另一方面,第二麦克风7b遮蔽频率高于音频抵抗器41的截止频率的音频信号。这是因为,尽管作为空气的压缩波的声音激励音频抵抗器41,但是在音频抵抗器41开始振动之前,密度反转,并且空气不能移动。也就是说,音频抵抗器41用作结构LPF。将结构截止开始的频率f0称为音频抵抗器41的截止频率。
已知风噪声的能量集中在低频范围。例如,对于第一麦克风7a中的风噪声的能量,在许多情况下获得从约1kHz向低频侧升高的特性,如图3C所示。即使形状与图3C所示的不同,低频成分(等于或小于500Hz)在风噪声中也占主导。如图3D所示,在第二麦克风7b中,风噪声的低频成分的升高小。在第一麦克风7a附近,由于湍流等而容易生成大的气压差。然而,对于第二麦克风7b,由于设置了音频抵抗器41以遮蔽来自被摄体的空气的移动,所以不会由湍流等引起这样的大的气压差。这是为什么在第二麦克风7b的输出中风噪声的低频成分小的原因。
考虑混合器71对这些信号的处理。如以上参考图1所述,HPF73处理第一麦克风7a的信号。这对应于截取图3A中的部分91和图3C中的部分93。LPF72处理第二麦克风7b的信号。这对应于截取图3B中的部分92和图3D中的部分94。当通过加法器75时,获得如图3E所示的被摄体声音特性,并且获得如图3F所示的风噪声特性。在图3E和3F所示的部分91a、92a、93a、94a处,部分91、92、93和94占主导。注意,由于对应部分因LPF72和HPF73的特性而并非必然为0,所以使用表述“占主导”。通过图3E和3F显而易见,混合器71的输出在可听频率范围中具有平坦的被摄体声音特性,并且风噪声特性等于设置有音频抵抗器41的麦克风的特性。
图4A~4D示出麦克风的安装结构的例子。参考图4A~4D,附图标记33a和33b分别表示第一麦克风7a和第二麦克风7b的保持弹性体,并且附图标记34表示保持第二麦克风7b和音频抵抗器41的套筒。
图4A示出将音频抵抗器41粘贴在机体3外部的例子。在图4A的例子中,可以在组装了设备之后粘贴音频抵抗器41。这使得能够提高组装效率。
图4B示出将音频抵抗器41粘贴在机体3内部的例子。在图4B的例子中,由于音频抵抗器41不暴露于机体3的外部,所以可以获得精美外观。
图4C示出机体3的一部分还发挥音频抵抗器41的功能的例子。在图4C的例子中,使得机体3的用作音频抵抗器41的部分薄得可以通过声波振动。在图4C的例子中,由于不需要向机体3粘贴音频抵抗器41,并且可以减少部件的数量,所以可以获得精美外观。然而,在图4C的例子中,由于机体3和音频抵抗器41是一体的,所以设计的自由度通常降低(机体3的强度可能由于形成音频抵抗器41的部分的厚度而受到限制,结果导致难以同时满足这两个要求)。
图4D示出足够刚性的套筒34保持第二麦克风7b和音频抵抗器41的例子。套筒34优选具有足够高于第二麦克风7b要获取的频带的一次谐振频率(这意味着套筒34的谐振频率高于图3A和3B中的f0)。在图4D的例子中,将音频抵抗器41安装到高刚性的套筒34。因此,在不会受到安装结构的不必要的谐振的影响的情况下,可以获得通带中(图3A和3B中低于f0的频率处)期望的音频信号。
接着参考图1和5说明混响抑制器53。由于音频抵抗器41覆盖第二麦克风7b,所以在封闭空间中可能发生混响。在本实施例中,设置混响抑制器53来抑制这类混响。
图5示出混响抑制器53的详细结构。由自适应滤波器形成混响抑制器53。该自适应滤波器估计并学***的、第一麦克风7a的输出信号和第二麦克风7b的输出信号之间的差,如下面详细所述。在第二麦克风7b的输出信号中,这样抑制在音频抵抗器41和第二麦克风7b之间的封闭空间中所生成的混响成分。使用这类自适应滤波器,使得即使混响生成状态由于用户的照相机把持状态的改变或温度的变化而改变,也能够适当进行处理。
将简要说明混响抑制的原理。假定s是被摄体声音,g1是第一麦克风7a的被摄体声音获取特性,g2是第二麦克风7b的被摄体声音获取特性,并且r是混响的影响。被摄体声音获取特性g1和g2等于图3A~3F所示的频率空间的特性的逆傅立叶变换结果。如下给出在第二麦克风7b中具有混响的环境下所获得的第一麦克风7a的信号x1和第二麦克风7b的信号x2:
x1=s*g1
x2=s*g2*r ...(1)
其中,*是表示卷积的运算符号。如参考图3A和3B所述,在低于f0的频率处,第一麦克风7a和第二麦克风7b可以获取相同的被摄体声音。如图1所示,BPF82a和82b仅提取适当频带的成分。也就是说,BPF使可听频率范围内低于图3A和3B中的f0的频率通过。由于人的听觉特性,人的听觉对50Hz以下的频带表现出非常低的灵敏度。更详细地,参考A特性曲线等。因此,将BPF82a和82b设计成使例如30Hz~1kHz的频率通过。假定BPF为BPF82a和82b,并且x1_BPF和x2_BPF是通过BPF的信号,则下面的公式成立:
x1_BPF=s*g1*BPF
x2_BPF=s*g2*r*BPF ...(2)
g1*BPF=g2*BPF
保持g1≠g2和g1*BPF≠g2*BPF,这相当于允许第一麦克风7a和第二麦克风7b在低于f0的频率处获取相同被摄体声音。通过公式(2)显而易见,当不存在混响的影响r时,向图1中的减法器83输入相同的信号。通过公式(2)可知,通过使用x1_BPF=d作为期望的响应和x2_BPF=u作为输入来操作自适应滤波器,可以降低混响的影响。
当将混响抑制器53的滤波器表示为h时,如下给出自适应滤波器输出y:
其中,n表示第n个样本的信号,M是混响抑制器53的滤波器阶数,并且h的下标表示第n个样本的滤波器h的值。作为输入u,使用x2_BPF。
另外,使用x1_BPF=d作为期望的响应。因此,如下表示误差信号e:
已经提出了各种自适应算法。例如,如下给出利用LMS算法的h的更新公式:
hn+1(i)=hn(i)+μe(n)u(n-i)(i=0,1,...M) ...(5)
其中,μ是步长参数。根据上述方法,使用公式(5)给出和更新适当的初始值h,从而使得u更接近d。也就是说,降低了影响r,并且x1_BPF=x2_BPF差不多成立。此时,在BPF的通带中,|h*r|=1成立。然而,在风噪声占主导的环境下,没有正确进行公式(5)的更新。因此,通过开关87停止自适应滤波器的估计学习。后面将与风检测器81的操作一起说明开关87的控制序列。
如上所述,混响抑制器53抑制混响。在混响抑制器53中,通过图5显而易见,信号根据自适应滤波器的阶数而延迟。为对此进行补偿,图1中的音频处理设备包括第一延迟装置55和第二延迟装置85。通常,给出混响抑制器53的滤波器阶数的1/2(=M/2)的延迟(当M为奇数时,可使用邻近值)。此时,例如,设置h(M/2)=1,并且将所有其它值h初始化成0。这允许自适应算法在无混响状态下使用初始值来运行。如果将用于混响抑制的适当初始值存储在存储器中,则在将h初始化成该值之后可以开始该操作。例如,可以以下面的方式设置初始值。可以基于诸如麦克风7a和7b周围的尺寸和结构的材料等的设计值而一定程度地估计滤波器系数。因此,可以将根据设计值所获得的滤波器系数设置为初始值。可选地,可以将关断记录设备的电源时的滤波器系数存储在存储器中,并且将其设置为下一次启动记录设备时的初始值。另外,可以通过在记录设备的生产过程中生成预定基准声音来计算滤波器系数,将其存储在存储器中,并且使用其作为启动记录设备时的初始值。
接着说明ALC61的操作。设置ALC以在抑制音频信号的饱和的同时有效利用动态范围。由于音频信号表现出基于时间的大的能量变化,所以需要适当控制电平。设置在ALC61中的电平控制器63监视来自可变增益62a和62b的输出。
首先将说明起始操作。在判断为较高电平的信号超过了预定电平时,将增益降低预定步长。以预定周期重复该操作。将该操作称为起始操作。该起始操作使得能够防止饱和。
接着将说明恢复操作。如果在预定时间内较高电平的信号没有超过预定电平,则将增益增大预定步长。以预定周期重复该操作。将该操作称为恢复操作。恢复操作使得能够获得安静环境下的声音。
ALC61中的可变增益62a和62b同步工作。也就是说,当通过起始操作减小可变增益62a的增益时,也将可变增益62b的增益减小同样的量。利用该操作,消除信号通道之间的电平差,并且在混合器71混合通道的信号时,降低了不协调感觉。
接着说明风检测器81。假定w1是第一麦克风7a所拾取的风噪声,并且w2是第二麦克风7b所拾取的风噪声。由于风噪声的能量集中于低频范围,所以BPF82a和82b不遮蔽风噪声,如以上参考图3所述。为此,获得w1-w2作为减法器83的输出。注意,假定上述混响的影响是可忽略的。同样,在实际环境下,由于比风噪声小很多,所以混响的影响是可忽略的。
电平检测器86进行减法器83的输出的绝对值计算,然后适当进行LPF处理。基于风检测器的稳定性和检测速度确定LPF的截止频率,并且约0.5Hz就足够了。LPF工作以对遮蔽范围中的信号进行积分,并且使通带中的信号直接通过。结果,可以获得与积分运算+HPF的效果相同的效果。为此,当绝对值计算保持高电平持续预定时间(该时间根据上述截止频率而改变)时,输出变大。也就是说,这等于在适当时间内监视∑|w1-w2|。
图6A~6D示出根据风强度而变化的风检测器81的输出信号的例子。图6A、6B和6C是示出通过第一麦克风7a和第二麦克风7b所获得的信号的图。横坐标表示时间,并且纵坐标表示信号电平。参考图6A、6B和6C,信号电平+1表示正方向上的信号饱和时的电平。图6A示出无风状态下的信号,图6B示出风弱时的信号,并且图6C示出风强时的信号。显而易见,随着风强度增大,第一麦克风7a的信号电平升高,并且生成风噪声。另一方面,可以看出,与第一麦克风7a的信号电平相比,第二麦克风7b的信号电平没有那么显著增大。这表示通过音频抵抗器41的作用降低了风噪声。
图6D示出通过上述风检测器81的处理所获得的结果。在图6D中,如图6A、6B和6C一样,横坐标表示时间,并且纵坐标表示风检测器的输出。注意,BPF82a和82b的通带为30Hz~1kHz,并且电平检测器86中的LPF的截止频率为0.5Hz。显然,风检测器81的输出在无风状态下几乎保持为0,并且随着风变强其值增大。在图6D中,由于升高因电平检测器86中的LPF的影响而延迟,所以0秒附近的信号小。在检测到风之前,在图6D的信号的前沿发生所示的延迟。当使得该延迟小时,风检测器容易受到风的波动的影响。在本实施例中,在具有如图6D所示的延迟的情况下进行风检测。
对于上述混响抑制器53的开关87,使用风检测器81的输出,并且还使用该输出来切换后述的HPF52和切换混合器71中的混合处理。
接着将参考图7A~7D说明混合器71的操作。已参考图1说明了基于风检测器81的输出而改变可变增益74和HPF73的截止频率。将参考图7A~7D详细说明改变方法。
图7A和7C示出混合器71的结构的例子。图7B和7D是分别示出用于改变图7A和7C中的可变部的方法的图。
将说明图7A所示的结构。图7A所示的混合器71具有与图1的相同的结构。参考图7A,将LPF72的截止频率固定成例如1kHz。图7B的上图示意性表示可变增益74的增益,并且下图示意性表示HPF73的截止频率。图7B的横坐标是这两个图共用的。Wn1、Wn2和Wn3是表示风噪声的水平的值,并且表示风噪声按Wn1、Wn2和Wn3的顺序依次变强。
如图7B所示,当风噪声小于预定值Wn1时,风处理是不必要的。因此,将可变增益74的增益设置成0,并且将HPF73的截止频率设置成50Hz。结果,经由图7A所示的电路完全遮蔽来自第二麦克风7b的信号,并且可以仅从第一麦克风7a获得可听频率范围(其中,高于HPF73的截止频率、即50Hz的频率是声音的主要成分)的信号。由于无需使用设置有音频抵抗器41的第二麦克风7b的信号,所以假定忠实地获得被摄体声音。
将说明风噪声超过了水平Wn1、并且落在从Wn1到Wn2的范围内的情况。此时,可变增益74的值逐渐增大,并且HPF73的截止频率逐渐升高。进行上述控制以在低频音频信号中逐渐增大来自设置有音频抵抗器41的第二麦克风7b的信号的比。风噪声大大地影响来自第一麦克风7a的信号。然而,通过升高HPF73的截止频率降低风噪声。
将说明风噪声超过水平Wn2、并且落在从Wn2到Wn3的范围内的情况。此时,将可变增益74的值固定成1,并且HPF73的截止频率逐渐升高。尽管丢失了存在于从LPF72的截止频率到HPF73的截止频率的音频,但是进行上述控制以允许进一步降低风噪声。由于如果HPF73的截止频率过分升高,则被摄体声音劣化太严重,所以HPF73的截止频率不会升高超过适当值。在图7B的例子中,当风噪声的水平超过Wn3时,将HPF73的截止频率固定成2kHz,并且不会再改变。
将说明作为另一例子的图7C所示的结构。代替固定LPF72和可变增益74,图7C所示的混合器71包括可变LPF76。图7D上图示意性表示可变LPF76的截止频率,并且下图示意性表示HPF73的截止频率。图7D的横坐标是这两个图共用的。Wn1、Wn2和Wn3是表示风噪声的水平的值,并且表示风噪声按Wn1、Wn2和Wn3的顺序依次变强。
如图7D所示,当风噪声小于预定值Wn1时,风处理是不必要的。因此,将可变LPF76和HPF73的截止频率设置成50Hz。结果,经由图7C所示的电路几乎完全遮蔽来自第二麦克风7b的信号,并且可以仅从第一麦克风7a获得可听频率范围(其中,高于HPF73的截止频率、即50Hz的频率是声音的主要成分)中的信号。由于无需使用设置有音频抵抗器41的第二麦克风7b的信号,所以假定忠实地获得被摄体声音。
将说明风噪声超过水平Wn1并且落在从Wn1到Wn2的范围内的情况。此时,可变LPF76和HPF73的截止频率在保持一致的同时逐渐升高。进行上述控制以逐渐使用来自设置有音频抵抗器41的第二麦克风7b的信号作为低频音频信号。风噪声大大地影响来自第一麦克风7a的信号。然而,通过升高HPF73的截止频率降低风噪声。
将说明风噪声超过水平Wn2并且落在从Wn2到Wn3的范围内的情况。此时,将可变LPF76的截止频率固定成1kHz,并且HPF73的截止频率进一步升高。尽管丢失了存在于从可变LPF76的截止频率到HPF73的截止频率的音频,但是进行上述控制以进一步降低风噪声。由于如果HPF73的截止频率过分升高,则被摄体声音劣化太严重,所以HPF73的截止频率不会升高超过适当值。在图7D例子中,当风噪声的水平超过Wn3时,将HPF73的截止频率固定成2kHz,并且不会再改变。
以上说明了在比可变增益74和可变LPF76的操作的范围更宽的范围中操作HPF73的例子。显然,通过设置Wn2=Wn3,可以仅在与可变增益74和可变LPF76的操作的范围相同的范围中操作HPF73。当限制该操作时,尽管风噪声降低效果变小,但是可以忠实地获取被摄体声音。另一方面,在风吹得非常大时在第一麦克风7a中所生成的风噪声的水平根据麦克风的安装结构等而改变。通过比较例如风噪声降低的必要性和忠实获取被摄体声音的必要性,调整Wn1、Wn2和Wn3的设置。
以上详细说明了在图7所示的混合器71的例子中改变可变HPF或LPF的截止频率的范围。将简要说明优选可改变范围和滤波器结构。
本实施例的混合器71混合通过多个麦克风7a和7b所获取的音频信号。在用于对分开的频带的信号进行混合的处理中,特别地,这多个麦克风的信号优选在重叠频带中在各自的路径上具有相同相位。如果相位由于多个路径中的处理而偏移,则由于波形没有精确匹配,所以可能相互抵消。为充分满足该要求,优选由相同阶数的FIR滤波器形成HPF73和LPF72。使用FIR滤波器,使得即使在适当地获得所谓的群延迟、并且对各频带进行处理时也能够始终如一地混合信号。如果FIR滤波器的截止频率非常低(准确地说,如果在利用相对于采样频率的比进行标准化时,该比非常低),则需要非常高阶数的滤波器以获得充分的滤波器性能。这基于下面的事实:为了获得遮蔽/通过对象的频率的波,需要大量样本。由于滤波器的阶数不能无限增大,因而确定截止频率可改变范围的下限。在图7C所示的结构中,LPF和HPF是可变的。因此,如果截止频率非常低,则可变LPF76和HPF73的阶数变得非常高。为此,在图7B和7D所示的例子中,将频率的下限设置成50Hz,以使得不会大地影响可听频率范围中的信号。如上所述,频率不局限于50Hz,并且可以根据计算器资源进行适当设置。在图7A所示的例子中,仅HPF是可变的。因此,仅一个如上所述的高阶数的滤波器就足够了。该结构在减少计算量方面优于图7C的结构。
另一方面,根据设置有音频抵抗器41的第二麦克风7b确定可改变范围的上限。如图3B示意性所示,由于音频抵抗器41的影响,将第二麦克风7b可获取的被摄体的频带限制在f0。超过该频带,不会获得被摄体声音。因此,在图7A~7D所示的例子中,应该将可变LPF76和HPF73的截止频率设置得更低。在图3A和3B中,f1显然应该满足f1<f0。
将参考图1、3A~3F、6A~6D和8~11说明HPF52的效果和可变操作。如以上参考图3A~3F和6A~6D所述,风噪声集中于低频范围,并且以许多不同的方式影响第一麦克风7a和第二麦克风7b。也就是说,即使弱风在第一麦克风7a中也生成大的风噪声。由此引起的问题是ADC54a的饱和以及ALC61的不适当操作。ADC54a的饱和容易理解,并且省略对其的说明。将说明风噪声生成时的ALC61的操作的问题。
如果不存在HPF52,则在第一麦克风7a中生成大的风噪声,如图6C所示。即使风噪声和被摄体声音叠加,也假定风噪声占主导。在这类环境下,ALC61通过参考第一麦克风7a的风噪声水平进行电平控制。然后,当混合器71中的HPF73处理风噪声时,音频信号的电平大大降低。结果,加法器75的输出非常小。也就是说,信号电平是不适当的。
为解决诸如ADC的饱和以及不适当信号电平等的上述问题,例如,可以采用专利文献1的技术。图8示出该情况的音频处理设备51的例子。在图8中,与图1中相同的附图标记表示具有相同功能的部分。参考图8,在ADC54a和54b之前设置可变增益62a和62b以避免它们的饱和。另外,在混合器71的风噪声处理之后设置另一ALC61b,其中,可变增益62c和电平控制器63b防止风处理之后的信号电平变得不适当。
然而,图8所示的电路还存在两个问题。一个问题是通过在两个部处进行电平控制操作所导致的电路规模增大。另一问题是通过使在混合器71之后配置的ALC61b增大增益所导致的量化误差的增大。也就是说,电平控制器63a使用包括风噪声的信号进行电平控制,并且电平控制器63b使用不包括风噪声的信号进行电平控制。如果风噪声降低效果大,则电平控制器63b需要大大地增大增益。此时,由于信号已被数字化,所以量化误差在电平控制时增大。
将简要说明量化误差。例如,当在电平控制器63b中将增益增大12dB时,进行计算以将数字信号向左移位2位。此时,由于不存在与低位2位相对应的信息,所以需要利用适当值(例如,0)填充该位。在这种情况下,由于低位2位始终为0,因而0之后以十进制数仅可表示4。由于仅可以离散地表示信号,所以对于自然信号(连续)发生量化误差。
考虑图1所示的HPF52。可以通过适当设置HPF52的截止频率来消除风噪声的主成分。这允许防止ADC54a的饱和,并且使ALC61进行适当增益控制(由于在ALC61的时点,被摄体声音未埋没在风噪声中,因而可以进行根据被摄体声音的水平的ALC操作)。
将参考图9A~9D说明HPF52的截止频率控制序列的例子。图9A示出开关87的操作序列。图9B示出HPF52的操作序列。图9C示出可变增益74的操作序列。图9D示出HPF73的操作序列。表示风噪声的水平的横坐标对图9A~9D是共用的。Wn1、Wn2和Wn3是表示风噪声的水平的值,并且表示风噪声按Wn1、Wn2和Wn3的顺序依次变强。图9C和9D中的操作与图7B中的相同,并且不再重复对其的说明。
当风噪声小于预定值Wn1时,风处理是不必要的。因此,接通开关87,并且进行上述混响抑制器53的自适应操作。将HPF52的截止频率设置成0Hz(=在不进行HPF操作的情况下通过)。由于无需使用设置有音频抵抗器41的第二麦克风7b的信号,所以假定忠实地获得被摄体声音。
当风噪声超过水平Wn1时,生成风噪声。因此,关断开关87,并且停止上述混响抑制器53的自适应操作。该控制允许抑制不适当的自适应操作。
将说明风噪声落在从Wn1到Wn2的范围内的情况。此时,HPF52的截止频率在未超过HPF73的截止频率的范围内逐步升高。进行上述控制使得能够降低在第一麦克风7a中所生成的风噪声。当进行该控制以不会超过HPF73的截止频率时,HPF52的截止频率对HPF73的输出影响不大。
将说明通过该结构所获得的效果。HPF52被设置在音频处理设备51的模拟部(ADC之前),因此通常由IIR滤波器(由RC电路所形成的HPF)形成。此时,HPF52不能满足群延迟特性。另一方面,即使在IIR滤波器中,相位延迟在通带中也小。为此,即使不满足群延迟特性,相位延迟也没有影响。如上所述控制HPF52和73的截止频率,使得可以降低由IIR滤波器所引起的相位延迟的影响。如上所述,在用于对分开的频带的信号进行混合的处理中,特别地,这多个麦克风的信号优选在重叠的频带中在各自的路径上具有相同的相位。然而,即使不满足该条件,也可以降低影响。另外,将HPF52设置在音频处理设备51的模拟部中。然而,如果将HPF52配置成在模拟电路中连续改变截止频率,则电路规模变大。当形成适于参考图9A~9D所述的控制序列的电路时,可以通过单个结构实现HPF。
图10和11示出通过上述电路处理后的信号的例子。图10示出没有设置HPF52的情况。图11示出设置了HPF52的情况。在从图1的结构去除HPF52的状态下,处理图10中的信号。如图所示,从上侧开始,该图依次分别表示增益62a的输出、增益62b的输出、HPF73的输出、LPF72的输出和加法器75的输出。横坐标表示时间,并且是所有图共用的。图10和11所示的例子表示被摄体在2.5秒附近开始说话(人语音是要收集的声音)。假定风噪声水平为图9A~9D中的Wn2,处理图10和11所示的信号。
在2.5秒之前仅存在风噪声,如图6A~6D的图所示。仅注意这一部分,图11与图10相比,增益62a的输出显然更大。这是因为,实际上通过ALC61增大了增益。根据2.5秒之后的部分,显然该输出被叠加在被摄体声音上。
注意2.5秒之后的增益62b的输出,与图11中的信号的信号电平相比,图10中的信号显然具有较低的信号电平。这是因为,增益由于ALC61对在第一麦克风7a中所生成的风噪声所进行的电平控制而变小,因此获得非常小的被摄体声音。另一方面,在图11所示的信号中,通过HPF52的效果降低了第一麦克风7a中所生成的风噪声,并且与图10的状态相比,ALC61的增益保持高。
注意图10中的HPF73的输出,通过适当处理HPF73的截止频率而大大降低了风噪声。然而,通过观察可知,由于HPF73的输出的信号电平比增益62a的输出的信号电平低很多,所以从加法器75的最终输出的信号电平非常低。
另一方面,即使在图11中,显然,通过适当处理HPF73的截止频率大大降低了风噪声。另外,通过观察可知,由于LPF72的输出保持大,所以从加法器75的最终输出的信号电平也保持在充分的电平。
如上所述,当将HPF52配置在比ADC和ALC更靠近麦克风的一侧时,可以获得高质量的音频。
图12A和12B示出本实施例的电路结构的另一例子。图12A示出将ALC配置在模拟部分中的例子。图12B示出将ALC61配置在混合器71之后的例子。即使这样的结构也使得能够获得本实施例中所述的效果。
如上所述,根据本发明,可以在通过音频抵抗器降低风噪声的同时,获得抑制了混响的高质量音频。
第二实施例
下面将参考图13和14说明根据本发明第二实施例的记录设备和包括该记录设备的摄像设备。在第二实施例中,与第一实施例中相同的附图标记表示进行相同操作的部。
图13是示出摄像设备的立体图。尽管图13中的设备与图2A中的类似,但是添加了用于麦克风的开口部32c。将麦克风7c(未示出)设置在开口部32c后面。
图14是用于说明与图13所示的设备相对应的音频处理设备51的主要部分的框图。在图14中,基于图12A所示的根据第一实施例在模拟部分中包括ALC的电路,将该结构扩展成立体声***。简化/改变混响抑制器53和电平检测器86的说明。不同于第一实施例,将第一麦克风7a扩展成两个麦克风。麦克风7a和7c分别构成立体声***的左声道和右声道,并且被设计成具有相同特性。另一方面,第二麦克风7b设置有音频抵抗器41,并且具有与第一实施例中的相同的特性。
图14中扩展的HPF52b、增益62c、ADC54c、DC成分截止HPF56c和HPF73b分别进行与第一实施例中所述的HPF52、增益62a、ADC54a、DC成分截止HPF56a和HPF73的相同操作。这里将说明操作改变了的延迟装置55a和55b、新设置的相位比较器57、加法器58和增益59。
在立体声记录设备中,信号利用音频信号之间的相位差产生立体声效果。在图13所示的结构中,将第二麦克风7b配置在第一麦克风7a和7c之间。在该结构中,当考虑麦克风7a和7c之间的相位差时,第二麦克风7b的信号的相位存在于它们之间。例如,当将第二麦克风7b恰好配置在与麦克风7a和7c等距离的中间点时,该相位也存在于该中间点。在图14所示的电路中,计算麦克风7a和7c之间的相位差,并且通过延迟装置55a和55b给出与其相对应的延迟。
例如,检查麦克风7c的信号相对于麦克风7a的信号延迟的情况。此时,控制混响抑制器以符合中间信号,如后面所述。当与麦克风7a的信号混合时,使相位提前。当与麦克风7c的信号混合时,使相位延迟。在第一实施例中,给出混响抑制器53的滤波器阶数的1/2(=M/2)的延迟。延迟装置55a给出较小延迟,并且延迟装置55b给出较大延迟。绝对值根据麦克风的位置而改变。例如,当第二麦克风7b位于第一麦克风7a和7c之间的中间点时,如上所述,各相位偏移由相位比较器57所计算出的相位差的1/2。进行上述处理,允许在不会降低立体声效果的情况下获得音频信号。
将说明加法器58和增益59。加法器58相加麦克风7a和7c的信号。增益59使加法器58的输出减少一半。结果,增益59的输出是麦克风7a和7c的平均数。这样所获得的音频信号具有麦克风7a和7c的信号之间的中间相位。另一方面,BPF82a仅使约30Hz~1kHz的频带通过,如以上第一实施例所述。将音频处理设备51配置成获取甚至比BPF的通带还高的频率的音频信号。对于此时可获取的音频信号,将麦克风7a和7c配置成在它们的信号之间不会发生相位反转。当仅在BPF82a的通带中观察时,麦克风7a和7c的信号之间的相位差小。因此,可以认为差不多相加了BPF82a的通带中的信号的电平。为此,当增益59使输出减小一半时,可以获得信号电平差不多等于第一麦克风7a和7c的信号电平且具有中间点处的相位的信号。在本实施例中,操作混响抑制器53以符合上述增益59的输出。
利用上述结构,本发明在不会降低立体声效果的情况下,同样容易地适用于立体声记录设备。
在本实施例中,说明了立体声设备(包括用于获取高频范围的两个第一麦克风)。该结构可容易地被扩展成包括更多麦克风的记录设备。
第三实施例
下面将参考图15说明根据本发明第三实施例的记录设备和包括该记录设备的摄像设备。在第三实施例中,与第一实施例中相同的附图标记表示进行相同操作的部分。
由于包括根据第三实施例的记录设备的摄像设备的立体图与第一实施例的图2相同,所以省略了该图。图15是用于说明根据第三实施例的音频处理设备51的主要部的框图。参考图15,在LPF72的前级配置用于改变音频信号的采样频率的上采样器96。不同于第一实施例,设置不同值作为ADC54a和54b的采样频率。将ADC54b的采样频率设置成低于ADC54a的采样频率。将ADC84的采样频率设置成等于ADC54b的采样频率。
将说明ADC54b、ADC84、混响抑制器53和新设置的上采样器96。
将来自第一麦克风7a的输出分支发送给风检测器81。在通过BPF82a之后,通过ADC84以低于ADC54a的采样频率的采样频率对该输出进行A/D转换。将采样频率设置成可以再现BPF82a的通带的范围内的值,并且优选被设置成ADC54a的采样频率的整数分之一。例如,当BPF82a的通带为30Hz到1kHz,并且ADC54a的采样频率为48kHz时,将ADC84的采样频率设置为3kHz,即48kHz的1/16。通过延迟装置85延迟ADC84的输出,并且将其发送给减法器83。
另一方面,通过ADC54b以与ADC84的采样频率相同的采样频率对来自第二麦克风7b的信号进行A/D转换。在混响抑制器53抑制了混响之后,将信号分支发送给风检测器81。在通过BPF82b之后,将信号发送给减法器83。通过ADC54b将采样频率降低成1/16。为此,即使混响抑制器53的滤波器阶数M是传统滤波器阶数的1/16,也可以获得如传统混响抑制器相同的效果,这使得减小了电路规模和计算量。随着混响抑制器53的滤波器阶数M减小,延迟装置85的延迟量也减小。减法器83和其余部分的操作与第一实施例中的相同,并且省略对其的说明。
混响抑制器53的分支输出中的一个通过HPF56b,经过ALC61的增益控制,并且被发送给上采样器96。上采样器96将可变增益62b的输出转换成与ADC54a的采样频率相同的采样频率,并且将其发送给LPF72。尽管上采样可能导致混叠,但是LPF72降低高频成分并消除混叠。
第一麦克风7a后级的HPF52、LPF72和其余部件的操作与第一实施例中的相同,并且省略对其的说明。
利用上述结构,下采样低频成分,进行混响抑制处理,并且可以减小电路规模和计算量。另外,在混响抑制处理之后进行上采样,这可以获得高质量音频。
第四实施例
下面将参考图16、17A和17B说明根据本发明第四实施例的记录设备和包括该记录设备的摄像设备。在第四实施例中,与第一实施例中相同的附图标记表示进行相同操作的部。
由于包括根据第四实施例的记录设备的摄像设备的立体图与第一实施例的图2的相同,所以省略该图。图16是用于说明根据第四实施例的音频处理设备51的主要部分的框图。参考图16,互相关计算器97接收BPF82b和延迟装置85的分支输出,计算这两个信号的互相关值,并且判断是否存在多个声源到达方向。后面将说明互相关计算器97的操作。图17A和17B示意性示出被摄体声音的声源与麦克风7a和7b之间的位置关系、以及音频传播。图17A是示出被摄体声音从一个方向传播的情况的示意图。图17B是示出被摄体声音从两个方向传播的情况的示意图。
将参考图17A和17B说明在被摄体声音从两个方向传播时出现的问题。假定s1是由被摄体01所生成的被摄体声音,并且s2是从与被摄体01的方向不同的方向上所生成的被摄体声音。假定T1a是从被摄体01向麦克风7a传播的音频信号的传送函数,并且T1b是向麦克风7b传播的音频的传送函数。类似地,假定T2a和T2b分别是从被摄体02向麦克风7a和7b传播的音频信号的传送函数。当被摄体声音的声源存在于一个方向上时,如图17A所示,如下给出通过麦克风7a和7b所获取的音频信号x1和x2:
x1=s1*T1a
x2=s1*T1b ...(6)
由于麦克风7a和7b与被摄体声音的距离之间的差,在麦克风7a的信号x1和麦克风7b的信号x2之间发生延迟。然而,这仅导致时间偏移,并且这两个信号之间的相关性非常高。另一方面,当被摄体声音从两个方向上传播时,如图17B所示,如下给出通过麦克风7a和7b所获取的音频信号x1和x2:
x1=s1*T1a+s2*T2a
x2=s1*T1b+s2*T2b...(7)
由于麦克风7a和7b与两个被摄体01和02的距离之间的差,在麦克风7a的信号x1和麦克风7b的信号x2之间发生延迟。随着这两个被摄体01和02之间的距离增大,T1a和T1b以及T2a和T2b的延迟量产生偏移,并且这两个信号之间的相关性降低。结果,混响抑制器53未被正确更新。
在包括根据第四实施例的记录设备的摄像设备中,设置互相关计算器97。当这两个信号之间的互相关值小于预定值时,停止混响抑制器的学习,从而解决上述问题。
将说明互相关计算器97的操作。将来自BPF82b和延迟装置85的分支输出发送给互相关计算器97。这些是30Hz~1kHz的频带中通过了BPF82a和82b的麦克风7a和7b的音频信号。将这些信号表示为x1_BPF和x2_BPF。互相关计算器97以下面的方式计算这两个信号之间的互相关值。如下给出在数据长度为N时的第n个样本的这两个信号之间的互相关值R(n):
当利用x1_BPF进行标准化时,获得:
如果被摄体声音从一个方向传播,则Rnorm(n)理想地具有作为最大值的1。然而,如果存在两个以上的被摄体声音的声源,则这两个信号之间的互相关性降低,并且Rnorm(n)小于1。当标准化后的互相关值Rnorm(n)小于预定值Rn1时,判断为被摄体声音的声源的数量在两个以上。因此,关断开关87以停止混响抑制器53的自适应操作。
同样,在根据第四实施例的摄像设备中,如第一实施例一样,基于电平检测器86的检测结果接通/关断开关87。也就是说,当互相关计算器97检测到互相关值小于Rn1,或者电平检测器86检测到风噪声水平超过Wn1时,关断开关87以停止混响抑制器53的自适应滤波器的自适应操作。
该控制使得即使在被摄体声音从两个以上的方向上传播时也能够进行适当的自适应操作,因而获得高质量音频。
其它实施例
显然,可以通过向设备提供存储实现上述典型实施例的功能的软件程序代码的存储介质来实现本发明。在这种情况下,被提供该存储介质的设备的包括控制单元的计算机(或者中央处理单元(CPU)或微处理器单元(MPU))读出并执行存储在该存储介质中的程序代码。
在这种情况下,从存储介质读取的程序代码本身实现上述典型实施例的功能。因此,程序代码本身和存储该程序代码的存储介质构成本发明。
例如,可以使用软盘、硬盘、光盘、磁光盘、紧凑型光盘只读存储器(CD-ROM)、可记录光盘(CD-R)、磁带、非易失性存储卡和ROM作为用于提供该程序代码的存储介质。
另外,上述情况显然包括下面的情况:运行在计算机上的基本***或操作***(OS)等基于上述程序代码的指示进行部分或全部处理,并且通过该处理实现上述典型实施例的功能。
另外,上述情况还包括下面的情况:将从存储介质读出的程序代码写入***计算机的扩展板或与计算机连接的扩展单元上所设置的存储器,从而使得实现上述典型实施例的功能。在这种情况下,基于该程序代码的指示,该扩展板或扩展单元中所设置的CPU等进行部分或全部实际处理。
还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的***或设备的计算机(或者CPU或MPU等装置)和通过下面的方法实现本发明的各方面,其中,利用***或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。为此,例如,通过网络或者通过用作存储器装置的各种类型的记录介质(例如,计算机可读介质)将该程序提供给计算机。在这种情况下,该***或设备、以及存储该程序的记录介质同样包括在本发明的范围内。尽管参考典型实施例说明了本发明,但是应该理解,本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有修改、等同结构和功能。
Claims (9)
1.一种音频处理设备,包括:
第一麦克风;
第二麦克风;
遮蔽单元,用于遮蔽从所述音频处理设备外部向所述第二麦克风的空气移动;
高通滤波器,用于提取所述第一麦克风的输出信号的第一范围内的频率成分;
低通滤波器,用于提取所述第二麦克风的输出信号的第二范围内的频率成分;
加法单元,用于将所述高通滤波器的输出信号和所述低通滤波器的输出信号相加;以及
自适应滤波器,其被设置在所述第二麦克风和所述低通滤波器之间,并且用于估计和学习滤波器系数以使所述第一麦克风的输出信号和所述第二麦克风的输出信号之间的差最小化,从而抑制所述第二麦克风的输出信号中的、在所述遮蔽单元和所述第二麦克风之间的封闭空间中所生成的混响成分。
2.根据权利要求1所述的音频处理设备,其特征在于,还包括延迟单元,所述延迟单元用于延迟所述第一麦克风的输出信号,
其中,根据所述自适应滤波器的阶数确定所述延迟单元的延迟量。
3.根据权利要求1所述的音频处理设备,其特征在于,当所述第一麦克风的输出信号和所述第二麦克风的输出信号之间的差超过预定值时,所述自适应滤波器停止自适应操作。
4.根据权利要求1所述的音频处理设备,其特征在于,还包括:
第一A/D转换器,用于对所述第一麦克风的输出信号进行数字化;
第二A/D转换器,用于在所述自适应滤波器的前级,以比所述第一A/D转换器的采样频率低的采样频率对所述第二麦克风的输出信号进行数字化;以及
上采样器,用于将所述第二A/D转换器已数字化的并且通过了所述自适应滤波器的所述第二麦克风的输出信号的采样频率改变成与所述第一A/D转换器的采样频率相同的采样频率。
5.根据权利要求1所述的音频处理设备,其特征在于,还包括互相关计算单元,所述互相关计算单元用于计算所述第一麦克风的输出信号和所述第二麦克风的输出信号之间的互相关值,并且基于所计算出的互相关值判断是否存在声源的多个到达方向,
其中,如果所述互相关计算单元判断为存在声源的多个到达方向,则所述自适应滤波器被控制为停止自适应操作。
6.根据权利要求1所述的音频处理设备,其特征在于,所述自适应滤波器将在关断所述音频处理设备的电源时的所述自适应滤波器的滤波器系数存储在存储器中,并且在下一次启动所述音频处理设备时,将所述存储器中所存储的滤波器系数设置为初始值。
7.根据权利要求1所述的音频处理设备,其特征在于,基于在向所述第一麦克风和所述第二麦克风输入预定基准声音时的所述自适应滤波器的滤波器系数,设置所述自适应滤波器的滤波器系数的初始值。
8.一种摄像设备,包括:
第一麦克风;
第二麦克风;
遮蔽单元,用于遮蔽从所述摄像设备外部向所述第二麦克风的空气移动;
高通滤波器,用于提取所述第一麦克风的输出信号的第一范围内的频率成分;
低通滤波器,用于提取所述第二麦克风的输出信号的第二范围内的频率成分;
加法单元,用于将所述高通滤波器的输出信号和所述低通滤波器的输出信号相加;以及
自适应滤波器,其被设置在所述第二麦克风和所述低通滤波器之间,并且用于估计和学习滤波器系数以使所述第一麦克风的输出信号和所述第二麦克风的输出信号之间的差最小化,从而抑制所述第二麦克风的输出信号中的、在所述遮蔽单元和所述第二麦克风之间的封闭空间中所生成的混响成分。
9.一种音频处理设备的音频处理方法,所述音频处理设备包括第一麦克风、第二麦克风和遮蔽单元,所述遮蔽单元用于遮蔽从所述音频处理设备外部向所述第二麦克风的空气移动,所述音频处理方法包括以下步骤:
第一提取步骤,用于提取所述第一麦克风的输出信号的第一范围内的频率成分;
第二提取步骤,用于提取所述第二麦克风的输出信号的第二范围内的频率成分;
加法步骤,用于将在所述第一提取步骤中提取的信号和在所述第二提取步骤中提取的信号相加;以及
抑制步骤,用于估计和学习滤波器系数以使所述第一麦克风的输出信号和所述第二麦克风的输出信号之间的差最小化,从而抑制所述第二麦克风的输出信号中的、在所述遮蔽单元和所述第二麦克风之间的封闭空间中所生成的混响成分。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-277419 | 2010-12-13 | ||
JP2010277419A JP5728215B2 (ja) | 2010-12-13 | 2010-12-13 | 音声処理装置及び方法並びに撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102568492A CN102568492A (zh) | 2012-07-11 |
CN102568492B true CN102568492B (zh) | 2014-06-25 |
Family
ID=46199405
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110415369.5A Expired - Fee Related CN102568492B (zh) | 2010-12-13 | 2011-12-13 | 音频处理设备、音频处理方法和摄像设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9082410B2 (zh) |
JP (1) | JP5728215B2 (zh) |
CN (1) | CN102568492B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6139835B2 (ja) * | 2012-09-14 | 2017-05-31 | ローム株式会社 | 風音低減回路およびそれを用いたオーディオ信号処理回路、電子機器 |
JP2015130547A (ja) * | 2014-01-06 | 2015-07-16 | パナソニックIpマネジメント株式会社 | 記録装置 |
US11043228B2 (en) * | 2015-05-12 | 2021-06-22 | Nec Corporation | Multi-microphone signal processing apparatus, method, and program for wind noise suppression |
JP2017009663A (ja) * | 2015-06-17 | 2017-01-12 | ソニー株式会社 | 録音装置、録音システム、および、録音方法 |
CN110858485B (zh) * | 2018-08-23 | 2023-06-30 | 阿里巴巴集团控股有限公司 | 语音增强方法、装置、设备及存储介质 |
JP6669219B2 (ja) * | 2018-09-04 | 2020-03-18 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
US11955133B2 (en) | 2022-06-15 | 2024-04-09 | Analog Devices International Unlimited Company | Audio signal processing method and system for noise mitigation of a voice signal measured by an audio sensor in an ear canal of a user |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1450739A (zh) * | 2003-04-21 | 2003-10-22 | 徐忠义 | 语音背景噪声抑制装置 |
CN201199709Y (zh) * | 2008-05-28 | 2009-02-25 | 英华达(上海)电子有限公司 | 具有去除噪声功能的移动通话终端 |
CN101656901A (zh) * | 2008-08-21 | 2010-02-24 | 欧力天工股份有限公司 | 消噪*** |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03106299A (ja) * | 1989-09-20 | 1991-05-02 | Sanyo Electric Co Ltd | アイクロホン装置 |
JPH03219798A (ja) * | 1989-11-27 | 1991-09-27 | Matsushita Electric Ind Co Ltd | マイクロホン装置 |
US5193117A (en) * | 1989-11-27 | 1993-03-09 | Matsushita Electric Industrial Co., Ltd. | Microphone apparatus |
JP3176474B2 (ja) * | 1992-06-03 | 2001-06-18 | 沖電気工業株式会社 | 適応ノイズキャンセラ装置 |
JPH0965482A (ja) * | 1995-08-25 | 1997-03-07 | Canon Inc | 集音方法及び該方法を実施するマイクロホン装置 |
JPH09218687A (ja) * | 1996-02-14 | 1997-08-19 | Shinko Electric Co Ltd | 消音装置 |
US6496581B1 (en) * | 1997-09-11 | 2002-12-17 | Digisonix, Inc. | Coupled acoustic echo cancellation system |
JP3882870B2 (ja) * | 1998-05-14 | 2007-02-21 | ソニー株式会社 | マイクロホン |
EP1470736B1 (en) * | 2002-01-12 | 2011-04-27 | Oticon A/S | Wind noise insensitive hearing aid |
US7330556B2 (en) * | 2003-04-03 | 2008-02-12 | Gn Resound A/S | Binaural signal enhancement system |
DK200401280A (da) * | 2004-08-24 | 2006-02-25 | Oticon As | Lavfrekvens fase matchning til mikrofoner |
JP2006211302A (ja) | 2005-01-28 | 2006-08-10 | Matsushita Electric Ind Co Ltd | 風雑音低減体 |
JP2006262098A (ja) * | 2005-03-17 | 2006-09-28 | Yamaha Corp | ハウリングキャンセラ |
US20060262938A1 (en) * | 2005-05-18 | 2006-11-23 | Gauger Daniel M Jr | Adapted audio response |
JP4078368B2 (ja) | 2005-09-14 | 2008-04-23 | キヤノン株式会社 | 消音装置及び画像形成装置 |
EP2036396B1 (en) * | 2006-06-23 | 2009-12-02 | GN ReSound A/S | A hearing instrument with adaptive directional signal processing |
JP2008060625A (ja) * | 2006-08-29 | 2008-03-13 | Casio Comput Co Ltd | ステレオ音声録音装置およびマイクロフォン感度差補正方法 |
WO2009078105A1 (ja) * | 2007-12-19 | 2009-06-25 | Fujitsu Limited | 雑音抑圧装置、雑音抑圧制御装置、雑音抑圧方法及び雑音抑圧プログラム |
US8606572B2 (en) * | 2010-10-04 | 2013-12-10 | LI Creative Technologies, Inc. | Noise cancellation device for communications in high noise environments |
-
2010
- 2010-12-13 JP JP2010277419A patent/JP5728215B2/ja not_active Expired - Fee Related
-
2011
- 2011-11-22 US US13/302,072 patent/US9082410B2/en not_active Expired - Fee Related
- 2011-12-13 CN CN201110415369.5A patent/CN102568492B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1450739A (zh) * | 2003-04-21 | 2003-10-22 | 徐忠义 | 语音背景噪声抑制装置 |
CN201199709Y (zh) * | 2008-05-28 | 2009-02-25 | 英华达(上海)电子有限公司 | 具有去除噪声功能的移动通话终端 |
CN101656901A (zh) * | 2008-08-21 | 2010-02-24 | 欧力天工股份有限公司 | 消噪*** |
Non-Patent Citations (1)
Title |
---|
JP特开2007-79125A 2007.03.29 |
Also Published As
Publication number | Publication date |
---|---|
JP5728215B2 (ja) | 2015-06-03 |
CN102568492A (zh) | 2012-07-11 |
US9082410B2 (en) | 2015-07-14 |
US20120148063A1 (en) | 2012-06-14 |
JP2012129652A (ja) | 2012-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102568492B (zh) | 音频处理设备、音频处理方法和摄像设备 | |
CN102637437A (zh) | 音频处理设备及其控制方法 | |
KR101999565B1 (ko) | 파형을 이용한 사운드 대 햅틱 효과 변환 시스템 | |
CN104040888B (zh) | 多速率滤波器*** | |
US8428275B2 (en) | Wind noise reduction device | |
Swanson | Signal processing for intelligent sensor systems with MATLAB | |
US8798280B2 (en) | Calibration method and device in an audio system | |
CN103262162B (zh) | 用于有理重采样器的心理声学滤波器设计 | |
CN104602166B (zh) | 麦克风阵列 | |
JP4466658B2 (ja) | 信号処理装置、信号処理方法、プログラム | |
KR101880764B1 (ko) | 파형을 이용한 사운드 대 햅틱 효과 변환 시스템 | |
CN106664473A (zh) | 信息处理装置、信息处理方法和程序 | |
US9495950B2 (en) | Audio signal processing device, imaging device, audio signal processing method, program, and recording medium | |
JP2014517596A5 (zh) | ||
JP2008263498A (ja) | 風雑音低減装置、音響信号録音装置及び撮像装置 | |
CN104159177A (zh) | 一种基于屏幕录制的音频录制***及方法 | |
EP3799035A1 (en) | Acoustic program, acoustic device, and acoustic system | |
CN109658935A (zh) | 多通道带噪语音的生成方法及*** | |
JP2011061422A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP5027127B2 (ja) | 背景雑音に応じてバイブレータの動作を制御することによる移動通信装置の音声了解度の向上 | |
CN108882115A (zh) | 响度调节方法、装置及终端 | |
US7116788B1 (en) | Efficient head related transfer function filter generation | |
JP4914319B2 (ja) | コミュニケーション音声処理方法とその装置、及びそのプログラム | |
JP2010021627A (ja) | 音量調整装置、音量調整方法および音量調整プログラム | |
WO2022256577A1 (en) | A method of speech enhancement and a mobile computing device implementing the method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140625 |