CN111989935A - 声音处理装置、声音处理方法及程序 - Google Patents

声音处理装置、声音处理方法及程序 Download PDF

Info

Publication number
CN111989935A
CN111989935A CN201980025694.5A CN201980025694A CN111989935A CN 111989935 A CN111989935 A CN 111989935A CN 201980025694 A CN201980025694 A CN 201980025694A CN 111989935 A CN111989935 A CN 111989935A
Authority
CN
China
Prior art keywords
sound
signal
processing
speaker
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980025694.5A
Other languages
English (en)
Inventor
樱庭洋平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111989935A publication Critical patent/CN111989935A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/001Adaptation of signal processing in PA systems in dependence of presence of noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/007Electronic adaptation of audio signals to reverberation of the listening space for PA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00Public address systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本技术涉及声音处理装置、声音处理方法及程序,其使得能够输出适合于目的的声音信号。通过设置具有信号处理部的该声音处理装置,所述信号处理部处理由麦克风收集的声音信号,以生成要记录在记录装置中的记录声音信号和要从扬声器输出的不同于记录声音信号的声音放大声音信号,可以输出适合于目的的声音信号。本技术可应用于例如进行离开麦克风声音放大的声音放大***。

Description

声音处理装置、声音处理方法及程序
技术领域
本技术涉及声音处理装置、声音处理方法和程序,特别地,涉及能够输出适合于预期的用途的声音信号的声音处理装置、声音处理方法和程序。
背景技术
在包括麦克风、扬声器等的***中,在一些情况下,通过在使用前进行校准调整各种参数。已知一种在执行这种校准时从扬声器输出校准声音的技术(例如,参见专利文献1)。
另外,针对回声抵消器技术,专利文献2公开了一种通信装置,该通信装置从扬声器输出所接收的声音信号,并且发送由麦克风拾取的声音信号。在该通信设备中,从不同序列输出的声音信号被分离。
引文列表
专利文献
专利文献1:日本专利申请国家公报(特开)No.2011-523836
专利文献2:日本专利申请国家公报(特开)No.2011-528806(日本专利No.5456778)
发明内容
本发明要解决的问题
另外,在输出声音信号时,在需要适应于预期用途的声音信号的输出的情况下,仅简单地通过校准调整参数或分开从不同系列输出的声音信号不足以获取适应于预期用途的声音信号。因此,需要用于实现适应于预期用途的声音信号输出的技术。
本技术是鉴于这样的状况而完成的,其旨在使得能够输出适应于预期用途的声音信号。
对问题的解决方案
根据本技术的第一方面的声音处理装置包括信号处理部,信号处理部处理由麦克风拾取的声音信号,并生成要记录在记录装置中的记录声音信号和要从扬声器输出的不同于记录声音信号的放大声音信号。
根据本技术的第一方面的声音处理方法和程序是与上述根据本技术的第一方面的声音处理装置对应的声音处理方法和程序。
在根据本技术的第一方面的声音处理装置、声音处理方法和程序中,处理由麦克风拾取的声音信号,生成要记录在记录装置中的记录声音信号和要从扬声器输出的与记录声音信号不同的放大声音信号。
根据本技术的第二方面的声音处理装置是包括信号处理部的声音处理装置,该信号处理部在处理由麦克风拾取的声音信号并从扬声器输出所述声音信号时,进行用于降低扬声器的安置方向上的灵敏度作为麦克风的方向性的处理。
在根据本技术的第二方面的声音处理装置中,在处理由麦克风拾取的声音信号并从扬声器输出声音信号时,进行降低扬声器的安置方向上的灵敏度作为麦克风的方向性的处理。
注意,根据本技术的第一方面和第二方面的声音处理装置可以是独立的装置,或者可以是包括在一个装置中的内部块。
发明的效果
根据本技术的第一方面和第二方面,可以输出适应于预期用途的声音信号。
注意,这里描述的效果不一定是限制性的,并且可以是本公开中描述的任何效果。
附图说明
图1是示出应用了本技术的麦克风和扬声器的安置示例的图。
图2是示出应用了本技术的声音处理装置的构成的第一示例的框图。
图3是示出应用了本技术的声音处理装置的构成的第二示例的框图。
图4是说明在设定时进行校准的情况下的信号处理流程的流程图。
图5是示出麦克风方向性的示例的图。
图6是说明在开始使用时进行校准的情况下的信号处理流程的流程图。
图7是示出应用了本技术的声音处理装置的构成的第三示例的框图。
图8是说明在声音放大期间进行校准的情况下的信号处理流程的流程图。
图9是示出应用了本技术的声音处理装置的构成的第四示例的框图。
图10是示出应用了本技术的声音处理装置的构成的第五示例的框图。
图11是示出应用了本技术的声音处理装置的构成的第六示例的框图。
图12是示出应用了本技术的信息处理设备的构成示例的框图。
图13是说明评价信息呈现处理的流程的流程图。
图14是示出音质得分计算的示例的图。
图15是示出评价信息的呈现的第一示例的图。
图16是示出评价信息的呈现的第二示例的图。
图17是示出评价信息的呈现的第三示例的图。
图18是示出评价信息的呈现的第四示例的图。
图19是示出计算机硬件的构成示例的图。
具体实施方式
以下,参照附图说明本技术的实施例。注意,说明按以下顺序进行。
1.本技术的实施例
(1)第一实施例:基本构成
(2)第二实施例:在设定时进行校准的构成
(3)第三实施例:在开始使用时进行校准的构成
(4)第四实施例:在离开麦克风(off-microphone)声音放大期间进行校准的构成
(5)第五实施例:对每个系列进行调节(tuning)的构成
(6)第六实施例:呈现评价信息的构成
2.变形例
3.计算机构成
<1.本技术的实施例>
一般地,在放大声音(从安置在同一房间中的扬声器再现由麦克风拾取的声音)时,使用手持麦克风、插头(pin)麦克风等。这是因为为了减少向扬声器或麦克风的潜入量(amount of sneaking),需要抑制麦克风的灵敏度,并且需要在靠近说话者的嘴的位置处安放(attach)麦克风,从而以大音量拾取声音。
另一方面,如图1所示,将通过在远离说话者的嘴的位置处安置的麦克风(例如,安放在天花板上的麦克风10)而不是手持麦克风或插头麦克风的声音放大称为离开麦克风声音放大。例如,在图1中,教师说话的语音被安放在天花板上的麦克风10拾取并在教室中放大,以便学生们能够听见它。
然而,当在教室、会议室等中实际进行离开麦克风声音放大时,出现很强的振鸣(howling)。这是因为安放在天花板上的麦克风10需要具有比手持麦克风和插头麦克风的灵敏度高的灵敏度,所以自己的声音从扬声器20潜入到麦克风10的量大,即,声耦合量大。
例如,如果从麦克风到说话者的嘴的距离增大,那么对麦克风的输入音量降低,从而需要提高麦克风增益。然而,在使用方向性麦克风的插头麦克风的情况下,在实际的教室、会议室等中,只能够对约30cm进行声音放大。
另一方面,在离开麦克风声音放大时,需要将麦克风增益增大到在使用插头麦克风时的约10倍(例如,插头麦克风:约30cm,在离开麦克风声音放大时:约3m),或在使用手持麦克风时的约30倍(例如,手持麦克风:约10cm,在离开麦克风声音放大时:约3m),使得声耦合的量非常大,除非采取措施,否则出现相当大的振鸣。
这里,为了抑制振鸣,一般地,预先测量是否出现振鸣,并且在出现振鸣的情况下,对该频率应用陷波滤波器以应对振鸣。另外,在一些情况下,代替陷波滤波器,使用图形均衡器等来减小振鸣出现的频率的增益。自动进行这样的处理的装置被称为振鸣抑制器。
在许多情况下,通过使用该振鸣抑制器,能够抑制振鸣。然而,在使用手持麦克风或插头麦克风时,由于声耦合量小,音质劣化在实用范围内,但在离开麦克风声音放大中,由于即使使用振鸣抑制器,声耦合量也很大,因此音质具有很强的混响(reverberation),仿佛人在浴室或洞穴中说话那样。
鉴于这种情况,本技术使得能够减小在离开麦克风声音放大时的振鸣以及降低混响强的音质。另外,在离开麦克风声音放大时,在放大声音信号和记录声音信号之间所要求的音质不同,存在调节它们中的每一个以获得最佳音质的需要。本技术使得能够输出适应于预期用途的声音信号。
在下文中,作为本技术的实施例,将描述第一实施例到第六实施例。
(1)第一实施例
(声音处理装置的构成的第一示例)
图2是示出应用了本技术的声音处理装置的构成的第一示例的框图。
在图2中,声音处理装置1包括A/D转换部12、信号处理部13、记录声音信号输出部14以及放大声音信号输出部15。
然而,声音处理装置1可以包括麦克风10和扬声器20。另外,麦克风10可以包括A/D转换部12、信号处理部13、记录声音信号输出部14以及放大声音信号输出部15中的全部或至少一部分。
麦克风10包括麦克风单元11-1和麦克风单元11-2。对应于两个麦克风单元11-1和11-2,在随后的级中设置两个A/D转换部12-1和12-2。
麦克风单元11-1拾取声音,并将作为模拟信号的声音信号提供给A/D转换部12-1。A/D转换部12-1将从麦克风单元11-1供给的声音信号从模拟信号转换为数字信号,并将数字信号提供给信号处理部13。
麦克风单元11-2拾取声音,并将声音信号提供给A/D转换部12-2。A/D转换部12-2将来自麦克风单元11-2的声音信号从模拟信号转换为数字信号,并将数字信号提供给信号处理部13。
信号处理部13例如被构成为数字信号处理器(DSP)等。信号处理部13对从A/D转换部12-1和12-2供给的声音信号进行预定信号处理,并输出作为该信号处理的结果而得到的声音信号。
信号处理部13包括波束赋形处理部101和振鸣抑制处理部102。
波束赋形处理部101基于来自A/D转换部12-1和12-2的声音信号,进行波束赋形处理。
该波束赋形处理可以在确保目标声音方向上的灵敏度的同时降低除目标声音方向以外的方向上的灵敏度。这里,例如,使用诸如自适应波束赋形器之类的方法来形成降低扬声器20的安置方向上的灵敏度的方向性,作为麦克风10(的麦克风单元11-1和11-2)的方向性,并生成单声道信号。即,这里,作为麦克风10的方向性,形成不拾取(尽可能地不拾取)来自扬声器20的安置方向的声音的方向性。
注意,为了使用诸如自适应波束赋形器之类的方法抑制来自扬声器20的方向的声音(为了防止声音放大),在仅从扬声器20输出声音的区间(section)中,需要学习波束赋形器的内部参数(下文中也称为波束赋形参数)。在后面将参考图3等描述波束赋形参数的该学习的详情。
波束赋形处理部101将通过波束赋形处理生成的声音信号提供给振鸣抑制处理部102。另外,在进行声音记录的情况下,波束赋形处理部101将通过波束赋形处理生成的声音信号作为记录声音信号提供给记录声音信号输出部14。
振鸣抑制处理部102基于来自波束赋形处理部101的声音信号执行振鸣抑制处理。振鸣抑制处理部102将通过振鸣抑制处理生成的声音信号作为放大声音信号提供给放大声音信号输出部15。
在该振鸣抑制处理中,例如通过使用振鸣抑制滤波器等进行用于抑制振鸣的处理。也就是说,在通过上述波束赋形处理未完全消除振鸣的情况下,通过该振鸣抑制处理完全抑制振鸣。
记录声音信号输出部14包括记录声音输出端子。记录声音信号输出部14将从信号处理部13供给的记录声音信号输出到与记录声音输出端子连接的记录装置30。
记录装置30例如是具有记录器、个人计算机等的记录部(例如,半导体存储器、硬盘、光盘等)的装置。记录装置30将从声音处理装置1(的记录声音信号输出部14)输出的记录声音信号记录为具有预定格式的记录数据。该记录声音信号是不通过振鸣抑制处理部102的高质量声音信号。
放大声音信号输出部15包括放大声音输出端子。放大声音信号输出部15将从信号处理部13供给的放大声音信号输出到与放大声音输出端子连接的扬声器20。
扬声器20处理从声音处理装置1(的放大声音信号输出部15)输出的放大声音信号,并输出与放大声音信号对应的声音。该放大声音信号通过振鸣抑制处理部102,成为完全抑制了振鸣的声音信号。
在如上所述构成的声音处理装置1中,对记录声音信号执行波束赋形处理,但是不执行振鸣抑制处理,从而可以获得高质量声音信号。另一方面,对放大声音信号连同波束赋形处理一起进行振鸣抑制处理,从而能够获得抑制了振鸣的声音信号。因此,通过对记录声音信号和放大声音信号进行不同的处理,能够调节它们中的每一个以达到最佳音质,从而能够输出适应于诸如记录、放大等之类的预期用途的声音信号。
即,在声音处理装置1中,如果关注于放大声音信号,则通过进行波束赋形处理和振鸣抑制处理以降低在离开麦克风声音放大时的振鸣,并降低混响声音质量,从而可以输出更适合于放大的声音信号。另一方面,如果关注于记录声音信号,则不必进行造成音质劣化的振鸣抑制处理。因此,在声音处理装置1中,作为输出到记录装置30的记录声音信号,输出不通过振鸣抑制处理部102的高质量声音信号,从而可以记录更适合于记录的声音信号。
注意,在图2所示的构成中,示出了设置两个麦克风单元11-1和11-2的情况,但是可以设置三个或更多个麦克风单元。例如,在进行上述波束赋形处理的情况下,设置更多的麦克风单元是有利的。此外,在图1和图2所示的构成中,图示了安置一个扬声器20的构成,但是扬声器20的数量不限于一个,而是可以安置多个扬声器20。
另外,在图2所示的构成中,示出了在麦克风单元11-1和11-2的后级中设置A/D转换部12-1和12-2的构成,但是可以在A/D转换部12-1和12-2的每个前级中设置放大器,从而输入放大后的声音信号(模拟信号)。
(2)第2实施例
(声音处理装置的构成的第二示例)
图3是示出应用了本技术的声音处理装置的构成的第二示例的框图。
在图3中,与图2所示的声音处理装置1相比,声音处理装置1A的不同之处在于设置信号处理部13A来代替信号处理部13。
信号处理部13A包括波束赋形处理部101、振鸣抑制处理部102以及校准信号生成部111。
波束赋形处理部101包括参数学习部121。参数学习部121基于由麦克风10拾取的声音信号来学习在波束赋形处理中使用的波束赋形参数。
即,在波束赋形处理部101中,为了通过使用诸如自适应波束赋形器之类的方法抑制来自扬声器20的方向的声音(以防止声音放大),在仅从扬声器20输出声音的区间中,学习波束赋形参数,并且计算用于降低扬声器20的安置方向上的灵敏度的方向性,作为麦克风10的方向性。
注意,作为麦克风10的方向性,降低扬声器20的安置方向上的灵敏度换言之是在扬声器20的安置方向上创建盲点(所谓的零(NULL)方向性),由此,可以不拾取(尽可能不拾取)来自扬声器20的安置方向的声音。
这里,在由扬声器20进行根据放大声音信号的声音放大的情形下,说话者的声音和来自扬声器20的声音同时输入到麦克风10A,所以这不适合作为学习区间。因此,预先(例如,在设定时)设置用于调整波束赋形参数的校准时段,并且在该校准时段期间,从扬声器20输出校准声音,以准备仅从扬声器20输出声音的区间,并学习波束赋形参数。
从扬声器20输出的校准声音是在将由校准信号生成部111生成的校准信号经由放大声音信号输出部15提供给扬声器20时输出的。校准信号生成部111例如生成诸如白噪声信号或时间扩展脉冲(Time Stretched Pulse,TSP)信号之类的校准信号,并作为校准声音从扬声器20输出所述信号。
注意,在上述说明中,在波束赋形处理中,作为抑制来自扬声器20的安置方向的声音的方法的示例,对自适应波束赋形器进行了说明,但是,例如,诸如延迟和方法和三麦克风积分方法之类的其他方法也是已知的,并且要使用的波束赋形方法是任意的。
在如上所述构成的声音处理装置1A中,进行在如图4的流程图中所示的在设定时进行校准的情况下的信号处理。
在步骤S11中,确定是否是在设定时。在步骤S11中确定是在设定时的情况下,处理进行到步骤S12,为了进行设定时的校准,进行步骤S12~S14的处理。
在步骤S12中,校准信号生成部111生成校准信号。例如,生成白噪声信号、TSP信号等作为校准信号。
在步骤S13中,放大声音信号输出部15将由校准信号生成部111生成的校准信号输出到扬声器20。
因此,扬声器20输出与来自声音处理装置1A的校准信号相应的校准声音(例如,白噪声等)。另一方面,麦克风10(的麦克风单元11-1和11-2)拾取校准声音(例如,白噪声等),从而,在声音处理装置1A中,在对声音信号进行了诸如A/D转换之类的处理之后,将信号输入到信号处理部13A。
在步骤S14,参数学习部121基于拾取的校准声音来学习波束赋形参数。作为这里的学习,为了通过使用诸如自适应波束赋形器之类的方法来抑制来自扬声器20的方向的声音,在仅从扬声器20输出校准声音(例如,白噪声等)的区间中,学习波束赋形参数。
当步骤S14的处理结束时,处理进行到步骤S22。在步骤S22中,确定是否要结束信号处理。在步骤S22中确定继续信号处理的情况下,处理返回到步骤S11,并且重复步骤S11和随后的步骤中的处理。
另一方面,在步骤S11中确定不在设定时的情况下,处理进行到步骤S15,为了进行离开麦克风声音放大中的处理,进行步骤S15~S21的处理。
在步骤S15,波束赋形处理部101输入由麦克风10(的麦克风单元11-1和11-2)拾取的声音信号。例如,声音信号包括由说话者发出的声音。
在步骤S16,波束赋形处理部101基于由麦克风10拾取的声音信号来进行波束赋形处理。
在该波束赋形处理中,在设定时,使用诸如应用通过进行步骤S12到S14中的处理而学习的波束赋形参数的自适应波束赋形器之类的方法,作为麦克风10的方向性,形成扬声器20在安置方向上的灵敏度被减小(不拾取(尽可能不拾取)来自扬声器20的安置方向的声音)的方向性。
在此,图5通过极性图案示出了麦克风10的方向性。在图5中,在图中通过粗线S表示麦克风10周围360度的灵敏度,但是麦克风10的方向性是安置扬声器20的方向性,并使得在图中的角度θ的后方向上形成盲点(NULL方向性)。
即,在波束赋形处理中,通过使盲点指向扬声器20的安置方向,可以形成降低扬声器20的安置方向上的灵敏度(不拾取(尽可能不拾取)来自扬声器20的安置方向的声音)的方向性。
在步骤S17中,确定是否输出记录声音信号。如果在步骤S17中确定要输出记录声音信号,则处理进行到步骤S18。
在步骤S18,记录声音信号输出部14将通过波束赋形处理获得的记录声音信号输出到记录装置30。因此,记录装置30可以将不通过振鸣抑制处理部102的高质量记录声音信号记录为记录数据。
当步骤S18的处理结束时,处理进行到步骤S19。注意,如果在步骤S17中确定不输出记录声音信号,则跳过步骤S18的处理,并且处理进行到步骤S19。
在步骤S19中,确定是否要输出放大声音信号。在步骤S19中确定为要输出放大声音信号的情况下,处理进行到步骤S20。
在步骤S20中,振鸣抑制处理部102基于通过波束赋形处理获得的声音信号来进行振鸣抑制处理。在该振鸣抑制处理中,例如,通过使用振鸣抑制滤波器等进行用于抑制振鸣的处理。
在步骤S21中,放大声音信号输出部15向扬声器20输出通过振鸣抑制处理获得的放大声音信号。因此,扬声器20可以输出与通过振鸣抑制处理部102完全抑制了振鸣的放大声音信号对应的声音。
当步骤S21的处理结束时,处理进行到步骤S22。注意,在步骤S19中确定为不输出放大声音信号的情况下,跳过步骤S20~S21的处理,处理进行到步骤S22。
在步骤S22中,确定是否要结束信号处理。在步骤S22中确定继续信号处理的情况下,处理返回到步骤S11,并且重复步骤S11和随后的步骤中的处理。另一方面,在步骤S22中确定要结束信号处理的情况下,图4所示的信号处理结束。
以上说明了在设定时进行校准的情况下的信号处理的流程。在该信号处理中,通过在设定时进行校准来学习波束赋形参数,以及在离开麦克风声音放大时,通过使用诸如应用学习到的波束赋形参数的自适应波束赋形器之类的方法,进行波束赋形处理。因此,可以使用更合适的波束赋形参数作为波束赋形参数来进行波束赋形处理,以使得扬声器20的安置方向变成盲点。
(3)第三实施例
在上述第二实施例中,说明了在设定时使用白噪声等进行校准的情况。然而,仅通过在设定时进行校准,由于例如归因于麦克风10随时间的劣化、在房间的入口处安置的门的开关等而引起的声音***的变化,认为来自扬声器20的安置方向的声音抑制量变得比在安置扬声器20时差。结果,存在在离开麦克风声音放大时发生振鸣以及放大质量劣化的可能性。
因此,在第三实施例中,例如,将描述如下构成:例如,在诸如课程开始或会议开始之类的使用开始时(在开始放大之前的时段),从扬声器20输出声音效果,并且通过麦克风10拾取声音效果,进行该区间中的波束赋形参数的学习(重新学习),以及进行扬声器20的安置方向上的校准。
注意,在第三实施例中,声音处理装置1的构成与图3所示的声音处理装置1A的构成相似,因此这里略去对构成的描述。
图6是说明在使用开始时进行校准时的信号处理的流程的流程图,该处理由第三实施例的声音处理装置1A(图3)进行。
在步骤S31中,确定是否按下了诸如放大开始按钮或记录开始按钮之类的开始按钮。在步骤S31中确定开始按钮未被按下的情况下,重复步骤S31的确定处理,并且处理等待,直到开始按钮被按下。
在步骤S31中确定为按下了开始按钮的情况下,处理进行到步骤S32,为了进行使用开始时的校准,进行步骤S32~S34的处理。
在步骤S32中,校准信号生成部111生成声音效果信号。
在步骤S33中,放大声音信号输出部15将由校准信号生成部111生成的声音效果信号输出到扬声器20。
因此,扬声器20输出与来自声音处理装置1A的声音效果信号对应的声音效果。另一方面,麦克风10拾取声音效果,从而,在声音处理装置1A中,在对声音信号进行诸如A/D转换之类的处理之后,将信号输入到信号处理部13A。
在步骤S34,参数学习部121基于拾取的声音效果来学习(重新学习)波束赋形参数。作为这里的学习,为了通过使用诸如自适应波束赋形器之类的方法来抑制来自扬声器20的方向的声音,在仅从扬声器20输出声音效果的区间中,学习波束赋形参数。
当步骤S34的处理结束时,处理进行到步骤S35。在步骤S35~S41中,与上述图4的步骤S15~S21类似地,进行离开麦克风声音放大时的处理。此时,在步骤S36的处理中,进行波束赋形处理,但是这里,在使用开始时,使用诸如应用通过进行步骤S32~S34的处理而重新学习的波束赋形参数的自适应波束赋形器之类的方法,以形成麦克风10的方向性。
以上说明了在使用开始时进行校准的情况下的信号处理的流程。在该信号处理中,例如,在诸如课程开始或会议开始之类的声音放大开始之前从扬声器20输出声音效果,并通过麦克风10拾取该声音效果,然后在该区间中进行波束赋形参数的重新学习。通过使用这样的重新学习的波束赋形参数,能够防止由于例如归因于麦克风10随时间的劣化、在房间的入口处安置的门的开关等而引起的声音***的变化,来自扬声器20的安置方向的声音抑制量变得比在安置扬声器20时差,结果,可以更可靠地抑制在离开麦克风声音放大时的振鸣以及声音放大质量劣化的发生。
注意,在第三实施例中,作为在声音放大开始前的时段中从扬声器20输出的声音,描述了声音效果,但该声音不限于声音效果,可以使用其他声音进行使用开始时的校准。可以使用其他声音,只要它是与由校准信号生成部111生成的声音的信号对应的声音(预定声音)即可。
(4)第四实施例
在上述第三实施例中,例如说明了在课程或会议开始时输出声音效果并进行校准的情况,但在第四实施例中,将描述对声音信号的掩蔽频带附加噪声,使得能够在离开麦克风声音放大期间进行校准的构成。
(声音处理装置的构成的第三示例)
图7是示出应用了本技术的声音处理装置的构成的第三示例的框图。
在图7中,与图3所示的声音处理装置1A相比,声音处理装置1B的不同之处在于设置信号处理部13B来代替信号处理部13A。除了波束赋形处理部101、振鸣抑制处理部102和校准信号生成部111之外,信号处理部13B还新设置有掩蔽噪声附加部112。
掩蔽噪声附加部112将噪声附加到从振鸣抑制处理部102提供的放大声音信号的掩蔽频带,并将附加了噪声的放大声音信号提供给放大声音信号输出部15。由此,扬声器20输出与附加了噪声的放大声音信号对应的声音。
参数学习部121基于由麦克风10拾取的声音中包含的噪声来学习(或重新学习)波束赋形参数。因此,波束赋形处理部101使用诸如自适应波束赋形器之类的方法来进行波束赋形处理,所述自适应波束赋形器应用在离开麦克风声音放大期间学习的(即,在声音放大之后学习的)波束赋形参数。
在如上所述构成的声音处理装置1B中,进行在如图8的流程图所示在离开麦克风声音放大期间进行校准的情况下的信号处理。
在步骤S61和S62中,与上述图4的步骤S15和S16类似,波束赋形处理部101基于由麦克风单元11-1和11-2拾取的声音信号,进行波束赋形处理。
在步骤S63和S64中,与上述图4的步骤S17和S18类似,在确定为要输出记录声音信号的情况下,记录声音信号输出部14将通过波束赋形处理得到的记录声音信号输出到记录装置30。
在步骤S65中,确定是否要输出放大声音信号。在步骤S65中确定为要输出放大声音信号的情况下,处理进行到步骤S66。
在步骤S66中,振鸣抑制处理部102基于通过波束赋形处理获得的声音信号来进行振鸣抑制处理。
在步骤S67中,掩蔽噪声附加部112将噪声附加到通过振鸣抑制处理获得的声音信号(放大声音信号)的掩蔽频带。
这里,例如,在输入到麦克风10的某个输入声音(声音信号)是向低频带偏置的声音的情况下,由于在高频带中不存在输入声音(声音信号),所以可以将通过对其附加噪声而获得的声音用于高频带校准。
然而,如果向该高频范围附加的噪声的音量大,则担心噪声明显。因此,这里的附加的噪声量被限制于掩蔽水平。注意,在该示例中,为了简化说明,简单地示出了低频带和高频带的模式,但是这可以适用于所有通常的掩蔽频带。
在步骤S68中,放大声音信号输出部15将附加了噪声的放大声音信号输出到扬声器20。因此,扬声器20输出与附加了噪声的放大声音信号对应的声音。
在步骤S69中,确定是否要进行离开麦克风声音放大期间的校准。在步骤S69中确定为在离开麦克风声音放大期间进行校准的情况下,处理进行到步骤S70。
在步骤S70中,参数学习部121基于包含在拾取的声音中的噪声来学习(或重新学习)波束赋形参数。作为这里的学习,为了通过使用诸如自适应波束赋形器之类的方法来抑制来自扬声器20的方向的声音,基于附加到从扬声器20输出的声音的噪声学习(调整)波束赋形参数。
当步骤S70的处理结束时,处理进行到步骤S71。另外,在步骤S65中确定为不输出放大声音信号的情况下,或者还在步骤S69中确定为不进行离开麦克风声音放大期间的校准的情况下,处理进行到步骤S71。
在步骤S71中,确定是否要结束信号处理。在步骤S71中确定继续信号处理的情况下,处理返回到步骤S61,并且重复步骤S61和随后步骤中的处理。此时,在步骤S62的处理中,进行波束赋形处理,但是这里,使用诸如应用通过步骤S70的处理在离开麦克风声音放大期间学习的波束赋形参数的自适应波束赋形器之类的方法,以形成麦克风10的方向性。
注意,在步骤S71中确定为要结束信号处理的情况下,图8所示的信号处理结束。
以上说明了在离开麦克风声音放大期间进行校准的情况下的信号处理流程。在该信号处理中,对放大声音信号的掩蔽频带附加噪声,以及在离开麦克风声音放大期间进行校准,因此,能够在不输出如第三实施例中那样的声音效果的情况下进行校准。
(5)第五实施例
在上述实施例中,作为由信号处理部13进行的信号处理,仅说明了波束赋形处理和振鸣抑制处理,但是对于拾取的声音信号的信号处理不限于此,可以进行其他的信号处理。
在进行这样的其他信号处理时,当在其他信号处理中使用的参数被分成记录(记录声音信号)系列和放大(放大声音信号)系列时,可以进行适应于每个系列的调节。例如,在记录系列中,可以将参数设定成使得强调音质并均衡音量,而在放大系列中,可以将参数设定成使得强调噪声抑制量并且不强力地调整音量。
因此,在第五实施例中,说明对记录系列和放大系列中的每个系列设定合适的参数,使得能够进行适应于每个系列的调节的构成。
(声音处理装置的构成的第四示例)
图9是示出了应用了本技术的声音处理装置的构成的第四示例的框图。
在图9中,声音处理装置1C与图2所示的声音处理装置1的不同之处在于设置了信号处理部13C而不是信号处理部13。
信号处理部13C包括波束赋形处理部101、振鸣抑制处理部102、噪声抑制部103-1和103-2以及音量调整部106-1和106-2。
波束赋形处理部101进行波束赋形处理,将通过波束赋形处理获得的声音信号提供给振鸣抑制处理部102。另外,在进行声音记录的情况下,波束赋形处理部101将通过波束赋形处理获得的声音信号作为记录声音信号提供给噪声抑制部103-1。
噪声抑制部103-1对从波束赋形处理部101提供的记录声音信号进行噪声抑制处理,并将作为结果的记录声音信号提供给音量调整部106-1。例如,噪声抑制部103-1被调节以强调音质,以及在进行噪声抑制处理时,在强调记录声音信号的音质的同时,抑制噪声。
音量调整部106-1对从噪声抑制部103-1提供的记录声音信号进行音量调整处理(例如,自动增益控制(AGC)处理),并将作为结果的记录声音信号提供给记录声音信号输出部14。例如,音量调整部106-1被调节,使得音量被均衡,以及在进行音量调整处理时,为了使得容易听到从小声音到大声音,调整记录声音信号的音量,使得小声音和大声音被均衡。
记录声音信号输出部14将从信号处理部13C(的音量调整部106-1)提供的记录声音信号输出到记录装置30。因此,记录装置30能够例如作为适合于记录的声音信号记录记录声音信号,该记录声音信号已被调整,使得音质是优选的,并且容易听到从小声音到大声音的声音。
振鸣抑制处理部102基于来自波束赋形处理部101的声音信号进行振鸣抑制处理。振鸣抑制处理部102将通过振鸣抑制处理获得的声音信号作为声音放大用声音信号提供给噪声抑制部103-2。
噪声抑制部103-2对从振鸣抑制处理部102提供的放大声音信号进行噪声抑制处理,并且将作为结果的放大声音信号提供给音量调整部106-2。例如,在强调噪声抑制量的情况下调节噪声抑制部103-2,以及在进行噪声抑制处理时,在与音质相比更强调噪声抑制量的同时,抑制放大声音信号中的噪声。
音量调整部106-2对从噪声抑制部103-2提供的放大声音信号进行音量调整处理(例如,AGC处理),并且将作为结果的放大声音信号提供给放大声音信号输出部15。例如,音量调整部106-2被调节,使得不强力调整音量,以及在进行音量调整处理时,放大声音信号的音量被调整,使得在离开麦克风声音放大时的音质难以劣化,或者振鸣难以发生。
放大声音信号输出部15将从信号处理部13C(的音量调整部106-2)提供的放大声音信号输出到扬声器20。因此,在扬声器20中,例如,作为适合于离开麦克风声音放大的声音,可以基于放大声音信号输出声音,该放大声音信号已被调整为如下的声音:其中噪声被进一步抑制,并且在离开麦克风声音放大时音质不劣化,并且振鸣难以发生。
在如上所述构成的声音处理装置1C中,针对包括波束赋形处理部101、噪声抑制部103-1和音量调整部106-1的记录系列以及包括波束赋形处理部101、振鸣抑制处理部102、噪声抑制部103-2和音量调整部106-2的放大系列的每个系列设定适当的参数,以及进行适应于每个系列的调节。因此,在记录时,可以将更适合于记录的记录声音信号记录在记录装置30中,而在离开麦克风声音放大时,可以将更适合于声音放大的放大声音信号输出到扬声器20。
(声音处理装置的构成的第五示例)
图10是示出应用了本技术的声音处理装置的构成的第五示例的框图。
在图10中,与图2所示的声音处理装置1相比,声音处理装置1D的不同之处在于设置信号处理部13D来代替信号处理部13。另外,在图10中,麦克风10包括麦克风单元11-1至11-N(N:1或更大的整数),对应于N个麦克风单元11-1至11-N,设置N个A/D转换部12-1至12-N。
信号处理部13D包括波束赋形处理部101、振鸣抑制处理部102、噪声抑制部103-1和103-2、混响抑制部104-1和104-2、音质调整部105-1和105-2、音量调整部106-1和106-2、校准信号生成部111和掩蔽噪声附加部112。
即,与图9所示的声音处理装置1C的信号处理部13C相比,信号处理部13D除了作为记录系列的波束赋形处理部101、噪声抑制部103-1和音量调整部106-1之外,还设置有混响抑制部104-1和音质调整部105-1。此外,信号处理部13D除了波束赋形处理部101、振鸣抑制处理部102、噪声抑制部103-2和音量调整部106-2之外,还设置有混响抑制部104-2和音质调整部105-2。
在记录系列中,混响抑制部104-1对从噪声抑制部103-1提供的记录声音信号进行混响抑制处理,并且将作为结果的记录声音信号提供给音质调整部105-1。例如,混响抑制部104-1被调节以适合于记录,以及在进行混响抑制处理时,基于记录参数抑制包含在记录声音信号中的混响。
音质调整部105-1对从混响抑制部104-1提供的记录声音信号进行音质调整处理(例如,均衡器处理),并且将作为结果的记录声音信号提供给音量调整部106-1。例如,音质调整部105-1被调节以适合于记录,以及在进行音质调整处理时,基于记录参数调整记录声音信号的音质。
另一方面,在放大系列中,混响抑制部104-2对从噪声抑制部103-2提供的放大声音信号进行混响抑制处理,并且将作为结果的放大声音信号提供给音质调整部105-2。例如,混响抑制部104-2被调节以适合于放大,以及在进行混响抑制处理时,基于放大参数抑制包含在放大声音信号中的混响。
音质调整部105-2对从混响抑制部104-2提供的放大声音信号进行音质调整处理(例如,均衡器处理),并且将作为结果的放大声音信号提供给音量调整部106-2。例如,音质调整部105-2被调节以适合于放大,以及在进行音质调整处理时,基于放大参数调整放大声音信号的音质。
在如上所述构成的声音处理装置1D中,针对包括波束赋形处理部101和噪声抑制部103-1或音量调整部106-1的记录系列以及包括波束赋形处理部101、振鸣抑制处理部102和噪声抑制部103-2或音量调整部106-2的放大系列的每个系列设定适当的参数(例如,记录用参数和放大用参数),以及进行适应于每个系列的每个处理部的调节。
注意,在图10中,振鸣抑制处理部102包括振鸣抑制部131。振鸣抑制部131包括振鸣抑制滤波器等,并且进行用于抑制振鸣的处理。此外,尽管图10示出了针对记录序列和放大序列中的每一个设置波束赋形处理部101的构成,但是可以将每个序列的波束赋形处理部101集成为一个。
另外,通过图3所示的信号处理部13A和图7所示的信号处理部13B说明了校准信号生成部111和掩蔽噪声附加部112,因此在此省略其说明。然而,在校准时,输出来自校准信号生成部111的校准信号,同时在离开麦克风声音放大时,掩蔽噪声附加部112能够输出附加了来自掩蔽噪声附加部112的噪声的放大声音信号。
(声音处理装置的构成的第六示例)
图11是示出应用了本技术的声音处理装置的构成的第六示例的框图。
在图11中,与图2所示的声音处理装置1相比,声音处理装置1E的不同之处在于设置信号处理部13E来代替信号处理部13。
信号处理部13E包括作为波束赋形处理部101的波束赋形处理部101-1和波束赋形处理部101-2。
波束赋形处理部101-1基于来自A/D转换部12-1的声音信号,进行波束赋形处理。波束赋形处理部101-2基于来自A/D转换部12-2的声音信号进行波束赋形处理。
如上所述,在信号处理部13E中,与两个麦克风单元11-1和11-2对应地设置两个波束赋形处理部101-1和101-2。在波束赋形处理部101-1和101-2中,学习波束赋形参数,并且进行使用学习到的波束赋形参数的波束赋形处理。
注意,在图11的信号处理部13E中,说明了与两个麦克风单元11(11-1,11-2)和A/D转换部12(12-1,12-2)相应地设置两个波束赋形处理部101(101-1,101-2)的情况。然而,在设置更大数量的麦克风单元11的情况下,波束赋形处理部101可以相应地被添加。
(6)第六实施例
顺便说一下,可以通过波束赋形处理减少来自扬声器20的声音的潜入,但是抑制量是有限的。因此,如果在离开麦克风声音放大时提高声音放大音量,那么音质非常有混响感,仿佛人在浴室等中说话一样。即,在离开麦克风声音放大时,声音放大音量和音质存在折衷关系。
在第六实施例中,将描述如下的构成:其中,为了使得诸如麦克风10或扬声器20的安置者之类的用户能够确定声音放大音量是否合适,例如,考虑到这样的音量与音质之间的关系,生成和呈现包括关于离开麦克风声音放大时的音质的评价的信息(以下,称为评价信息)。
(信息处理设备的构成示例)
图12是示出应用了本技术的信息处理设备的示例的框图。
信息处理设备100是用于作为用于评价声音放大音量是否适当的指标,计算并呈现音质得分的装置。
信息处理设备100基于用于计算音质得分的数据(以下,称为得分计算数据)来计算音质得分。此外,信息处理设备100基于用于生成评价信息的数据(下文中称为评价信息生成数据)来生成评价信息,并将评价信息呈现在显示装置40上。注意,评价信息生成数据例如包括计算出的音质得分和在进行离开麦克风声音放大时获得的信息,如扬声器20的安置信息。
显示装置40例如是具有诸如液晶显示器(LCD)或有机发光二极管(OLED)之类的显示器的装置。显示设装置40呈现从信息处理设备100输出的评价信息。
注意,信息处理设备100当然可以被构成为例如组成声音放大***的声音装置、专用测量装置、或诸如个人计算机之类的单个电子装置,也可以被构成为诸如声音处理装置1、麦克风10以及扬声器20之类的上述电子装置的功能的一部分。此外,信息处理设备100和显示装置40可以是一体的,并且可以被构成为一个电子装置。
在图12中,信息处理设备100包括音质得分计算部151、评价信息生成部152以及呈现控制部153。
音质得分计算部151基于输入给它的得分计算数据来计算音质得分,并将音质得分提供给评价信息生成部152。
评价信息生成部152基于输入给它的评价信息生成数据(例如,音质得分、扬声器20的安置信息等)来生成评价信息,并将评价信息提供给呈现控制部153。例如,该评价信息包括离开麦克风声音放大时的音质得分、与该音质得分相应的消息等。
呈现控制部153进行在显示装置40的屏幕上呈现从评价信息生成部152提供的评价信息的控制。
在如上所述构成的信息处理设备100中,进行如图13的流程图所示的评价信息呈现处理。
在步骤S111中,音质得分计算部151基于得分计算数据计算音质得分。
例如,可以通过校准时的声音潜入量与波束赋形抑制量的积来获得该音质得分,如以下式(1)所示。
音质得分=声音潜入量×波束赋形抑制量(1)
这里,图14示出了音质得分的计算示例。在图14中,针对四个情况A至D中的每一个计算音质得分。
在情况A中,由于获得了6dB的声音潜入量和-12dB的波束赋形抑制量,所以通过计算式(1),可以获得-6dB的音质得分。注意,在该示例中,因为以分贝表示单位,所以乘法是加法。
类似地,在情况B中,根据6dB的声音潜入量和-18dB的波束赋形抑制量,计算-12dB的音质得分。此外,在情况C中,根据0dB的声音潜入量和-12dB的波束赋形抑制量,计算-12dB的音质得分,在情况D中,根据0dB的声音潜入量和-18dB的波束赋形抑制量,计算-18dB的音质得分。
如上所述,例如,如情况A中那样,在声音潜入量大并且波束赋形抑制量小的情况下,音质得分高,这对应于差的音质。另一方面,例如,如情况D中那样,在声音潜入量小并且波束赋形抑制量大的情况下,音质得分低,这对应于优选的音质。另外,在该示例中,情况B和C的音质得分在情况A与D的音质得分之间,所以情况B和C的音质相当于情况A和D的中间音质(中等音质)。
注意,这里,示出了使用式(1)计算音质得分的示例,但是该音质得分是用于评价声音放大音量是否适当的指标的一个示例,可以使用其他指标。例如,只要能够示出在声音放大音量和音质之间的折衷关系的当前状况,就可以使用任何得分,例如通过计算每个频带的音质得分而获得的得分。另外,高音质、中音质和低音质这三级评价是一个示例,例如,可以通过阈值判定按两个级或四个或更多个级进行评价。
返回到图13,在步骤S112,评价信息生成部152基于包括由音质得分计算部151计算的音质得分的评价信息生成数据来生成评价信息。
在步骤S113中,呈现控制部153在显示装置40的屏幕上呈现由评价信息生成部152生成的评价信息。
在此,图15到图18示出了评价信息的呈现示例。
(高音质的情况下的呈现)
图15示出了当通过音质得分评价音质为较好时的评价信息的呈现示例。如图15所示,在显示装置40的画面上显示等级条401以及消息区域402,该等级条401根据音质得分以3个级表示放大声音的状态,该消息区域402显示与该状态有关的消息。注意,在等级条401中,图中的左端表示音质得分的最小值,图中的右端表示音质得分的最大值。
在图15的A的示例中,由于放大声音的音质处于高音质状态,所以在等级条401中,呈现了第一级的级别411-1(例如,绿色条),其占据与音质得分相应的预定比例(第一比例)。另外,在消息区域402中,呈现“声音放大的音质高。可以进一步提高音量。”的消息。
另外,作为高音质的情况下的其他呈现示例,在图15的B的示例中,在消息区域402中呈现“声音放大的音质高。可以增加扬声器的个数。”的消息。
因此,诸如麦克风10或扬声器20的安置者之类的用户能够检查等级条401或消息区域402,以认识到在离开麦克风声音放大时声音放大的音质高、能够提高音量或能够增加扬声器20的个数,并且可以根据识别结果采取措施(例如,调整音量、调整扬声器20的数量和取向等)。
(中等音质时的呈现)
图16示出了当通过音质得分评价音质是中等音质时的评价信息的呈现示例。在图16中,与图15类似,在显示装置40的画面上显示等级条401和消息区域402。
在图16的A的示例中,由于放大声音的音质处于中音质状态,所以在等级条401中,呈现占据与音质得分相应的预定比例(第二比例:第二比例>第一比例)的第一级的级别411-1(例如绿色条)和第二级的级别411-2(例如黄色条)。另外,在消息区域402中,呈现“进一步提高音量劣化音质。”的消息。
另外,作为中等音质的情况的其他呈现示例,在图16的B的示例中,在消息区域402中,呈现“音量可应用于声音放大,但是减少扬声器的个数或调整扬声器取向可以改进音质。”。
因此,用户可以检查等级条401或消息区域402,以认识到在离开麦克风声音放大时,声音放大的音质是中等音质,难以再提高音量,或者可以通过减少扬声器20的个数或者调整扬声器20的取向来改善音质,并且可以根据认识结果采取措施。
(低音质的情况下的呈现)
图17示出了当通过音质得分将音质评价为差的情况下的评价信息的呈现示例。在图17中,与图15和图16类似,在显示装置40的画面上显示等级条401和消息区域402。
在图17的A的示例中,由于放大声音的音质处于差音质状态,所以在等级条401中,呈现占据与音质得分相应的预定比例(第三比例:第三比例>第二比例)的第一级的级别411-1(例如绿色条)、第二级的级别411-2(例如,黄色条)以及第三级的级别411-3(例如,红色条)。另外,在消息区域402中,呈现“音质劣化。请降低声音放大音量。”的消息。
另外,作为中等音质的情况下的其他呈现示例,在图17的B的示例中,在消息区域402中,呈现“音质劣化。请减少扬声器的个数或调整扬声器取向。”。
因此,用户可以检查等级条401或消息区域402,以认识到在离开麦克风声音放大时,声音放大的音质为低音质,需要降低声音放大音量,或者需要减少扬声器20的个数或调整扬声器20的取向,并且可以根据认识结果采取措施。
(调整时音质评价结果的转变)
图18示出了当用户进行调整时评价信息的呈现示例。
如图18所示,在显示装置40的画面上,显示用于显示示出在调整时的音质得分的时间变化的曲线图的曲线图区域403。在该曲线图区域403中,纵轴表示音质得分,意味着朝向图中的上侧,音质得分的值增大。此外,横轴表示时间,时间的方向是从图中的左侧到右侧。
这里,在调整时进行的调整除了声音放大音量的调整之外,还包括例如诸如为麦克风10安置的扬声器20的个数的调整或扬声器20的取向的调整之类的扬声器20的调整。通过进行这样的调整,在曲线图区域403中,由表示每个时间的音质得分的值的曲线C所示的值随时间而变化。
例如,在曲线图区域403中,纵轴方向根据音质得分被分为3个级。在由曲线C所示的音质得分在第一级的区域421-1中的情况下,这表示放大声音的音质处于高音质状态。另外,在由曲线C所示的音质得分在第二级的区域421-2中的情况下,这表示放大声音的音质处于中音质状态,以及在音质得分在第三级的区域421-3中的情况下,这表示放大声音的音质处于低音质状态。
因此,在放大声音的音量或扬声器20的调整时,用户能够检查该音质的评价结果的转变,以直观地认识到该调整的改善效果。具体地,在曲线图区域403中,如果曲线C所示的值从第三级的区域421-3内改变到第一级的区域421-1内,这意味着能够看到音质的改善。
注意,图15到18所示的评价信息的呈现示例是一个示例,并且评价信息可以通过其他用户界面来呈现。例如,可以使用其他方法,只要它是能够呈现诸如发光二极管(LED)的照明模式和声音输出之类的评价信息的方法即可。
返回到图13,当步骤S113的处理结束时,评价信息呈现处理结束。
以上说明了评价信息呈现处理的流程。在该评价信息呈现处理中,在离开麦克风声音放大时,考虑放大声音与音质之间的关系,呈现表示声音放大音量是否适当的评价信息,从而诸如麦克风10或扬声器20的安置者之类的用户能够确定当前的调整是否适当。因此,用户能够在保持音量和音质平衡的同时,进行与预期用途相应的操作。
注意,在上述专利文献2中,尽管在通信装置中从不同系列输出的声音信号被分开,但是,在声音信号的该分开中,声音信号初始时是不同的,并且与和上述第一实施例~第六实施例所示的记录声音信号和放大声音信号初始时相同的声音信号完全不同。
换言之,专利文献2公开的技术是“将从其他方的房间发送来的声音信号从自己房间的扬声器输出,并将在自己房间获得的声音信号发送到其他方的房间”。另一方面,本技术是“由在该房间(自己的房间)中的扬声器对在自己房间中获得的声音信号进行声音放大,同时,在记录器等中记录声音信号”。然后,在本技术中,要通过扬声器进行声音放大的放大声音信号和要记录在记录器等中的记录声音信号是原本相同的声音信号,但是,例如,通过不同的调节或参数使它们成为适应于预期用途的声音信号。
<2.变形例>
注意,在上述说明中,声音处理装置1包含A/D转换部12、信号处理部13、记录声音信号输出部14以及放大声音信号输出部15。然而,信号处理部13等可以被包含在麦克风10、扬声器20等中。即,在由诸如麦克风10、扬声器20和记录装置30之类的装置构成声音放大***的情况下,可以在包含在该声音放大***中的任意装置中包括信号处理部13等。
换言之,声音处理装置1可以被构成为进行诸如波束赋形处理和振鸣抑制处理之类的信号处理的专用声音处理装置,并且例如,也可以被包括在麦克风10或扬声器20中,作为声音处理部(声音处理电路)。
另外,在上述说明中,作为要经受不同的信号处理的系列,说明了记录系列和放大系列。然而,通过设置除记录系列和放大系列以外的其他系列,可以进行适应于其他系列的调节(参数设定)。
<3.计算机构成>
上述一系列处理也可以由硬件进行,或者可以由软件进行。当通过软件执行一系列处理时,组成软件的程序安装在每个装置的计算机中。图19是示出通过程序执行上述一系列处理(例如,图4、图6、图8所示的信号处理和图13所示的呈现处理)的计算机的硬件构成的示例的框图。
在计算机1000中,中央处理器(CPU)1001、只读存储器(ROM)1002以及随机存取存储器(RAM)1003通过总线1004相互连接。输入和输出接口1005还连接到总线1004。输入部1006、输出部1007、记录部1008、通信部1009以及驱动器1010连接到输入和输出接口1005。
输入部1006包括麦克风、键盘、鼠标等。输出部1007包括扬声器、显示器等。记录部1008包括硬盘、非易失性存储器等。通信部1009包括网络接口等。驱动器1010驱动可移除记录介质1011,例如磁盘、光盘、磁光盘或半导体存储器。
在如上所述构成的计算机1000中,CPU 1001经由输入和输出接口1005和总线1004将记录在ROM 1002或记录部1008中的程序加载到RAM 1003中,并执行该程序,从而进行上述系列处理。
计算机1000(CPU 1001)执行的程序例如可以通过记录在作为封装介质的记录介质1011等上来提供。另外,程序可以通过有线或无线传输介质(例如局域网、因特网或数字卫星广播)来提供。
在计算机1000中,通过将记录介质1011安装到驱动器1010,能够经由输入和输出接口1005将程序安装在记录部1008中。另外,程序可以通过通信部1009经由有线或无线传输介质接收,并安装在记录部1008中。另外,程序可以预先安装在ROM 1002或记录部1008中。
这里,在本说明书中,计算机根据程序进行的处理不一定需要按照流程图中描述的顺序按时间序列进行。即,计算机根据程序进行的处理还包括并行或单独执行的处理(例如,并行处理或按对象的处理)。另外,程序可以由一个计算机(处理器)处理,或者由多个计算机按分布方式处理。
注意,本技术的实施例不限于上述实施例,并且可以在不脱离本技术主旨的情况下进行各种修改。
另外,上述信号处理的各步骤可以由一个装置执行,或者由多个装置分担执行。此外,在一个步骤中包含多个处理的情况下,可以由一个装置执行包含在该一个步骤中的多个处理,或者可以由多个装置分担执行包含在该一个步骤中的多个处理。
注意,本技术也可以采用以下构成。
(1)一种声音处理装置,包括
信号处理部,所述信号处理部处理由麦克风拾取的声音信号,并生成要记录在记录装置中的记录声音信号和要从扬声器输出的不同于记录声音信号的放大声音信号。
(2)根据上述(1)所述的声音处理装置,
其中所述信号处理部进行用于降低所述扬声器的安置方向上的灵敏度作为所述麦克风的方向性的第一处理。
(3)根据上述(2)所述的声音处理装置,
其中,所述信号处理部基于通过第一处理获得的第一声音信号进行用于抑制振鸣的第二处理。
(4)根据上述(3)所述的声音处理装置,
其中所述记录声音信号是所述第一声音信号,以及
所述放大声音信号是通过所述第二处理获得的第二声音信号。
(5)根据上述(2)至(4)中的任一项所述的声音处理装置,
其中所述信号处理部
学习在第一处理中使用的参数,以及
基于已学习到的参数进行所述第一处理。
(6)根据上述(5)所述的声音处理装置,还包括
生成校准声音的第一生成部,
其中,在调整参数的校准时段中,所述麦克风拾取从所述扬声器输出的校准声音,以及
所述信号处理部基于已拾取的所述校准声音学习所述参数。
(7)根据上述(5)或(6)所述的声音处理装置,还包括
生成预定声音的第一生成部,
其中,在通过扬声器使用所述放大声音信号的声音放大的开始前的时段中,所述麦克风拾取从所述扬声器输出的所述预定声音,以及
所述信号处理部基于已拾取的所述预定声音学习所述参数。
(8)根据上述(5)至(7)中的任一项所述的声音处理装置,还包括
噪声附加部,该噪声附加部在进行通过所述扬声器使用所述放大声音信号的声音放大时,对所述放大声音信号的掩蔽频带附加噪声,
其中所述麦克风拾取从所述扬声器输出的声音,以及
所述信号处理部基于从已拾取的所述声音获得的噪声,学习所述参数。
(9)根据上述(1)至(8)中的任一项所述的声音处理装置,
其中所述信号处理部进行使用适应于进行对所述记录声音信号的信号处理的第一系列和进行对所述放大声音信号的信号处理的第二系列中的每个系列的参数的信号处理。
(10)根据上述(1)至(9)中的任一项所述的声音处理装置,还包括:
第二生成部,基于在通过扬声器使用放大声音信号进行声音放大时获得的信息生成评价信息,该评价信息包括关于在该声音放大时的音质的评价;以及
呈现控制部,控制已生成的评价信息的呈现。
(11)根据上述(10)所述的声音处理装置,
其中所述评价信息包括声音放大时的音质得分以及与所述得分相应的消息。
(12)根据上述(1)至(11)中的任一项所述的声音处理装置,其中将所述麦克风安置在远离说话者的嘴的位置。
(13)根据上述(3)至(8)中的任一项所述的声音处理装置,
其中所述信号处理部包括:
进行作为所述第一处理的波束赋形处理的波束赋形处理部;和
进行作为所述第二处理的振鸣抑制处理的振鸣抑制处理部。
(14)一种声音处理装置的声音处理方法,
其中所述声音处理装置
处理由麦克风拾取的声音信号,并生成要记录在记录装置中的记录声音信号和要从扬声器输出的不同于记录声音信号的放大声音信号。
(15)一种程序,用于使
计算机充当
信号处理部,所述信号处理部处理由麦克风拾取的声音信号,并生成要记录在记录装置中的记录声音信号和要从扬声器输出的不同于记录声音信号的放大声音信号。
(16)一种声音处理装置,包括
信号处理部,该信号处理部在处理由麦克风拾取的声音信号并从扬声器输出所述声音信号时,进行用于降低扬声器的安置方向上的灵敏度作为麦克风的方向性的处理。
(17)根据上述(16)所述的声音处理装置,还包括
生成校准声音的生成部,
其中,在调整要在所述处理中使用的参数的校准时段中,所述麦克风拾取从所述扬声器输出的校准声音,以及
所述信号处理部基于已拾取的所述校准声音学习所述参数。
(18)根据上述(16)或(17)所述的声音处理装置,还包括生成预定声音的生成部,
其中,在通过扬声器使用所述声音信号的声音放大的开始前的时段中,所述麦克风拾取从所述扬声器输出的所述预定声音,以及
所述信号处理部基于已拾取的所述预定声音学习要在所述处理中使用的参数。
(19)根据上述(16)至(18)中的任一项所述的声音处理装置,还包括
噪声附加部,该噪声附加部在进行通过所述扬声器使用所述声音信号的声音放大时,对所述声音信号的掩蔽频带附加噪声,
其中所述麦克风拾取从所述扬声器输出的声音,以及
所述信号处理部基于从已拾取的所述声音获得的噪声,学习要在所述处理中使用的参数。
(20)根据上述(16)至(19)中的任一项所述的声音处理装置,
其中将所述麦克风安置在远离说话者的嘴的位置。
参考标符列表
1,1A,1B,1C,1D,1E声音处理装置
10麦克风
11-1至11-N麦克风单元
12-1至12-N A/D转换部
13,13A,13B,13C,13D,13E信号处理部
14记录声音信号输出部
15放大声音信号输出部
20扬声器
30记录装置
40显示装置
100信息处理装置
101,101-1,101-2波束赋形处理部
102振鸣抑制处理部
103-1,103-2噪声抑制部
104-1,104-2混响抑制部
105-1,105-2音质调整部
106-1,106-2音量调整部
111校准信号生成部
112掩蔽噪声附加部
121参数学习部
131振鸣抑制部
151音质得分计算部
152评价信息生成部
153呈现控制部
1000计算机
1001CPU

Claims (20)

1.一种声音处理装置,包括
信号处理部,所述信号处理部处理由麦克风拾取的声音信号,并生成要记录在记录装置中的记录声音信号和要从扬声器输出的不同于记录声音信号的放大声音信号。
2.根据权利要求1所述的声音处理装置,
其中所述信号处理部进行用于降低所述扬声器的安置方向上的灵敏度作为所述麦克风的方向性的第一处理。
3.根据权利要求2所述的声音处理装置,
其中,所述信号处理部基于通过第一处理获得的第一声音信号进行用于抑制振鸣的第二处理。
4.根据权利要求3所述的声音处理装置,
其中所述记录声音信号是所述第一声音信号,以及
所述放大声音信号是通过所述第二处理获得的第二声音信号。
5.根据权利要求2所述的声音处理装置,
其中所述信号处理部
学习在第一处理中使用的参数,以及
基于已学习到的参数进行所述第一处理。
6.根据权利要求5所述的声音处理装置,还包括
生成校准声音的第一生成部,
其中,在调整参数的校准时段中,所述麦克风拾取从所述扬声器输出的校准声音,以及
所述信号处理部基于已拾取的所述校准声音学习所述参数。
7.根据权利要求5所述的声音处理装置,还包括
生成预定声音的第一生成部,
其中,在通过扬声器使用所述放大声音信号的声音放大的开始前的时段中,所述麦克风拾取从所述扬声器输出的所述预定声音,以及
所述信号处理部基于已拾取的所述预定声音学习所述参数。
8.根据权利要求5所述的声音处理装置,还包括
噪声附加部,该噪声附加部在进行通过所述扬声器使用所述放大声音信号的声音放大时,对所述放大声音信号的掩蔽频带附加噪声,
其中所述麦克风拾取从所述扬声器输出的声音,以及
所述信号处理部基于从已拾取的所述声音获得的噪声,学习所述参数。
9.根据权利要求1所述的声音处理装置,
其中所述信号处理部进行使用适应于进行对所述记录声音信号的信号处理的第一系列和进行对所述放大声音信号的信号处理的第二系列中的每个系列的参数的信号处理。
10.根据权利要求1所述的声音处理装置,还包括:
第二生成部,基于在通过扬声器使用放大声音信号进行声音放大时获得的信息生成评价信息,该评价信息包括关于在该声音放大时的音质的评价;以及
呈现控制部,控制已生成的评价信息的呈现。
11.根据权利要求10所述的声音处理装置,
其中所述评价信息包括声音放大时的音质得分以及与所述得分相应的消息。
12.根据权利要求1所述的声音处理装置,
其中将所述麦克风安置在远离说话者的嘴的位置。
13.根据权利要求3所述的声音处理装置,
其中所述信号处理部包括:
进行作为所述第一处理的波束赋形处理的波束赋形处理部;和
进行作为所述第二处理的振鸣抑制处理的振鸣抑制处理部。
14.一种声音处理装置的声音处理方法,
其中所述声音处理装置
处理由麦克风拾取的声音信号,并生成要记录在记录装置中的记录声音信号和要从扬声器输出的不同于记录声音信号的放大声音信号。
15.一种程序,用于使
计算机充当
信号处理部,所述信号处理部处理由麦克风拾取的声音信号,并生成要记录在记录装置中的记录声音信号和要从扬声器输出的不同于记录声音信号的放大声音信号。
16.一种声音处理装置,包括
信号处理部,该信号处理部在处理由麦克风拾取的声音信号并从扬声器输出所述声音信号时,进行用于降低扬声器的安置方向上的灵敏度作为麦克风的方向性的处理。
17.根据权利要求16所述的声音处理装置,还包括
生成校准声音的生成部,
其中,在调整要在所述处理中使用的参数的校准时段中,所述麦克风拾取从所述扬声器输出的校准声音,以及
所述信号处理部基于已拾取的所述校准声音学习所述参数。
18.根据权利要求16所述的声音处理装置,还包括
生成预定声音的生成部,
其中,在通过扬声器使用所述声音信号的声音放大的开始前的时段中,所述麦克风拾取从所述扬声器输出的所述预定声音,以及
所述信号处理部基于已拾取的所述预定声音学习要在所述处理中使用的参数。
19.根据权利要求16所述的声音处理装置,还包括
噪声附加部,该噪声附加部在进行通过所述扬声器使用所述声音信号的声音放大时,对所述声音信号的掩蔽频带附加噪声,
其中所述麦克风拾取从所述扬声器输出的声音,以及
所述信号处理部基于从已拾取的所述声音获得的噪声,学习要在所述处理中使用的参数。
20.根据权利要求16所述的声音处理装置,
其中将所述麦克风安置在远离说话者的嘴的位置。
CN201980025694.5A 2018-03-29 2019-03-15 声音处理装置、声音处理方法及程序 Pending CN111989935A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018063529 2018-03-29
JP2018-063529 2018-03-29
PCT/JP2019/010756 WO2019188388A1 (ja) 2018-03-29 2019-03-15 音声処理装置、音声処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN111989935A true CN111989935A (zh) 2020-11-24

Family

ID=68058183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980025694.5A Pending CN111989935A (zh) 2018-03-29 2019-03-15 声音处理装置、声音处理方法及程序

Country Status (4)

Country Link
US (1) US11336999B2 (zh)
EP (1) EP3780652B1 (zh)
CN (1) CN111989935A (zh)
WO (1) WO2019188388A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021085174A1 (ja) * 2019-10-30 2021-05-06 ソニー株式会社 音声処理装置、及び音声処理方法
US11736876B2 (en) * 2021-01-08 2023-08-22 Crestron Electronics, Inc. Room monitor using cloud service

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013141118A (ja) * 2012-01-04 2013-07-18 Kepusutoramu:Kk ハウリングキャンセラ
CN103797816A (zh) * 2011-07-14 2014-05-14 峰力公司 语音增强***和方法
US20140133666A1 (en) * 2012-11-12 2014-05-15 Yamaha Corporation Signal processing system and signal processing method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0457476B1 (en) * 1990-05-14 1996-07-03 Gold Star Co. Ltd Camcorder
US6195437B1 (en) * 1997-09-30 2001-02-27 Compaq Computer Corporation Method and apparatus for independent gain control of a microphone and speaker for a speakerphone mode and a non-speakerphone audio mode of a computer system
EP1453348A1 (de) * 2003-02-25 2004-09-01 AKG Acoustics GmbH Selbstkalibrierung von Arraymikrofonen
US7840014B2 (en) * 2005-04-05 2010-11-23 Roland Corporation Sound apparatus with howling prevention function
US8321214B2 (en) 2008-06-02 2012-11-27 Qualcomm Incorporated Systems, methods, and apparatus for multichannel signal amplitude balancing
US8538749B2 (en) 2008-07-18 2013-09-17 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for enhanced intelligibility
JP5369993B2 (ja) * 2008-08-22 2013-12-18 ヤマハ株式会社 録音再生装置
JP2012175453A (ja) * 2011-02-22 2012-09-10 Sony Corp 音声処理装置、音声処理方法、及びプログラム
US8718295B2 (en) * 2011-04-11 2014-05-06 Merry Electronics Co., Ltd. Headset assembly with recording function for communication
JP6056195B2 (ja) * 2012-05-24 2017-01-11 ヤマハ株式会社 音響信号処理装置
JP6165583B2 (ja) 2013-10-07 2017-07-19 アイホン株式会社 インターホンシステム
KR20150043858A (ko) * 2013-10-15 2015-04-23 한국전자통신연구원 하울링 제거 장치 및 방법
US10231056B2 (en) * 2014-12-27 2019-03-12 Intel Corporation Binaural recording for processing audio signals to enable alerts

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103797816A (zh) * 2011-07-14 2014-05-14 峰力公司 语音增强***和方法
JP2013141118A (ja) * 2012-01-04 2013-07-18 Kepusutoramu:Kk ハウリングキャンセラ
US20140133666A1 (en) * 2012-11-12 2014-05-15 Yamaha Corporation Signal processing system and signal processing method
CN103813239A (zh) * 2012-11-12 2014-05-21 雅马哈株式会社 信号处理***和信号处理方法

Also Published As

Publication number Publication date
WO2019188388A1 (ja) 2019-10-03
US20210014608A1 (en) 2021-01-14
EP3780652B1 (en) 2024-02-07
US11336999B2 (en) 2022-05-17
EP3780652A4 (en) 2021-04-14
EP3780652A1 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
US20120303363A1 (en) Processing Audio Signals
EP2395659B1 (en) Adaptive audio output
EP2320676A1 (en) Method, communication device and communication system for controlling sound focusing
US20080008333A1 (en) Multichannel echo canceller
JP2005318636A (ja) 車両用キャビンのための屋内通信システム
CN108235181B (zh) 在音频处理装置中降噪的方法
CN103874002A (zh) 包括非自然信号减少的音频处理装置
US10283114B2 (en) Sound conditioning
TWI659413B (zh) 用於在音訊區域中控制聲音影像之方法、裝置與系統
US10121491B2 (en) Intelligent volume control interface
CN111989935A (zh) 声音处理装置、声音处理方法及程序
CN110035372A (zh) 扩声***的输出控制方法、装置、扩声***及计算机设备
US20170118571A1 (en) Electronic apparatus and sound signal adjustment method thereof
CN111354368B (zh) 补偿处理后的音频信号的方法
KR20210124217A (ko) 지능형 개인용 어시스턴트
US11432065B2 (en) Automatic keyword pass-through system
US20120207327A1 (en) Processing Audio Signals
CN107197403B (zh) 一种终端音频参数管理方法、装置及***
CN109686380B (zh) 语音信号的处理方法、装置及电子设备
US11805381B2 (en) Audio-based presence detection
JP4453614B2 (ja) 語学学習システム
WO2023081535A1 (en) Automated audio tuning and compensation procedure
JP5695896B2 (ja) 音質制御装置、音質制御方法及び音質制御用プログラム
WO2021085174A1 (ja) 音声処理装置、及び音声処理方法
US20240179488A1 (en) Audio zooming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20230721

AD01 Patent right deemed abandoned