CN112513977A - 信号处理装置与方法以及程序 - Google Patents
信号处理装置与方法以及程序 Download PDFInfo
- Publication number
- CN112513977A CN112513977A CN201980051268.9A CN201980051268A CN112513977A CN 112513977 A CN112513977 A CN 112513977A CN 201980051268 A CN201980051268 A CN 201980051268A CN 112513977 A CN112513977 A CN 112513977A
- Authority
- CN
- China
- Prior art keywords
- sound
- content
- masking
- masking sound
- reproduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 title claims abstract description 110
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000000873 masking effect Effects 0.000 claims abstract description 444
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 74
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 74
- 238000004458 analytical method Methods 0.000 claims description 63
- 238000001914 filtration Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 26
- 230000003321 amplification Effects 0.000 description 34
- 238000003199 nucleic acid amplification method Methods 0.000 description 34
- 238000006243 chemical reaction Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 18
- 238000004378 air conditioning Methods 0.000 description 13
- 238000009826 distribution Methods 0.000 description 13
- 230000007423 decrease Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 101100365087 Arabidopsis thaliana SCRA gene Proteins 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/1752—Masking
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/02—Synthesis of acoustic waves
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/323—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
- H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
- H04R2430/25—Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/13—Application of wave-field synthesis in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
本技术涉及一种易于使得难以听到泄露声音的信号处理装置与方法、以及程序。信号处理装置设置有掩蔽声音生成单元,在通过使用扬声器阵列的波场合成使第一内容在第一区域中再现并且使第二内容在第二区域中再现时,生成用于掩蔽在第一区域与第二区域之间的区域中听到的第一内容的声音和第二内容的声音的掩蔽声音。本技术能够应用于内容再现***。
Description
技术领域
本技术涉及一种信号处理装置与方法以及程序,并且更具体地,涉及一种能够易于使得难以听到泄露声音的信号处理装置与方法以及程序。
背景技术
近年来,已知使用波场合成技术的多区域再现。在多区域再现中,通过任意改变多个划分区域(区)中的每个划分区域的再现声压而实现听觉声音的空间划分。
通过使用该多区域再现,例如,可以使得仅在博物馆的绘画前方区域中听到关于绘画的语音引导并且在其他区域中听不到声音。
进一步地,例如,在诸如机场或车站等公共设施中,还可以通过不同的语言将语音信息呈现给多个区域中的每个区域的设施用户。
顺便提及,在多区域再现中,当听者在听取预定区域中所呈现的声音的同时听到另一区域的泄露声音时,变得极难以使听者获取声音信息。因此,能够仅在目标区域内听到声音是重要的。换言之,要求防止声音在目标区域的边界周围泄露。
因此,提出了一种技术,其中,例如,将一对扬声器布置成使得扬声器之间的距离是辐射声波的八分之一波长到一个波长,并且使来自这些扬声器的声波彼此干扰而消除声音(例如,见专利文献1)。
在专利文献1中,基于通过设置在扬声器对的前方的麦克风而输出的检测对用于消除声音的滤波器进行调整。然后,通过基于经过所获得滤波器的滤波处理的声学信号从扬声器对输出声波,在其中布置麦克风的控制点处实现由于声波的干扰而产生的消除。
进一步地,还提出了一种技术,其中,使用传感器识别用户进入预定引导区域的移动,并且当用户进入引导区域时,基于经过预定滤波器的滤波处理的声学信号而使与引导区域对应的语音再现(例如,见专利文献2)。
在专利文献2中,通过生成使得多个控制点处的观察信号变成所需平面波的滤波器,可以生成具有抑制扩展的平面波并且在引导区域中实现语音再现。
引用列表
专利文献
专利文献1:日本专利申请特开公开号:2000-295697
专利文献2:日本专利申请特开公开号:2017-161448
发明内容
发明解决的问题
然而,利用上述技术,难以容易地使得泄露至目标区域之外的泄露声音不被听到。
例如,在专利文献1所描述的技术中,在安装麦克风的控制点处消除声音,但是,声音在控制点之外的位置处泄露。具体地,距离控制点越远,声音泄露越大。
进一步地,例如,在专利文献2所描述的技术中,需要大量的控制点形成一个引导区域,但是,原则上能够创建的控制点的数量是比构成语音再现所使用的扬声器阵列的扬声器数量小一个或多个的数量。因此,需要大量的扬声器形成一个引导区域。
鉴于该情形而提出本技术并且本技术容易地使得泄露声音难以被听到。
问题的解决方案
根据本技术的一方面的信号处理装置包括:掩蔽声音生成单元,在通过使用扬声器阵列的波场合成使第一内容在第一区域中再现并且使第二内容在第二区域中再现的情况下,生成用于掩蔽在第一区域与第二区域之间的区域中听到的第一内容的声音和第二内容的声音的掩蔽声音。
根据本技术的一方面的信号处理方法或程序包括下列步骤:在通过使用扬声器阵列的波场合成使第一内容在第一区域中再现并且使第二内容在第二区域中再现的情况下,生成用于掩蔽在第一区域与第二区域之间的区域中听到的第一内容的声音和第二内容的声音的掩蔽声音。
根据本技术的一方面,在通过使用扬声器阵列的波场合成使第一内容在第一区域中再现并且使第二内容在第二区域中再现的情况下,生成用于掩蔽在第一区域与第二区域之间的区域中听到的第一内容的声音和第二内容的声音的掩蔽声音。
发明效果
根据本技术的一方面,可以容易地使得难以听到泄露声音。
应注意,此处所述的效果不一定必须受限制,而是还可以是本公开中所描述的任意效果。
附图说明
图1是说明多区域再现的示图。
图2是说明内容声音和背景噪音的声压分布的示图。
图3是示出内容再现***的配置例的示图。
图4是示出参数表的实施例的示图。
图5是说明掩蔽声音的划分区域与再现范围的示图。
图6是说明内容声音和掩蔽声音的声压分布的示图。
图7是说明内容再现处理的流程图。
图8是示出内容再现***的配置例的示图。
图9是说明划分区域和掩蔽区域的示图。
图10是说明内容声音和掩蔽声音的声压分布的示图。
图11是说明内容再现处理的流程图。
图12是示出内容再现***的配置例的示图。
图13是说明内容再现处理的流程图。
图14是示出内容再现***的配置例的示图。
图15是示出参数表的实施例的示图。
图16是说明内容再现处理的流程图。
图17是示出参数表的实施例的示图。
图18是示出内容再现***的配置例的示图。
图19是说明内容再现处理的流程图。
图20是示出内容再现***的配置例的示图。
图21是示出计算机的配置例的示图。
具体实施方式
下面参考附图对应用本技术的实施方式进行描述。
<第一实施方式>
<关于本技术>
在通过利用预定电平的掩蔽声音而掩蔽存在于各区域之间的区域中的每项内容的声音而使不同内容片段的声音在不同区域中再现的情况下,本技术能够容易地使得难以听到泄露声音。
首先,将描述多区域再现时的泄露声音。
例如,如图1中所示,考虑使用扬声器阵列SP11执行多区域再现。应注意,出于简化描述之缘故,此处未绘制作为声音被消除的位置(即,声音被静音的位置)的控制点。
现在,假设通过波场合成使内容A(即,内容A的声音)在区域A中再现,并且内容B在区域B中再现。
此处,划分区域R11是区域A,即,其中听到内容A的听取区域,并且划分区域R12是区域B,即,其中听到内容B的听取区域。在下文中,听到内容的区域,即,内容的听取区域也被特别称为划分区域。
此外,将内容A和内容B考虑为不同片段的音乐和语音。应注意,在下文中,还将预定内容的声音称为内容声音。
例如,在内容A和内容B同时再现的情况下,在如图2所示的绘图中,以直线L11表示x轴上的声压分布。应注意,在图2中,水平轴表示x轴方向上的位置,并且垂直轴表示各个位置处的声压。
在图2所示的实施例中,曲线L21表示内容A的声音的声压分布,并且曲线L22表示内容B的声音的声压分布。
进一步地,直线L23表示扬声器阵列SP11周围的背景噪音的声压电平。背景噪音应包括来自扬声器阵列SP11附近的任意周围声源的声音,即,经过周围环境的人的语音和脚步声、空调声音等。
通常,在区域A和区域B中,以比背景噪音电平更高的声压使内容A和内容B的声音再现,以使得声音易于让听者听到。
具体地,例如,在背景噪音约为60dB的情况下,以80dB等使内容A和内容B的声音再现。
此时,在划分区域的边界附近生成来自划分区域的泄露声音。
应注意,此处所称的泄露声音指泄露至划分区域之外并且被听到的内容声音。即,在划分区域之外所听到的内容声音是泄露声音。
例如,在图2的实施例中,由虚线CR11包围的部分中的内容A和内容B的声音是在区域A与区域B(即,划分区域)之间的区域(即,划分区域之外的区域)中所听到的泄露声音。
尤其在由虚线CR11包围的部分中,内容A和内容B的声压高于由直线L23表示的背景噪音电平,并且划分区域之外的人能够听到这些内容声音。
进一步地,在图2的实施例中,由虚线CR12包围的部分是区域A内的区域,并且该区域中的内容B的声压高于背景噪音电平。因此,在区域A中的区域B侧上的边界附近,不仅内容A的声音、而且内容B的声音也被泄露给听者并且被听者听到。即,内容B的声音泄露至区域A中。
同样,由虚线CR13包围的部分是区域B内的区域,但是,在该区域中,内容A的声压高于背景噪音电平,并且内容A的声音泄露至区域B中并且在区域B中被听到。
在划分区域中的内容声音较小的情况下或在静音部分的情况下,当另一划分区域中的内容声音较大时,听者听到该泄露声音。
通常,在泄露声音是语音或音乐的情况下,人类听觉被这些声音所吸引,并且半心半意地听泄露声音是不愉快的。
以这种方式,在多区域再现时,需要通过减少划分区域之间的内容声音的泄露并且减少划分区域之外的区域中的内容声音的泄露而防止人感知泄露声音。出于此目的,提出了上述所述专利文献1和专利文献2。
然而,利用已有技术,难以容易地使得在使用多个扬声器的多区域再现中难以听到泄露声音。
例如,在专利文献1中,不能消除控制点(即,其中消除声音的位置)之外的区域中的内容声音(即,泄露声音),并且不期望的内容声音被泄露并且在控制点周围听到不期望的内容声音。
应注意,尽管可以增加专利文献1中的控制点的数量,然而,需要巨大量的扬声器和麦克风以使得难以在划分区域之外听到泄露声音。而且,因为必须将麦克风安装在控制点处,所以控制点的数量的增加变成在真实空间进行操作的过程中布局麦克风等的障碍。
进一步地,同样在专利文献2中,需要巨大量的扬声器来减少内容声音的泄露。
因此,在本技术中,在使用波场合成技术执行多区域再现的情况下,即,在将再现空间划分成多个划分区域并且使不同片段的内容在这些划分区域中再现的情况下,不仅输出内容声音,而且同时还输出掩蔽声音。因此,在不增加扬声器的数量或使用巨大量的麦克风的情况下,可以容易地使得难以听到泄露声音。
应注意,例如,在确定掩蔽声音的再现电平时,能够使用外部信息或外部传感器。
例如,作为外部信息,能够使用指示内容再现的设施或场地的访问者数量(出席人数)的访问者数量信息、指示内容再现时的时区的时区信息、指示内容再现时的天气(气候)的气候信息等。
通过使用该外部信息,可以根据内容再现之时的人数、时区、气候等输出适当电平的掩蔽声音并且掩蔽已变成泄露声音的内容声音。即,掩蔽声音使得难以听到泄露声音。
此外,例如,作为确定掩蔽声音的再现电平所使用的外部传感器,能够采用麦克风或摄像机。
例如,因为通过使用麦克风能够对周围环境的背景噪音的电平进行评估,所以能够根据背景噪音电平对掩蔽声音的再现电平进行适当地确定。
类似地,因为通过使用摄像机能够对附近的人的数量进行评估,所以能够根据评估结果对掩蔽声音的再现电平进行适当地确定。
应注意,外部信息和外部传感器不仅能够用于确定掩蔽声音的再现电平,而且还能够用于确定诸如掩蔽声音的频率特征等特征。
此外,掩蔽声音的再现电平可以根据划分区域中的内容声音的再现电平的变化而改变。
例如,在使用麦克风作为外部传感器的情况下,能够通过使用麦克风来检测周围环境的背景噪音的电平。因此,如果内容声音的再现电平根据背景噪音电平的检测结果而改变并且根据内容声音的再现电平的变化而确定掩蔽声音的再现电平则足以。
具体地,例如,设想当内容声音的再现电平较高时,增加掩蔽声音的再现电平,并且相反,当内容声音的再现电平较低时,降低掩蔽声音的再现电平。
此外,还设想当内容声音的再现电平与背景噪音电平之间的差较大时,增加掩蔽声音的再现电平,并且相反,当内容声音的再现电平与背景噪音电平之间的差较小时,降低掩蔽声音的再现电平。
这是因为当内容声音的再现电平与背景噪音电平之间的差较大时,内容声音听着较大,从而掩蔽声音的再现电平增加使得泄露声音变得更难以被听到的量。
而且,可以针对各个频段对内容声音与背景噪音的电平进行比较,以评估各个频段中的内容声音在哪一电平泄露至背景噪音之外,并且根据评估结果,可以针对各个频段而确定掩蔽声音的再现电平,以使得能够在听觉特征方面掩蔽泄露声音。
此外,可以使用作为外部传感器的麦克风来检测周围环境的背景噪音的电平,并且可以基于检测结果确定掩蔽声音的再现电平。在这种情况下,内容声音的再现电平能够具体地保持不变。
具体地,例如,设想当背景噪音电平较高并且难以听到泄露声音时,降低掩蔽声音的再现电平,并且相反,当背景噪音电平较低时,增加掩蔽声音的再现电平。
应注意,通过对使用上述外部信息的掩蔽声音再现电平控制、使用外部传感器的掩蔽声音再现电平控制、根据内容声音的再现电平的掩蔽声音再现电平控制等进行任意组合可以确定掩蔽声音的再现电平或特征。
在这种情况下,例如,可以提前准备参数表,其中,外部信息或通过使用外部传感器而获得的信息的组合与各个组合的内容声音再现电平和掩蔽声音再现电平相关联。然后,例如,通过使用参数表可以易于并且适当地确定内容声音的再现电平和掩蔽声音的再现电平。
此外,为了确定内容声音和掩蔽声音的再现电平,例如,可以输入外部信息或通过使用外部传感器而获得的信息,并且可以使用输出适合于输入的内容声音的再现电平和掩蔽声音的再现电平的预测器。例如,如果通过由神经网络表示的机器学习而提前生成该预测器则足以。
而且,在泄露声音较小并且人不能在听觉方面检测泄露声音的情形下,不可以使掩蔽声音再现(输出)。
进一步地,通过考虑背景噪音电平,能够更为适当地确定掩蔽声音的再现电平。这是因为,为了掩蔽泄露声音,最好将掩蔽声音的再现电平设置为高于背景噪音电平。
例如,在使用外部信息确定掩蔽声音的再现电平的情况下,能够从外部信息对背景噪音电平进行评估。因此,例如,当使用再现电平(即,针对给定的外部信息进行的初步确定)作为掩蔽声音的再现电平时,能够以比针对外部信息评估的背景噪音电平更高的电平使掩蔽声音再现。
进一步地,在使用摄像机作为外部传感器的情况下,例如,能够对通过摄像机而捕获的图像进行面部识别或个人检测,以评估使内容再现的扬声器附近的人的数量,并且能够将针对评估结果而初步确定的电平设置为背景噪音电平。在这种情况下,能够适当地确定掩蔽声音相对于背景噪音电平的再现电平。
而且,在使用麦克风作为外部传感器的情况下,通过麦克风能够采集周围环境的声音。通过该声音采集而获得的声音至少包括背景噪音,而且,还包括取决于声音采集的时刻的内容声音。
因此,仅在内容声音的静音部分中执行使用麦克风的声音采集,并且使用通过声音采集而获得的声音作为背景噪音,以使得能够更为准确地评估背景噪音电平。
此外,在使用麦克风作为外部传感器的情况下,可以使用回声消除来消除从采集声音再现的内容声音并且仅提取背景噪音。即使在这种情况下,也能准确地评估背景噪音电平。
而且,诸如用于掩蔽泄露声音的掩蔽声音的频率特征等特征能够与诸如人群噪音、气泡噪音、粉红噪音等的特征相同。以这种方式,可以在不致使感觉不舒适的情况下掩蔽泄露声音。
此外,掩蔽声音的频率特征可以与通过作为外部传感器的麦克风所采集的声音的频率特征相同。进一步地,掩蔽声音的特征可以是去除内容声音的特征的特征,即,使得难以听到内容声音的特征。
而且,用于再现掩蔽声音的区域可以是用于使内容再现的***能够使声音再现的整个区域。
进一步地,通过使用波场合成生成具有方向性的声束作为掩蔽声音的声束(波面),可以使掩蔽声音仅在多个划分区域之间的区域中再现,或可以使掩蔽声音在多个划分区域之间的区域以及各个划分区域边界附近的区域中再现。
而且,在使用麦克风作为外部传感器的情况下,基本上能够将麦克风安装在任意地方,但是,例如,当将麦克风安装在通过波场合成而形成的划分区域之外时,能够直接评估背景噪音与泄露声音的电平。
<内容再现***的配置例>
接着,将描述上述本技术的更具体的实施方式。
图3是示出应用本技术的内容再现***的实施方式的配置例的示图。
图3中所示的内容再现***包括信号处理装置11和扬声器阵列12。
信号处理装置11生成用于使内容声音和掩蔽声音再现的输出声音,更具体地,输出声音的声学信号,并且将声学信号供应至扬声器阵列12。
例如,扬声器阵列12包括含多个扬声器的线性扬声器阵列、环形扬声器阵列、球形扬声器阵列等。应注意,扬声器阵列12可以是具有任意形状的扬声器阵列。
扬声器阵列12使多个内容声音和掩蔽声音再现,通过输出从信号处理装置11供应的输出声音而在各个位置处掩蔽声音掩蔽不想要的内容声音,即,泄露声音。
因此,通过波场合成使与各个划分区域对应的内容声音在再现空间内的各个划分区域的多区域中再现,并且使掩蔽声音跨整个再现空间再现。在多区域再现中,扬声器阵列12输出输出声音,以使得在再现空间的划分区域中形成内容声音的波面。
应注意,在下文中,将通过扬声器阵列12使声音再现的整个空间称为再现空间。进一步地,此处,假设初步确定在再现空间中被再现的内容以及使各个内容声音再现的划分区域的位置和大小。然而,不可以初步确定、但可以动态地改变被再现的内容以及划分区域的位置和大小。
信号处理装置11包括掩蔽声音生成单元21、波场合成滤波器单元22、再现电平调整单元23、放大单元24、放大单元25、加法单元26、以及数模(DA)转换单元27。
掩蔽声音生成单元21基于从外面供应的外部信息生成掩蔽声音并且将其供应至放大单元24。
波场合成滤波器单元22提前具有通过例如波场合成而使内容仅在划分区域中再现的波场合成滤波器。
应注意,波场合成滤波器单元22可以生成波场合成滤波器。
为了生成波场合成滤波器,例如,通过基于指示用于使内容声音再现的划分区域的位置和大小的坐标信息、构成扬声器阵列12的各个扬声器的布置位置等的计算而生成波场合成滤波器。
在使用该波场合成滤波器的波场合成中,通过波场合成滤波器的滤波处理而控制从构成扬声器阵列12的各个扬声器输出的输出声音的幅度和相位,以使得再现空间中的声音的波面被物理地复制。即,仅在划分区域中形成内容声音的波面。
例如,在日本专利申请公开号2013-102389及“Berkhout,Augustinus J.,Diemerde Vries,and Peter Vogel.‘Acoustic control by wave field synthesis’TheJournal of the Acoustical Society of America 93.5(1993):2764-2778”中对波场合成进行了详细描述。例如,在波场合成滤波器单元22中,如果使用这些文献中所描述的技术等则足以。
波场合成滤波器单元22使用波场合成滤波器对所供应的内容声音数据(即,用于使内容声音再现的声学信号)执行滤波处理,并且将与构成扬声器阵列12的各个扬声器对应的各个声道的合成输出声音(resulting output sound)供应至放大单元25。
更具体地,波场合成滤波器单元22具有针对各项内容的波场合成滤波器并且使用针对各项内容的波场合成滤波器对内容声音数据执行滤波处理。然后,波场合成滤波器单元22将通过对各个声道进行滤波处理而获得的各项内容的内容声音相加,以获得包括各项内容声音的输出声音。即,使针对同一声道所获得的内容声音的声学信号相加,以获得该声道的输出声音的声学信号。
再现电平调整单元23基于从外面供应的外部信息及所供应的内容声音数据中的至少一项而控制掩蔽声音和内容声音的再现电平的调整。
即,再现电平调整单元23基于外部信息和内容声音数据中的至少一项确定掩蔽声音的再现电平并且将用于以所确定再现电平使掩蔽声音再现的再现声音增益系数供应至放大单元24。
类似地,再现电平调整单元23基于外部信息和内容声音数据中的至少一项确定内容声音的再现电平并且将用于以所确定再现电平使内容声音再现的内容声音增益系数供应至放大单元25。
放大单元24包括放大器并且通过使从掩蔽声音生成单元21供应的掩蔽声音乘以从再现电平调整单元23供应的掩蔽声音增益系数(增益调整)而执行掩蔽声音电平的调整。放大单元24将经过电平调整之后的掩蔽声音供应至加法单元26。
例如,放大单元25包括针对与构成扬声器阵列12的各个扬声器对应的各个声道设置的放大器。
放大单元25通过使从波场合成滤波器单元22供应的各个声道的输出声音乘以从再现电平调整单元23供应的内容声音增益系数(增益调整)而执行输出声音(即,内容声音)的电平的调整。放大单元25将经过电平调整之后的输出声音供应至加法单元26。
例如,加法单元26包括针对与构成扬声器阵列12的各个扬声器对应的各个声道设置的加法器。
加法单元26将从放大单元24供应的掩蔽声音与从放大单元25供应的各个声道的输出声音相加,以生成各个声道的最终输出声音并且将其供应至DA转换单元27。
DA转换单元27对从加法单元26供应的各个声道的输出声音执行DA转换并且将各个声道的合成输出声音的声学信号(即,模拟信号)供应至与构成扬声器阵列12的各个声道对应的扬声器,并且使扬声器输出(再现)输出声音。由此,可以说,DA转换单元27用作使扬声器阵列12将掩蔽声音与内容声音一起输出的输出单元。
<关于掩蔽声音的生成与再现电平的调整>
此处,将描述信号处理装置11中的掩蔽声音的生成与再现电平的调整。
例如,如上所述,被供应至掩蔽声音生成单元21和再现电平调整单元23的外部信息可以是访问者数量信息、时区信息、指示使内容再现时的一周中的某天的一周中的某天信息以及气候信息中的至少一项。
掩蔽声音生成单元21根据所供应的外部信息生成掩蔽声音,并且再现电平调整单元23根据外部信息调整掩蔽声音与内容声音的再现电平。
具体地,例如,在使用一周中的某天信息与时区信息作为外部信息的情况下,掩蔽声音生成单元21和再现电平调整单元23提前保存图4中所示的参数表。
在图4中,特征“一周中的某天”与“时区”分别表示一周中的某天信息和时区信息。
进一步地,特征“内容声音再现电平”和“掩蔽声音再现电平”分别表示内容声音的再现电平和掩蔽声音的再现电平,即,内容声音增益系数和掩蔽声音增益系数。进一步地,特征“掩蔽声音参数”表示作为指示掩蔽声音的频率特征的信息的掩蔽声音参数。
掩蔽声音生成单元21参照参数表并且生成由针对作为所供应的外部信息的一周中的某天信息与时区信息的组合进行初步确定的掩蔽声音参数指示的掩蔽声音。
例如,掩蔽声音参数“空调”指示空调声音的频率特征,并且将基于该掩蔽声音参数“空调”而生成的掩蔽声音视为具有与这些空调声音相似的频率特征的声音。因此,在使该掩蔽声音再现的情况下,听取掩蔽声音的人将会听到空调声音。
进一步地,掩蔽声音参数“人群+空调”指示人群声音与空调声音的混合声音的频率特征。因此,当使基于掩蔽声音参数“人群+空调”而生成的掩蔽声音再现时,听取掩蔽声音的人将会听到人群声音和空调声音。
掩蔽声音生成单元21与该参数表一起提前保存各个掩蔽声音参数。
再现电平调整单元23参照参数表并且将针对作为所供应的外部信息的一周中的某天信息与时区信息的组合进行初步确定的内容声音增益系数和掩蔽声音增益系数供应至放大单元25和放大单元24。
再现电平调整单元23与参数表一起提前保存内容声音增益系数和掩蔽声音增益系数。
例如,在供应一周中的某天信息“周日”与时区信息“8:00-12:00”作为外部信息的情况下,以25dB使内容声音再现,并且以3dB使与空调声音相似的掩蔽声音再现。
在图4所示的实施例中,因为预期再现空间在诸如周日早晨等存在少量访问者时的某些天和时间相对安静,所以内容声音的再现电平相对较低。因此,掩蔽声音的再现电平也较低。进一步地,在这种情况下,因为预期再现空间相对安静,所以掩蔽声音仅是空调声音。
另一方面,例如,在周日下午,因为预期存在许多访问者,所以内容声音的再现电平增加,并且掩蔽声音的再现电平也相应地增加,并且掩蔽声音还是人群声音和空调声音。
此外,在使用访问者数量信息作为外部信息的情况下,例如,当访问者数量较大时,内容声音和掩蔽声音的再现电平可能增加,并且掩蔽声音可以是人群声音和空调声音。
进一步地,例如,在具有屋顶的室外使用内容再现***并且使用气候信息作为外部信息的情况下,当由气候信息指示的气候是雨天时,泄露声音在某种程度上被背景噪音中所包括的雨水声音所掩蔽。
因此,在这种情况下,内容声音的再现电平增加并且掩蔽声音的再现电平可以降低。应注意,在这种情况下,可以使掩蔽声音不再现。进一步地,掩蔽声音可以是雨水声音。
如上所述,信号处理装置11使用外部信息、内容声音增益系数、掩蔽声音增益系数、以及掩蔽声音参数彼此相关联的参数表生成掩蔽声音或内容声音与掩蔽声音的再现电平的控制调整。
可以说,该控制是这样一种控制,其中,内容声音的再现电平根据外部信息而变化,并且进一步地,掩蔽声音的再现电平根据内容声音的再现电平的变化而变化。
具体地,在图4所示的实施例中,当内容声音的再现电平较高时,掩蔽声音的再现电平增加,并且相反,当内容声音的再现电平较低时,掩蔽声音的再现电平降低。
进一步地,通过提前测量诸如内容再现***的操作地方的空调和人出入时的人群等背景噪音而生成提前保存在掩蔽声音生成单元21中的掩蔽声音参数。例如,在掩蔽声音生成单元21中,生成具有由该掩蔽声音参数指示的背景噪音的频率特征的高斯噪音作为掩蔽声音。
应注意,掩蔽声音并不局限于高斯噪音,并且可以是诸如粉红噪音、白噪音、人群噪音、气泡噪音、或另一常见噪音等任意其他噪音。
进一步地,掩蔽声音生成单元21可以使用内容声音生成具有去除内容声音的特点的特征的掩蔽声音。即,掩蔽声音的频率特征可以根据内容声音的频率特征而改变。在这种情况下,将内容声音数据供应至掩蔽声音生成单元21。
具体地,例如,在内容声音是语音的情况下,掩蔽声音生成单元21对作为内容声音的语音的共振峰进行分析并且生成具有填补内容声音的频率的波谷的频率特征的掩蔽声音。即,以频率之中内容声音的电平较小的频率生成具有增加掩蔽声音的电平的频率特征的掩蔽声音。
通过使该掩蔽声音与内容声音一起再现,可以去除对作为从划分区域泄露的内容声音的语音唯一的特征,并且可以改善掩蔽效果。即,可以使得难以感知泄露声音是人类语音。
进一步地,再现电平调整单元23可以对所供应的内容声音执行频率分析并且基于分析结果而针对各个频率确定掩蔽声音的再现电平。在这种情况下,针对各个频段对泄露的超过背景噪音的内容声音的电平进行评估,并且针对各个频段确定掩蔽声音的再现电平,以使得在听觉特征方面掩蔽泄露声音。
除参数表之外,可以使用诸如通过机器学习提前生成的神经网络等预测器。
在这种情况下,例如,掩蔽声音生成单元21通过将外部信息输入至提前保存的预测器中并且执行计算而获得掩蔽声音参数作为输出、并且基于所获得的掩蔽声音参数生成掩蔽声音。
进一步地,在这种情况下,再现电平调整单元23将外部信息和内容声音输入至提前保存的预测器中并且执行计算,以获得内容声音增益系数和掩蔽声音增益系数作为输出。
<关于掩蔽声音的再现范围>
而且,在具有图3所示的配置的信号处理装置11中,例如,能够将整个再现空间设置为掩蔽声音的再现范围。
具体地,例如,如图5中所示,假设扬声器阵列12的前方的区域R21是再现空间。
在本实施例中,在区域R21(再现空间的整个区域)中形成使内容声音再现的两个划分区域R22和R23。即,使内容A在与上述区域A对应的划分区域R22中再现,并且使内容B在与区域B对应的划分区域R23中再现。
应注意,尽管此处出于简化描述之缘故对其中存在两个划分区域的情况进行了描述,然而,当然,划分区域的数量可以是三个以上。
在图5的实施例中,使掩蔽声音在包括划分区域R22和划分区域R23的整个区域R21中再现。
在这种情况下,由图5中的直线L31指示的x轴上的声压分布如图6中所示。应注意,在图6中,水平轴表示x轴方向上的位置,并且垂直轴表示各个位置处的声压。
在图6所示的实施例中,曲线L41表示内容A的声音的声压分布,并且曲线L42表示内容B的声音的声压分布。
进一步地,直线L43表示掩蔽声音的声压分布,并且直线L44表示扬声器阵列12周围的背景噪音的声压分布。
在本实施例中,掩蔽声音在再现空间的各个位置处具有相同的声压(再现电平),并且将掩蔽声音的再现电平设置为高于背景噪音电平。
因此,可以使得在再现空间的各个位置处难以听到比背景噪音更大的泄露声音。具体地,此处,不仅在划分区域R22与划分区域R23之间的区域中,而且还在划分区域R22与划分区域R23内的边界部分中,掩蔽声音的电平高于内容声音,即,泄露声音,并且可以看出泄露声音被掩蔽。
例如,当使用外部信息时,能够在不对背景噪音电平进行实际测量的情况下,从外部信息对背景噪音电平进行粗略地评估。因此,在基于外部信息和参数表确定掩蔽声音的再现电平的方法中,通过将掩蔽声音的再现电平设置为相对于外部信息设置的再现电平能够以比背景噪音电平更高的再现电平使掩蔽声音再现。背景噪音还掩蔽小的泄露声音,但是,通过以比背景噪音电平更高的再现电平使掩蔽声音再现,掩蔽声音还掩蔽更大的泄露声音,并且能够使得难以听到泄露声音。
<内容再现处理的描述>
接着,将描述由内容再现***执行的内容再现处理。即,下面将参考图7的流程图对内容再现***的内容再现处理进行描述。当指定多个内容片段并且指示进行这些内容片段的再现时,开始该内容再现处理。
在步骤S11中,掩蔽声音生成单元21基于从外面供应的外部信息和提前保存的参数表生成掩蔽声音并且将掩蔽声音供应至放大单元24。
例如,在步骤S11中,参照参数表,并且基于与外部信息相关联的掩蔽声音参数而生成掩蔽声音。
在步骤S12中,波场合成滤波器单元22使用波场合成滤波器对所供应的内容声音数据执行滤波器处理,并且将各个声道的合成输出声音供应至放大单元25。
例如,如图5所示的实施例中所示,当指定内容A和内容B作为被再现的内容时,通过波场合成生成输出声音,其中,使内容A仅在划分区域R22中再现并且使内容B仅在划分区域R23中再现。
在步骤S13中,再现电平调整单元23基于所供应的外部信息和内容声音数据以及保存的参数表中的至少一项确定掩蔽声音和内容声音的再现电平。
例如,在步骤S13中,参照参数表,并且通过指定与外部信息相关联的增益系数而确定内容声音和掩蔽声音的再现电平。再现电平调整单元23将所确定的掩蔽声音增益系数供应至放大单元24并且将内容声音增益系数供应至放大单元25。
在步骤S14中,放大单元24和放大单元25执行电平调整。
即,放大单元24通过使从掩蔽声音生成单元21供应的掩蔽声音乘以从再现电平调整单元23供应的掩蔽声音增益系数而执行电平调整,并且将经过电平调整之后的掩蔽声音供应至加法单元26。
进一步地,放大单元25通过使从波场合成滤波器单元22供应的各个声道的输出声音乘以从再现电平调整单元23供应的内容声音增益系数而执行电平调整,并且将经过电平调整之后的各个声道的输出声音供应至加法单元26。
在步骤S15中,加法单元26执行将从放大单元24供应的掩蔽声音与从放大单元25供应的各个声道的输出声音相加的加法处理,并且将各个声道的最终合成输出声音供应至DA转换单元27。
在步骤S16中,DA转换单元27对从加法单元26供应的各个声道的输出声音执行DA转换,并且将各个声道的合成输出声音供应至与扬声器阵列12的各个声道对应的扬声器,并且使扬声器再现内容声音。
扬声器阵列12中的每个扬声器输出从DA转换单元27供应的输出声音,以同时使得内容声音再现和掩蔽声音再现。
因此,例如,通过波场合成实现使内容A在图5的划分区域R22中再现并且使内容B在划分区域R23中再现的多区域再现。同时,在整个再现空间的区域R21中,在各个位置处以均匀的声压(再现电平)使掩蔽声音再现。
当通过这种方式使内容声音再现时,内容再现处理结束。
如上所述,内容再现***基于外部信息生成掩蔽声音并且使掩蔽声音与内容声音一起再现。如此,在不增加扬声器的数量或使用巨大量的麦克风的情况下,可以容易地使得难以听到泄露声音。
<第二实施方式>
<内容再现***的配置例>
应注意,在上文中,已经描述了在整个再现空间中以均匀的声压(电平)使掩蔽声音再现的实施例。然而,其并不局限于上文,而是可以通过使用波场合成使掩蔽声音仅在具体区域中再现。
在这种情况下,例如,内容再现***的配置如图8中所示。应注意,以相同的参考标号表示与图3中的部分对应的图8中的部分,并且根据需要省去描述。
图8中所示的内容再现***包括信号处理装置11和扬声器阵列12。进一步地,图8中所示的信号处理装置11的配置与图3中所示的信号处理装置11的配置的不同在于,新提供了波场合成滤波器单元51并且提供放大单元52代替图3中所示的放大单元24,并且就其他方面而言,具有与图3的信号处理装置11相同的配置。
例如,波场合成滤波器单元51提前具有通过波场合成而使掩蔽声音仅在预定掩蔽区域中再现的波场合成滤波器。应注意,波场合成滤波器单元51可以生成波场合成滤波器。
此处,掩蔽区域是用于掩蔽内容声音(即,泄露声音)的区域,并且例如,将多个划分区域之间的区域定义为掩蔽区域。
波场合成滤波器单元51使用波场合成滤波器对从掩蔽声音生成单元21供应的掩蔽声音(更具体地,掩蔽声音的声学信号)执行滤波处理,并且将各个声道的合成掩蔽声音供应至放大单元52。
当从扬声器阵列12中的各个扬声器输出通过这种方式获得的各个声道的掩蔽声音时,通过波场合成形成掩蔽声音的波面,以使得掩蔽声音仅在目标掩蔽区域中再现。
换言之,当从扬声器阵列12中的各个扬声器输出各个声道的掩蔽声音时,通过波场合成生成具有方向性的声束作为掩蔽声音的声束,并且因此,使掩蔽声音仅在掩蔽区域中再现。
通过这种方式生成供波场合成的各个声道的掩蔽声音,能够对掩蔽区域进行划分,并且能够仅在目标掩蔽区域中掩蔽内容的泄露声音。换言之,通过将生成泄露声音的区域设置为掩蔽区域,可以仅掩蔽泄露声音。
例如,放大单元52包括为与构成扬声器阵列12的各个扬声器对应的各个声道提供的放大器。
放大单元52通过使从波场合成滤波器单元51供应的各个声道的掩蔽声音与从再现电平调整单元23供应的掩蔽声音增益系数相乘而执行掩蔽声音的电平调整,并且将经过电平调整之后的掩蔽声音供应至加法单元26。
加法单元26将从放大单元52供应的各个声道的掩蔽声音与从放大单元25供应的各个声道的输出声音相加,以生成各个声道的最终输出声音,并且将其供应至DA转换单元27。在加法单元26中,使同一声道的掩蔽声音与输出声音相加。
<关于掩蔽区域>
在具有图8所示的配置的信号处理装置11中,将掩蔽区域而非整个再现空间定义为掩蔽声音的再现范围。
具体地,例如,如图9中所示,假设扬声器阵列12的前方的区域是再现空间。应注意,以相同的参考标号表示与图5中的部分对应的图9中的部分,并且根据需要省去描述。
在图9的实施例中,在再现空间中形成两个划分区域R22和R23,而且,将划分区域R22与划分区域R23之间的区域指定为掩蔽区域R31。因此,在本实施例中,使掩蔽声音仅在掩蔽区域R31中再现而掩蔽泄露声音,并且不使掩蔽声音在掩蔽区域R31之外再现,并且不掩蔽泄露声音。
在这种情况下,由图9中的直线L31指示的x轴上的声压分布如图10中所示。应注意,在图10中,水平轴表示x轴方向上的位置,并且垂直轴表示各个位置处的声压。进一步地,以相同的参考标号表示与图6的部分对应的图10中的部分,并且根据需要省去描述。
在图10所示的实施例中,曲线L51表示掩蔽声音的声压分布。
如曲线L51所示,掩蔽声音的声压仅在划分区域R22与划分区域R23之间的区域(即,掩蔽区域R31)中大于背景噪音电平,并且能够看出,在掩蔽区域R31之外,声压小于背景噪音电平。换言之,能够看出,仅通过掩蔽区域R31中的掩蔽声音而使用波场合成来掩蔽泄露声音。
<内容再现处理的描述>
在上述图8所示的内容再现***中,执行图11中所示的内容再现处理。即,下面将参考图11中的流程图对图8中所示的内容再现***的内容再现处理进行描述。
当开始内容再现处理时,执行步骤S41的处理,但是,因为步骤S41的处理与图7中的步骤S11的处理相似,所以将省去其描述。
在步骤S42中,波场合成滤波器单元51使用波场合成滤波器对从掩蔽声音生成单元21供应的掩蔽声音执行滤波处理,并且将各个声道的合成掩蔽声音供应至放大单元52。
例如,如图9所示的实施例中所示,当指定内容A和内容B作为被再现的内容时,生成各个声道的掩蔽声音,以通过波场合成使得掩蔽声音仅在掩蔽区域R31中再现。
当执行步骤S42的处理时,之后执行步骤S43至S47的处理并且内容再现处理结束。该处理与图7中的步骤S12至S16的处理相似,将省去其描述。
然而,在步骤S45中,放大单元52对各个声道的掩蔽声音的电平进行调整,并且放大单元25对各个声道的输出声音的电平进行调整。在步骤S46中,对于各个声道,使掩蔽声音与输出声音进行加法处理。
例如,如图9中所示,当在扬声器阵列12中输出各个声道的输出声音时,使内容A在划分区域R22中再现,使内容B在划分区域R23中再现,并且使掩蔽声音在掩蔽区域R31中再现。
如上所述,内容再现***基于外部信息生成掩蔽声音,并且通过波场合成使掩蔽声音与内容声音一起再现。如此,可以容易地使得难以听到泄露声音。而且,能够使得泄露声音仅在所需的掩蔽区域中被掩蔽。
<第三实施方式>
<内容再现***的配置例>
而且,尽管上面已经描述了使用外部信息来生成掩蔽声音的实施例,然而,可以通过使用外部传感器的输出而生成掩蔽声音。
例如,在使用摄像机作为外部传感器的情况下,内容再现***的配置如图12中所示。应注意,以相同的参考标号表示与图8的部分对应的图12中的部分,并且根据需要省去描述。
图12中所示的内容再现***包括摄像机81、信号处理装置11以及扬声器阵列12。
进一步地,图12中所示的信号处理装置11的配置具有这样的配置,其中,除图8中所示的信号处理装置11的配置之外,新提供了识别单元91,并且就其他方面而言,具有与图8的信号处理装置11相同的配置。
例如,作为外部传感器提供的摄像机81布置在再现空间中并且捕获整个再现空间或划分区域周围的区域作为对象,并且将所得的捕获图像供应至识别单元91。例如,所捕获的图像至少包括划分区域周围的区域作为对象。
识别单元91对从摄像机81供应的捕获图像执行面部识别和个人识别,以从所捕获的图像检测个人,从而估计内容再现***周围(即,整个再现空间或划分区域周围)存在的人的数量。换言之,识别单元91用作从所捕获的图像检测人的检测单元。识别单元91将指示作为内容再现***周围存在的人的数量的估计结果而获得的人的数量的人数信息供应至掩蔽声音生成单元21和再现电平调整单元23。
掩蔽声音生成单元21基于从识别单元91供应的人数信息生成掩蔽声音并且将其供应至波场合成滤波器单元51。
具体地,例如,在由人数信息指示的人的数量等于或大于预定阈值的情况下,即,在周围环境存在许多人的情况下,周围环境中存在许多噪音源,掩蔽声音生成单元21生成高斯噪音作为掩蔽声音。这是因为噪音源的数量越大,包括这些噪音源的声音的背景噪音越接近高斯噪音。
另一方面,例如,在由人数信息指示的人的数量小于预定阈值的情况下,即,在周围环境存在少量人的情况下,掩蔽声音生成单元21生成超高斯噪音作为掩蔽声音。这是因为当噪音源的数量较小时,包括这些噪音源的声音的背景噪音的频率特征的峰度变大。
应注意,可以生成具有与由人数信息指示的人的数量对应的峰度的频率特征的噪音作为掩蔽声音。此外,可以将人数信息输入至诸如神经网络等预测器并且可以执行计算而生成具有所获得的频率特征的掩蔽声音作为输出,或可以对外部信息和人数信息进行组合而生成掩蔽声音。
通过这种方式根据周围人的数量生成掩蔽声音,可以生成特征接近背景噪音的特征的掩蔽声音。
再现电平调整单元23基于从识别单元91供应的人数信息而确定内容声音增益系数和掩蔽声音增益系数,并且将增益系数供应至放大单元25和放大单元52。
具体地,例如,确定内容声音增益系数,以使得内容声音的再现电平随着由人数信息指示的人的数量的增加而增加。这是因为周围的人越多,变得越难以听到内容声音。
另一方面,例如,确定掩蔽声音增益系数,以使得掩蔽声音的再现电平随着由人数信息指示的人的数量的增加而减少。这是因为周围的人越多,背景噪音电平越高并且变得越难以听到泄露声音。应注意,在由人数信息指示的人的数量等于或大于预定的人的数量并且评估背景噪音电平较高的情况下,可以不使掩蔽声音再现(生成)。
此外,在掩蔽区域中仅存在一个人的情况下,可以将内容声音的再现电平设置为正常电平,并且可以增加掩蔽声音的再现电平。
可以说,使用该人数信息的掩蔽声音再现电平的调整是相对于从人数信息估计的背景噪音电平确定适当的掩蔽声音再现电平的处理。
应注意,与第一实施方式的情况相似,在再现电平调整单元23中,通过不仅使用人数信息,而且还使用内容声音数据可以确定内容声音增益系数或掩蔽声音增益系数。
此外,可以将人数信息或内容声音数据输入至诸如神经网络等预测器中并且可以执行计算而获得内容声音和掩蔽声音的再现电平的确定结果作为输出,或可以对外部信息和人数信息进行组合而确定内容声音和掩蔽声音的再现电平。
<内容再现处理的描述>
在上述图12所示的内容再现***中,执行图13中所示的内容再现处理。即,下面将参考图13中的流程图对图12中所示的内容再现***的内容再现处理进行描述。
在步骤S71中,识别单元91基于从摄像机81供应的捕获图像执行识别处理、并且将所得的人数信息供应至掩蔽声音生成单元21和再现电平调整单元23。
在步骤S72中,掩蔽声音生成单元21基于从识别单元91供应的人数信息生成掩蔽声音并且将其供应至波场合成滤波器单元51。
例如,在步骤S72中,根据人数信息生成高斯噪音或超高斯噪音作为掩蔽声音。
当生成掩蔽声音时,随后在步骤S73中使掩蔽声音受到滤波处理,并且在步骤S74中使内容声音受到滤波处理。应注意,因为处理与图11中的步骤S42和S43的处理相似,所以将省去其描述。
在步骤S75中,再现电平调整单元23基于从识别单元91供应的人数信息确定内容声音的再现电平和掩蔽声音的再现电平。
例如,在步骤S75中,确定内容声音增益系数和掩蔽声音增益系数,以使得由人数信息指示的人的数量越大,内容声音的再现电平越高并且掩蔽声音的再现电平越小。
当确定内容声音和掩蔽声音的再现电平(即,增益系数)时,之后执行步骤S76至S78的处理并且内容再现处理结束。该处理与图11中的步骤S45至S47的处理相似,并且将省去其描述。
如上所述,内容再现***基于人数信息生成掩蔽声音,调整内容声音和掩蔽声音的再现电平,并且通过波场合成使内容声音和掩蔽声音再现。如此,可以容易地使得难以听到泄露声音。
<第四实施方式>
<内容再现***的配置例>
此外,可以使用麦克风作为外部传感器。在这种情况下,例如,内容再现***的配置如图14中所示。应注意,以相同的参考标号表示与图8的部分对应的图14中的部分,并且根据需要省去描述。
图14中所示的内容再现***包括麦克风121、信号处理装置11以及扬声器阵列12。
进一步地,图14中所示的信号处理装置11的配置具有这样的配置,其中,除图8中所示的信号处理装置11的配置之外,新提供了模数(AD)配置单元131和背景噪音分析单元132,并且就其他方面而言,具有与图8中的信号处理装置11相同的配置。
例如,作为外部传感器的麦克风121布置在再现空间中的任意位置处并且获取再现空间(例如,划分区域周围的区域)中的背景噪音。即,麦克风121采集周围环境声音(以下称为记录声音)并且将其供应至AD转换单元131。应注意,麦克风121的数量可以是一个,但是,当然,可以布置多个麦克风121。
AD转换单元131对从麦克风121供应的记录声音执行AD转换,并且将所得的数字记录声音供应至背景噪音分析单元132。
背景噪音分析单元132基于从外面供应的内容声音数据对从AD转换单元131供应的记录声音的电平进行分析,即,对周围环境的背景噪音的特征进行分析,并且将分析结果供应至掩蔽声音生成单元21和再现电平调整单元23。
例如,在通过扬声器阵列12输出输出声音的状态下,通过麦克风121获得的记录声音不仅包括周围环境的背景噪音,而且还包括内容声音和掩蔽声音。
因此,基于所供应的内容声音数据,背景噪音分析单元132将在内容声音静音的静音部分(即,不使内容再现的部分)中所采集的记录声音视为背景噪音。然后,背景噪音分析单元132对被视为背景噪音的部分中的记录声音执行分析处理。应注意,假设掩蔽声音在内容声音静音的部分中未被再现。
具体地,例如,通过分析处理计算背景噪音电平,即,背景噪音的电平,通过频率分析学(频率分析)获得背景噪音的频率特征,或获得背景噪音的幅度特征。从背景噪音分析单元132输出通过这种方式获得的背景噪音电平和频率特征作为背景噪音分析结果。
掩蔽声音生成单元21基于从背景噪音分析单元132供应的分析结果生成掩蔽声音并且将其供应至波场合成滤波器单元51。
例如,掩蔽声音生成单元21可以基于与第一实施方式相似的参数表生成掩蔽声音,或可以使用诸如神经网络等预测器生成掩蔽声音。
再现电平调整单元23基于从背景噪音分析单元32供应的分析结果和所供应的内容声音数据中的至少一项控制掩蔽声音和内容声音的再现电平的调整。
即,再现电平调整单元23基于分析结果和内容声音数据中的至少一项确定掩蔽声音的再现电平(即,掩蔽声音增益系数)并且将所确定的增益系数供应至放大单元52。
类似地,再现电平调整单元23基于分析结果和内容声音数据中的至少一项确定内容声音的再现电平(即,内容声音增益系数)并且将所确定的增益系数供应至放大单元25。
例如,再现电平调整单元23可以基于与第一实施方式相似的参数表确定增益系数,或可以使用诸如神经网络等预测器确定增益系数。
此处,作为具体实施例,将描述生成掩蔽声音并且基于参数表确定增益系数的情况。在这种情况下,例如,掩蔽声音生成单元21和再现电平调整单元23提前保存图15中所示的参数表。
在图15中,特征“背景噪音声压”表示作为背景噪音分析单元132的分析结果而获得的背景噪音电平,即,所测量的背景噪音声压。
进一步地,特征“内容声音再现电平”和“掩蔽声音再现电平”分别表示内容声音的再现电平和掩蔽声音的再现电平,即,内容声音增益系数和掩蔽声音增益系数。进一步地,特征“掩蔽声音参数”表示掩蔽声音参数。
例如,掩蔽声音参数“空调”表示与图4中的情况相似的空调声音的频率特征,并且掩蔽声音参数“麦克风获取声音的频率特征”表示作为背景噪音的记录声音的频率特征。
应注意,掩蔽声音生成单元21不提前保存掩蔽声音参数“麦克风获取声音的频率特征”,并且使用作为背景噪音分析单元132的分析结果所供应的背景噪音的频率特征作为掩蔽声音参数“麦克风获取声音的频率特征”。
在这种情况下,可以生成与作为掩蔽声音参数的背景噪音的频率特征对应的高斯噪音作为掩蔽声音。
当基于掩蔽声音参数“麦克风获取声音的频率特征”生成掩蔽声音时,能够获得具有与实际背景噪音相同的频率特征的掩蔽声音,并且能够在不致使感觉不舒适的情况下自然地掩蔽泄露声音。
进一步地,对于内容声音和掩蔽声音的再现电平,内容声音的再现电平和掩蔽声音的再现电平随着背景噪音电平的增加而增加。
在图15所示的实施例中,例如,在获得背景噪音电平(即,背景噪音声压“60dBA”)作为背景噪音的分析结果的情况下,以10dB使内容声音再现,并且以3dB使与空调声音相似的掩蔽声音再现。
在使用图15中所示的该参数表的情况下,执行控制,以使得内容声音的再现电平根据背景噪音电平而改变,并且进一步地,根据内容声音的再现电平的变化而确定掩蔽声音的再现电平。
应注意,在使用参数表确定掩蔽声音参数和增益系数(再现电平)的情况下,不仅可以组合使用从外部传感器的输出获得的诸如背景噪音的分析结果等信息,而且还可以组合使用外部信息。
在这种情况下,例如,对于背景噪音的分析结果与外部信息的组合,能够使用将内容声音或掩蔽声音的再现电平(增益系数)与掩蔽声音参数相关联的参数表。换言之,基于背景噪音的分析结果与外部信息能够确定内容声音和掩蔽声音的增益系数及掩蔽声音参数。
<内容再现处理的描述>
在上述图14所示的内容再现***中,执行图16中所示的内容再现处理。即,下面将参考图16的流程图对图14中所示的内容再现***的内容再现处理进行描述。
在步骤S101中,背景噪音分析单元132基于所供应的内容声音数据对从AD转换单元131供应的记录声音(即,内容声音静音的静音部分中的背景噪音)执行分析处理,并且将分析结果供应至掩蔽声音生成单元21和再现电平调整单元23。此处,作为背景噪音分析结果,例如,能够获得背景噪音电平、频率特征、幅度特征等。
在步骤S102中,掩蔽声音生成单元21基于从背景噪音分析单元132供应的分析结果和提前保存的参数表生成掩蔽声音,并且将掩蔽声音供应至波场合成滤波器单元51。
例如,在步骤S102中,参照参数表,并且基于与背景噪音分析结果相关联的掩蔽声音参数而生成掩蔽声音。
当生成掩蔽声音时,随后在步骤S103中使掩蔽声音受到滤波处理,并且在步骤S104中使内容声音受到滤波处理。应注意,因为处理与图11中的步骤S42和S43的处理相似,所以将省去其描述。
在步骤S105中,再现电平调整单元23基于所供应的内容声音数据和从背景噪音分析单元132供应的分析结果,以及所保存的参数表中的至少一项确定掩蔽声音和内容声音的再现电平。
例如,在步骤S105中,参照参数表,并且通过指定与背景噪音分析结果相关联的增益系数而确定内容声音和掩蔽声音的再现电平,即,增益系数。
再现电平调整单元23将所确定的掩蔽声音增益系数供应至放大单元52并且将内容声音增益系数供应至放大单元25。
当确定再现电平时,之后执行步骤S106至S108的处理并且内容再现处理结束。该处理与图11中的步骤S45至S47的处理相似,将省去其描述。
如上所述,内容再现***基于背景噪音分析结果生成掩蔽声音,调整内容声音和掩蔽声音的再现电平,并且通过波场合成使内容声音和掩蔽声音再现。如此,可以容易地使得难以听到泄露声音。
<第四实施方式的变形例1>
<参数表的其他实施例>
进一步地,在使用麦克风121作为外部传感器的情况下,麦克风121能够布置在多个划分区域之间的区域中。然后,通过麦克风121能够获得包括在各个划分区域中被再现的内容声音、背景噪音以及掩蔽声音的混合声音作为记录声音。
在这种情况下,通过分析记录声音,可以确定应增加多少掩蔽声音,即,为了可靠地掩蔽泄露声音,计算掩蔽声音的再现电平应增加多少。
具体地,例如,背景噪音分析单元132将内容声音设置为S(信号)并且将背景噪音与掩蔽声音的混合声音设置为N(噪音)。即,背景噪音分析单元132获得当使内容声音再现时的记录声音的声压与当不使内容声音再现时的记录声音的声压之间的差作为SN比。
因此,在所获得的SN比大于0dB的情况下,背景噪音分析单元132确定内容声音电平优越,即,生成泄露声音,以使得进一步增加掩蔽声音并且增加掩蔽声音的再现电平。
另一方面,在所获得的SN比小于0dB的情况下,背景噪音分析单元132确定掩蔽声音与背景噪音的混合声音的电平优越,即,已经不可听到泄露声音,并且降低掩蔽声音的再现电平。
通过这种方式动态地改变掩蔽声音的再现电平,能够根据周围环境等以适当的再现电平使掩蔽声音再现。
例如,通过使用图17中所示的参数表能够实现上述掩蔽声音的再现电平的调整控制。
在图17中,特征“SN比”表示基于作为背景噪音分析单元132的分析结果而获得的记录声音的声压而计算的上述SN比。
进一步地,特征“内容声音再现电平”表示内容声音的再现电平,即,内容声音增益系数。
进一步地,特征“掩蔽声音再现电平变化”表示掩蔽声音的再现电平的增加/减少值,并且特征“掩蔽声音参数”表示掩蔽声音参数。
例如,掩蔽声音再现电平变化“-6dB”表示掩蔽声音的再现电平从当前电平减少-6dB。在图17所示的实施例中,掩蔽声音的再现电平根据SN比增加或减少,并且在SN比是0dB的情况下,假设掩蔽声音在当前时间点的再现电平是适当的电平,并且保持再现电平。即,增加/减少值是0dB。
因此,再现电平调整单元23参考参数表使掩蔽声音的再现电平增加或减少与从背景噪音分析单元132供应的SN比对应的增加/减少值。即,再现电平调整单元23根据掩蔽声音的再现电平的增加/减少值确定新的掩蔽声音增益系数,并且将新的增益系数供应至放大单元52。
在图17中所示的参数表保存在掩蔽声音生成单元21和再现电平调整单元23中的情况下,在参考图16描述的内容再现处理的步骤S101中计算SN比。
即,背景噪音分析单元132基于在不使内容声音再现的时刻获得的记录声音与在使内容声音再现的时刻获得的记录声音计算SN比作为背景噪音分析并且将所获得的SN比供应至掩蔽声音生成单元21和再现电平调整单元23。
然后,在步骤S102中,掩蔽声音生成单元21基于从背景噪音分析单元132供应的SN比和所保存的参数表确定掩蔽声音参数,并且根据确定结果生成掩蔽声音。
进一步地,在步骤S105中,再现电平调整单元23基于从背景噪音分析单元132供应的SN比和所保存的参数表确定内容声音和掩蔽声音的再现电平,即,增益系数。
例如,在图17所示的实施例中,确定内容声音增益系数,以使得内容声音的再现电平始终是20dB。进一步地,关于掩蔽声音,确定与当前时间点相对于掩蔽声音的再现电平而指定的再现电平对应的增益系数及与SN比对应的增加/减少值。
通过根据SN(即,内容声音的声压与背景噪音和掩蔽声音的混合声音之间的关系)比改变掩蔽声音的再现电平,能够以更适当的再现电平使掩蔽声音再现,并且能够可靠地掩蔽泄露声音。
基于上述SN比对掩蔽声音再现电平的控制能够被视为是根据背景噪音电平(更具体地,背景噪音与掩蔽声音的电平)与内容声音的再现电平之差而增加和减少掩蔽声音的再现电平的控制。
应注意,此处,已经描述了使用SN比和参数表确定掩蔽声音参数和掩蔽声音的再现电平的实施例,但是,可以使用诸如通过机器学习而提前生成的神经网络等预测器。
此外,在通过分析记录声音而能够获得背景噪音电平的情况下,背景噪音分析单元132可以针对各个频段将内容声音与背景噪音电平进行比较,并且再现电平调整单元23可以根据比较结果而针对各个频段确定掩蔽声音的再现电平。在这种情况下,因为能够针对各个频段而估计内容声音在哪一电平泄露至背景噪音之外,所以就听觉特征而言,能够更为可靠地掩蔽泄露声音。
<第五实施方式>
<内容再现***的配置例>
顺便提及,例如,在上述第四实施方式和第四实施方式的变形例1中,在静音部分时刻从记录声音计算背景噪音电平,并且使用与内容声音混合的记录声音进行分析。
然而,在内容声音持续并且不存在静音部分或存在少量静音部分的情况下,例如,在内容是音乐的情况下,难以仅获取背景噪音作为记录声音。进一步地,还假设了不能将麦克风121安装在划分区域之间的位置处。
因此,通过对包括内容声音的记录声音执行回声消除可以仅获取不包括内容声音的记录声音,即,背景噪音。
在这种情况下,例如,内容再现***的配置如图18中所示。应注意,以相同的参考标号表示与图14的部分对应的图18中的部分,并且根据需要省去描述。
图18中所示的内容再现***包括麦克风121、信号处理装置11以及扬声器阵列12。
进一步地,图18中所示的信号处理装置11的配置具有这样的配置,其中,除图14中所示的信号处理装置11的配置之外,新提供了回声消除单元161,并且就其他方面而言,具有与图14的信号处理装置11相同的配置。
在图18所示的信号处理装置11中,回声消除单元161设置在AD转换单元131与背景噪音分析单元132之间。
回声消除单元161基于所供应的内容声音数据对从AD转换单元131供应的记录数据执行回声消除,并且将经过回声消除之后的记录声音供应至背景噪音分析单元132。
在回声消除单元161中,通过使用回声消除滤波器对记录声音执行滤波处理而实现从记录声音中消除内容声音的回声消除。
此时,回声消除单元161对其中的回声消除滤波器进行更新,以接收通过麦克风121采集的记录声音和内容声音作为输入,从记录声音中消除(去除)内容声音,并且仅输出背景噪音。
例如,回声消除滤波器的更新算法可以是一般最小均方(LMS)或归一化LMS(NLMS)。
背景噪音分析单元132对从回声消除单元161供应的记录声音的电平等进行分析并且将分析结果供应至掩蔽声音生成单元21和再现电平调整单元23。
掩蔽声音生成单元21基于从背景噪音分析单元132供应的分析结果生成掩蔽声音并且将其供应至波场合成滤波器单元51。例如,掩蔽声音生成单元21通过使用图15中所示的参数表或通过使用提前学习而获得的预测器而生成掩蔽声音。
再现电平调整单元23基于从背景噪音分析单元132供应的分析结果和所供应的内容声音数据中的至少一项而控制掩蔽声音和内容声音的再现电平的调整。
例如,再现电平调整单元23基于作为从背景噪音分析单元132供应的分析结果的背景噪音电平和提前保存的图15中所示的参数表而确定内容声音的再现电平和掩蔽声音的再现电平。
<内容再现处理的描述>
在上述图18所示的内容再现***中,执行图19中所示的内容再现处理。即,下面将参考图19的流程图对图18中所示的内容再现***的内容再现处理进行描述。
在步骤S131中,回声消除单元161基于所供应的内容声音数据对从AD转换单元131供应的记录声音执行回声消除并且将经过回声消除之后的所得记录声音供应至背景噪音分析单元132。
在步骤S131中,在任意时刻对通过麦克风121采集的记录声音执行回声消除。因此,从记录声音中消除内容声音,并且获取(提取)背景噪音。
当通过这种方式获得背景噪音时,之后执行步骤S132至S139的处理并且内容再现处理结束。该处理与图16中的步骤S101至S108的处理相似,将省去其描述。
如上所述,内容再现***通过执行回声消除而获取背景噪音,基于背景噪音分析结果生成掩蔽声音,并且对内容声音和掩蔽声音的再现电平进行调整。进一步地,内容再现***使得通过波场合成已经对其电平进行适当调整的内容声音和掩蔽声音再现。如此,可以容易地使得难以听到泄露声音。
<其他变形例>
<内容再现***的配置例>
而且,在上述第一至第五实施方式中,已经描述了通过一个扬声器阵列12使内容声音和掩蔽声音再现的实施例。然而,通过不同的扬声器或扬声器阵列可以使掩蔽声音和内容声音再现,并且可以提供仅使掩蔽声音再现的扬声器或扬声器阵列。
例如,在图3所示的实施例中,在除扬声器阵列12之外新提供用于仅使掩蔽声音再现的扬声器的情况下,内容再现***的配置如图20中所示。应注意,以相同的参考标号表示与图3的部分对应的图20中的部分,并且根据需要省去描述。
图20中所示的内容再现***包括信号处理装置11、扬声器阵列12以及扬声器191。
该内容再现***具有这样的配置,其中,除图3中所示的内容再现***的配置之外,新设置了扬声器191。
进一步地,图20中所示的信号处理装置11的配置具有这样的配置,其中,除图3中所示的信号处理装置11的配置之外,新设置了低通滤波器(LPF)201和DA转换单元202,并且就其他方面而言,具有与图3的信号处理装置11相同的配置。
在图20所示的信号处理装置11中,将从放大单元24输出的掩蔽声音不仅供应至加法单元26而且还供应至LPF 201。
LPF 201是LPF(低通滤波器),并且通过使用低通滤波器对从放大单元24供应的掩蔽声音执行滤波处理而仅提取掩蔽声音的低频分量并且将掩蔽声音供应至DA转换单元202。
DA转换单元202对从LPF 201供应的掩蔽声音(更具体地,掩蔽声音的低频分量)执行DA转换,并且将所得的掩蔽声音(即,模拟信号)供应至扬声器191,并且使扬声器再现掩蔽声音。在这种情况下,DA转换单元202用作使从扬声器191输出掩蔽声音的输出单元。
例如,扬声器191包括具有比构成扬声器阵列12的扬声器更大的直径、用于低频再现的扬声器,并且输出(再现)从DA转换单元202供应的掩蔽声音。
具体地,在本实施例中,构成扬声器阵列12的扬声器的直径小于扬声器191的直径。因此,难以使扬声器阵列12以足够的声压使掩蔽声音的低频分量再现。因此,在内容再现***中,通过扬声器阵列12使掩蔽声音的中高频分量再现,并且通过扬声器191使掩蔽声音的低频分量再现。
应注意,当然,扬声器阵列12可以不再现掩蔽声音,并且仅扬声器191可以再现掩蔽声音。通过这种方式在与使内容声音再现的扬声器阵列12不同的另一扬声器191中至少使掩蔽声音的低频分量再现,能够以所需频率特征使掩蔽声音再现。
如上所述,根据第一实施方式至其他变形例中所描述的本技术,通过使适当再现电平的掩蔽声音再现可以容易地使得难以听到泄露声音。
而且,在本技术中,因为变得难以在各个划分区域中听到来自另一划分区域的泄露声音,所以可以提高内容声音的听觉分离程度。因此,能够更为容易地获取内容的内容,即,通过内容提供的信息。
通常,人类听觉甚至对较小的声音(语音或音乐)做出敏感的反应。因此,在泄露声音是该语音或音乐的情况下,划分区域中的听者或划分区域附近的人在不知情的情况下听到泄露声音,这使得人感觉不舒适。因此,根据本技术,通过掩蔽该泄露声音,听觉不会对变成泄露声音的内容声音做出反应,并且人不会感觉不舒适。
进一步地,利用已有技术,需要增加扬声器的数量来减少泄露声音,但是,利用本技术,即使扬声器的数量较少,也可以使得难以听到泄露声音,因此,能够减少扬声器的数量并且能够降低成本。
而且,根据本技术,不需要如已有技术那样将麦克风安装在用于消除声音的控制点处,并且即使在使用麦克风作为外部传感器的情况下,也能够减少麦克风的数量。因此,不仅内容再现***的操作位置的布局能够被给予自由度,而且还能够降低诸如麦克风等装备的成本。
此外,根据本技术,即使在扬声器的声束的辐射特征由于使内容声音再现的扬声器的制造变化、随着时间发生的劣化、再现环境中的声音反射和声音吸收而出现时隙的情况下,通过使掩蔽声音再现也能够抑制(覆盖)由该时隙而产生的效果。因此,能够减少内容再现***的维护时间和成本。
<计算机的配置例>
顺便提及,通过硬件能够执行并且通过软件也能够执行上述一系列处理。在通过软件执行该系列处理的情况下,将构成软件的程序安装在计算机中。此处,计算机包括安装在专用硬件中的计算机,例如,通过安装各种程序等而能够执行各种功能的通用个人电脑。
图21是示出通过程序执行上述该系列的处理的计算机的硬件的配置例的框图。
在计算机中,中央处理单元(CPU)501、只读存储器(ROM)502、随机访问存储器(RAM)503通过总线504互连。
输入/输出接口505进一步连接至总线504。输入单元506、输出单元507、记录单元508、通信单元509、以及驱动510连接至输入/输出接口505。
输入单元506包括键盘、鼠标、麦克风、图像传感器等。输出单元507包括显示器、扬声器阵列等。记录单元508包括硬盘、非易失性存储器等。通信单元509包括网络接口等。驱动510驱动诸如磁盘、光盘、磁光盘、或半导体存储器等可移除记录介质511。
在通过上述方式配置的计算机中,例如,执行上述一系列的处理,以使得CPU 501经由输入/输出接口505和总线504将存储在记录单元508中的程序加载到RAM 503中并且执行程序。
例如,通过记录在作为封装介质等的可移除记录介质511上能够提供由计算机(CPU 501)执行的程序。进一步地,经由诸如局域网、互联网、或数字卫星广播等有线或无线传输介质能够提供程序。
在计算机中,当将可移除记录介质511安装在驱动510上时,能够经由输入/输出接口505将程序安装在记录单元508中。进一步地,通信单元509能够经由有线或无线传输介质接收程序并且将程序安装在记录单元508中。此外,能够将程序预安装在ROM 502或记录单元508中。
应注意,由计算机执行的程序可以是遵循本实施方式中描述的顺序按照时间顺序而处理的程序或可以是并行处理或在所需时刻(例如,当完成调用时)进行处理的程序。
进一步地,本技术的实施方式并不局限于上述实施方式,但是,可以在不偏离本技术的实质的范围内做出各种改变。
例如,本技术能够采用云计算的配置,其中,共享一种功能并且由多个装置经由网络进行联合处理。
进一步地,能够由单一装置执行或由多个装置共享并且执行上述流程图中所描述的各个步骤。
而且,在其中单一步骤包括多个处理片段的情况下,能够由单一设备执行或能够由多个设备划分并且执行单一步骤中所包括的多个处理片段。
而且,本技术可以配置如下。
(1)一种信号处理装置,包括:
掩蔽声音生成单元,在通过使用扬声器阵列的波场合成使第一内容在第一区域中再现并且使第二内容在第二区域中再现的情况下,生成用于掩蔽在第一区域与第二区域之间的区域中听到的第一内容的声音和第二内容的声音的掩蔽声音。
(2)根据(1)所述的信号处理装置,进一步包括:
输出单元,使扬声器阵列输出掩蔽声音。
(3)根据(1)或(2)所述的信号处理装置,进一步包括:
输出单元,使与扬声器阵列不同的扬声器输出掩蔽声音。
(4)根据(1)至(3)中任一项所述的信号处理装置,
其中,掩蔽声音的再现电平大于背景噪音电平。
(5)根据(1)至(4)中任一项所述的信号处理装置,进一步包括:
波场合成滤波器单元,对通过掩蔽声音生成单元生成的掩蔽声音执行滤波处理,以通过波场合成生成用于使掩蔽声音在第一区域与第二区域之间的掩蔽区域中再现的多个声道中的每个声道的声音。
(6)根据(1)至(5)中任一项所述的信号处理装置,
其中,掩蔽声音生成单元基于外部信息生成掩蔽声音。
(7)根据(6)所述的信号处理装置,
其中,外部信息包括指示时区、一周中的某天、访问者的数量以及气候中的至少一项的信息。
(8)根据(1)至(5)中任一项所述的信号处理装置,进一步包括:
检测单元,从至少包括第一区域和第二区域周围的区域的图像中检测作为对象的人;
其中,掩蔽声音生成单元基于检测单元对人的检测结果而生成掩蔽声音。
(9)根据(1)至(5)中任一项所述的信号处理装置,进一步包括:
分析单元,对周围环境的背景噪音的特征进行分析;
其中,掩蔽声音生成单元基于特征的分析结果而生成掩蔽声音。
(10)根据(9)所述的信号处理装置,
其中,掩蔽声音生成单元根据特征的分析结果生成具有频率特征的掩蔽声音。
(11)根据(9)或(10)所述的信号处理装置,进一步包括:
再现电平调整单元,基于特征的分析结果对掩蔽声音的再现电平进行调整。
(12)根据(9)至(11)中任一项所述的信号处理装置,进一步包括:
回声消除单元,通过相对于所采集的周围环境声音执行基于第一内容的声音和第二内容的声音的回声消除来提取背景噪音。
(13)根据(1)至(12)中任一项所述的信号处理装置,
其中,掩蔽声音生成单元根据第一内容和第二内容的频率特征而改变掩蔽声音的频率特征。
(14)根据(1)至(13)中任一项所述的信号处理装置,进一步包括:
再现电平调整单元,根据第一内容和第二内容的再现电平而改变掩蔽声音的再现电平。
(15)一种信号处理方法,其中,信号处理装置,
在通过使用扬声器阵列的波场合成使第一内容在第一区域中再现并且使第二内容在第二区域中再现的情况下,生成用于掩蔽在第一区域与第二区域之间的区域中听到的第一内容的声音和第二内容的声音的掩蔽声音。
(16)一种致使计算机执行处理的程序,包括下列步骤:
在通过使用扬声器阵列的波场合成使第一内容在第一区域中再现并且使第二内容在第二区域中再现的情况下,生成用于掩蔽在第一区域与第二区域之间的区域中听到的第一内容的声音和第二内容的声音的掩蔽声音。
参考标号列表
11 信号处理装置
12 扬声器阵列
21 掩蔽声音生成单元
22 波场合成滤波器单元
23 再现电平调整单元
24 放大单元
25 放大单元
51 波场合成滤波器单元
91 识别单元
121 麦克风
132 背景噪音分析单元
161 回声消除单元。
Claims (16)
1.一种信号处理装置,包括:
掩蔽声音生成单元,在通过使用扬声器阵列的波场合成使第一内容在第一区域中再现并且使第二内容在第二区域中再现的情况下,生成用于掩蔽在所述第一区域与所述第二区域之间的区域中听到的所述第一内容的声音和所述第二内容的声音的掩蔽声音。
2.根据权利要求1所述的信号处理装置,进一步包括:
输出单元,使所述扬声器阵列输出所述掩蔽声音。
3.根据权利要求1所述的信号处理装置,进一步包括:
输出单元,使与所述扬声器阵列不同的扬声器输出所述掩蔽声音。
4.根据权利要求1所述的信号处理装置,
其中,所述掩蔽声音的再现电平大于背景噪音电平。
5.根据权利要求1所述的信号处理装置,进一步包括:
波场合成滤波器单元,对通过所述掩蔽声音生成单元生成的所述掩蔽声音执行滤波处理,以通过波场合成生成用于使所述掩蔽声音在所述第一区域与所述第二区域之间的掩蔽区域中再现的多个声道中的每个声道的声音。
6.根据权利要求1所述的信号处理装置,
其中,所述掩蔽声音生成单元基于外部信息生成所述掩蔽声音。
7.根据权利要求6所述的信号处理装置,
其中,所述外部信息包括指示时区、一周中的某天、访问者的数量以及气候中的至少一项的信息。
8.根据权利要求1所述的信号处理装置,进一步包括:
检测单元,从至少包括所述第一区域和所述第二区域周围的区域的图像中检测作为对象的人;
其中,所述掩蔽声音生成单元基于所述检测单元对所述人的检测结果而生成所述掩蔽声音。
9.根据权利要求1所述的信号处理装置,进一步包括:
分析单元,对周围环境的背景噪音的特征进行分析;
其中,所述掩蔽声音生成单元基于所述特征的分析结果而生成所述掩蔽声音。
10.根据权利要求9所述的信号处理装置,
其中,所述掩蔽声音生成单元根据所述特征的所述分析结果生成具有频率特征的所述掩蔽声音。
11.根据权利要求9所述的信号处理装置,进一步包括:
再现电平调整单元,基于所述特征的所述分析结果对所述掩蔽声音的再现电平进行调整。
12.根据权利要求9所述的信号处理装置,进一步包括:
回声消除单元,通过相对于所采集的周围环境声音执行基于所述第一内容的所述声音和所述第二内容的所述声音的回声消除来提取所述背景噪音。
13.根据权利要求1所述的信号处理装置,
其中,所述掩蔽声音生成单元根据所述第一内容和所述第二内容的频率特征而改变所述掩蔽声音的频率特征。
14.根据权利要求1所述的信号处理装置,进一步包括:
再现电平调整单元,根据所述第一内容和所述第二内容的再现电平而改变所述掩蔽声音的再现电平。
15.一种信号处理方法,其中,信号处理装置,
在通过使用扬声器阵列的波场合成使第一内容在第一区域中再现并且使第二内容在第二区域中再现的情况下,生成用于掩蔽在所述第一区域与所述第二区域之间的区域中听到的所述第一内容的声音和所述第二内容的声音的掩蔽声音。
16.一种使计算机执行处理的程序,所述处理包括下列步骤:
在通过使用扬声器阵列的波场合成使第一内容在第一区域中再现并且使第二内容在第二区域中再现的情况下,生成用于掩蔽在所述第一区域与所述第二区域之间的区域中听到的所述第一内容的声音和所述第二内容的声音的掩蔽声音。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018152451 | 2018-08-13 | ||
JP2018-152451 | 2018-08-13 | ||
PCT/JP2019/029813 WO2020036058A1 (ja) | 2018-08-13 | 2019-07-30 | 信号処理装置および方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112513977A true CN112513977A (zh) | 2021-03-16 |
Family
ID=69525469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980051268.9A Withdrawn CN112513977A (zh) | 2018-08-13 | 2019-07-30 | 信号处理装置与方法以及程序 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11462200B2 (zh) |
EP (1) | EP3839941A4 (zh) |
JP (1) | JPWO2020036058A1 (zh) |
KR (1) | KR20210043565A (zh) |
CN (1) | CN112513977A (zh) |
WO (1) | WO2020036058A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021245876A1 (ja) * | 2020-06-04 | 2021-12-09 | 日本電信電話株式会社 | スピーカキャリブレーション方法、装置及びプログラム |
US20220415299A1 (en) * | 2021-06-25 | 2022-12-29 | Nureva, Inc. | System for dynamically adjusting a soundmask signal based on realtime ambient noise parameters while maintaining echo canceller calibration performance |
CN117751404A (zh) * | 2021-07-14 | 2024-03-22 | 松下电器(美国)知识产权公司 | 区域再现***以及区域再现方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3422282B2 (ja) | 1999-04-09 | 2003-06-30 | ヤマハ株式会社 | 指向性拡声装置 |
JP4919021B2 (ja) * | 2006-10-17 | 2012-04-18 | ヤマハ株式会社 | 音声出力装置 |
JP2011211266A (ja) | 2010-03-29 | 2011-10-20 | Hitachi Omron Terminal Solutions Corp | スピーカアレイ装置 |
US9578440B2 (en) * | 2010-11-15 | 2017-02-21 | The Regents Of The University Of California | Method for controlling a speaker array to provide spatialized, localized, and binaural virtual surround sound |
JP2013073016A (ja) | 2011-09-28 | 2013-04-22 | Onkyo Corp | 音響再生装置 |
JP5838740B2 (ja) | 2011-11-09 | 2016-01-06 | ソニー株式会社 | 音響信号処理装置と音響信号処理方法およびプログラム |
US20130259254A1 (en) * | 2012-03-28 | 2013-10-03 | Qualcomm Incorporated | Systems, methods, and apparatus for producing a directional sound field |
JP2014102308A (ja) | 2012-11-19 | 2014-06-05 | Konica Minolta Inc | 音響出力装置 |
EP3048608A1 (en) | 2015-01-20 | 2016-07-27 | Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. | Speech reproduction device configured for masking reproduced speech in a masked speech zone |
JP2017161448A (ja) | 2016-03-11 | 2017-09-14 | 株式会社インディ・アソシエイツ | 案内装置 |
CN109417668A (zh) | 2016-07-05 | 2019-03-01 | 索尼公司 | 声场形成装置和方法、以及程序 |
CN109792578A (zh) | 2016-10-07 | 2019-05-21 | 索尼公司 | 信号处理设备和方法、以及程序 |
-
2019
- 2019-07-30 EP EP19849690.3A patent/EP3839941A4/en not_active Withdrawn
- 2019-07-30 JP JP2020537402A patent/JPWO2020036058A1/ja active Pending
- 2019-07-30 KR KR1020217002890A patent/KR20210043565A/ko unknown
- 2019-07-30 WO PCT/JP2019/029813 patent/WO2020036058A1/ja unknown
- 2019-07-30 CN CN201980051268.9A patent/CN112513977A/zh not_active Withdrawn
- 2019-07-30 US US17/266,486 patent/US11462200B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2020036058A1 (ja) | 2020-02-20 |
JPWO2020036058A1 (ja) | 2021-08-12 |
US20210241746A1 (en) | 2021-08-05 |
US11462200B2 (en) | 2022-10-04 |
KR20210043565A (ko) | 2021-04-21 |
EP3839941A4 (en) | 2021-10-06 |
EP3839941A1 (en) | 2021-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9591410B2 (en) | Hearing assistance apparatus | |
KR100643310B1 (ko) | 음성 데이터의 포먼트와 유사한 교란 신호를 출력하여송화자 음성을 차폐하는 방법 및 장치 | |
CN112513977A (zh) | 信号处理装置与方法以及程序 | |
US20080187148A1 (en) | Headphone device, sound reproduction system, and sound reproduction method | |
Launer et al. | Hearing aid signal processing | |
CN112306448A (zh) | 根据环境噪声调节输出音频的方法、装置、设备和介质 | |
JP2009510534A (ja) | 人間のユーザに対して可聴騒音の知覚の削減をもたらすためのシステム | |
CN108235181B (zh) | 在音频处理装置中降噪的方法 | |
CN103874002A (zh) | 包括非自然信号减少的音频处理装置 | |
KR102191736B1 (ko) | 인공신경망을 이용한 음성향상방법 및 장치 | |
JP2008124918A (ja) | マスキング装置およびマスキングシステム | |
JP2023159381A (ja) | 音声認識オーディオシステムおよび方法 | |
CN107124647A (zh) | 一种全景视频录制时自动生成字幕文件的方法及装置 | |
Belyi et al. | Integrated psychoacoustic active noise control and masking | |
CN112767908B (zh) | 基于关键声音识别的主动降噪方法、电子设备及存储介质 | |
Bischof et al. | Fast processing models effects of reflections on binaural unmasking | |
Rämö et al. | Perceptual frequency response simulator for music in noisy environments | |
KR102196519B1 (ko) | 소리 제거 시스템 및 이를 이용한 소리 제거 방법 | |
KR102113572B1 (ko) | 소리 제거 시스템 및 이를 이용한 소리 제거 방법 | |
Rämö | Equalization techniques for headphone listening | |
Estreder et al. | Perceptual Active Equalization of Multi-frequency Noise. | |
KR102403996B1 (ko) | 보청기의 채널영역 방식, 채널영역 방식을 이용한 보청기의 피팅방법, 그리고 이를 통해 피팅된 디지털 보청기 | |
Tang et al. | Binaural-cue-based noise reduction using multirate quasi-ANSI filter bank for hearing aids | |
Morgan | Time-frequency masking performance for improved intelligibility with microphone arrays | |
Patel | Acoustic Feedback Cancellation and Dynamic Range Compression for Hearing Aids and Its Real-Time Implementation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210316 |
|
WW01 | Invention patent application withdrawn after publication |