CN107637095A - 用于个人声音的保留隐私、能量高效的扬声器 - Google Patents
用于个人声音的保留隐私、能量高效的扬声器 Download PDFInfo
- Publication number
- CN107637095A CN107637095A CN201680027461.5A CN201680027461A CN107637095A CN 107637095 A CN107637095 A CN 107637095A CN 201680027461 A CN201680027461 A CN 201680027461A CN 107637095 A CN107637095 A CN 107637095A
- Authority
- CN
- China
- Prior art keywords
- signal
- loudspeaker
- audio signal
- user
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005236 sound signal Effects 0.000 claims abstract description 132
- 238000000034 method Methods 0.000 claims abstract description 94
- 230000002829 reductive effect Effects 0.000 claims abstract description 10
- 230000000873 masking effect Effects 0.000 claims abstract description 8
- 230000000295 complement effect Effects 0.000 claims description 23
- 230000005540 biological transmission Effects 0.000 claims description 21
- 210000005069 ears Anatomy 0.000 claims description 11
- 239000012634 fragment Substances 0.000 claims description 10
- 240000006409 Acacia auriculiformis Species 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 claims description 3
- 230000003111 delayed effect Effects 0.000 claims 1
- 230000002035 prolonged effect Effects 0.000 claims 1
- 230000003247 decreasing effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 61
- 238000005516 engineering process Methods 0.000 description 29
- 230000004048 modification Effects 0.000 description 17
- 238000012986 modification Methods 0.000 description 17
- 238000003860 storage Methods 0.000 description 15
- 230000009471 action Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 201000006549 dyspepsia Diseases 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 208000031636 Body Temperature Changes Diseases 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000005587 bubbling Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000022379 skeletal muscle tissue development Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/002—Devices for damping, suppressing, obstructing or conducting sound in acoustic devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2217/00—Details of magnetostrictive, piezoelectric, or electrostrictive transducers covered by H04R15/00 or H04R17/00 but not provided for in any of their subgroups
- H04R2217/03—Parametric transducers where sound is generated or captured by the acoustic demodulation of amplitude modulated ultrasonic waves
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R27/00—Public address systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
这里描述的保留隐私、能量高效的扬声器实现方式在用户正在收听音频之时提高用户隐私并且可以减少为了输出音频而必需的能量。这可以通过使用参数型扬声器和/或传统扩音器而被完成。信号分路和掩蔽可以用来提高用户隐私。附加地,尤其地在使用参数型扬声器的情境中显著地减少用于输出音频信号的功率要求的信号调制技术也可以被运用。
Description
背景技术
传统或者常规音频扬声器或者扩音器被设计为用声音填充空间。这允许共享的音频体验。然而,人经常想要隐私地收听音频。这在人正在公共空间中使用移动计算设备时尤其地成立。一种用于向移动用户提供隐私声音(例如,在膝上型计算机或者平板计算设备上)的方式是通过让用户佩戴头戴式耳机。头戴式耳机的使用排除其他人收听音频。例如,用户或者收听者正在收听的话音被保持隐私。
参数型扬声器(即,从超声信号产生声音)也在被用于各种音频应用时提供某个隐私水平。它们已经被用来提供如下“区段”,在该区段声音可以被正在收听音频的用户听见而没有打扰其他人。传统地与参数型扬声器一起被使用的调制技术被称为平方根调制,并且它实质上等效于向希望的信号添加直流(DC)分量(以使它非负),并且然后取结果的平方根并且使用标准调幅-受抑制载波(AM-SC)调制。
发明内容
提供这一发明内容以用简化的形式介绍以下在具体实施方式中被进一步描述的概念选集。这一发明内容没有旨在于标识要求保护的主题内容的关键特征或者实质特征,也没有旨在于被用来限制要求保护的主题内容的范围。
一般而言,这里描述的保留隐私、能量高效的扬声器实现方式特别地在与仅参数型解决方案比较时提高用户在收听音频之时的隐私并且可以减少为了输出音频而必需的能量。这可以通过使用参数型扬声器和/或传统扩音器(例如,常规音频扬声器)而被完成。信号分路和掩蔽可以用来提高用户隐私。附加地,尤其地在使用参数型扬声器的情境中显著地减少用于输出信号的功率要求的信号调制技术也可以被运用。
在一些保留信号隐私、能量高效的扬声器实现方式中,信号被划分成多个互补部分,并且按照如下方式向一个声道输出信号的一个或者多个部分并且向其它声道发送音频信号的一个或者多个其它部分,该方式为在每个声道中的信号被播放时所得声音的所有部分在相同时间到达希望的目的地。这些实现方式适用于各种类型的输出设备。例如,可以向多个参数型扬声器、向一个参数型扬声器和一个传统扩音器、向多个参数型扬声器和多个扩音器或者向其它类型的输出设备发送经划分的音频信号。附加地,可以在不同时间发送并且然后重新组装经划分的信号部分,从而使得收听者可以在以后时间听见由重建的音频信号产生的声音。例如,可以在一系列电话呼叫之上发送互补信号,并且然后可以重新组装互补信号,从而使得它们被收听者同时或者接近同时听见。
在一些保留隐私、能量高效的参数型扬声器实现方式中,音频信号被调制以便减少输出信号的换能器的能量消耗。这可以通过用代表将被收听者的耳朵听见的声音的音频信号调制载波信号而按照减少为了输出音频信号而需要的能量的方式向待调制的信号添加低频信号而被完成。
附加地,在一些保留隐私、能量高效的扬声器实现方式中,信号分路方面被与信号调制方面组合,这允许控制在功率消耗与隐私之间的平衡。因此,在一些保留隐私、能量高效的扬声器实现方式中,向一个或者多个传统扩音器用声道传输代表将被用户听见的声音的音频信号的部分,而通过一个或者多个参数型扬声器用声道传输信号的部分,其中通过应用如后文描述的修改后的音频幅度调制过程来调制超声载波信号。在一些实现方式中,按照最小化话音对其他人的可理解性的方式完成分路,同时控制针对参数型扬声器所需要的功率。
这里描述的保留隐私、能量高效的扬声器实现方式有利在于它们保留收听音频的用户的隐私并且它们造成在参数型扬声器被用来输出音频信号时的减少能量消耗。这允许使用参数型扬声器而不管它们的典型地高功率要求和它们的声音的一般地没有好到足以确保隐私的有向性。另外,这里描述的能量高效的频率调制可以应用于不仅超声载波信号(比如与参数型信号一起被使用的载波信号),也应用于比如将与AM无线电一起被使用的射频(RF)信号。附加地,通过确定用户/收听者的耳朵的位置并且通过使用参数型扬声器来将声音引向它们,可以使被用来输出声音的计算设备小于如果没有确定耳朵的位置的情况。
附图说明
公开内容的具体特征、方面和优点将关于以下描述、所附权利要求和附图而变得更好理解,在附图中:
图1是用于实践使用信号分路以获得收听者/用户在收听音频之时的隐私的、保留隐私、能量高效的扬声器实现方式的示例性过程。
图2是用于实践使用修改后的音频调幅过程的保留隐私、能量高效的扬声器实现方式的示例性过程,修改后的音频调幅过程减少为了输出音频信号而必需的能量。
图3是用于实践使用信号分路以在一个或者多个参数型扬声器与一个或者多个传统扩音器之间分路音频的保留隐私、能量高效的扬声器实现方式的示例性过程。
图4是用于实践使用修改后的调幅技术连同参数型扬声器以减少为了从参数型扬声器输出声音而必需的功率的保留隐私、能量高效的扬声器实现方式的示例性过程。
图5是用于实践使用信号分路和修改后的调幅技术以既向收听音频的用户提供隐私又减少由参数型扬声器消耗的功率的保留隐私、能量高效的扬声器实现方式的示例性过程。
图6是有助于使用信号分路器、使用参数型扬声器和常规扩音器来将音频信号引向收听者的耳朵以对于收听者提供隐私的示例性***的功能框图。
图7是被配置为朝着收听者的耳朵导引超声波束的主瓣的示例性导引部件的功能框图。
图8是可以提供收听者隐私并且减少为了输出音频信号而需要的能量同时通过使用参数型扬声器的集合和/或传统扩音器的集合将音频信号引向收听者的双耳来向收听者提供三维音频体验的示例性***的功能框图。
图9是可以与这里描述的各种保留隐私、能量高效的扬声器实现方式一起被使用的示例性计算***。
具体实施方式
在对保留隐私、能量高效的扬声器实现方式的以下描述中,对形成其部分并且通过图示示出可以用来实践这里描述的实现方式的示例的附图进行参照。将理解,可以利用其它实现方式并且可以做出结构性改变而没有脱离要求保护的主题内容的范围。
1.0保留隐私、能量高效的扬声器实现方式
以下章节提供对用于实践这里描述的保留隐私、能量高效的扬声器实现方式的示例性过程以及用于实践这些实现方式的示例性***的描述。也提供了各种实施例和示例性计算的细节。
作为引文,以下图中的一些图在被不同地称为功能、模块、特征、单元等的一个或者多个结构部件的上下文中描述概念。可以用任何方式实施图中所示的各种部件。在一种情况下,所示的将图中的各种部件分离成相异单元可以反映在实际实现方式中使用对应的相异部件。备选地或者附加地,图中所示的任何单个部件可以由多个实际部件实施。备选地或者附加地,在图中描绘任何两个或者更多个分离的部件可以反映由单个实际部件执行的不同功能。
其它图按照流程图形式描述概念。在这一形式中,某些操作被描述为构成按照某个顺序被执行的相异块。这样的实现方式为说明性的和非限制性的。这里描述的某些块可以被分组在一起并且在单个操作中被执行,某些块可以被分解成多个部件块,并且可以按照与这里所示的顺序不同的顺序(包括执行块的并行方式)来执行某些块。可以按照任何方式实施流程图中所示的块。
图1至图5图示了用于实践各种保留隐私、能量高效的扬声器实现方式的示例性过程。尽管过程被示出和描述为在序列中被执行的一系列动作,但是将理解和认识到,过程不受序列的顺序限制。例如,一些动作可以按照与这里描述的顺序不同的顺序出现。附加地,一个动作可以与另一动作并行地出现。另外,在一些实例中,可以不需要所有动作以实施这里描述的过程。
另外,这里描述的动作可以是可以由一个或者多个处理器实施和/或在一个或者多个计算机可读介质上存储的计算机可执行指令。计算机可执行指令可以包括例程、子例程、程序、执行的线程等。进而另外,过程的动作的结果可以被存储在计算机可读介质中、被显示在显示设备上,等等。
在图1至图5中描述的过程可以与和计算***通信的一个或者多个参数型扬声器和/或扩音器一起被使用。计算***可以例如是移动计算设备、移动电话、音频接收器、视频游戏控制台、汽车、机顶盒、电视机,所有示例可以包括参数型扬声器和扩音器或者可以与它们通信。每个参数型扬声器包括可以由计算***驱动以发射超声波束的压电换能器的阵列。计算***可以包括被配置为输出指示收听者的耳朵相对于扬声器的位置而言的位置的传感器或者与它通信。例如,传感器可以是或者包括视频相机,该视频相机输出包括收听者的区域的图像和/或传感器可以是或者包括深度传感器,该深度传感器输出包括收听者的区域的深度图像。参照图6至图9来提供可以用来实施图1至图5中所示的过程的各种***的附加细节。
图1描绘了用于实践一个保留隐私、能量高效的扬声器实现方式的过程100,在该实现方式中使用信号分路。信号分路可以被用来使通过扬声器输出的音频对于既定的用户/收听者易于理解,但是对于在用户/收听者附近的其他人难以理解,因为他们不能听见输出音频的所有部分。参照图1,如块102中所示,音频信号被划分成多个互补部分。在第2.1节中提供了在一些实现方式中如何划分信号的细节。然后,如块104中所示,按照如下方式向一个声道输出音频信号的一个或者多个部分,而向一个或者多个其它声道发送音频信号的一个或者多个其它部分,该方式为在播放每个声道中的信号时,所得声音的所有部分到达希望的目的地(例如,在相同时间或者大约相同时间)。可以在各种应用中使用各种输出设备来实施这一信号分路过程。例如,可以向多个参数型扬声器、向一个或者多个参数型扬声器和一个或者多个传统扩音器或者向其它类型的输出设备(如例如助听器、传统扩音器阵列等)发送经划分的音频信号。附加地,可以在不同时间发送并且然后重新组装经划分的信号部分,从而使得收听者/用户可以在以后时间听见由信号产生的声音。例如,可以在一系列电话呼叫之上发送互补信号,并且然后可以重新组装互补信号,从而使得它们生成的声音被收听者同时或者接近同时听见。
在图2中所示的用于实践保留隐私、能量高效的扬声器实现方式的另一示例性过程200中,在调制音频信号之前向它添加低频信号。这样做以便减少输出信号的换能器的能量消耗。如在块204中所示,这可以例如通过用代表将被收听者的耳朵听见的声音的音频信号调制载波信号而被完成。如块202中所示,按照减少为了输出音频信号而需要的能量的方式来向原有信号添加低频信号。可以选择低频信号从而使得它在人类可以听见的频率以上具有最小谱功率。这一调制技术可以与和参数型扬声器一起被使用的超声载波信号一起被使用,但是也可以与比如可以与AM无线电一起被使用的射频(RF)载波信号一起被使用。可以与各种保留隐私和能量高效的实现方式一起运用示例性过程200,在这些实现方式中,也运用信号分路以便提供能量效率和用户隐私二者。
如图3中所示,用于实践保留隐私、能量高效的扬声器实现方式的又一示例性过程300有助于向参数型扬声器提供声音以及提供声音的部分以通过常规扩音器被播放。如块302中所示,音频信号被拆分成多个互补部分。在块304中,按照如下方式向参数型扬声器发送音频信号的一个部分而向常规扩音器发送其余部分,该方式为造成产生的声音的所有部分在相同时间或者大约相同时间到达希望的用户或者收听者的位置。对音频信号的分路和向不同声道发送信号的互补部分可以被用来保留用户/收听者的隐私,因为在用户/收听者周围的其他人不能听见由音频信号的互补部分产生的声音的所有部分。另外,可以按照比如减少用于输出向参数型扬声器发送的音频信号的部分的功率要求的方式来调制这些部分。在第2.2.2节中更具体描述这样的调制。
现在参照图4,图示了示例性过程400,该过程有助于基于收听者的耳朵的跟踪的位置来驱动参数型扬声器,同时应用如在本说明书的第2.2.2节中更具体描述的修改的音频调幅方法。如块402中所示,基于由捕获用户/收听者的定位(例如,通过使用头部***)的传感器输出的数据来估计用户或者收听者(的耳朵)的定位。传感器可以是或者包括相机、深度传感器等。在块404中,基于(在块402中估计的)用户的耳朵的定位,计算用于参数型扬声器的换能器阵列的换能器的延迟系数,其中延迟系数被用来向用户的耳朵电子地导引(由参数型扬声器输出的)超声波束的主瓣。
在块406中,用将被提供给用户的音频信号来调制超声载波信号,由此创建经调制的信号。在调制之前,将音频信号与使所得音频信号非负的适当的最小化能量的低频信号相加。如在本说明书的第2.2.2节中更具体描述的那样,用低频信号的这一调制减少为了输出音频信号而必需的功率。在块408中,向参数型扬声器的换能器阵列中的换能器传输所得信号,其中基于在块404中计算出的相应延迟系数来延迟信号。
图5描绘了另一示例性过程500,该过程有助于向一个或者多个参数型扬声器提供音频信号以及向一个或者多个传统扩音器(例如,在计算设备中或者被附着到计算设备)提供音频信号的部分。这一信号提供可以被用来使通过扬声器被输出的音频对于既定的用户/收听者易于理解,但是对于在用户/收听者附近的其他人难以理解。如块502中所示,使用常规方法基于接收到的传感器数据来估计用户的左耳定位和右耳定位。左耳定位和右耳定位可以分别相对于第一参数型扬声器和第二参数型扬声器。如块504中所示,输入的音频信号被分路成两个互补部分,一个部分用于一对参数型扬声器并且一个部分用于一个或者多个扩音器。信号的第一部分被处理以用于由该对参数型扬声器输出。信号的第一部分可以被进一步划分成将被包括在由第一参数型扬声器输出的超声波束中的左音频信号和将被包括在由第二参数型扬声器输出的超声波束中的右音频信号。在块506中,计算延迟系数以使第一参数型扬声器将超声波束的主瓣引向用户的左耳,其中基于所估计的左耳定位来计算这样的延迟系数。在块508中,计算可以向与第一参数型扬声器(将有时也被称为左参数型扬声器)关联的超声载波信号添加的低频信号。如块510中所示,用音频信号的前述第一部分调制用于左参数型扬声器的超声载波信号,由此创建用于左参数型扬声器的左经调制信号。可以在一个实现方式中在用超声载波信号调制之前向音频信号添加在块508中被计算出的低频信号以便减少为了输出信号而需要的功率数量。在本说明书的第2.2.2节中提供了这一调制的细节。在块512中,向左参数型扬声器的相应换能器传输左经调制信号,其中基于在块506中计算出的延迟系数适当地延迟左经调制信号以在与信号的对应部分到达用户的右耳的相同时间到达用户的左耳。
与块506-512中所示的动作并行,如块514中所示,计算延迟系数以使得第二参数型扬声器将超声波束的主瓣引向用户的右耳。如块516中所示,计算可以向与第二参数型扬声器(将有时也被称为右参数型扬声器)关联的信号添加的低频信号。如块518中所示,用音频信号的第一部分调制用于右参数型扬声器的超声载波信号,由此创建用于右参数型扬声器的右经调制信号。可以在一个实现方式中在用超声载波信号调制之前向音频信号添加在块516中计算出的低频信号以便减少为了输出信号而需要的功率数量。在本说明书的第2.2.2节中提供了这一调制的细节。如块520中所示,向右参数型扬声器的相应换能器传输右经调制信号,其中基于在块514中计算出的延迟系数适当地延迟右经调制信号以在与信号的对应部分到达用户的左耳的相同时间或大约相同时间到达用户的右耳。
如块522中所示,音频信号的第二部分被处理以用于与由参数型扬声器输出音频信号的第一部分一起由传统扩音器输出音频信号的第二部分。在最简单的示例中,可以计算将由传统扩音器传输的信号为原先希望的音频信号减去由参数型扬声器发送的信号。更多详细示例可以包括对信号进行成形以补偿参数型扬声器的频率响应。在任何情况下,估计并且与所估计的声速组合使用在每个扬声器与用户的耳朵之间的距离以计算为了确保所有信号在适当时间到达用户的耳朵而需要向每个分量添加的延迟。
结果是向用户提供具有向用户的左耳和右耳直接地递送的音频的高质量立体体验。应当注意,可以驱动单个参数型扬声器以形成被引向例如收听者的双耳的两个(或者更多个)超声波束。附加地,对音频信号的分路和向不同声道发送信号的互补部分可以被用来保留用户/收听者的隐私并且减少为了输出音频信号而需要的能量。例如,这可以通过向将超声波束引到用户的耳朵的参数型扬声器发送音频信号的高频部分而向传统扩音器发送需要更多能量来输出的、信号的低频部分而被实现。在保留隐私、能量高效的扬声器实现方式的一些实现方式中,用户可以选择希望的隐私数量和能量效率数量。附加地,在一些保留隐私、能量高效的扬声器实现方式中,可以输出掩蔽声音以便进一步伪装通过参数型扬声器被输出的声音。可以经由扩音器之一或者经由分离的扬声器或者声音生成器来输出这一掩蔽声音。一般而言,任何声音可以被用作掩蔽声音。为了掩蔽话音,冒泡声音可以提供大量掩蔽效果,其中用正被掩蔽的信号的能量包络的逆包络来调制能量包络。附加地,可以按照在用户的耳朵处或者附近放置空值并且在作为掩蔽目标的人处放置极值的形式来输出掩蔽信号。
图6描绘了被配置为将音频信号拆分成一个或者多个互补部分并且驱动参数型扬声器602和/或传统扩音器604的示例性计算***600。示例性计算***600可以是比如参照图9被更具体描述的计算***。虽然以下描述为了简化而涉及一个参数型扬声器和一个传统扩音器,但是可以与示例性计算***600一起运用附加参数型扬声器和扩音器。
参照图6,参数型扬声器602和扩音器例如通过无线或者有线连接与计算***600通信。在各种实现方式中,计算***包括:与参数型扬声器602和扩音器604无线或者有线通信的移动电话;或者包括参数型扬声器602和扩音器604或者与它们通信的汽车;或者与参数型扬声器602和扩音器604通信的音频接收器;或者包括参数型扬声器602和扩音器604或者与它们通信的视频游戏控制台;或者包括参数型扬声器602和扩音器604或者与它们通信的电视机;或者包括参数型扬声器602和扩音器604或者与它们通信的机顶盒;等等。参数型扬声器602包括可以由计算***600驱动以发射超声波束的压电换能器(未示出)阵列。传统扬声器604也可以通过扩音器的换能器(未示出)来输出音频信号或者其部分。
计算***600可以包括被配置为输出数据的传感器606或者与它通信,该数据指示收听者608的耳朵(或者耳朵的位置)相对于参数型扬声器602的位置而言的位置。例如,传感器606可以是或者包括输出包括收听者608的区域的图像的视频相机。附加地或者备选地,传感器606可以是或者包括输出包括收听者608的区域的深度图像的深度传感器。在再一示例中,传感器606可以是或者包括共同地输出包括收听者608的区域的立体图像的被立体地布置的相机。也设想了可以输出如下数据的其它传感器,该数据指示包括参数型扬声器602的区域中的收听者的位置。传感器606可以输出如下数据,该数据指示收听者608的耳朵相对于传感器604并且因此相对于参数型扬声器602和扩音器604的位置而言的位置(例如,其中使用常规方法相对于传感器606已知或者计算出参数型扬声器602和扩音器604的位置)。
计算***600也可以包括被配置为基于收听者608的耳朵的位置来驱动参数型扬声器602和/或扩音器604的音频驱动器***610。音频驱动器***610可以包括基于由传感器606输出的数据来计算收听者608的耳朵相对于参数型扬声器602和/或扩音器604的位置而言的位置的位置部件612。例如,位置部件612可以从传感器606接收视频图像和/或深度图像,并且可以基于视频图像和/或深度图像来计算收听者608的耳朵的位置。由于已知或者计算出参数型扬声器602的位置,位置部件612可以计算收听者608的耳朵相对于参数型扬声器602和/或传统扩音器608的位置而言的位置。
位置部件612可以附加地或者备选地基于其它数据来计算收听者106的耳朵的位置。例如,收听者608可以携带移动电话,其中移动电话可以被配置为标识它的位置。移动电话中的GPS收发器可以向计算***612输出移动电话的位置,该计算***可以基于从移动电话接收的位置来计算收听者608的耳朵相对于参数型扬声器602而言的位置。在另一示例中,收听者608可以佩戴具有内置于其中的计算功能的眼镜,其中眼镜可以计算指示它的位置的数据。眼镜然后可以向计算***600传输这一位置,并且位置部件612可以基于从眼镜接收的位置数据来计算收听者618的耳朵相对于参数型扬声器602和/或传统扩音器604而言的位置。
音频驱动器***610还可以包括被配置为基于收听者106的耳朵相对于参数型扬声器602而言的被跟踪的位置来使得参数型扬声器602动态地形成和导引超声波束的导引部件614。在一个示例中,导引部件614可以生成驱动参数型扬声器602中的换能器阵列中的换能器的驱动信号,其中驱动信号作用以朝着收听者608的耳朵电子地导引超声波束。在另一示例中,参数型扬声器602可以包括被配置为机械地移动参数型扬声器602的换能器的致动器。导引部件614可以生成驱动致动器的驱动信号,从而使得基于收听者608的耳朵的被跟踪的位置来机械地导引由参数型扬声器602输出的超声波束。
现在阐述与计算***600的操作有关的附加细节。计算***600可以接收或者保持代表将向收听者608的耳朵被递送的声音的音频信号616。音频信号616可以由计算***600基于在计算***上被保持的音频文件(例如,MP3文件、WAV文件等)而被生成。在另一示例中,音频信号616可以是从与计算***600有网络连接的计算设备接收的流传输音频信号。例如,可以从基于web的音乐流传输服务、基于web的视频流传输服务等接收音频信号616。在又一示例中,可以通过电话***(例如,简易老式电话***(POTS)或者基于web的电话***)来接收音频信号616。在再一示例中,可以从广播源(比如无线电台、电视台等)接收音频信号616。
音频驱动器***610可以从传感器606接收音频信号616和数据。位置部件612标识用于接收音频信号616的、收听者608的耳朵的当前位置。导引部件614产生用于参数型扬声器602中的相应换能器的超声载波信号。导引部件614然后用打算被其位置已经由位置部件612标识的收听者的耳朵听见的音频信号616来调制载波信号,因此创建经调制的信号。在导引部件614被配置为电子地导引从参数型扬声器604发射的超声波束时,导引部件612可以计算用于参数型扬声器602中的相应换能器的延迟系数。按照一个示例,导引部件614可以使用以下算法来计算延迟系数。
延迟系数i=di cos(θi)/c,
其中i指代换能器i,di是从换能器阵列中的换能器i到阵列的中心的距离,θi是在从阵列的中心到换能器i的矢量与从阵列的中心到希望的位置的矢量之间的角度,并且c是声速。
导引部件614然后通过以基于计算出的延迟系数的延迟向参数型扬声器602的换能器传输经调制的信号来驱动参数型扬声器602的换能器。参数型扬声器602响应于接收经调制的信号来输出超声波束,其中朝着收听者608的耳朵导引波束的主瓣。
在参数型扬声器602包括可以机械地移动导引部件614的致动器时,导引部件无需计算延迟系数。作为替代,导引部件614产生超声载波信号并且用音频信号616来调制信号,因此生成经调制的信号。导引部件614从位置部件612接收收听者608的耳朵相对于参数型扬声器602而言的位置,并且基于接收到的位置来生成用于致动器的驱动信号。导引部件614向致动器传输驱动信号,并且还向参数型扬声器602的换能器传输经调制的信号。致动器对参数型扬声器602的换能器定位,从而使得由参数型扬声器602的换能器形成的超声波束的主瓣被引向收听者606的耳朵。因此,导引部件614可以机械地导引超声波束。
在一个示例中,如图6中所示,导引部件614可以驱动参数型扬声器602,从而使得超声波束具有在参数型扬声器602与收听者608的耳朵之间的焦点618。这与如何常规地由参数型扬声器形成超声波束成对照。具体而言,常规地,参数型扬声器形成超声波束,从而使得主瓣相当地窄并且延伸尽可能长。对照而言,音频驱动器***610可以驱动参数型扬声器602,从而使得超声波束的主瓣具有在收听者608的耳朵附近(例如,在从收听者106的耳朵的2英寸与1/4英寸之间)具有焦点618。与焦点618邻近,从参数型扬声器602的换能器发射的超声波冲突,由此与收听者608的耳朵邻近地解调音频信号。
另外,在一个示例中,参数型扬声器602可以输出被引向不同位置的多个超声波束。例如,参数型扬声器可以包括换能器阵列,其中可以驱动换能器阵列中的一些换能器以将超声波束引向第一位置(例如,收听者608的第一耳朵),而可以驱动换能器阵列中的其它换能器以将超声波束引向第二位置(例如,收听者608的第二耳朵)。
计算***600还可以包括可以将音频信号分路成多个互补部分的信号分路器620。在本说明书的第2.1节中提供可以被用来分路信号的示例性分路过程的细节。然后可以向不同声道发送音频信号的部分,从而使得它们在相同时间或者大约相同时间到达收听者608的耳朵。更具体地,在一个实现方式中,将音频信号(例如,话音信号)分路成两个互补部分。通过(窄波束)参数型扬声器602播放第一部分,而通过传统扩音器604播放第二部分。目标用户(例如,收听者)608将接收(听见)两个部分,因此感知信号为原先既定的。在通过参数型扬声器604被播放的声音被收听者608清楚地听见的小“区段”以外的用户将接收被严重地衰减的参数型扬声器信号。在一些实现方式中,信号被分路,从而使得参数型扬声器部分具有显著理解重要性、但是相对低的功率。因此,在“区段”以外的用户将不能理解信号。
现在参照图7,图示了图6的导引部件614的功能框图。导引部件614可以包括被配置为估计用于收听者608的耳朵的头部有关传递函数(HRTF)(例如,基于收听者608的耳朵相对于参数型扬声器602的位置而言的位置)的HRTF估计器部件702。附加地,HRTF估计器部件702可以估计用于收听者608的另一耳朵的HRTF。HRTF是表征耳朵如何从空间中的点接收声音的响应。由HRTF估计器部件702估计的HRTF可以基于人类头部和/或身体的一般模型,或者可以对于收听者608而被定制(例如,基于由传感器606输出的收听者608的图像)。
导引部件614也可以包括被配置为基于由HRTF估计器部件702估计的HRTF来修改将被递送给收听者608的耳朵的音频信号616的HRTF补偿器部件704。在一个示例中,在一些情形中,对于收听者608可以希望感知通常地与声音关联的某些空间效果。在参数型扬声器602被配置为将超声波束的主瓣引向收听者608的耳朵时,可能损失空间效果。因而,HRTF补偿器部件704可以例如将由HRTF估计器部件702估计的HRTF应用于音频信号616,从而使得收听者608感知收听者608习惯于感知的空间效果。附加地,HRTF补偿器部件704可以取消与参数型扬声器602相对于收听者608的耳朵而言的定位关联的HRTF。对HRTF的这一取消可以取消由收听者608感知的有向性,从而使得收听者608可以感知声音正在与收听者608的头部定向正交的方向进入耳道。在其中两个参数型扬声器被用来将独立超声波束引向收听者608的耳朵的示例中,HRTF可以被应用于左和右音频信号,因此从收听者608的角度创建希望的空间效果。
导引部件614也包括可以被配置为计算用于参数型扬声器602的换能器的延迟系数的延迟部件706,其中与电子地形成和导引从参数型扬声器602发射的超声波束结合来使用延迟系数。为参数型扬声器602的换能器阵列中的换能器而计算出的延迟系数可以是由每个换能器发射的经调制的信号的希望的传输方向的函数。
导引部件614也包括可以用音频信号616来调制载波超声波的调制器部件708。导引部件614也可以可选地包括被配置为减少为了操作参数型扬声器602而需要的能量数量的能量减少器部件710。一般而言,传输超声波束要求载波即使在用来调制载波的音频信号616需要相对低的能量数量(例如,在音频信号616中存在静默时段)时仍然维持特定幅度。能量减少器部件710可以向待调制的音频信号添加相对低频信号(在20Hz以下),这有效地减少了为了在音频信号616中存在相对小的能量数量时传输载波信号而需要的能量数量。更具体地,在一个实现方式中,音频信号可以由能量减少器部件710接收,并且能量减少器部件710可以计算为了在某个缓冲时段(缓冲范围)内的传输而需要的包络信号。能量减少器部件710可以利用整流器和低通滤波器来计算包络。基于包络的大小,能量减少器部件710可以向经调制的信号中***相对低频信号以使得它总是为正。这可以在音频信号616中的能量相对低的情形中特别地有益。备选地,经调制的信号可以由能量减少器部件710接收,并且能量减少器部件可以在信号的片段中查找最负的样本,并且然后向这一样本添加窗信号(如例如(对称)汉宁窗信号)以计算包络。基于包络的大小,能量减少器部件可以向经调制的信号中***相对低频信号,这有效地减少为了传输载波信号而需要的能量数量。应当注意,可以使用除了汉宁窗信号之外的窗信号。例如,可以使用可以帮助加速信号处理的不对称窗信号,这在实时信号处理应用中特别地有益。在本说明书的第2.2.2节中提供了用于在这些实现方式中调制载波信号的细节。
现在参照图8,图示了有助于向收听者608提供头戴式耳机式体验的示例性***800的功能框图。***800包括如以上描述的那样作用的传感器606和音频驱动器***610。在***800中,计算***600与多个参数型扬声器802、804以及一个或者多个扩音器806、808通信。信号分路器620可以可选地被用来分派音频信号的互补部分以用于使用参数型扬声器输出和向扩音器分派音频信号的部分。
在一个示例中,对于第一参数型扬声器802可以希望向收听者608的第一耳朵递送声音,而对于第二参数型扬声器804可以希望向收听者608的第二耳朵递送声音。用户/收听者的头部的形状可以用来分离在收听者的左耳接收到的声音与从右耳接收到的音频信号。另外,对于第一扩音器806可以希望向收听者的一侧或者一个耳朵递送声音,而另一扩音器808向收听者608的头部或者另一耳朵递送声音。
位置部件612可以从传感器606接收数据并且可以分别标识收听者608的耳朵相对于第一参数型扬声器802和第二参数型扬声器804而言的位置。导引部件614可以接收:1)将被包括在由第一参数型扬声器802输出的超声波束中的第一音频信号(例如,左音频信号);以及2)将被包括在由第二参数型扬声器804输出的超声波束中的第二音频信号(例如,右音频信号)。例如,第一音频信号和第二音频信号可以共同地是立体音频信号。在另一示例中,第一音频信号和第二音频信号可以是相同信号(例如,单声道信号)。
导引部件614可以产生用于第一参数型扬声器802的第一超声载波信号并且可以生成用于第二参数型扬声器804的第二超声载波信号。导引部件614可以用第一音频信号来调制第一超声载波信号并且可以用第二音频信号来调制第二超声载波信号,以分别创建第一经调制的信号和第二经调制的信号。可以在调制之前向音频信号添加低频信号以便减少为了通过参数型扬声器802、804输出声音而需要的功率。基于收听者608的第一耳朵的位置,导引部件614可以驱动第一参数型扬声器802以将第一超声波束(包括第一经调制的信号)的主瓣引向收听者608的第一耳朵(而第一超声波束的主瓣的焦点在第一参数型扬声器802与收听者608的第一耳朵之间)。另外,基于收听者608的第二耳朵的位置,导引部件614可以驱动第二参数型扬声器804以将第二超声波束(包括第二经调制的信号)的主瓣引向收听者608的第二耳朵(而第二超声波束的主瓣的焦点在第二参数型扬声器804与收听者608的第二耳朵之间)。
与向参数型扬声器分发声音结合,可以使用扩音器806、808来输出音频信号的没有被参数型扬声器802、804输出的部分,从而使得由音频信号生成的声音的所有部分在相同时间或者大约相同时间到达用户608。
因此可以查明可以向收听者608提供相对高质量的立体音频体验以及头戴式受话器式体验。附加地,对音频信号的分路和向不同声道发送信号的互补部分可以被用来保留用户/收听者的隐私和减少为了输出音频信号而需要的能量。例如,这可以通过向将超声波束引向用户的耳朵的参数型扬声器发送音频信号的高频部分同时向传统扩音器发送需要更多能量来输出的、信号的低频部分而被实现。在保留隐私、能量高效的扬声器实现方式的一些实现方式中,用户可以选择希望的隐私数量和能量效率数量。附加地,在一些保留隐私、能量高效的扬声器实现方式中,可以输出掩蔽声音以便进一步伪装通过参数型扬声器而被输出的声音。可以经由扩音器之一或者经由分离的扬声器或者声音生成器来输出这一掩蔽声音。
2.0示例性计算
以下段落提供了用于这里描述的保留隐私、能量高效的扬声器实现方式的信号分路方面和信号调制方面的一些示例性计算。
2.1示例性信号分路计算
参数型扬声器的一个应用是用于当在公共空间中使用设备时保留隐私。参数型扬声器允许形成合理窄的波束并且向收听者的耳朵导引该波束,因此限制周围多少其他人将听见音频。这里描述的一些保留隐私、能量高效的扬声器实现方式使用将音频信号划分成然后以如下方式发送到不同声道的互补部分的信号分路过程,该方式为在播放每个声道中的信号时所得声音的所有部分在相同时间或者大约相同时间到达希望的位置,比如收听者的耳朵。使用这一过程,其他人难以偷听用户正在收听的音频信号,因为它将需要捕获所有声道。如先前讨论的那样,保留隐私的扬声器实现方式的一些实现方式组合参数型扬声器的有向性与传统扩音器的功率效率。更具体地,一个实现方式将音频信号(例如,话音)分路成两个互补部分。通过(窄波束)参数型扬声器播放部分之一,同时通过传统扩音器播放第二部分。目标用户或者收听者将接收(听见)两个部分,因此感知信号为原先既定的。在传输的信号可以被准确地听见的小“区段”以外的用户将接收严重地衰减的参数型扬声器信号。这一实现方式将信号分路,从而使得参数型扬声器部分具有显著理解重要性,但是相对低的功率、因此,在“区段”以外的用户将不能理解音频。
可以按照各种方式将信号分路成互补部分。在一个实现方式中,将信号s(t)分路成分别与传统扩音器和参数型扬声器对应的两个部分st(t)和sp(t)。人类耳朵对大约2-5KHz的频率最灵敏而在1KHz以下灵敏度减少。由于在4KHz以下集中典型话音信号中的能量,所以这一实现方式向参数型扬声器发送高频内容的小部分和向传统扩音器发送低频内容。以下示出了用于将信号分路成两个部分的一个过程。以下是对示例性信号分路过程的说明。
1)给定信号s(t),使r(t)=s(t),使t0=0
2)从t0开始从r(t)取N样本的帧、即f[n]=r(t0+(1:N))
3)对于k=0:N/2,计算F[w]=FFT(f[n])和功率谱P(k)=[abs FFT[k]]24)m=N/2
5)Total_Power_in_PS_Frame=0;
6)Total_Power_in_PS_Frame=TotalPower_in_PS_Frame+P(m)
7)m=m-1;
8)如果(m>-1AND Total_Power_in_PS_Frame<=MAX_POWER)GOTO 6
9)Mask[w]=0 if w<m,or w>N-m;
Mask[w]=1 otherwise
10)fp(t)=IFFT(F[w].*Mask[w])[w])
11)ft(t)=f(t)-fp(t)
12)sp(t0+(1:N))=sp(t0+(1:N))+fp(t).*Hanning(1:N)
13)st(t0+(1:N))=st(t0+(1:N))+ft(t).*Hanning(1:N)
14)r(t0+(1∶N))=s(t0+(1∶N))-st(t0+(1∶N))-sp(t0+(1∶N))
15)t0=t0+N/2
16)(如果没有达到信号的末尾)GOTO 2
其中fp(t)和ft(t)分别是向参数型扬声器和传统扬声器发送的频率。
在步骤1中,向缓冲器复制信号s(t)。在这一缓冲器中的这一信号r(t)初始地与原有信号s(t)相同,但是它随着信号被分路和分发到去往参数型扬声器的部分和去往传统扩音器中的部分、分别为sp和s(t)而逐渐地变为零。对信号的处理在信号的开头开始(通过使t0=0)。
在步骤2中,选择从t0开始的、r(t)的N样本的帧(其中N是帧中的样本的数目)。
在步骤3中,计算该帧的快速傅里叶变换(FFT)和功率谱。
在步骤4中,通过使m=N/2来初始化循环变量。
在步骤5中,通过使Total_Power_in_PS_Frame=0来初始化功率加法器。
在步骤6至8中,对信号进行循环从最高频率直至与可以归于参数型扬声器的最大功率对应的频率索引计算累计功率,其中P(m)代表当前频率的功率。
在步骤9中,计算将使将向传统扩音器发送的系数归零的掩码Mask[w]。
在步骤10中,计算可以向参数型扬声器发送的最强信号(帧)。
在步骤11中,计算在步骤9中计算的信号(帧)的其余部分(即计算应当向传统扩音器发送的信号)。
在步骤12和13中,通过向先前计算的帧添加信号帧内累计它。信号帧也乘以汉宁窗以平滑在帧之间的过渡。
在步骤14中,从r(t)减去信号的在st和sp中已经代表的部分。
在步骤15中,将指针进展半帧。
在步骤16中,做出检查以了解信号是否已经结束,并且如果没有,则处理前进到下一帧。
以上描述的信号分路过程是示例性过程。存在对这一分路过程的将提供等效效果的许多变化。例如,取代从高到低频处理,可以按不同频率顺序来处理信号。类似地,有可能变化向参数型扬声器分派的能量数量。也有可能按幅度而不是功率来限制信号。在这一情况下,可能必须在循环6-8的每个交互步骤计算逆FFT(IFFT)。另一变化是根据指示哪些频率对于每个音素更重要的谕示(oracle)(在运行因素识别器之后)来将信号分路。
在一些实现方式中,均衡每个扬声器(例如,参数型和传统)的频率响应可以是有益的。更具体地,由于扬声器具有某个频率响应,这可以在播放出信号之前被解决。这通常地通过应用简单均衡器而被完成。在一些实现方式中,在计算功率要求时考虑均衡器(通过在步骤6中逆乘以在具体频率m的参数型扬声器增益)。
2.2示例性经修改的音频调幅(MA-AM)计算
调幅(AM)是用来传输音频信号的第一调制技术之一,并且它如今在AM无线电中仍然被使用。它实质上根据正在被传输的信号来调制载波(即,被用来传输信息的更高频率的信号)的幅度。它允许简单解码器接收(即“解调”)信号。
对于其中接收器在***的控制之下的应用,可以使用更高效的调制技术。具体而言,AM受抑制载波(AM-SC)和单边带(SSB)是提高调制效率的良好方式。
AM应用之一涉及参数型扬声器。在这一应用中,高功率超声被用作载波(并且用信号被调制)。空气中的声音传播的少量非线性然后被用作解调器。这样,没有可能重新设计解调器,并且技术如AM-SC不是选项。然而,存在对减少功率要求的需要。这里描述的实现方式因此使用一种新调制技术(经修改的音频调幅(MA-AM)),该技术减少传统AM的功率要求而无需修改解调器。这一技术不仅在参数型扬声器中应用而且在需要或者希望简单解码器的其它领域中应用。
2.2.1调幅基础
考虑信号s(t)和有频率fc的希望的载波。在传统AM中,信号被归一化,从而使得对于任何时间t有|s(t)|<1并且被用来调制载波,即:
M(t)=[s(t)+1].sin(2πfct) (2)
用于简单解调的关键是方括号中的项总是为正。这允许及授权通过简单地跟踪M(t)的包络来解码信号。这可以例如由跟随有低通滤波器的整流器容易地实现。在参数型扬声器中,这通过空气传播的非线性而被实现,并且低通由(在某个频率以上不能听见的)人耳执行。
用于发射器的功率要求是:
E{M2(t)}=E{[s(t)+1]2}.E{sin2(2πfct)}
=1+E{s2(t)} (3)
由于|s(t)|<1,所以必须有E{s2(t)}<1。在实践中,E{s2(t)}<<1。例如,即使对于最大幅度正弦曲线,E{s2(t)}=0.5。在典型音频信号中,E{s2(t)}可以低至0.05。因此,功率要求的多数来自等式(3)中的“1”。即使对于在正被传输的信号没有能量时的片段,载波仍然必须具有与信号可能曾经取得的最大幅度成比例的幅度。
2.2.2修改的音频调幅
以下段落描述为了减少为了向一个或者多个参数型扬声器输出音频信号而必需的功率,在各种保留隐私、能量高效的扬声器实现方式中运用的修改的音频放大技术MA-AM。在等式(2)中,恰当解调所需要的一切是方括号中的项为非负。实现这一点的最简单方式是通过将直流(DC)偏移与高于或者等于s(t)的最负值的幅度相加。这是在AM中完成的操作。然而,这不是仅有的解决方案。在MA-AM中,通过添加低频信号b(t)从而使得s(t)+b(t)>0而确保b(t)在某个频率Flow以上没有任何显著能量来修改信号s(t)。由于假设不能改变解码器,所以经解码的信号现在是s(t)+b(t)而不是简单地为s(t)。然而,通过使Flow在人类可以听见的最低频率(正常地大约20Hz)以下,新的经解码的信号不可(被人类)区别于原有经解码的信号。
概括而言,可以将MA-AM表征为:
MMAAM(t)=[s(t)+b(t)].sin(2πfct)
其中选择b(t)从而使得[s(t)+b(t)]>0并且b(t)在Flow以上的谱功率最小。附加地,功率要求将是E{[s(t)+b(t)]2}。因此,应当选择b(t)以使这样的功率最小化。
2.2.1.1计算b(t)
存在计算b(t)的若干方式。例如,有可能使用以下过程:
1.使r(t)=s(t)
2.找到r(t)的第一不可忽略地为负的样本,即min{tf从而使得r(tf)<-∈}。抓取u(t)的有N个样本的片段u(tf:tf+N)。
3.找到u(tf:tf+N)的最负样本(即,u(t0)),从而使得
4.使
5.如果min{r(t)}<-∈,则去往2
6.使b(t)=s(t)-r(t)+∈
其中是汉宁窗。对于16KHz采样速率,N=800意味着w(n)的基频将是20Hz(因此不可听),但是谐波可以可听。更长窗口将实现甚至更佳质量。
对这一过程的描述如下。在步骤1中,制作信号s(t)的副本(由r(t)代表)。
在步骤2中,找到r(t)的第一不可忽略地为负的样本r(tf)(即,第一样本),从而使得r(tf)≤-∈。并且选择帧u(t)的有N个样本的片段u(tf:tf+N)。
在步骤3中,找到u(tf:tf+N)的最负样本。
在步骤4中,用最负样本缩放和向信号添加汉宁窗。这将使得该最负样本为零。
在步骤5中,测试r(t)以验证r(t)的所有样本现在是否在小门限-∈以上。如果不是,则回到找到步骤2。
在步骤6中,计算b(t)为s(t)-r(t)+∈,其中∈是小值。由于在步骤5中验证所有样本在-∈以上,所以这将使b(t)+s(t)非负。使用∈仅为了增加处理效率。
基于包络的大小,与待调制的信号一起***相对低频信号b(t)。
2.2.1.2延迟计算
对于实时应用,在上段中讨论的窗信号(w(n))可以意味着显著延迟。这由于最高样本在窗的中心这样的事实。本领域技术人员将知道如何使用不对称窗以减少引起的延迟。
2.2.2.3计算b(t)的另一方法
其它方法可以用来计算非负信号s(t)+b(t)。特别感兴趣的一点由以下过程构成:
1)使r(t)=s(t)
2)使rn(t)=0.5[r(t)-abs(r(t))](即rn(t)是r(t)的负部分)。
3)计算rLP(t)=LowPass20HzFilter{rn(t)}
4)使r(t)=r(t)-rLP(t)
5)如果min{r(t)}<-∈,则前往2
6)使b(t)=s(t)-r(t)+∈。
其中rLP(t)是信号的低频部分,0.5[r(t)-abs(r(t))]是整流器,LowPass20HzFilter{rn(t)}是低通滤波器,并且∈是小值。实质上,计算b(t)的这一方法使用整流器来移除信号的负部分,并且然后通过使用低通滤波器来确定为了在某个缓冲时段(时间范围)内传输而需要的包络信号。基于包络的大小,与待调制的信号一起***相对低频信号b(t)。
2.2.3应用于传统AM传输
可以几乎在传统AM的所有应用中使用以上描述的MA-AM而具有对应功率节省。具体而言,这可以被用来向AM无线电和其它等效设备传输音频。这一调制在这些领域中日益地有用,因为低功率和简化变得甚至更重要(例如,在物联网(IoT)场景中)。
2.2.4应用于传统参数型扬声器
用于以上描述的MA-AM的一个目标应用是减少用于参数型扬声器应用的功率。在这样的情况下,在计算非负信号之后,如在传统参数型扬声器中那样,信号应当在经过幅度调制之前被求平方根。
3.0示例操作环境:
这里描述的保留隐私、能量高效的扬声器实现方式在许多类型的通用或者专用计算***环境或者配置内可操作。图9图示了可以在其上实施如这里描述的保留隐私、能量高效的扬声器实现方式的各种单元的通用计算***的简化示例。注意,在图9中所示的简化的计算设备900中用虚线或者点划线代表的任何框代表简化的计算设备的备选实现方式。如以下描述的那样,这些备选实现方式的任何或者所有备选实现方式可以与贯穿本文描述的其它备选实现方式组合被使用。
通常地,在具有至少一些最小计算能力的设备(比如个人计算机(PC)、服务器计算机、手持型计算设备、膝上型或者移动计算机、通信设备(比如蜂窝电话)和个人数字助理(PDA)、多处理器***、基于微处理器的***、机顶盒、可编程消费者电子装置、网络PC、小型计算机、大型机计算机和音频或者视频媒体播放器)中找到简化的计算设备900。
为了允许设备实现这里描述的保留隐私、能量高效的扬声器实现方式,设备应当具有用于实现基本计算操作的充分计算能力和***存储器。具体而言,图9中所示的简化的计算设备900的计算能力主要地由一个或者多个处理单元910图示并且也可以包括一个或者多个图形处理单元(GPU)915,这些处理单元和GPU中的一项或者两项与***存储器920通信。注意,简化的计算设备900的处理单元910可以是专门化的微处理器(比如数字信号处理器(DSP)、甚长指令字(VLIW)处理器、现场可编程门阵列(FPGA)或者其它微控制器)或者可以是具有一个或者多个处理核并且也可以在多核处理器中包括一个或者多个基于GPU的核或者其它专用核的常规中央处理单元(CPU)。
附加地,简化的计算设备900也可以包括其它部件,如例如通信接口930。简化的计算设备900也可以包括一个或者多个常规计算机输入设备940(例如,触屏、触敏表面、指示设备、键盘、音频输入设备、基于语音或者话音的输入和控制设备、视频输入设备、触觉输入设备、用于接收有线或者无线数据传输的设备等)或者这样的设备的任何组合。
相似地,通过多种自然用户接口(NUI)场景实现与简化的计算设备900和与这里描述的保留隐私、能量高效的扬声器实现方式的任何其它部件或者特征的各种交互、包括向与保留隐私、能量高效的扬声器实现方式关联的一个或者多个用户或者其它设备或者***的输入、输出、控制、反馈和响应。由保留隐私、能量高效的扬声器实现方式实现的NUI技术和场景包括但不限于允许一个或者多个用户以“自然”方式与保留隐私、能量高效的扬声器实现方式交互而无由输入设备(比如鼠标、键盘、遥控器等)施加的人为约束的接口技术。
通过使用各种技术(包括但不限于使用从经由麦克风或者其它输入设备940或者***传感器905捕获的用户话音或者发声而推导的NUI信息)来实现这样的NUI实现方式。也通过使用各种技术(包括但不限于从用户的脸部表情和从用户的手部、手指、手腕、胳膊、腿部、身体、头部、眼睛等的定位、运动或者定向、从***传感器905或者其它输入设备940推导的信息)来实现这样的NUI实现方式,其中可以使用各种类型的2D或者深度成像设备(比如立体或者飞行时间相机***、红外线相机***、RGB(红、绿和蓝)相机***等或者这样的设备的任何组合)来捕获这样的信息。这样的NUI实现方式的更多示例包括但不限于从触摸和触笔识别、手势识别(屏上并且与屏幕或者显示器表面相邻)、基于空气或者接触的手势、用户触摸(在各种表面、对象或者其他用户上)、基于悬停的输入或者动作等推导的NUI信息。这样的NUI实现方式也可以包括但不限于单独或者与其它NUI信息组合使用评估当前或者以往用户行为、输入、动作等的各种预测机器智能过程以预测信息(比如用户意图、希望和/或目标)。无论基于NUI的信息的类型或者来源如何,这样的信息然后可以用来发起、终止或者以别的方式控制保留隐私、能量高效的扬声器实现方式的一个或者多个输入、输出、动作或者功能特征或者与它们交互。
然而,应当理解,可以通过组合对人为约束或者附加信号的使用与NUI输入的任何组合来进一步扩充前述示例NUI场景。这样的人为约束或者附加信号可以由输入设备540(比如鼠标、键盘和遥控器)或者由多种远程或者用户穿戴的设备(比如加速度计、用于接收代表由用户的肌肉生成的电信号的肌电信号的肌电图(EMG)传感器、心率监视器、用于测量用户的呼吸的电皮肤传导传感器、用于测量或者以别的方式感测用户脑部活动或者电场的可穿戴或者远程生物传感器、用于测量用户体温改变或者差异的可穿戴或者远程生物传感器等)施加或者生成。从这些类型的人为约束或者附加信号推导出的任何这样的信息可以与任何一个或者多个NUI输入组合以发起、终止或者以别的方式控制保留隐私、能量高效的扬声器实现方式的一个或者多个输入、输出、动作或者功能特征或者与它们交互。
简化的计算设备900也可以包括其它可选部件,比如一个或者多个常规计算机输出设备950(例如,显示设备955、音频输出设备、音频输出设备、用于传输有线或者无线数据传输的设备等)。注意,用于通用计算机的典型通信接口930、输入设备940、输出设备950和存储设备960是本领域技术人员所熟知的并且这里将不具体加以描述。
图9中所示的简化的计算设备900也可以包括多种计算机可读介质。计算机可读介质可以是可以由计算设备900经由存储设备960访问的任何可用介质并且包括用于存储信息(比如计算机可读或者计算机可执行指令、数据结构、程序模块或者其它数据)的可移除970和/或不可移除980的易失性和非易失性介质二者。
计算机可读介质包括计算机存储介质和通信介质。计算机存储介质是指有形计算机可读或者机器可读介质或者存储设备,比如数字万用盘(DVD)、蓝光盘(BD)、紧致盘(CD)、软盘、带驱动、硬驱动、光驱动、固态存储器设备、随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、CD-ROM或者其它光盘存储装置、智能卡、闪存(例如,卡、棒和钥匙驱动)、磁盒、磁带、磁盘存储装置、磁条或者其它磁存储设备。另外,在计算机可读存储介质的范围内不包括传播的信号。
留置信息(比如计算机可读或者计算机可执行指令、数据结构、程序模块等)也可以通过使用多种前述通信介质中的任何通信介质以对一个或者多个经调制的数据信号或者载波进行编码或者其它传送机制或者通信协议而被实现,并且可以包括任何有线或者无线信息递送机制。注意,术语“经调制的数据信号”或者“载波”一般地是指如下信号,该信号让它的特性中的一个或者多个特性以对信号中的信息进行编码的方式被设置或者改变。例如,通信介质可以包括有线介质(比如输送一个或者多个调制的数据信号的有线网络或者直接有线连接)以及无线介质(比如用于传输和/或接收一个或者多个调制的数据信号或者载波的声、射频(RF)、红外线、激光和其它无线介质)。
另外,可以用计算机可执行指令或者其它数据结构的形式从计算机可读或者机器可读介质或者存储设备和通信介质的任何希望的组合存储、接收、传输或者读取体现这里描述的各种保留隐私、能量高效的扬声器实现方式的一些或者所有实现方式或者其部分的软件、程序和/或计算机程序产品。附加地,可以使用标准编程和/或工程技术以产生软件925、固件、硬件或者其任何组合以控制计算机实施公开的主题内容来实施要求保护的主题内容为一种方法、装置或者制造品。如这里所用的术语“制造品”旨在于涵盖一种从任何计算机可读设备或者介质访问的计算机程序。
还可以在由计算设备执行的计算机可执行指令(比如程序模块)的一般上下文中进一步描述这里描述的保留隐私、能量高效的扬声器实现方式。一般地,程序模块包括执行特定任务或者实施特定抽象数据类型的例程、程序、对象、部件、数据结构等。也可以在其中任务由一个或者多个远程处理设备执行的分布式计算环境中或者在通过一个或者多个通信网络链接的一个或者多个设备的云内实现保留隐私、能量高效的扬声器实现方式。在分布式计算环境中,程序模块可以位于包括介质存储设备的本地和远程计算机存储介质二者中。附加地,前述指令可以被部分或者全部实施为可以包括或者可以不包括处理器的硬件逻辑电路。
备选地或者附加地,这里描述的功能可以至少部分由一个或者多个硬件逻辑部件执行。例如,而没有限制,可以被使用的说明性硬件逻辑部件类型包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑器件(CPLD)等等。
已经出于示例和描述的目的而呈现了对保留隐私、能量高效的扬声器实现方式的前文描述。它没有旨在于穷举或者使要求保护的主题内容限于公开的精确形式。许多修改和变化按照以上教导是有可能的。另外,应当注意,可以在为了形成保留隐私、能量高效的扬声器实现方式的附加混合实现方式而希望的任何组合中使用前述备选实现方式的任何或者所有实现方式。旨在于本发明的范围不是由本具体描述、但是实际上由所附权利要求限制。虽然已经用结构特征和/或方法动作特有的言语描述了主题内容,但是将理解,在所附权利要求中限定的主题内容未必地限于以上描述的具体特征或者动作。实际上,公开以上描述的具体特征和动作作为实施权利要求的示例形式,并且其它等效特征和动作旨在于在权利要求的范围内。
4.0其它实现方式
以上已经描述的内容包括示例实现方式。当然没有可能为了描述要求保护的主题内容而描述每个可设想的部件或者方法组合,但是本领域普通技术人员可以认识到,许多进一步组合和排列是有可能的。因而,要求保护的主题内容旨在于涵盖落在对以上描述的保留隐私、能量高效的扬声器实现方式的具体描述的精神实质和范围内的所有这样的变更、修改和变化。
关于由以上描述的部件、设备、电路、***等执行的各种功能,用来描述这样的部件的术语(包括对“装置(means)”的引用)旨在于除非另有指示则对应于任何如下部件,该部件执行描述的部件的指定的功能(例如,功能等效)、即使结构不等效于公开的如下结构,该结构在要求保护的主题内容的这里所示示例方面中执行该功能。就这一点而言,也将认识到,前述实现方式包括***以及具有计算机可执行指令的计算机可读存储介质,这些计算机可执行指令用于执行要求保护的主题内容的各种方法的动作和/或事件。
存在实现前述实现方式的多种方式(比如专用编程接口(API)、工具包、驱动器代码、操作***、控件、单独或者可下载软件对象等),这些方式使应用和服务能够使用这里描述的实现方式。要求保护的主题内容从API(或者其它软件对象)的观点以及从根据这里阐述的实现方式操作的软件或者硬件对象的观点设想这一使用。因此,这里描述的各种实现方式可以具有全部地在硬件中或者部分呃在硬件中而部分地在软件中或者全部地在软件中的方面。
已经关于在若干部件之间的交互而描述前述***。将认识到,这样的***和部件可以包括那些部件或者指定的子部件、指定的部件或者子部件的一些指定的部件或者子部件和/或附加部件以及根据前文的各种排列和组合。也可以将子部件实施为通信地耦合到其它部件而不是在母部件(例如,分级部件)内包括的部件。
附加地,注意,一个或者多个部件可以被组合成提供合集功能的单个部件或者被划分成若干分离的子部件,并且可以提供任何一个或者多个中间层(比如管理层)以通信地耦合到这样的子部件以便提供集成的功能。这里描述的任何部件也可以与这里没有具体地描述、但是本领域技术人员一般地知道的一个或者多个其它部件交互。
以下段落概括可以在本文中要求保护的实现方式的各种示例。然而,应当理解以下概括的实现方式没有旨在于限制可以按照前文描述而要求保护的主题内容。另外,可以在与贯穿前文描述而描述的实现方式的一些或者所有实现方式和在各图中一幅或者多幅图中图示的任何实现方式以及以下描述的任何其它实现方式的任何希望的组合中要求保护以下概括的实现方式中的任何或者所有实现方式。附加地,应当注意,以下实现方式旨在于按照贯穿本文而描述的前文描述和各图而被理解。
各种保留隐私、能量高效的扬声器实现方式是通过用于在用户正在收听音频之时维持隐私并且减少换能器在输出音频之时的能量消耗的装置、***、过程或者技术。这样,已经考察这样的一些保留隐私、能量高效的扬声器实现方式提高用户隐私和减少为了输出音频信号而通常需要的能量消耗。附加地,一些实现方式允许使传输设备更小。
作为第一示例,在各种实现方式中,经由用于将代表将被用户的耳朵听见的声音的音频信号划分成多个互补部分的装置、过程或者技术提供了一种用于在用户正在收听音频之时维持隐私的过程。在各种实现方式中,该过程然后向一个声道输出音频信号的一个或者多个部分,而向其它声道输出音频信号的一个或者多个部分,从而使得由音频信号的所有部分生成的声音在相同时间或者大约相同时间到达用户的耳朵。
作为第二示例,在各种实现方式中,经由装置、过程或者技术进一步修改第一示例,从而通过对于音频信号的每帧执行以下操作来将音频信号分路:通过相加用于帧中的频率的功率谱直至可以向给定的声道发送的最大功率针对该帧被达到,来计算帧的哪个部分在可以向给定的声道发送的最大功率以下;并且向给定的声道发送在可以向给定的声道发送的最大功率之下的频率。向其它声道中的一个或者多个其它声道发送信号的其余部分。
作为第三示例,在各种实现方式中,经由装置、过程或者技术通过向一个或者多个参数型扬声器发送音频信号的一个或者多个部分进一步修改第一示例和第二示例中的任何示例。
作为第四示例,在各种实现方式中,经由装置、过程或者技术进一步修改第三示例,从而使得通过用音频信号调制超声载波信号来发送向一个或者多个参数型扬声器发送的、音频信号的一个或者多个部分,并且向经调制的超声载波信号添加在人类可以听见的频率以上具有最小谱功率的低频信号。
作为第五示例,在各种实现方式中,经由用于基于计算出的延迟系数延迟经调制的信号以便在相同时间或者大约相同时间到达用户的耳朵的装置、过程或者技术进一步修改第一示例、第二示例、第三示例和第四示例中的任何示例。
作为第六示例,在各种实现方式中,经由用于向一个或者多个参数型扬声器发送音频信号的高频部分的装置、过程或者技术进一步修改第三示例、第四示例和第五示例中的任何示例。
作为第七示例,在各种实现方式中,经由用于输出引向除了用户的耳朵之外的位置的掩蔽声音的装置、过程或者技术进一步修改第一示例、第二示例、第三示例、第四示例、第五示例和第六示例中的任何示例。
作为第八示例,在各种实现方式中,经由用于向一个或者多个扩音器发送音频信号的一个或者多个部分的装置、过程或者技术进一步修改第一示例、第二示例、第三示例、第四示例、第五示例、第六示例和第七示例中的任何示例。
作为第九示例,在各种实现方式中,经由用于向一个或者多个扩音器发送低频部分的装置、过程或者技术进一步修改第八示例。
作为第十示例,在各种实现方式中,经由用于分路音频信号、从而使得话音中的特定因素在向特定声道输出时被特别地失真的装置、过程或者技术进一步修改第一示例、第二示例、第三示例、第四示例、第五示例、第六示例、第七示例、第八示例和第九示例中的任何示例。
作为第十一示例,在各种实现方式中,经由用于调制信号以便减少换能器的能量消耗的装置、过程或者技术提供了一种计算机实施的过程。在各种实现方式中,计算机实施的过程以减少为了输出音频信号而需要的能量的方式向待传输的信号添加低频信号。在各种实现方式中,计算机实施的过程然后用代表将被用户的耳朵听见的声音的信号来调制载波信号。
作为第十二示例,在各种实现方式中,经由装置、过程或者技术进一步修改第十一示例,从而使得载波信号是超声载波信号。
作为第十三示例,在各种实现方式中,经由装置、过程或者技术进一步修改第十一示例,从而使得载波信号是射频信号,并且调制过程与或者没有与载波抑制使用调幅。
作为第十四示例,在各种实现方式中,经由装置、过程或者技术通过以下操作进一步修改第十一示例、第十二示例和第十三示例中的任何示例:向待传输的信号添加低频信号,从而使得对于信号的一个或者多个片段,找到音频信号的片段中的第一负幅度样本;以及添加在最负幅度样本周围居中的窗信号或者正信号以减少片段中的负样本的数目,并且确定用于经调制的载波信号的包络。
作为第十五示例,在各种实现方式中,经由装置、过程或者技术进一步修改第十二示例、第十三示例和第十四示例中的任何示例,从而使得窗信号是汉宁窗信号。
作为第十六示例,在各种实现方式中,经由装置、过程或者技术进一步修改第十二示例、第十三示例、第十四示例和第十五示例中的任何示例,从而使得窗或者正信号是不对称窗信号。
作为第十七示例,在各种实现方式中,经由用于以下操作的装置、过程或者技术来修改第十二示例、第十三示例、第十四示例、第十五示例和第十六示例中的任何示例:通过使用整流器以整流音频信号的任何负部分、对整流的音频信号使用低通滤波器以确定用于调制的载波信号的包络并且向音频信号添加低频信号、从而使得低频信号推动包络总是为正或者在确定的希望的范围内来向待传输的信号添加低频信号。
作为第十八示例,在各种实现方式中,经由用于应用计算设备和包括可由计算设备执行的程序模块的计算机程序的装置、过程或者技术提供一种用于在维护隐私之时向用户提供音频的***,这些程序模块指引计算设备将音频信号划分成第一部分和第二部分这两个互补部分。通过以下操作、使用参数型扬声器来输出音频信号的第一部分:生成超声载波信号;通过用音频信号的第一部分调制超声载波信号来生成经调制的信号并且向经调制的信号添加低频信号;向参数型扬声器的换能器传输经调制的信号使得换能器形成具有引向用户的耳朵的主瓣的超声波束;使用一个或者多个扩音器来输出音频信号的第二部分,从而使得由一个或者多个扩音器输出的声音在超声波束到达用户的相同时间或者大约相同时间到达用户。
作为第十九示例,在各种实现方式中,经由用于通过头部跟踪确定用户的耳朵的位置的装置、过程或者技术进一步修改第十八示例。
作为第二十示例,在各种实现方式中,经由用于使用两个参数型扬声器以输出音频信号的第一部分的过程、装置或者技术进一步修改第十八示例和第十九示例中的任何示例,一个参数型扬声器引向用户的左耳而一个参数型扬声器引向用户的右耳,以及其中用户的头部的形状用来分离从两个参数型扬声器向用户的左耳和右耳发送的声音。
Claims (15)
1.一种用于在用户正在收听音频之时维持隐私的计算机实施的方法,包括:
将代表将被所述用户的耳朵听见的声音的音频信号划分成多个互补部分;以及
向一个声道输出所述音频信号的一个或者多个部分,而向其它声道输出所述音频信号的一个或者多个部分,从而使得由所述音频信号的所有部分生成的声音到达所述用户的所述耳朵。
2.根据权利要求1所述的计算机实施的方法,其中所述音频信号通过以下被分路:
对于音频信号的每个帧:
通过相加用于所述帧中的频率的功率谱直至能够向给定的声道发送的最大功率针对该帧被达到,来计算所述帧的哪个部分在能够向所述给定的声道发送的所述最大功率以下;以及
向所述给定的声道发送在可以向所述给定的声道发送的所述最大功率之下的频率,以及
向所述其它声道中的一个或者多个其它声道发送所述信号的其余部分,从而使得所述音频信号的所有部分在相同时间或者大约相同时间到达所述用户的所述耳朵。
3.根据权利要求1所述的计算机实施的方法,其中所述音频信号的一个或者多个部分被发送给一个或者多个参数型扬声器。
4.根据权利要求3所述的计算机实施的方法,其中被发送给所述一个或者多个参数型扬声器的所述音频信号的所述一个或者多个部分通过用所述音频信号调制超声载波信号并且向经调制的所述超声载波信号添加在人类能够听见的频率以上具有最小谱功率的低频信号被发送。
5.根据权利要求4所述的计算机实施的方法,其中经调制的所述信号基于计算出的延迟系数被延迟以便在相同时间或者大约相同时间到达所述用户的所述耳朵。
6.根据权利要求3所述的计算机实施的方法,其中所述音频信号的高频部分被发送给所述一个或者多个参数型扬声器。
7.根据权利要求1所述的计算机实施的方法,还包括输出被引向除了所述用户的所述耳朵之外的位置的掩蔽声音。
8.根据权利要求1所述的计算机实施的方法,其中所述音频信号的一个或者多个部分被发送给一个或者多个扩音器。
9.根据权利要求8所述的计算机实施的方法,其中低频部分被发送给所述一个或者多个扩音器。
10.根据权利要求1所述的计算机实施的方法,还包括分路所述信号,从而使得话音中的特定音素在被输出给特定声道时被特别地失真。
11.一种用于在维持隐私之时向用户提供音频的***,包括:
计算设备;
计算机程序,包括由所述计算设备可执行的程序模块,其中所述计算设备由所述计算机程序的所述程序模块指引以:
使用信号分路器将音频信号划分成第一部分和第二部分这两个互补部分;
使用参数型扬声器来输出所述音频信号的所述第一部分,包括:
生成超声载波信号;
通过用所述音频信号的所述第一部分调制所述超声载波信号并且向经调制的信号添加低频信号来生成经调制的所述信号;
向所述参数型扬声器的换能器传输经调制的所述信号使得所述换能器形成具有被引向所述用户的耳朵的主瓣的超声波束;
使用一个或者多个扩音器来输出所述音频信号的所述第二部分,从而使得由所述一个或者多个扩音器输出的声音被引向所述用户的所述耳朵。
12.根据权利要求11所述的***,其中所述用户的耳朵的位置通过使用头部跟踪被确定。
13.根据权利要求11所述的***,其中两个参数型扬声器用来输出所述音频信号的所述第一部分,一个参数型扬声器被引到所述用户的左耳并且一个参数型扬声器被引到所述用户的右耳,并且其中所述用户的头部的形状用来分离从所述两个参数型扬声器被发送给所述用户的所述左耳和所述右耳的声音。
14.一种用于调制信号以便减少换能器的能量消耗的计算机实施的方法,包括:
按照减少为了输出待传输的音频信号而需要的能量的方式向所述音频信号添加低频信号,其中所述音频信号代表将被用户听见的声音;以及
用添加有所述低频信号的所述音频信号调制载波信号。
15.根据权利要求14所述的计算机实施的方法,其中向待传输的所述信号添加低频信号还包括:
对于所述信号的一个或者多个片段,
找到所述音频信号的片段中的第一负幅度样本;
添加在最负幅度样本周围居中的窗或者正信号以减少所述片段中的负样本的数目并且确定用于经调制的所述载波信号的包络。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/709,453 | 2015-05-11 | ||
US14/709,453 US10134416B2 (en) | 2015-05-11 | 2015-05-11 | Privacy-preserving energy-efficient speakers for personal sound |
PCT/US2016/027649 WO2016182678A1 (en) | 2015-05-11 | 2016-04-15 | Privacy-preserving energy-efficient speakers for personal sound |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107637095A true CN107637095A (zh) | 2018-01-26 |
CN107637095B CN107637095B (zh) | 2020-10-02 |
Family
ID=55910363
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680027461.5A Active CN107637095B (zh) | 2015-05-11 | 2016-04-15 | 用于个人声音的保留隐私、能量高效的扬声器 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10134416B2 (zh) |
EP (1) | EP3295682B1 (zh) |
CN (1) | CN107637095B (zh) |
WO (1) | WO2016182678A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110534125A (zh) * | 2019-09-11 | 2019-12-03 | 清华大学无锡应用技术研究院 | 一种抑制竞争性噪声的实时语音增强***及方法 |
CN110998711A (zh) * | 2017-08-16 | 2020-04-10 | 谷歌有限责任公司 | 动态音频数据传输掩蔽 |
CN111835920A (zh) * | 2019-04-17 | 2020-10-27 | 百度在线网络技术(北京)有限公司 | 通话处理方法、装置、设备及存储介质 |
CN113012677A (zh) * | 2021-02-24 | 2021-06-22 | 辽宁省视讯技术研究有限公司 | 一种声音定向传输方法、***、电子设备及存储介质 |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9995823B2 (en) | 2015-07-31 | 2018-06-12 | Elwha Llc | Systems and methods for utilizing compressed sensing in an entertainment system |
WO2018127901A1 (en) | 2017-01-05 | 2018-07-12 | Noveto Systems Ltd. | An audio communication system and method |
IL243513B2 (en) * | 2016-01-07 | 2023-11-01 | Noveto Systems Ltd | A system and method for voice communication |
US11388541B2 (en) | 2016-01-07 | 2022-07-12 | Noveto Systems Ltd. | Audio communication system and method |
CN114120558A (zh) * | 2016-07-21 | 2022-03-01 | 松下知识产权经营株式会社 | 声音再生装置、声音再生方法、控制单元以及记录介质 |
US10405125B2 (en) * | 2016-09-30 | 2019-09-03 | Apple Inc. | Spatial audio rendering for beamforming loudspeaker array |
US10321258B2 (en) * | 2017-04-19 | 2019-06-11 | Microsoft Technology Licensing, Llc | Emulating spatial perception using virtual echolocation |
US10535360B1 (en) * | 2017-05-25 | 2020-01-14 | Tp Lab, Inc. | Phone stand using a plurality of directional speakers |
US10299039B2 (en) | 2017-06-02 | 2019-05-21 | Apple Inc. | Audio adaptation to room |
CN109151704B (zh) * | 2017-06-15 | 2020-05-19 | 宏达国际电子股份有限公司 | 音讯处理方法、音频定位***以及非暂态电脑可读取媒体 |
US10111000B1 (en) * | 2017-10-16 | 2018-10-23 | Tp Lab, Inc. | In-vehicle passenger phone stand |
US11158210B2 (en) | 2017-11-08 | 2021-10-26 | International Business Machines Corporation | Cognitive real-time feedback speaking coach on a mobile device |
US10629190B2 (en) | 2017-11-09 | 2020-04-21 | Paypal, Inc. | Hardware command device with audio privacy features |
US10999733B2 (en) | 2017-11-14 | 2021-05-04 | Thomas STACHURA | Information security/privacy via a decoupled security accessory to an always listening device |
DE102018209962A1 (de) * | 2018-06-20 | 2019-12-24 | Faurecia Innenraum Systeme Gmbh | Privataudiosystem für ein 3D-artiges Hörerlebnis bei Fahrzeuginsassen und ein Verfahren zu dessen Erzeugung |
US10764660B2 (en) * | 2018-08-02 | 2020-09-01 | Igt | Electronic gaming machine and method with selectable sound beams |
US10735862B2 (en) * | 2018-08-02 | 2020-08-04 | Igt | Electronic gaming machine and method with a stereo ultrasound speaker configuration providing binaurally encoded stereo audio |
JP2022523150A (ja) | 2019-02-07 | 2022-04-21 | スタフラ,トーマス | スマートスピーカ用プライバシデバイス |
US10841690B2 (en) * | 2019-03-29 | 2020-11-17 | Asahi Kasei Kabushiki Kaisha | Sound reproducing apparatus, sound reproducing method, and computer readable storage medium |
US20220132240A1 (en) * | 2020-10-23 | 2022-04-28 | Alien Sandbox, LLC | Nonlinear Mixing of Sound Beams for Focal Point Determination |
US11256878B1 (en) * | 2020-12-04 | 2022-02-22 | Zaps Labs, Inc. | Directed sound transmission systems and methods |
US11425493B2 (en) * | 2020-12-23 | 2022-08-23 | Ford Global Technologies, Llc | Targeted beamforming communication for remote vehicle operators and users |
US11856147B2 (en) | 2022-01-04 | 2023-12-26 | International Business Machines Corporation | Method to protect private audio communications |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1118494A (zh) * | 1994-04-18 | 1996-03-13 | 松下电器产业株式会社 | 数字信号磁记录重放装置 |
WO1999046956A1 (en) * | 1998-03-09 | 1999-09-16 | Brian Turnbull | Radial pickup microphone enclosure |
US20020146138A1 (en) * | 2001-04-07 | 2002-10-10 | Guido Kolano | Ultrasound based parametric multi-path loudspeaker system |
WO2008090541A2 (en) * | 2007-01-22 | 2008-07-31 | Dsp Group Ltd. | Apparatus and methods for enhancement of speech |
WO2010140104A1 (en) * | 2009-06-05 | 2010-12-09 | Koninklijke Philips Electronics N.V. | A surround sound system and method therefor |
US20120148053A1 (en) * | 2009-08-25 | 2012-06-14 | Ee Leng Tan | Directional sound system |
CN103475467A (zh) * | 2013-08-29 | 2013-12-25 | 郑静晨 | 一种方舱医院语音对讲中的侧信道通信方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4039999A (en) * | 1976-02-17 | 1977-08-02 | John Weston | Communication system |
US20030118198A1 (en) | 1998-09-24 | 2003-06-26 | American Technology Corporation | Biaxial parametric speaker |
US6584205B1 (en) | 1999-08-26 | 2003-06-24 | American Technology Corporation | Modulator processing for a parametric speaker system |
US7298852B2 (en) | 2001-07-11 | 2007-11-20 | American Technology Corporation | Dynamic power sharing in a multi-channel sound system |
KR101047194B1 (ko) * | 2002-05-03 | 2011-07-06 | 하만인터내셔날인더스트리스인코포레이티드 | 사운드 검출 및 위치측정 시스템 |
US20040114770A1 (en) * | 2002-10-30 | 2004-06-17 | Pompei Frank Joseph | Directed acoustic sound system |
US7801570B2 (en) | 2003-04-15 | 2010-09-21 | Ipventure, Inc. | Directional speaker for portable electronic device |
WO2005036921A2 (en) | 2003-10-08 | 2005-04-21 | American Technology Corporation | Parametric loudspeaker system for isolated listening |
US7564981B2 (en) | 2003-10-23 | 2009-07-21 | American Technology Corporation | Method of adjusting linear parameters of a parametric ultrasonic signal to reduce non-linearities in decoupled audio output waves and system including same |
GB0415625D0 (en) | 2004-07-13 | 2004-08-18 | 1 Ltd | Miniature surround-sound loudspeaker |
JP5034595B2 (ja) * | 2007-03-27 | 2012-09-26 | ソニー株式会社 | 音響再生装置および音響再生方法 |
JP5127754B2 (ja) * | 2009-03-24 | 2013-01-23 | 株式会社東芝 | 信号処理装置 |
US20120314872A1 (en) | 2010-01-19 | 2012-12-13 | Ee Leng Tan | System and method for processing an input signal to produce 3d audio effects |
US8965546B2 (en) | 2010-07-26 | 2015-02-24 | Qualcomm Incorporated | Systems, methods, and apparatus for enhanced acoustic imaging |
WO2012122132A1 (en) | 2011-03-04 | 2012-09-13 | University Of Washington | Dynamic distribution of acoustic energy in a projected sound field and associated systems and methods |
US8972251B2 (en) | 2011-06-07 | 2015-03-03 | Qualcomm Incorporated | Generating a masking signal on an electronic device |
US20130259254A1 (en) | 2012-03-28 | 2013-10-03 | Qualcomm Incorporated | Systems, methods, and apparatus for producing a directional sound field |
US9271102B2 (en) * | 2012-08-16 | 2016-02-23 | Turtle Beach Corporation | Multi-dimensional parametric audio system and method |
JP2015529415A (ja) | 2012-08-16 | 2015-10-05 | タートル ビーチ コーポレーション | 多次元的パラメトリック音声のシステムおよび方法 |
-
2015
- 2015-05-11 US US14/709,453 patent/US10134416B2/en active Active
-
2016
- 2016-04-15 EP EP16720243.1A patent/EP3295682B1/en active Active
- 2016-04-15 WO PCT/US2016/027649 patent/WO2016182678A1/en unknown
- 2016-04-15 CN CN201680027461.5A patent/CN107637095B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1118494A (zh) * | 1994-04-18 | 1996-03-13 | 松下电器产业株式会社 | 数字信号磁记录重放装置 |
WO1999046956A1 (en) * | 1998-03-09 | 1999-09-16 | Brian Turnbull | Radial pickup microphone enclosure |
US20020146138A1 (en) * | 2001-04-07 | 2002-10-10 | Guido Kolano | Ultrasound based parametric multi-path loudspeaker system |
WO2008090541A2 (en) * | 2007-01-22 | 2008-07-31 | Dsp Group Ltd. | Apparatus and methods for enhancement of speech |
WO2010140104A1 (en) * | 2009-06-05 | 2010-12-09 | Koninklijke Philips Electronics N.V. | A surround sound system and method therefor |
US20120148053A1 (en) * | 2009-08-25 | 2012-06-14 | Ee Leng Tan | Directional sound system |
CN103475467A (zh) * | 2013-08-29 | 2013-12-25 | 郑静晨 | 一种方舱医院语音对讲中的侧信道通信方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110998711A (zh) * | 2017-08-16 | 2020-04-10 | 谷歌有限责任公司 | 动态音频数据传输掩蔽 |
CN111835920A (zh) * | 2019-04-17 | 2020-10-27 | 百度在线网络技术(北京)有限公司 | 通话处理方法、装置、设备及存储介质 |
CN110534125A (zh) * | 2019-09-11 | 2019-12-03 | 清华大学无锡应用技术研究院 | 一种抑制竞争性噪声的实时语音增强***及方法 |
CN113012677A (zh) * | 2021-02-24 | 2021-06-22 | 辽宁省视讯技术研究有限公司 | 一种声音定向传输方法、***、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP3295682B1 (en) | 2021-05-26 |
US20160336022A1 (en) | 2016-11-17 |
US10134416B2 (en) | 2018-11-20 |
EP3295682A1 (en) | 2018-03-21 |
WO2016182678A1 (en) | 2016-11-17 |
CN107637095B (zh) | 2020-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107637095A (zh) | 用于个人声音的保留隐私、能量高效的扬声器 | |
CN106664488A (zh) | 根据所跟踪的用户位置来驱动参量扬声器 | |
JP6121481B2 (ja) | マルチマイクロフォンを用いた3次元サウンド獲得及び再生 | |
US9788109B2 (en) | Microphone placement for sound source direction estimation | |
US10924877B2 (en) | Audio signal processing method, terminal and storage medium thereof | |
WO2021239037A1 (zh) | 信号处理方法、装置和电子设备 | |
CN105120421B (zh) | 一种生成虚拟环绕声的方法和装置 | |
CN117376809A (zh) | 使用元数据处理的耳机的双耳呈现 | |
EP2792168A1 (en) | Audio processing method and audio processing apparatus | |
US11221820B2 (en) | System and method for processing audio between multiple audio spaces | |
US20230096873A1 (en) | Apparatus, methods and computer programs for enabling reproduction of spatial audio signals | |
JP2011211312A (ja) | 音像定位処理装置及び音像定位処理方法 | |
US20190149940A1 (en) | Information processing apparatus and method | |
WO2022170716A1 (zh) | 音频处理方法、装置、设备、介质及程序产品 | |
JP2013025757A (ja) | 入力装置、信号処理方法、プログラム、および記録媒体 | |
KR101038574B1 (ko) | 3차원 오디오 음상 정위 방법과 장치 및 이와 같은 방법을 구현하는 프로그램이 기록되는 기록매체 | |
CN114040317B (zh) | 音响的声道补偿方法及装置、电子设备和存储介质 | |
CN116347320B (zh) | 音频播放方法及电子设备 | |
CN116546126B (zh) | 一种杂音抑制方法及电子设备 | |
CN116320144B (zh) | 一种音频播放方法及电子设备、可读存储介质 | |
CN110475197B (zh) | 一种声场回放方法和装置 | |
US10897665B2 (en) | Method of decreasing the effect of an interference sound and sound playback device | |
US20210274304A1 (en) | Information processing apparatus, information processing system, information processing method, and program | |
CN117044233A (zh) | 情境感知声景控制 | |
CN118317243A (zh) | 一种通过头部追踪实现3d环绕音的实现方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |