CN101461258B - 用于混合音频的方法和装置 - Google Patents
用于混合音频的方法和装置 Download PDFInfo
- Publication number
- CN101461258B CN101461258B CN2007800206746A CN200780020674A CN101461258B CN 101461258 B CN101461258 B CN 101461258B CN 2007800206746 A CN2007800206746 A CN 2007800206746A CN 200780020674 A CN200780020674 A CN 200780020674A CN 101461258 B CN101461258 B CN 101461258B
- Authority
- CN
- China
- Prior art keywords
- channel
- audio
- music
- audio signal
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
- H04M1/6016—Substation equipment, e.g. for use by subscribers including speech amplifiers in the receiver circuit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72442—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for playing music files
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Telephone Function (AREA)
- Amplifiers (AREA)
- Stereophonic System (AREA)
Abstract
本发明描述智能地将两个或两个以上音频信号组合成输出信号的音频混合技术。所述技术允许对音频进行组合,但在所述不同音频信号之间形成感觉差别。结果是用户能够在经组合的输出中听到两个音频信号,但所述不同音频信号在感觉上不彼此干扰。所述技术实施起来相对简单,且非常适合于无线电电话。
Description
技术领域
本发明涉及音频处理,且更明确地说,涉及组合两个或两个以上音频信号以形成输出信号的音频混合技术。
背景技术
本文使用术语“音频”和“音频信号”来指代多种音频信号或源中的任何一者,例如音乐、语音、音调、警报等。音频信号指代模拟或数字信号。对于数字音频,可经由音频编码来使用数据压缩。存在许多促进数字音频的编码的音频编码标准。实例包含由运动图片专家组(motion pictures expert group,MPEG)定义的标准、视窗媒体音频(windows media audio,WMA)标准以及由杜比实验室(Dolby Laboratories)公司定义的标准。此外,许多音频编码标准相继出现,包含数字MP3标准和MP3标准的后续标准,例如苹果计算机(Apple Computer)公司所出售的“iPod”装置中所使用的高级音频编码(advanced audio coding,AAC)标准。
许多不同类型的装置可将音频传递给用户。此些音频装置的实例包含音乐播放器;无线移动装置;无线通信装置,例如无线电电话、直接双向通信装置(有时被称为对讲机);桌上型和膝上型计算机;工作站;卫星无线电装置;对讲装置;无线电广播装置;汽车、船只和航空器中所使用的板上计算机;以及多种其它装置。
在许多情形下,两个或两个以上音频信号(其可以是模拟或数字信号)由给定音频装置同时处理。在还提供(例如)数字音乐能力的无线电电话的情况下,音乐输出可能与和传入电话呼叫相关联的音频发生冲突。为了解决此冲突,常规上,传入电话呼叫优先于任何音乐输出。在此情况下,当接收到传入电话呼叫时,音乐可能变为静音。
发明内容
一般来说,本发明描述智能地将两个或两个以上音频信号(其可以是模拟的或数字的)组合成经组合的输出信号的音频混合技术。所述技术可允许音频信号被组合,但在形成经组合输出的不同音频信号之间形成感觉差别。感觉结果是用户可听到与两个音频信号相关联的音频,但不同音频信号在感觉上不会彼此干扰。所揭示的技术实施起来特 别有效且容易,甚至在例如无线电电话的较小手持型装置中也是如此。还描述对所述技术的若干可选增强,其可进一步增强经混合输出的声音质量。
在一个实施例中,本发明提供一种方法,其包括:接收第一音频和第二音频;将第一正增益施加到所述第一音频的第一信道;将负增益施加到所述第一音频的第二信道;将第二正增益施加到所述第二音频的第一信道;将第三正增益施加到所述第二音频的第二信道;将第一音频的第一信道与第二音频的第一信道进行组合;以及将第一音频的第二信道与第二音频的第二信道进行组合。
在另一实施例中,本发明提供一种方法,其包括:接收音乐音频和电话呼叫音频,所述音乐音频包含第一和第二信道,且所述电话呼叫音频包含单信道;将标量函数施加到音乐音频,以使音乐音频的路径从前景路径改变为背景路径;在背景路径中将低通滤波器施加到音乐音频的第一和第二信道;在背景路径中延迟音乐音频的第二信道;在背景路径中将第一正增益施加到音乐音频的第一信道;在背景路径中将第一负增益施加到音乐音频的第二信道的第一路径;在背景路径中将第二负增益施加到音乐音频的第二信道的第二路径;以及在背景路径中将音乐音频的第二信道的第二路径添加到音乐音频的第一信道中。所述方法还包含:基于单信道而界定电话呼叫音频的第一和第二信道;将第二正增益施加到电话呼叫音频的第一信道;将第三正增益施加到电话呼叫音频的第二信道;将背景路径中的音乐音频的第一信道与电话呼叫音频的第一信道进行组合;以及将背景路径中的音乐音频的第二信道与电话呼叫音频的第二信道进行组合。
可使用硬件、软件、固件或其任一组合来实施本发明的所述技术。如果在软件中实施,那么本发明的所述技术可在包括指令的计算机可读媒体上实施,所述指令在执行时执行本文所描述的方法中的一者或一者以上。如果在硬件中实施,那么所述技术可在一个或一个以上处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和/或离散逻辑电路中实施。
在另一实施例中,本发明提供一种装置,其包括组合两个或两个以上音频信号以形成音频输出的音频混合单元。在此情况下,音频混合单元接收第一音频信号和第二音频信号;将第一正增益施加到第一音频信号的第一信道;将负增益施加到第一音频信号的第二信道;将第二正增益施加到第二音频信号的第一信道;将第三正增益施加到第二音频信号的第二信道;将第一音频信号的第一信道与第二音频信号的第一信道进行组合;以及将第一音频信号的第二信道与第二音频信号的第二信道进行组合。
在另一实施例中,本发明提供一种装置,其包括:用于接收音乐音频信号和电话呼叫音频信号的装置,所述音乐音频信号包含第一和第二信道,且所述电话呼叫音频信号 包含单信道;用于将标量函数施加到音乐音频信号以使音乐音频信号的路径从前景路径改变为背景路径的装置;用于在背景路径中将低通滤波器施加到音乐音频信号的第一和第二信道的装置;用于在背景路径中延迟音乐音频信号的第二信道的装置;用于在背景路径中将第一正增益施加到音乐音频信号的第一信道的装置;用于在背景路径中将第一负增益施加到音乐音频信号的第二信道的第一路径的装置;用于在背景路径中将第二负增益施加到音乐音频信号的第二信道的第二路径的装置;以及用于在背景路径中将音乐音频信号的第二信道的第二路径添加到音乐音频信号的第一信道中的装置。所述装置还包含:用于基于单信道而界定电话呼叫音频信号的第一和第二信道的装置;用于将第二正增益施加到电话呼叫音频信号的第一信道的装置;用于将第三正增益施加到电话呼叫音频信号的第二信道的装置;用于将背景路径中的音乐音频信号的第一信道与电话呼叫音频信号的第一信道进行组合的装置;以及用于将背景路径中的音乐音频信号的第二信道与电话呼叫音频信号的第二信道进行组合的装置。
在另一实施例中,本发明提供一种包括音频混合单元的装置。所述混合单元接收包含第一和第二立体声信道的第一音频信息;基于第一音频信息而产生第一前景音频输出;接收第二音频信息;将增益施加到第一和第二立体声信道,以产生背景音频输出;基于第二音频信息而产生第二前景音频输出;以及将第二前景音频输出与背景音频输出进行组合,以产生第一和第二音频信息的组合输出。
在另一实施例中,本发明提供一种包括音频混合单元的装置,所述音频混合单元接收音乐音频;将所述音乐音频呈现给用户;接收电话呼叫音频;将音乐音频与电话呼叫音频进行混合,使得音乐音频为背景音频且电话呼叫音频为前景音频,包含将增益施加到音乐音频以形成背景感觉;且将音乐音频与电话音频的组合呈现为音乐在背景中且电话呼叫在前景中的组合输出。
附图和下文的描述内容中陈述各种实施例的额外细节。其它特征、目标和优势将从描述内容和图式,且从权利要求书中变得显而易见。
附图说明
图1是可实施本发明的技术的示范性音频装置的框图。
图2是可在音频装置中用来执行本发明的技术的示范性音频混合单元的框图。
图3A是说明用于将音频信号的信道从前景路径改变为背景路径的示范性标量函数的时序图。
图3B是说明用于将音频信号的信道从背景路径改变为前景路径的示范性标量函数 的时序图。
图4到图6是说明本发明的音频混合技术的流程图。
具体实施方式
本发明描述智能地将两个或两个以上音频信号组合成输出信号的音频混合技术。本文使用术语“音频”和“音频信号”来指代多种音频信号或源中的任何一者,例如音乐、语音、音调、警报等。此外,术语音频信号,如本文所使用,指代音频信息的模拟或数字版本。本发明的技术允许音频信号被组合,但在不同音频信号之间形成感觉差别。结果是用户能够在经组合的输出中听到两个音频信号,但组成组合输出的所述不同音频信号在感觉上不会彼此干扰。具体来说,对所述音频信号中的一者执行处理,以将相应的音频信号改变为感觉背景。所述处理相对较简单,尤其在与通过用头部相关转移函数(head related transfer function,HRTF)滤波器将音频信号定位到不同的3D空间位置中来形成等效感觉改变的常规技术相比时。
在下文详细描述的一个实例中,无线电电话可在音乐模式或电话模式下操作。在音乐模式下,音乐的左信道和右信道在前景中传递给用户。然而,在接收到入站电话呼叫后,无线电电话过渡到电话模式。在电话模式下,音乐音频与电话呼叫音频组合。然而,将音乐音频处理成感觉背景。本发明的技术在背景处理路径内使用缩放、滤波、延迟和/或信道组合,以便产生舒适的音乐输出,其中音乐被感知为背景音频,而电话呼叫音频被感知为前景音频。然而,音乐模式和电话模式的实例只是示范性的,且本发明的技术非常适用于组合无线电电话或许多其它类型的音频装置的多种其它类型的音频信号。
图1是可实施本发明的技术的示范性音频装置2的框图。装置2的所说明的组件只是全面描述本发明的技术所需的组件。装置2可包含许多其它组件,例如处理器、显示器、用户输入装置或多种其它组件。装置2的其它组件通常将取决于所设计的装置的类型。事实上,甚至所说明的组件中的一些组件也是可选的,且不一定是装置实施本发明的技术所需要的。一般来说,混合单元10是装置2的执行本文所描述技术的组件。
示范性音频装置2可包括无线无线电电话,例如所谓的手机。为此,装置2可包含传输器/接收器4和调制器/解调器“调制解调器”6。传输器/接收器4经由天线5发送和接收无线信号。调制解调器6对接收到的无线信号进行解调,且产生音频信号,即与传入电话呼叫相关联的电话呼叫音频。
装置2还具有向用户播放音乐的能力。为了播放音乐,装置2包含音乐单元8。音乐单元8可包括音频解码器,其对经数字编码的音乐进行解码,例如对MP3文件、AAC 文件等进行解码。然而,音乐单元8不一定是数字的,且在一些实施例中可处理模拟音频信号。另外,在一些实施例中,装置2可经装备以播放视频或支持与远程装置的视频电话(VT)。因此,装置2还可包含摄像头,且形成支持VT应用的所谓的摄像头电话或视频电话。
根据本发明,且参看图1,装置2包含音频混合单元10。如上文所述,混合单元10通常实施本发明的技术。明确地说,混合单元10促进两个或两个以上音频信号的智能混合。此外,虽然在将音乐音频信号与电话呼叫音频信号进行混合的上下文中描述本发明的技术,但本发明更通常涵盖任何第一和第二音频信号的组合。所混合的第一和第二音频信号可包括任何类型的音频,只要音频信号与不同来源相关联,且需要经组合以在音频信号的来源中形成感觉差异。举例来说,第一和第二音频信号可为音乐音频信号和电话呼叫音频信号、两个不同的电话呼叫音频信号、两个不同的音乐音频信号或电话呼叫、音乐、语音和/或音调音频信号的任一组合。如本文所述,任何其它类型的非音乐音频也可从前景到背景进行处理。
最初,装置2可在音乐模式下操作。在音乐模式下,混合单元10接收来自音乐单元8的音频信号。音乐单元8可包括音频编码器/解码器(CODEC)和相关联的易失性或非易失性存储器。音乐单元8可对数字音频信号进行解码,以产生音乐音频信号。或者,音乐单元8可播放模拟音频信号,以产生音乐音频信号。将所产生的音乐音频传递到音频混合单元10,其将输出信号转发到驱动电路12,以驱动扬声器14A和14B。
当接收到传入电话呼叫时,装置2从音乐模式改变为电话呼叫模式。根据本发明,电话呼叫模式允许在背景中播放音乐,而电话呼叫音频处于前景中。这允许用户在接收到传入电话呼叫时不中断地欣赏音乐。此外,根据本发明,音乐可在电话呼叫模式下改变,使得音乐音频信号被处理以变成背景音乐。出于本发明的目的,假定电话呼叫模式是将传入电话呼叫与音乐进行组合的模式。当然,装置2还可在仅电话模式下操作,所述模式的背景中不包含任何音乐。
在电话呼叫模式(具有音乐)下,混合单元10接收第一音频信号(即,来自音乐单元8的音乐信号)和第二音频信号(即,来自调制解调器6的电话呼叫音频信号)。混合单元10处理所述音乐音频和电话呼叫音频,以组合这些音频信号,且在这样做时,将音乐音频移动到感觉背景。为了这样做,混合单元10可将第一正增益施加到第一音频信号(音乐)的第一信道;将第一负增益施加到第一音频信号的第二信道;将第二正增益施加到第二音频信号(电话呼叫)的第一信道;且将第三正增益施加到第二音频信号的第二信道。混合单元10接着将第一音频信号的第一信道与第二音频信号的第一信 道进行组合,且将第一音频信号的第二信道与第二音频信号的第二信道进行组合。除了可经界定以帮助在电话模式下形成音乐的背景效应的所述增益之外,混合单元10还可使用若干其它处理技术。具体来说,混合单元10可执行缩放、滤波、延迟和/或信道组合,以便用有效的实施方案来实现所需效应。
一旦第一和第二音频信号(例如,音乐和电话呼叫)已被组合,混合单元10就将输出信号传递到驱动电路12。驱动电路12使用所述输出信号来产生驱动信号,所述驱动信号可驱动扬声器14A和14B,且进而产生可听声音。扬声器14可包括耳机扬声器、落地式扬声器、机动车中的扬声器,或通常任何类型的扬声器设计。
图2是可在音频装置中用来执行本发明的技术的示范性音频混合单元20的框图。图2的混合单元20可对应于图1的混合单元10,或可在其它类型的装置中使用。如图2中所示,混合单元20接收两个音频信号,音乐15和电话呼叫16。
在图2的实例中,一个音频信号是立体声音乐15,且另一音频信号是单声道电话呼叫16,尽管本发明不限于此方面。当没有电话呼叫正在会话中时,混合单元20在音乐模式下操作。在此音乐模式下,音乐占据整个前景。然而,如果有电话呼叫传入,那么混合单元20进入电话呼叫模式,其导致音乐被重新处理成背景,而电话呼叫保留在前景中。在图2中,穿过标量30和31的音乐路径被称为前景路径,而穿过标量28和29的音乐路径是背景路径。
将单电话呼叫音频信号16直接混合成立体声输出,且分别通过用于左侧混合和右侧混合的增益值g4和g5进行缩放。以此方式,电话呼叫将被听成前景声音级中的清晰语音,可能朝一侧偏斜,视增益值而定。
所述音乐具有由第一(左)前标量30和第二(右)前标量31缩放的前景副本,以及由第一(左)后标量28和第二(右)后标量29缩放的背景副本。在两种模式的稳定状态期间,标量值在下文所论述的表1中展示。
为了形成背景声音图像,左(L)或右(R)音频信道中的一者与负标量值(例如,g2和g3)相乘,使得背景声音的立体声音图像比前景声音图像更具扩散性。在图2的实例中,将R立体声信道分成多个分量或路径22、23,且使R信道的路径中的每一者与相应的负标量值g2和g3相乘。还将立体声音频信道中的一者(在此实例中为R信道)添加回到另一信道中。不同路径22、23允许一个路径以与界定相应信道的路径不同的增益添加回到另一信道。此设计有助于使背景声音图像偏斜,使得其不在声音级的中心,这在心理学上形成较不重要的感觉。背景声音在等级方面也比前景副本低。如果音乐是单声道的,那么产生并使用具有相同L和R信道的立体声信号,且感觉结果类似于立体 声输入的感觉结果。
为了加强背景声音的感觉,可使用两个低通滤波器(LPF)18和19来在将音乐音频应用于对应增益g1、g2和g3之前,从音乐音频的L和R分量中滤出高频。LPF18和19的应用模仿和夸示了空气吸收效应,其导致较远声音对象与较近声音对象相比,在高频下展现出较小的频谱功率。图2的***中的低通滤波器的使用是可选的。
还可在低通滤波器的一者后使用延迟电路21。由延迟电路21引入到信道的一者中的延迟有助于使背景声音图像进一步扩散,使得其听起来较不清晰,且更像是背景声音。此延迟电路21也是可选的。大约10毫秒的延迟通常足以增强背景效应,而不会在音频中导致不合需要的假象。
通过改变其前景路径与背景路径之间的立体声音乐处理来实现音乐模式与电话呼叫模式之间的转换。为了使过渡平滑,可对下文表1中所列出的标量进行线性标量改变,如图3A和图3B中所说明。具体地说,图3A和图3B说明当在音乐模式与电话呼叫模式之间切换时,标量值可如何及时改变。线性过渡可减小计算复杂性,尽管也可使用其它过渡曲线。图3A和图3B中所描绘的标量值都落在零与一之间。
再次参看图2,音乐15最初作为唯一的音频而播放。在仅音乐模式下,将用于左和右信道的前标量30和31设置为一,即等级1,以允许所述音乐在前景中播放。此时,将后标量28和29设置为零,以阻止音乐进入背景路径。如果所述音乐是单声道的,那么可从单声道音乐信号产生或简单地复制左和右信道。在此仅音乐模式下,左和右信道的混合输出38和39在前景中包含音乐,在背景中不包含任何东西。穿过标量30和31的音乐路径在本文被称为前景路径。相反,背景路径穿过标量28和29。
当接收到电话呼叫音频信号16时,混合单元20改变为电话呼叫模式。电话呼叫音频信号16可包含传递给用户的铃音警报,接着是电话通话(假定用户响应于听到所述铃音警报而接听电话呼叫)。电话呼叫音频信号16是单声道的,在此情况下,单个信号被分割,且沿两个不同路径向下传递通过放大器32和33,以界定左和右信道中的输出。当然,本文所描述的左和右信道可以倒置而得出类似结果。而且,相同的技术可与立体声的电话呼叫音频信号一起使用。
根据本发明,为了处理电话呼叫音频信号16,混合单元20改变为电话呼叫模式,且音乐音频信号15从前景信号过渡到背景信号。在此情况下,前标量30和31的标量值从一(1)过渡到零(0),以阻止前(前景)路径中的任何音乐。同时,后标量28和29的标量值从零(0)过渡到一(1),以允许音乐穿过背景路径。标量28、29、30和31可包括可调节增益电路或软件实施的放大器(其界定图3A和图3B中所说明的转移 函数),这取决于模式改变。具体来说,下文更详细地论述的图3A和图3B为分别由标量30、31、28和29执行的这些过渡提供一些有效的转移函数。所述过渡可能仅花费几秒,例如大约3秒,且因此,通常在电话呼叫音频的铃音部分期间发生。
在背景路径中,音乐信号15的左和右信道分别由低通滤波器19和18进行滤波。举例来说,低通滤波器19和18可包括近似在z域中具有转移函数的单极滤波器。
其中以44100Hz的取样速率来设计参数。
如上文所提及,在用于音乐音频信号15的右信道的第一低通滤波器18之后,可添加延迟电路21。举例来说,延迟电路21可添加大约10毫秒的延迟。所述延迟将扩散效应添加到所述音乐,其增强背景效应。
在延迟电路21之后,将音乐音频信号15的右信道分成两个路径22和23。通过放大器24和25对路径22和23执行缩放。路径22接着穿过后标量29,标量29此时具有值一(1)或过渡到一。后标量29的输出界定背景路径中的音乐信号15的右信道。后标量29的此输出经由加法器35与任何衰减前景音乐组合。具体来说,如果前标量31尚未过渡到零,那么一些前景音乐可能仍存在于右信道中,其经由加法器35与背景路径组合。
在用于音乐音频信号15的左信道的第二低通滤波器19之后,缩放由放大器26执行。接着经由加法器27将路径22中的右信道的经缩放版本添加到左信道。这将向左偏斜添加到背景路径中的音乐信号,从而进一步增强背景效应。接着,音乐音频信号15的左信道穿过后标量28,后标量28此时具有值一(1)或过渡到一。后标量28的输出界定背景路径中的音乐信号15的左信道。后标量28的此输出经由加法器34与任何前景音乐组合。类似于右信道,对于左信道来说,如果前标量30尚未过渡到零,那么一些前景音乐可能仍存在,且将经由加法器34与背景路径组合。
放大器24、25、26、32和33的增益可为可编程的,且可经选择以获得电话呼叫音频在前景中且音乐在背景中的所需效应。为了这样做,用于音乐的背景路径中的放大器24、25或26中的一者或一者以上可界定负增益。具体地说,用于音乐信号15的右信道的路径22和23的放大器24和25可界定负增益,其通常彼此不同。作为实例,放大器24、25、26、32和33的增益可为如下:
放大器26(g1=0.5)
放大器25(g2=-0.07)
放大器24(g3=-0.12)
放大器32(g4=0.575)
放大器33(g5=0.818)
加法器36和37将电话呼叫音频信号16与音乐音频信号15进行组合。然而,此时,电话呼叫音频信号16由放大器32和33缩放,而音乐音频信号15经由滤波、延迟、信道组合和缩放而调节到背景。因此,混合单元20的输出(混合L信号38和混合R信号39)在前景中包含电话呼叫音频,且在背景中包含音乐。此外,音频效应可在音乐从前景过渡到背景或从背景过渡到前景时包含过渡。这些过渡由标量30、31、28和29执行。
下文的表1陈述用于音乐模式和电话呼叫模式的前标量L30、前标量R31、后标量L28和后标量R29的值。
表1
音乐模式 | 电话呼叫模式 | |
前标量L | 一 | 零 |
前标量R | 一 | 零 |
后标量L | 零 | 一 |
后标量R | 零 | 一 |
此外,如上文所提及,标量30、31、28和29可执行从音乐模式的过渡。所述过渡可遵循从一到零或从零到一的线性或其它调节。此外,所述过渡针对不同信道可不同,以形成音乐从背景到前景或从前景到背景的舒适的音频过渡。
图3A和图3B是说明用于将音频信号的信道从前景改变为背景(图3A)和用于将音频信号的信道从背景改变到前景(图3B)的示范性标量函数的时序图。如从图3A可见,不同标量使前景路径以线性方式从一改变为零,且使背景路径以线性方式从零改变为一。然而,不同信道不会同时改变。即,不同信道在不同时间周期内以线性方式改变。这可提供在所述音乐移动到感觉上的背景的情况下从前景中的音乐到电话呼叫音频和音乐的听得到的舒适改变。值一(1)意味着允许给定信道的所有音频通过,而值零(0)意味着给定信道的所有音频都被阻止。当标量值越过(例如)值0.5时,那个路径的幅值的一半的信道输出将包含在输出信号中。
图3A和图3B中所说明的时间周期可在大约1秒与6秒之间,例如3.3秒。图3A说明从音乐模式到电话呼叫模式的改变。在此情况下,用于第一音频的第一信道的前标量函数301使第一音频的第一信道的前景输出从一改变为零。用于第一音频的第二信道的前标量函数302在与用于第一音频的第一信道的前标量函数不同的时间周期内,使第一音频的第二信道的前景输出从一改变为零。用于第一音频的第一信道的后标量函数303使第一音频的第一信道的背景输出从零改变为一。用于第一音频的第二信道的后标量函数304在与用于第一音频的第一信道的后标量函数不同的时间周期内,使第一音频的第二信道的背景输出从零改变为一。标量函数301到304可在硬件、软件、电路、逻辑等中实施。此外,尽管将标量函数301到304说明为本质上是线性的,但本发明不限于此方面。还可使用其它调节函数曲线,例如余弦和指数曲线。此外,应用于不同信道的不同函数不一定在不同时间周期内改变。而是在一些实施例中,所述函数可在相同时间周期内应用,以使相应的信道同时从前景改变为背景或从背景改变为前景。
图3B说明从电话呼叫模式回到音乐模式的改变。在此情况下,用于第一音频的第一信道的前标量函数305使第一音频的第一信道的前景输出从零改变为一。用于第一音频的第二信道的前标量函数306在与用于第一音频的第一信道的前标量函数不同的时间周期内,使第一音频的第二信道的前景输出从零改变为一。用于第一音频的第一信道的后标量函数307使第一音频的第一信道的背景输出从一改变为零。用于第一音频的第二信道的后标量函数308在与用于第一音频的第一信道的后标量函数不同的时间周期内,使第一音频的第二信道的背景输出从一改变为零。如同标量函数301到304一样,标量函数305到308也可以是线性的或遵循其它曲线。
图4是说明根据本发明的音频混合技术的流程图。如图4中所示,混合单元20接收音乐音频信号15(41)。标量30、31、28和29施加标量函数,以在前景中播放音乐(42)。在此情况下,标量30和31施加值一,以允许音乐穿过那些路径,而标量28和29施加值零,以阻止沿那些路径的音乐。基于前景中的音乐而产生音乐输出(43)。
当混合单元20接收到与传入电话呼叫相关联的音频时(44),改变标量30、31、28和29的标量值,以在背景中播放所述音乐(45)。所述改变可包含短过渡周期,例如通过施加如图3A中所说明的标量函数。此时,音乐从前景改变为背景。单元18、19、21、24、25、26和27都用于经由滤波(单元18和19)、延迟(单元21)、缩放(单元24、25和26)以及信道组合(单元27)而在音乐中形成背景效应。此外,单元24和25的增益可为负,而单元26的增益为正。这些各种信号调节可经调谐以形成所需的背景音乐效应。
接着经由加法器36和37使电话音频信号16与音乐音频信号15(在音乐音频信号15的背景处理之后)混合(46)。还可在将单声道电话信号分割成具有相同音频的两个信道之后,经由放大器32和33对电话音频信号16执行缩放。接着可产生组合输出(47)。在此情况下,针对左和右信道而产生的输出38和39在前景中包含电话呼叫音频,且在背景中包含音乐。然而,还可相对于其它类型的音频信号而应用本发明的技术。
图5是说明根据本发明的音频混合技术的另一流程图。当混合单元20处于电话呼叫模式时,应用图5的技术,在此情况下,将后标量28和29设置为一,且将前标量30和31设置为零。如图5中所示,混合单元20接收第一音频信号15和第二音频信号16。放大器26将第一正增益施加到第一音频信号的第一信道(52),且放大器24将第一负增益施加到第一音频信号的第二信道(53)。对于第二音频信号16,放大器32将第二正增益施加到第一信道(54),且放大器33将第三正增益施加到第二信道(55)。如果接收到的音频是单声道的,那么音频信号16的第一和第二信道可以是相同的。
加法器36将第一音频信号的第一信道与第二音频信号的第一信道进行组合(56)。另外,加法器37将第一音频信号的第二信道与第二音频信号的第二信道进行组合(57)。如从图5可了解,元件18、19、21、25和27所执行的额外技术是可选的。换句话说,即使在没有可选元件18、19、21、25和27的情况下,图5的技术也可由与图2中所示的混合器20的电路类似的电路来实施。然而,使用额外元件18、19、21、25和27可增强施加于音乐的背景效应。
图6是说明根据本发明的音频混合技术的另一流程图。类似于图5的技术,当混合单元20处于电话呼叫模式时,也应用图6的技术,在此情况下,将后标量28和29设置为一,且将前标量30和31设置为零。如图6中所示,混合单元20接收第一音频(音乐音频15)和第二音频(电话呼叫音频16)(61)。在第一音频的背景路径中,使用低通滤波器18和19来对第一和第二信道进行滤波(62)。此低通滤波去除高频信号,以模仿和夸示空气吸收效应。较远的声音对象与较近的声音对象相比在高频下具有较低频谱功率,因此此低通滤波可使声音听起来似乎较远。
接着使用延迟电路21来延迟第一音频的第二信道(63)。向信道中的一者添加延迟可使背景声音图像扩散,使得其听起来较不清晰,且因此更像是背景声音。
放大器26将第一正增益施加到第一音频的第一信道(即,左信道)(64)。放大器24将第一负增益施加到第一音频的第二信道(即,右信道)(65)。而且,放大器25将第二负增益施加到第二信道的第二路径22(66)。接着,经由加法器27将此第二路径22添加到第一音频的第一信道中(67),这使背景声音图像偏斜,以形成更多背景效应。
将第二音频(电话呼叫音频16)分成左信道和右信道,如果此些立体声信道尚不存在的话。经由放大器32将第二正增益施加到第二音频的第一信道(即,左信道)(68),而经由放大器33将第三正增益施加到第二音频信号的第二信道(即,右信道)(69)。放大器32和33的增益可以是相同的,或可稍稍不同,以向前景声音图像添加轻微的偏移。这可使前景声音图像从背景声音图像移开。
加法器36将第一音频信号的第一信道与第二音频信号的第一信道进行组合(70)。类似地,加法器37将第一音频信号的第二信道与第二音频信号的第二信道进行组合(71)。接着,可将经混合的信号38和39传递到驱动电路,驱动电路可形成驱动信号,以供扬声器播放经组合的输出(72)。
本发明的处理技术实施起来相对较简单,尤其在与已开发以在音频信号中形成感觉改变的常规头部相关转移函数(HRTF)相比时。本文所描述的技术可在硬件、软件、固件或其任一组合中实施。如果在软件中实施,那么本发明可针对于包括指令的计算机可读媒体,所述指令当在音频装置中执行时,致使所述装置执行本文所述的音频混合技术中的一者或一者以上。在所述情况下,所述计算机可读媒体可包括随机存取存储器(RAM),例如同步动态随机存取存储器(SDRAM);只读存储器(ROM);非易失性随机存取存储器(NVRAM);电可擦除可编程只读存储器(EEPROM);快闪存储器等。
所述指令可以是计算机可读指令,且数字信号处理器(DSP)可执行存储在存储器中的指令,以便实行所述音频混合技术中的一者或一者以上。在一些情况下,所述技术可由DSP执行,所述DSP调用各种硬件组件来加速混合过程。在其它情况下,可将本文所述的单元或模块实施为微处理器、一个或一个以上专用集成电路(ASIC)、一个或一个以上现场可编程门阵列(FPGA)、离散逻辑电路或某一其它硬件-软件组合。
在前面的论述内容中,本发明已在将立体声音乐信号与单声道电话呼叫进行混合的上下文中提供了细节。然而,所述技术可容易对单声道音乐起作用,在此情况下,所述不同信道将是单声道信号的复制品。所述技术还可对立体声电话呼叫起作用。此外,本发明的技术可用于混合任何两种音频信号,其中一个信号相对于前景中的另一信号而移动到背景。换句话说,对音乐和电话呼叫的论述只是可使用本发明的技术混合的两个不同音频信号的一个实例。这些和其它实施例都在所附权利要求书的范围内。
Claims (34)
1.一种用于混合音频的方法,其包括:
接收第一音频和第二音频;
将第一正增益施加到所述第一音频的第一信道;
将负增益施加到所述第一音频的第二信道;
将第二正增益施加到所述第二音频的第一信道;
将第三正增益施加到所述第二音频的第二信道;
将所述第一音频的所述第一信道与所述第二音频的所述第一信道进行组合;以及
将所述第一音频的所述第二信道与所述第二音频的所述第二信道进行组合。
2.根据权利要求1所述的方法,其中所述第一音频是音乐音频,且所述第二音频信号是与传入电话呼叫相关联的电话呼叫音频。
3.根据权利要求1所述的方法,其进一步包括将标量函数施加到所述第一音频,以在
所述第一音频的前景与背景输出之间改变,其中所述标量函数包含:
用于所述第一音频的所述第一信道的第一前标量函数;
用于所述第一音频的所述第二信道的第二前标量函数;
用于所述第一音频的所述第一信道的第一后标量函数;以及
用于所述第一音频的所述第二信道的第二后标量函数,
其中在界定所述背景输出的路径中施加所述第一音频的所述增益。
4.根据权利要求3所述的方法,其中所述标量函数响应于从音乐模式到电话呼叫模式的改变而导致所述第一音频中的从前感觉位置到后感觉位置的感觉改变。
5.根据权利要求4所述的方法,其中响应于从所述音乐模式到所述电话呼叫模式的所述改变:
用于所述第一音频的所述第一信道的所述第一前标量函数使所述第一音频的所述第一信道的前景输出从一改变为零;
用于所述第一音频的所述第二信道的所述第二前标量函数在与用于所述第一音频的所述第一信道的所述前标量函数不同的时间周期内,使所述第一音频的所述第二信道的前景输出从一改变为零;
用于所述第一音频的所述第一信道的所述第一后标量函数使所述第一音频的所述第一信道的背景输出从零改变为一;
用于所述第一音频的所述第二信道的所述第二后标量函数在与用于所述第一音频的所述第一信道的所述后标量函数不同的时间周期内,使所述第一音频的所述第二信道的背景输出从零改变为一;
6.根据权利要求1所述的方法,其中所述负增益包括第一负增益,所述方法进一步包括:
将第二负增益施加到所述第一音频的所述第二信道的第二路径,且将所述第二路径添加到所述第一音频的所述第一信道中。
7.根据权利要求6所述的方法,其中:
所述第一音频的所述第一信道的所述第一正增益为约0.5;
所述第一音频的所述第二信道的所述第一负增益为约-0.12;
所述第一音频的所述第二信道的所述第二路径的所述第二负增益为约-0.07;
所述第二音频的所述第一信道的所述第二正增益为约0.575;以及
所述第二音频的所述第二信道的所述第三正增益为约0.818。
8.根据权利要求1所述的方法,其进一步包括将低通滤波器应用于所述第一音频的所述第一和第二信道。
9.根据权利要求1所述的方法,其进一步包含延迟所述第一音频的所述第二信道。
10.根据权利要求1所述的方法,其中所述第一音频的所述第一和第二信道包括左和右立体声信道,且其中所述第二音频是单声道音频,所述方法进一步包括将所述第二音频的所述左和右信道界定为所述单声道音频的副本。
11.根据权利要求1所述的方法,其中所述第一音频和所述第二音频是单声道音频,所述方法进一步包括分别针对所述第一和第二音频来界定所述左和右信道。
12.一种用于混合音频的方法,其包括:
接收音乐音频和电话呼叫音频,所述音乐音频包含第一和第二信道,且所述电话呼叫音频包含单声道信道。
将标量函数施加到所述音乐音频,以使所述音乐音频的路径从前景路径改变为背景路径;
在所述背景路径中将低通滤波器应用于所述音乐音频的所述第一和第二信道。
在所述背景路径中延迟所述音乐音频的所述第二信道;
在所述背景路径中将第一正增益施加到所述音乐音频的所述第一信道;
在所述背景路径中将第一负增益施加到所述音乐音频的所述第二信道的第一路径;
在所述背景路径中将第二负增益施加到所述音乐音频的所述第二信道的第二路径;
在所述背景路径中将所述音乐音频的所述第二信道的所述第二路径添加到所述音乐音频的所述第一信道中;
基于单声道信道来界定所述电话呼叫音频的第一和第二信道;
将第二正增益施加到所述电话呼叫音频的第一信道;
将第三正增益施加到所述电话呼叫音频的第二信道;
将所述背景路径中的所述音乐音频的所述第一信道与所述电话呼叫音频的所述第一信道进行组合;以及
将所述背景路径中的所述音乐音频的所述第二信道与所述电话呼叫音频的所述第二信道进行组合。
13.根据权利要求12所述的方法,其进一步包括将标量函数施加到所述音乐音频,以在所述前景路径与背景路径之间改变,其中所述标量函数响应于从音乐模式到电话呼叫模式的改变而导致所述音乐音频中的从前感觉位置到后感觉位置的感觉改变。
14.根据权利要求13所述的方法,其中施加标量函数包含:
施加用于所述音乐音频的所述第一信道的第一前标量函数,以使所述音乐音频的所述第一信道的前景输出从一改变为零;
施加用于所述音乐音频的所述第二信道的第二前标量函数,以在与用于所述音乐音频的所述第一信道的所述前标量函数不同的时间周期内,使所述音乐音频的所述第二信道的前景输出从一改变为零;
施加用于所述音乐音频的所述第一信道的第一后标量函数,以使所述音乐音频的所述第一信道的背景输出从零改变为一;以及
施加用于所述音乐音频的所述第二信道的第二后标量函数,以在与用于所述音乐音频的所述第一信道的所述后标量函数不同的时间周期内,使所述音乐音频的所述第二信道的背景输出从零改变为一。
15.一种用于混合音频的装置,其包括:
音频混合单元,其组合两个或两个以上音频信号以形成音频输出,其中所述音频混合单元:
接收第一音频信号和第二音频信号;
将第一正增益施加到所述第一音频信号的第一信道;
将负增益施加到所述第一音频信号的第二信道;
将第二正增益施加到所述第二音频信号的第一信道;
将第三正增益施加到所述第二音频信号的第二信道;
将所述第一音频信号的所述第一信道与所述第二音频信号的所述第一信道进行组合;以及
将所述第一音频信号的所述第二信道与所述第二音频信号的所述第二信道进行组合。
16.根据权利要求15所述的装置,其中所述装置包括无线电电话,且其中所述第一音频信号是音乐音频,且所述第二音频信号是与传入电话呼叫相关联的电话呼叫音频,所述装置进一步包括:
音乐单元,其产生所述音乐音频;
传输器/接收器,其接收无线通信;以及
调制解调器,其从所述无线通信中产生所述电话呼叫音频。
17.根据权利要求15所述的装置,其中混合单元将标量函数施加到所述第一音频信号,以在所述第一音频信号的前景输出与背景输出之间改变,其中所述标量函数包含:
用于所述第一音频信号的所述第一信道的第一前标量函数;
用于所述第一音频信号的所述第二信道的第二前标量函数;
用于所述第一音频信号的所述第一信道的第一后标量函数;以及
用于所述第一音频信号的所述第二信道的第二后标量函数,其中在界定所述背景输出的路径中施加所述第一音频信号的所述增益。
18.根据权利要求17所述的装置,其中所述标量函数响应于从音乐模式到电话呼叫模式的改变而导致所述第一音频信号中的从前感觉位置到后感觉位置的感觉改变。
19.根据权利要求18所述的装置,其中响应于从所述音乐模式到所述电话呼叫模式的所述改变:
用于所述第一音频信号的所述第一信道的所述第一前标量函数使所述第一音频 信号的所述第一信道的前景输出从一改变为零;
用于所述第一音频信号的所述第二信道的所述第二前标量函数在与用于所述第一音频信号的所述第一信道的所述前标量函数不同的时间周期内,使所述第一音频信号的所述第二信道的前景输出从一改变为零;
用于所述第一音频信号的所述第一信道的所述第一后标量函数使所述第一音频信号的所述第一信道的背景输出从零改变为一;
用于所述第一音频信号的所述第二信道的所述第二后标量函数在与用于所述第一音频信号的所述第一信道的所述后标量函数不同的时间周期内,使所述第一音频信号的所述第二信道的背景输出从零改变为一。
20.根据权利要求15所述的装置,其中所述负增益包括第一负增益,其中所述混合单元:
将第二负增益施加到所述第一音频信号的所述第二信道的第二路径,且将所述第二路径添加到所述第一音频信号的所述第一信道中。
21.根据权利要求20所述的装置,其中:
所述第一音频信号的所述第一信道的所述第一正增益为约0.5;
所述第一音频信号的所述第二信道的所述第一负增益为约-0.12;
所述第一音频信号的所述第二信道的所述第二路径的所述第二负增益为约-0.07;
所述第二音频信号的所述第一信道的所述第二正增益为约0.575;以及
所述第二音频信号的所述第二信道的所述第三正增益为约0.818。
22.根据权利要求15所述的装置,其中所述混合单元将低通滤波器应用于所述第一音频信号的所述第一和第二信道。
23.根据权利要求15所述的装置,其中所述混合单元延迟所述第一音频信号的所述第二信道。
24.根据权利要求15所述的装置,其中所述第一音频信号的所述第一和第二信道包括左和右信道,且其中所述第二音频信号是单声道音频信号,且其中所述混合单元将所述第二音频信号的所述左和右信道界定为所述单声道音频信号的副本。
25.根据权利要求15所述的装置,其中所述第一音频信号和所述第二音频信号是单声道音频信号,且其中所述混合单元分别针对所述第一和第二音频信号来界定所述左和右信道。
26.根据权利要求15所述的装置,其进一步包括:
扬声器;以及
驱动电路,其接收所述第一和第二信道的经组合信号,且产生驱动信号以驱动所述扬声器。
27.根据权利要求15所述的装置,其中所述第一和第二音频信号包括以下一者:
数字信号;以及
模拟信号。
28.一种用于混合音频的装置,其包括:
用于接收音乐音频信号和电话呼叫音频信号的装置,所述音乐音频信号包含第一和第二信道,且所述电话呼叫音频信号包含单声道信道;
用于将标量函数施加到所述音乐音频信号以使所述音乐音频信号的路径从前景路径改变为背景路径的装置;
用于在所述背景路径中将低通滤波器应用于所述音乐音频信号的所述第一和第二信道的装置;
用于在所述背景路径中延迟所述音乐音频信号的所述第二信道的装置;
用于在所述背景路径中将第一正增益施加到所述音乐音频信号的所述第一信道的装置;
用于在所述背景路径中将第一负增益施加到所述音乐音频信号的所述第二信道的第一路径的装置;
用于在所述背景路径中将第二负增益施加到所述音乐音频信号的所述第二信道的第二路径的装置;
用于在所述背景路径中将所述音乐音频信号的所述第二信道的所述第二路径添加到所述音乐音频信号的所述第一信道中的装置;
用于基于单声道信道来界定所述电话呼叫音频信号的第一和第二信道的装置;
用于将第二正增益施加到所述电话呼叫音频信号的第一信道的装置;
用于将第三正增益施加到所述电话呼叫音频信号的第二信道的装置;
用于将所述背景路径中的所述音乐音频信号的所述第一信道与所述电话呼叫音频信号的所述第一信道进行组合的装置;以及
用于将所述背景路径中的所述音乐音频信号的所述第二信道与所述电话呼叫音频信号的所述第二信道进行组合的装置。
29.根据权利要求28所述的装置,其进一步包括用于将标量函数施加到所述音乐音频信号以在所述前景路径与背景路径之间改变的装置,其中所述标量函数响应于从音乐模式到电话呼叫模式的改变而导致所述音乐音频信号中的从前感觉位置到后感觉位置的感觉改变。
30.根据权利要求28所述的装置,其中用于施加标量的装置包含:
用于施加用于所述音乐音频信号的所述第一信道的第一前标量函数以使所述音乐音频信号的所述第一信道的前景输出从一改变为零的装置。
用于施加用于所述音乐音频信号的所述第二信道的第二前标量函数,以在与用于所述音乐音频信号的所述第一信道的所述前标量函数不同的时间周期内,使所述音乐音频信号的所述第二信道的前景输出从一改变为零的装置;
用于施加用于所述音乐音频信号的所述第一信道的第一后标量函数以使所述音乐音频信号的所述第一信道的背景输出从零改变为一的装置;以及
用于施加用于所述音乐音频信号的所述第二信道的第二后标量函数,以在与用于所述音乐音频信号的所述第一信道的所述后标量函数不同的时间周期内,使所述音乐音频信号的所述第二信道的背景输出从零改变为一的装置。
31.一种用于混合音频的装置,其包括音频混合单元,所述音频混合单元:
接收包含第一和第二立体声信道的第一音频信息;
基于所述第一音频信息而产生第一前景音频输出;
接收第二音频信息;
将增益施加到所述第一和第二立体声信道,以产生背景音频输出;
基于所述第二音频信息而产生第二前景音频输出;以及
将所述第二前景音频输出与所述背景音频输出进行组合,以产生所述第一和第二音频信息的组合输出。
32.根据权利要求31所述的装置,其中所述混合单元使用缩放、滤波、延迟和信道组合来产生所述背景音频输出。
33.一种用于混合音频的装置,其包括音频混合单元,所述音频混合单元:
接收音乐音频;
将所述音乐音频呈现给用户;
接收电话呼叫音频;
混合所述音乐音频与所述电话呼叫音频,使得所述音乐音频为背景音频,且所述电话呼叫音频为前景音频,包含将增益施加到所述音乐音频以形成背景感觉;以及
将所述音乐音频与所述电话音频的组合呈现为组合输出,其中所述音乐处于背景中,且所述电话呼叫处于前景中。
34.根据权利要求33所述的装置,其中所述混合单元使用缩放、滤波、延迟和信道组合来产生所述音乐音频的所述背景感觉。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/449,454 US8041057B2 (en) | 2006-06-07 | 2006-06-07 | Mixing techniques for mixing audio |
US11/449,454 | 2006-06-07 | ||
PCT/US2007/069232 WO2007143373A2 (en) | 2006-06-07 | 2007-05-18 | Mixing techniques for mixing audio |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101461258A CN101461258A (zh) | 2009-06-17 |
CN101461258B true CN101461258B (zh) | 2011-06-15 |
Family
ID=38739508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007800206746A Expired - Fee Related CN101461258B (zh) | 2006-06-07 | 2007-05-18 | 用于混合音频的方法和装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8041057B2 (zh) |
EP (1) | EP2025203A2 (zh) |
JP (1) | JP5269775B2 (zh) |
KR (1) | KR101136768B1 (zh) |
CN (1) | CN101461258B (zh) |
WO (1) | WO2007143373A2 (zh) |
Families Citing this family (84)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7697947B2 (en) * | 2005-10-05 | 2010-04-13 | Sony Ericsson Mobile Communications Ab | Method of combining audio signals in a wireless communication device |
US20080056455A1 (en) * | 2006-08-17 | 2008-03-06 | Sony Ericsson Mobile Communications Ab | Apparatus and Method of Generating Composite Audio Signals |
US20090060208A1 (en) * | 2007-08-27 | 2009-03-05 | Pan Davis Y | Manipulating Spatial Processing in a Audio System |
US8498667B2 (en) * | 2007-11-21 | 2013-07-30 | Qualcomm Incorporated | System and method for mixing audio with ringtone data |
US8660280B2 (en) * | 2007-11-28 | 2014-02-25 | Qualcomm Incorporated | Methods and apparatus for providing a distinct perceptual location for an audio source within an audio mixture |
US8515106B2 (en) * | 2007-11-28 | 2013-08-20 | Qualcomm Incorporated | Methods and apparatus for providing an interface to a processing engine that utilizes intelligent audio mixing techniques |
US8554551B2 (en) | 2008-01-28 | 2013-10-08 | Qualcomm Incorporated | Systems, methods, and apparatus for context replacement by audio level |
CN101610306B (zh) * | 2008-06-16 | 2012-08-29 | 鸿富锦精密工业(深圳)有限公司 | 无线通信装置 |
US8577052B2 (en) * | 2008-11-06 | 2013-11-05 | Harman International Industries, Incorporated | Headphone accessory |
US20110054647A1 (en) * | 2009-08-26 | 2011-03-03 | Nokia Corporation | Network service for an audio interface unit |
WO2011085870A1 (en) * | 2010-01-15 | 2011-07-21 | Bang & Olufsen A/S | A method and a system for an acoustic curtain that reveals and closes a sound scene |
US20110183724A1 (en) * | 2010-01-28 | 2011-07-28 | Jonathan William Medved | Generation of video clips from a friend's recent social stream |
KR200454910Y1 (ko) * | 2010-02-19 | 2011-08-03 | 주식회사 대성하이테크전자 | 카 오디오용 믹싱 콘솔 장치 |
CN102860048B (zh) * | 2010-02-26 | 2016-02-17 | 诺基亚技术有限公司 | 用于处理产生声场的多个音频信号的方法和设备 |
CN101986732B (zh) * | 2010-11-05 | 2013-04-03 | 北京工业大学 | 一种在手机通话中添加背景场景的方法 |
JP5866883B2 (ja) * | 2011-08-31 | 2016-02-24 | ヤマハ株式会社 | スピーカ装置 |
EP2611213B1 (en) * | 2011-12-29 | 2015-08-26 | Harman Becker Automotive Systems GmbH | Sound system with individual playback zones |
GB201204324D0 (en) * | 2012-03-12 | 2012-04-25 | Jaguar Cars | Audio system |
JP5928102B2 (ja) * | 2012-03-30 | 2016-06-01 | ブラザー工業株式会社 | 音調整装置、音調整方法、及び音調整プログラム |
US9761229B2 (en) | 2012-07-20 | 2017-09-12 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for audio object clustering |
US9479886B2 (en) * | 2012-07-20 | 2016-10-25 | Qualcomm Incorporated | Scalable downmix design with feedback for object-based surround codec |
US9332370B2 (en) | 2013-03-14 | 2016-05-03 | Futurewei Technologies, Inc. | Method and apparatus for using spatial audio rendering for a parallel playback of call audio and multimedia content |
US9654643B2 (en) | 2013-09-13 | 2017-05-16 | Motorola Solutions, Inc. | Method and apparatus for unidirectional summing of group auditory data |
US9661144B2 (en) | 2013-09-13 | 2017-05-23 | Motorola Solutions, Inc. | Method and apparatus for priority summing of group auditory data |
WO2015103470A1 (en) * | 2014-01-03 | 2015-07-09 | Fugoo Corporation | Portable stereo sound system |
KR102213429B1 (ko) * | 2014-01-13 | 2021-02-08 | 삼성전자 주식회사 | 사운드 제공 방법 및 이를 구현하는 전자 장치 |
US9352701B2 (en) * | 2014-03-06 | 2016-05-31 | Bose Corporation | Managing telephony and entertainment audio in a vehicle audio platform |
US9778899B2 (en) * | 2015-02-25 | 2017-10-03 | Intel Corporation | Techniques for setting volume level within a tree of cascaded volume controls with variating operating delays |
US9977645B2 (en) * | 2015-10-01 | 2018-05-22 | Moodelizer Ab | Dynamic modification of audio content |
US10095470B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Audio response playback |
US9947316B2 (en) | 2016-02-22 | 2018-04-17 | Sonos, Inc. | Voice control of a media playback system |
US9965247B2 (en) | 2016-02-22 | 2018-05-08 | Sonos, Inc. | Voice controlled media playback system based on user profile |
US9772817B2 (en) * | 2016-02-22 | 2017-09-26 | Sonos, Inc. | Room-corrected voice detection |
US9811314B2 (en) | 2016-02-22 | 2017-11-07 | Sonos, Inc. | Metadata exchange involving a networked playback system and a networked microphone system |
US10264030B2 (en) | 2016-02-22 | 2019-04-16 | Sonos, Inc. | Networked microphone device control |
US9774979B1 (en) * | 2016-03-03 | 2017-09-26 | Google Inc. | Systems and methods for spatial audio adjustment |
US10325610B2 (en) | 2016-03-30 | 2019-06-18 | Microsoft Technology Licensing, Llc | Adaptive audio rendering |
CN107295455B (zh) * | 2016-03-31 | 2020-09-11 | 宇龙计算机通信科技(深圳)有限公司 | 一种短距离无线通信的应用方法与终端设备 |
EP3232688A1 (en) | 2016-04-12 | 2017-10-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for providing individual sound zones |
US9978390B2 (en) | 2016-06-09 | 2018-05-22 | Sonos, Inc. | Dynamic player selection for audio signal processing |
US10134399B2 (en) | 2016-07-15 | 2018-11-20 | Sonos, Inc. | Contextualization of voice inputs |
US10115400B2 (en) | 2016-08-05 | 2018-10-30 | Sonos, Inc. | Multiple voice services |
US9942678B1 (en) | 2016-09-27 | 2018-04-10 | Sonos, Inc. | Audio playback settings for voice interaction |
US10181323B2 (en) | 2016-10-19 | 2019-01-15 | Sonos, Inc. | Arbitration-based voice recognition |
US10475449B2 (en) | 2017-08-07 | 2019-11-12 | Sonos, Inc. | Wake-word detection suppression |
US10048930B1 (en) | 2017-09-08 | 2018-08-14 | Sonos, Inc. | Dynamic computation of system response volume |
US10446165B2 (en) | 2017-09-27 | 2019-10-15 | Sonos, Inc. | Robust short-time fourier transform acoustic echo cancellation during audio playback |
US10051366B1 (en) | 2017-09-28 | 2018-08-14 | Sonos, Inc. | Three-dimensional beam forming with a microphone array |
US10482868B2 (en) | 2017-09-28 | 2019-11-19 | Sonos, Inc. | Multi-channel acoustic echo cancellation |
US10621981B2 (en) | 2017-09-28 | 2020-04-14 | Sonos, Inc. | Tone interference cancellation |
US10466962B2 (en) | 2017-09-29 | 2019-11-05 | Sonos, Inc. | Media playback system with voice assistance |
WO2019152722A1 (en) | 2018-01-31 | 2019-08-08 | Sonos, Inc. | Device designation of playback and network microphone device arrangements |
US11175880B2 (en) | 2018-05-10 | 2021-11-16 | Sonos, Inc. | Systems and methods for voice-assisted media content selection |
US10959029B2 (en) | 2018-05-25 | 2021-03-23 | Sonos, Inc. | Determining and adapting to changes in microphone performance of playback devices |
US10681460B2 (en) | 2018-06-28 | 2020-06-09 | Sonos, Inc. | Systems and methods for associating playback devices with voice assistant services |
US10461710B1 (en) | 2018-08-28 | 2019-10-29 | Sonos, Inc. | Media playback system with maximum volume setting |
US11076035B2 (en) | 2018-08-28 | 2021-07-27 | Sonos, Inc. | Do not disturb feature for audio notifications |
US10587430B1 (en) | 2018-09-14 | 2020-03-10 | Sonos, Inc. | Networked devices, systems, and methods for associating playback devices based on sound codes |
US11024331B2 (en) | 2018-09-21 | 2021-06-01 | Sonos, Inc. | Voice detection optimization using sound metadata |
CN110970008A (zh) * | 2018-09-28 | 2020-04-07 | 广州灵派科技有限公司 | 一种嵌入式混音方法、装置、嵌入式设备及存储介质 |
US11100923B2 (en) | 2018-09-28 | 2021-08-24 | Sonos, Inc. | Systems and methods for selective wake word detection using neural network models |
US10966041B2 (en) | 2018-10-12 | 2021-03-30 | Gilberto Torres Ayala | Audio triangular system based on the structure of the stereophonic panning |
US11899519B2 (en) | 2018-10-23 | 2024-02-13 | Sonos, Inc. | Multiple stage network microphone device with reduced power consumption and processing load |
EP3654249A1 (en) | 2018-11-15 | 2020-05-20 | Snips | Dilated convolutions and gating for efficient keyword spotting |
US11183183B2 (en) | 2018-12-07 | 2021-11-23 | Sonos, Inc. | Systems and methods of operating media playback systems having multiple voice assistant services |
US11132989B2 (en) | 2018-12-13 | 2021-09-28 | Sonos, Inc. | Networked microphone devices, systems, and methods of localized arbitration |
US10602268B1 (en) | 2018-12-20 | 2020-03-24 | Sonos, Inc. | Optimization of network microphone devices using noise classification |
US11315556B2 (en) | 2019-02-08 | 2022-04-26 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification |
US10867604B2 (en) | 2019-02-08 | 2020-12-15 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing |
US11120794B2 (en) | 2019-05-03 | 2021-09-14 | Sonos, Inc. | Voice assistant persistence across multiple network microphone devices |
US10779105B1 (en) * | 2019-05-31 | 2020-09-15 | Apple Inc. | Sending notification and multi-channel audio over channel limited link for independent gain control |
US11200894B2 (en) | 2019-06-12 | 2021-12-14 | Sonos, Inc. | Network microphone device with command keyword eventing |
US10586540B1 (en) | 2019-06-12 | 2020-03-10 | Sonos, Inc. | Network microphone device with command keyword conditioning |
US11361756B2 (en) | 2019-06-12 | 2022-06-14 | Sonos, Inc. | Conditional wake word eventing based on environment |
US11138975B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US10871943B1 (en) | 2019-07-31 | 2020-12-22 | Sonos, Inc. | Noise classification for event detection |
US11189286B2 (en) | 2019-10-22 | 2021-11-30 | Sonos, Inc. | VAS toggle based on device orientation |
US11200900B2 (en) | 2019-12-20 | 2021-12-14 | Sonos, Inc. | Offline voice control |
US11562740B2 (en) | 2020-01-07 | 2023-01-24 | Sonos, Inc. | Voice verification for media playback |
US11308958B2 (en) | 2020-02-07 | 2022-04-19 | Sonos, Inc. | Localized wakeword verification |
US11482224B2 (en) | 2020-05-20 | 2022-10-25 | Sonos, Inc. | Command keywords with input detection windowing |
US11308962B2 (en) | 2020-05-20 | 2022-04-19 | Sonos, Inc. | Input detection windowing |
US11698771B2 (en) | 2020-08-25 | 2023-07-11 | Sonos, Inc. | Vocal guidance engines for playback devices |
US11984123B2 (en) | 2020-11-12 | 2024-05-14 | Sonos, Inc. | Network device interaction by range |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6985594B1 (en) * | 1999-06-15 | 2006-01-10 | Hearing Enhancement Co., Llc. | Voice-to-remaining audio (VRA) interactive hearing aid and auxiliary equipment |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5243640A (en) * | 1991-09-06 | 1993-09-07 | Ford Motor Company | Integrated cellular telephone and vehicular audio system |
US5436975A (en) | 1994-02-02 | 1995-07-25 | Qsound Ltd. | Apparatus for cross fading out of the head sound locations |
JPH0846585A (ja) * | 1994-07-27 | 1996-02-16 | Fujitsu Ten Ltd | ステレオ受信装置 |
JPH08154300A (ja) * | 1994-11-28 | 1996-06-11 | Hitachi Ltd | 音響再生装置 |
US7012630B2 (en) * | 1996-02-08 | 2006-03-14 | Verizon Services Corp. | Spatial sound conference system and apparatus |
US5850455A (en) | 1996-06-18 | 1998-12-15 | Extreme Audio Reality, Inc. | Discrete dynamic positioning of audio signals in a 360° environment |
US5809149A (en) | 1996-09-25 | 1998-09-15 | Qsound Labs, Inc. | Apparatus for creating 3D audio imaging over headphones using binaural synthesis |
US6011851A (en) * | 1997-06-23 | 2000-01-04 | Cisco Technology, Inc. | Spatial audio processing method and apparatus for context switching between telephony applications |
US6173061B1 (en) * | 1997-06-23 | 2001-01-09 | Harman International Industries, Inc. | Steering of monaural sources of sound using head related transfer functions |
US6067361A (en) * | 1997-07-16 | 2000-05-23 | Sony Corporation | Method and apparatus for two channels of sound having directional cues |
EP0932325B1 (en) * | 1998-01-23 | 2005-04-27 | Onkyo Corporation | Apparatus and method for localizing sound image |
US6983251B1 (en) * | 1999-02-15 | 2006-01-03 | Sharp Kabushiki Kaisha | Information selection apparatus selecting desired information from plurality of audio information by mainly using audio |
US6349223B1 (en) * | 1999-03-08 | 2002-02-19 | E. Lead Electronic Co., Ltd. | Universal hand-free system for cellular phones in combination with vehicle's audio stereo system |
AU3675200A (en) * | 1999-04-19 | 2000-11-02 | Sanyo Electric Co., Ltd. | Portable telephone set |
US6839438B1 (en) * | 1999-08-31 | 2005-01-04 | Creative Technology, Ltd | Positional audio rendering |
US6850496B1 (en) * | 2000-06-09 | 2005-02-01 | Cisco Technology, Inc. | Virtual conference room for voice conferencing |
US6947728B2 (en) * | 2000-10-13 | 2005-09-20 | Matsushita Electric Industrial Co., Ltd. | Mobile phone with music reproduction function, music data reproduction method by mobile phone with music reproduction function, and the program thereof |
US6804565B2 (en) * | 2001-05-07 | 2004-10-12 | Harman International Industries, Incorporated | Data-driven software architecture for digital sound processing and equalization |
JP4507450B2 (ja) * | 2001-05-14 | 2010-07-21 | ソニー株式会社 | 通話装置および方法、記録媒体、並びにプログラム |
US6882971B2 (en) * | 2002-07-18 | 2005-04-19 | General Instrument Corporation | Method and apparatus for improving listener differentiation of talkers during a conference call |
US20040078104A1 (en) * | 2002-10-22 | 2004-04-22 | Hitachi, Ltd. | Method and apparatus for an in-vehicle audio system |
DE10339188A1 (de) * | 2003-08-22 | 2005-03-10 | Suspa Holding Gmbh | Gasfeder |
JP2006074572A (ja) * | 2004-09-03 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 情報端末 |
EP1657961A1 (en) | 2004-11-10 | 2006-05-17 | Siemens Aktiengesellschaft | A spatial audio processing method, a program product, an electronic device and a system |
US7433716B2 (en) * | 2005-03-10 | 2008-10-07 | Nokia Corporation | Communication apparatus |
US7697947B2 (en) * | 2005-10-05 | 2010-04-13 | Sony Ericsson Mobile Communications Ab | Method of combining audio signals in a wireless communication device |
US8078188B2 (en) | 2007-01-16 | 2011-12-13 | Qualcomm Incorporated | User selectable audio mixing |
-
2006
- 2006-06-07 US US11/449,454 patent/US8041057B2/en active Active
-
2007
- 2007-05-18 WO PCT/US2007/069232 patent/WO2007143373A2/en active Application Filing
- 2007-05-18 JP JP2009514460A patent/JP5269775B2/ja not_active Expired - Fee Related
- 2007-05-18 KR KR1020087032188A patent/KR101136768B1/ko not_active IP Right Cessation
- 2007-05-18 CN CN2007800206746A patent/CN101461258B/zh not_active Expired - Fee Related
- 2007-05-18 EP EP07797579A patent/EP2025203A2/en not_active Withdrawn
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6985594B1 (en) * | 1999-06-15 | 2006-01-10 | Hearing Enhancement Co., Llc. | Voice-to-remaining audio (VRA) interactive hearing aid and auxiliary equipment |
Also Published As
Publication number | Publication date |
---|---|
JP5269775B2 (ja) | 2013-08-21 |
JP2009540686A (ja) | 2009-11-19 |
KR101136768B1 (ko) | 2012-04-19 |
WO2007143373A2 (en) | 2007-12-13 |
EP2025203A2 (en) | 2009-02-18 |
WO2007143373A3 (en) | 2008-04-10 |
US20070286426A1 (en) | 2007-12-13 |
US8041057B2 (en) | 2011-10-18 |
KR20090017667A (ko) | 2009-02-18 |
CN101461258A (zh) | 2009-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101461258B (zh) | 用于混合音频的方法和装置 | |
CN1655651B (zh) | 用于合成听觉场景的方法和设备 | |
CN105917674B (zh) | 用于处理音频信号的方法和移动装置 | |
CN102860048B (zh) | 用于处理产生声场的多个音频信号的方法和设备 | |
KR101071598B1 (ko) | 사용자 선택가능 오디오 믹싱 | |
CN101356573B (zh) | 对双耳音频信号的解码的控制 | |
CN1142705C (zh) | 低位率空间编码方法和***以及低位率空间编码***的解码器和解码方法 | |
EP2067138B1 (en) | Encoding and decoding of audio objects | |
US8050434B1 (en) | Multi-channel audio enhancement system | |
US20080004729A1 (en) | Direct encoding into a directional audio coding format | |
EP2613564A2 (en) | Focusing on a portion of an audio scene for an audio signal | |
CN101366321A (zh) | 双声道音频信号的解码 | |
CN1066902C (zh) | 信号组合电路、信号处理电路、立体声电路重放***及视听重放*** | |
CN104969571B (zh) | 用于渲染立体声信号的方法 | |
KR101110495B1 (ko) | 진동 소자를 이용하여 사운드 효과를 제공하기 위한 단말기 및 방법 | |
AU2019213006B2 (en) | Audio signal processor, system and methods distributing an ambient signal to a plurality of ambient signal channels | |
JPH02230898A (ja) | 音声再生方式 | |
Cobos et al. | Interactive enhancement of stereo recordings using time-frequency selective panning | |
Etlinger | A musically motivated approach to spatial audio for large venues |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110615 Termination date: 20210518 |
|
CF01 | Termination of patent right due to non-payment of annual fee |