CN102075832A - 动态空间音频区配置的方法和设备 - Google Patents

动态空间音频区配置的方法和设备 Download PDF

Info

Publication number
CN102075832A
CN102075832A CN2010105590543A CN201010559054A CN102075832A CN 102075832 A CN102075832 A CN 102075832A CN 2010105590543 A CN2010105590543 A CN 2010105590543A CN 201010559054 A CN201010559054 A CN 201010559054A CN 102075832 A CN102075832 A CN 102075832A
Authority
CN
China
Prior art keywords
window
display
audio
virtual source
source location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010105590543A
Other languages
English (en)
Inventor
萨钦·G·德什潘德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN102075832A publication Critical patent/CN102075832A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

一种用于为显示器呈现视听内容的方法和设备,包括:在显示器上定义与具有关联的音频信号的程序相关联的窗口。基于显示器上的窗口位置定义音频信号的音频位置,并定义与显示器相关联的至少两个扬声器的位置。基于音频位置修改音频信号,以使音频信号看起来源自所述窗口。

Description

动态空间音频区配置的方法和设备
技术领域
本发明总体上涉及用于与显示器同时提供音频的方法和设备。
背景技术
Ambiosonics是一种环绕声***,其中,捕获原始演奏用于重放。用于捕获这种演奏的技术是,使得可以相对良好地重新创建原始环绕声。在一些情况下,可以再现环绕声的“全球形(full sphere)”。
加利福尼亚大学Santa Barbara分校开发了一种Allosphere***,包括具有几百个扬声器(speaker)、跟踪***和交互机构的3-story高球形仪器。Allosphere***具有水平面3度、仰角10度的空间分辨率,并且使用8个扩音器(loudspeaker)环,其中每个环16-150个扩音器。
NHK开发了一种用于超高清电视的22.2多声道声音***。目的是再现身临其境和自然三维声场,该声场提供存在与逼真的感知。22.2声音***包括具有9个声道的上层,具有10个声道的中间层以及具有3个声道的下层,以及用于低频效果的两个声道。
Ambiosonics、Allosphere和NHK***适合于再现声音,并且可以与视频内容同时呈现,使得用户可以具有愉悦的体验。
B.Bauer的“Phasor Analysis of Some Stereophonic Phenomena,”(Journal Acoust.Society of America,Vol.33,November 1961)和V.Pulkki的“Uniform Spreading of Amplitude Panned Virtual Sources,”(Proceedings of the 1999 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics,1999)描述了立体声移动拍摄(panning)(强度/幅度移动拍摄)来创建左与右扩音器之间的虚源(virtual source)位置。然而,这些***不涉及显示器上AV窗口以及针对该AV窗口的空间音频再现的构思。
发明内容
在本发明的一个方面中,公开了一种用于为显示器呈现视听内容的方法。该方法包括:在显示器上定义与具有关联的音频信号的程序相关联的窗口;基于显示器上的窗口位置定义音频信号的音频位置,并定义与显示器相关联的至少两个扬声器的位置;基于音频位置修改音频信号,以使音频信号看起来源自所述窗口。
在本发明的另一方面中,公开了一种用于为显示器呈现视听内容的设备。该设备包括:窗口定义部分,用于在显示器上定义与具有关联的音频信号的程序相关联的窗口;音频位置定义部分,用于基于显示器上窗口的位置定义音频信号的音频位置,并定义与显示器相关联的至少两个扩声器的位置;修改部分,用于基于音频位置修改音频信号,以使音频信号看起来源自所述窗口。
结合附图,考虑本发明的以下详细描述,可以更容易地理解本发明的上述和其他目的、特征和优点。
附图说明
图1示出了动态空间音频区***。
图2示出了扩音器对平面和虚源位置计算。
图3示出了定义了扩音器对、收听者和圆的三维平面。
图4示出了映射至扩音器对的视听窗口。
图5示出了视听窗口至扩音器对的映射。
图6示出了屏幕上虚源位置计算的流程图。
图7示出了使用常规技术将屏幕上虚源位置映射至实际虚源位置的流程图。
图8示出了使用图7的常规技术将屏幕上虚源位置映射至实际虚源位置的三维映射。
图9示出了使用投影技术将屏幕上虚源位置映射至实际虚源位置的流程图。
图10示出了使用图9的投影技术将屏幕上虚源位置映射至实际虚源位置的三维映射。
图11示出了虚源位置和实际虚源位置对的部分缩放。
图12示出了具有4个扩音器的动态空间音频区***。
图13示出了可以实现本发明方法的设备。
具体实施方式
为了解决现有技术中所示的问题,本发明描述了一种用于将显示器上的AV窗口映射至来自所有扩音器对集合的扩音器对的方法。本发明还描述了一种用于将AV窗口映射至屏幕上虚源位置的方法,以及一种屏幕上虚源位置至实际虚位置的映射。
本发明还提供了一种用于多声音定位以覆盖墙面显示器的新颖的固定扩音器配置。本发明提供了这种扩音器设置,使用固定扩音器集合为显示器上的多个AV窗口提供虚拟声音定位。所提出的设置使用扩音器的固定配置位置,以提供看起源自显示器屏幕上多个并发AV窗口的屏幕上位置的空间音频。在上述方法中,固定扩音器位置在垂直显示平面中。这提供了与现有技术的差别,这是由于提供了扩音器在围绕收听者的水平面的环绕声和虚拟声定位***。
具有大屏幕尺寸和高分辨率的显示器日益变得经济并普遍存在。这些包括平板LCD和PDP显示器、前和后投影显示器、其他类型的显示器。在家庭环境中,传统上已使用显示器在观看视听内容的同时观看单个节目。随着显示器逐渐变大,多个用户同时使用显示器用于多个分离应用更加可行。单个用户使用显示器用于多个同时使用可是可行的。这些应用可以包括观看电视、观看网络视听流、现实高清远地视在(tele-presence)、音乐和音频应用、单玩家和多玩家游戏、社交应用(例如,Flickr、Facebook、Twitter等)、以及交互多媒体应用。对于这些应用中的许多应用,音频是整体方面。不幸地,当同时使用多个应用时,很难确定与每个应用相关联的音频。此外,对于大显示器而言,很难识别声音由哪个应用产生。
为了向用户提供将音频声音与特定源窗口相关联的能力,期望***修改音频信号,使得音频看起来源自特定窗口。在显示器上有多个活动窗口的情况下,期望***修改音频信号,使得相应音频看起来源自相应窗口。在一些情况下,根据各个布置在一起的多个显示来构造显示,以有效形成单个显示。
参照图1,空间音频区***可以首先识别10视听窗口位置。定义窗口是指显示屏幕的应用所使用的AV窗口(或视点)。在这种情况下的词语“窗口”用于描述桌面应用窗口。大尺寸显示(包括拼接显示)可以并发地显示多个应用(多个程序)A(i),i=0,1,...,Z-1。每个应用/程序在显示器上具有其自己的窗口/视点/区域,从而创建多个窗口,使得窗口中的一个包括显示器的一部分。每个应用同样倾向于在其自己的窗口/视点中运行。为了简单起见,描述可以考虑单个应用A(i),其具有C×D个水平和垂直像素的窗口W(i)。然而,同样可以使用多个并发窗口。窗口位于显示器上,使得(在矩形窗口的情况下)窗口的左下角相对于整体显示在(blx,bly)的位置x,y。整体显示在显示器的左下角上具有(0,0)位置。
应用窗口中的一些可以是视听程序窗口。如果窗口与音频信号相关联,则可以认为该窗口是视听程序窗口。视听窗口的典型示例可以包括娱乐应用(例如,视频回放)、通信应用(例如,视频会议)、信息应用(例如,音频日程表通知工具)等。定义音频位置与在屏幕上窗口内定义用户期望音频看起来从中产生的(x,y)位置/地点相关。
参照图2,在识别视听窗口位置10之后,***可以计算20扩音器对和虚源位置弧(使用虚源位置弧计算)。实质上,在给定扬声器布置的情况下,这可以计算声音看起来从中产生的可用位置。基于音频位置修改音频信号使得音频信号看起来源自窗口涉及虚源定位算法和其中的各个步骤,以实现音频来自窗口内所选位置的感知。可以定义以下符号:
将扩音器对Sp(i),Sp(j)表示为P(i,j)。
将扩音器Sp(i)的位置定义100为(Xi,Yi,Zi)。在示例中,所有扩音器Sp(i)可以具有相同Zi坐标。对于
Figure BSA00000360208300041
这可以表示为Zi=ZD。可以将从原点到扬声器位置的矢量定义为针对Sp(i)的
Figure BSA00000360208300042
将收听者L位置定义110为(XL,YL,ZL)。将从原点到收听者位置的矢量定义为
Figure BSA00000360208300043
然后,如下获得120平面E(L,Sp(i),Sp(j))=E(i,j)的方程,其中该平面由点L,Sp(i),Sp(j)定义:
将矢量
Figure BSA00000360208300051
Figure BSA00000360208300052
定义为:
( a ) , V i → = V L → - V sp ( i ) →
( b ) , V j → = V L → - V sp ( j ) →
然后平面的法向由以下给出:
Figure BSA00000360208300055
其中,×表示矢量叉乘。
用坐标(XLij,YLij,ZLij)表示法向矢量
Figure BSA00000360208300056
然后,由点L,Sp(i),Sp(j)定义的3D平面(E(i,j))的方程是:
XLij(x-XL)+YLij(y-YL)+ZLij(z-ZL)=0。
在三维平面E(i,j)中以(XL,YL,ZL)为中心并通过点Sp(i),Sp(j)的圆可以由以下方程定义140:
矢量
Figure BSA00000360208300057
Figure BSA00000360208300058
定义如上。
如下可以应用Gram-Schmidt过程以获得平面E(i,j)中矢量
Figure BSA00000360208300059
Figure BSA000003602083000510
的正交集合:
U i → = V i →
Figure BSA000003602083000512
其中,表示矢量
Figure BSA000003602083000514
Figure BSA000003602083000515
的内乘。
然后,圆的半径由
Figure BSA000003602083000516
给出,其中,
Figure BSA000003602083000517
表示矢量
Figure BSA000003602083000518
与矢量
Figure BSA000003602083000519
的点乘。
参数形式的圆的方程M(L,sp(i),sp(j))=M(i,j)由以下给出150:
M ( L , sp ( i ) , sp ( j ) ) = R ( i , j ) Cos ( t ) V i → + R ( i , j ) Sin ( t ) V j → + V L →
可以针对与显示器相关联的多对扩音器对的所有对重复160该过程。应当理解,该技术可以被扩展到三个或更多扬声器或扩音器。
参照图3,示出了三维平面E(i,j)170和圆M(i,j)180的弧。如图所示,对于诸如扩音器对之类的扬声器对,以及两个扬声器之间的弧,确定围绕收听者的弧。基于特定的扬声器或扩音器对,沿着该弧的音频声音可以看起来去往收听者。
再次参照图1,基于扩音器对和虚源20,将显示器上的视听窗映射30至扩音器对。实质上,这确定扩音器对所定义的弧与显示器上用于音频的屏幕上窗口之间的空间关系。优选地,最接近窗口位置的扩音器对的弧是选定提供音频信号的扩音器对。
参照图4,示出了映射技术。
通过对由L,Sp(i),Sp(j)定义的3D平面中的圆的弧进行投影200,令在显示平面上形成的线由Ln(i,j)表示。针对扩音器对的线可以与来自另一扩音器对的线交叠。在线交叠的情况下,使用最长线。在其他实施例中,可以使用多个短线来代替最长线。
可以针对所有扩音器对重复210该过程。由每个扩音器对形成的这种线的集合可以表示为SLn={Ln(1,2),Ln(2,3),...}。
应用的窗口W(k)可以是A(k)。窗口W(k)的中心可以定义220为C(k)。
令中心C(k)由点(X(k),Y(k),ZD)表示。可以基于窗口W(k)的左下角位置(blx,bly)及其水平和垂直像素尺寸C×D,计算中心点为:
( X k , Y k , Z D ) = ( blx + C 2 , bly + D 2 , Z D ) .
然后,确定230从中心C(k)到每条线Ln(i,j)的最短距离。采用以下步骤来获得从窗口W(k)的中心C(k)到线Ln(i,j)的最短距离:
线Ln(i,j)由点(Xi,Yi,Zi)和(Xj,Yj,Zj)定义,与扩音器位置Sp(i),Sp(j)相对应,并且具有以下方程(在显示平面中):
Figure BSA00000360208300062
可以写成Ax+By+C=0,其中:
A = - ( Y j - Y i ) ( X j - X i )
B=1
C = - ( Y i - ( Y j - Y i ) ( X j - X i ) X i )
然后,从C(k)到线Ln(i,j)的垂直距离由以下公式给出:
D ( C ( k ) , i , j ) = | AX ( k ) + BY ( k ) + C | A 2 + B 2
这可以针对所有扩音器对进行重复240。然后可以确定250集合SLn中具有自中心C(k)最短距离的线。可以将该条线表示为Lnk(i,j)。
如果多于一条线在与中心C(k)距离同样最短的位置处,则可以选择那些线中的任一条线。
参照图5,示出了视听窗口至扩音器对的映射技术。应用A(k)的窗口具有窗口W(k)260中心270。针对C(k)270的最短距离来自线Ln(i,j)280。在该特定位置中,选择扩音器对Sp(i)290和Sp(j)295。注意,其他扩音器对与C(k)距离较远(further from)。
再次参照图1,基于视听窗口至扩音器对的映射30,计算40屏幕上虚源位置。实质上,这选择了音频的屏幕上源位置。优选地,针对声音的源选择窗口的中心,但是同样也可以选择在窗口内或在窗口附近的其他位置。
参照图6,示出了屏幕上虚源位置计算。
线Lnk(i,j)与从C(k)到Lnk(i,j)的垂线的交叉点由OVSk(i,j)表示。点OVSk(i,j)是窗口W(k)的“屏幕上虚源”位置。可以将C(k)表示为窗口W(k)的“未映射屏幕上虚源”位置。
点OVSk(i,j)=(Xo,Yo,ZD)的坐标计算如下:
平面E(Lk,Spk(i),Spk(j))=Ek(i,j)中线Lnk(i,j)的方程可以由以下方程给出300:
Akx+Bky+Ck=0,其中:
A k = - ( Y kj - Y ki ) ( X kj - X ki )
Bk=1
C k = - ( Y ki - ( Y kj - Y ki ) ( X kj - Xk i ) X ki )
其中,Spk(i)=(Xki,Yki,ZD),SPk(j)=(Xkj,Ykj,ZD)。
平面Ek(i,j)中从C(k)到线Lnk(i,j)的垂线的方程可以由以下方程给出310:
B k A k x - y + ( Y ( k ) - B k X ( k ) A k ) = 0 .
然后,通过将以下方程组作为联立方程进行求解320,来获得点OVSk(i,j)=(Xo,Yo,ZD)的坐标:
Akx+Bky+Ck=0
B k A k x - y + ( Y ( k ) - B k X ( k ) A k ) = 0 .
给出以下解:
X o = ( A k C k + A k B k Y ( k ) - B k 2 X ( k ) ) ( - A k 2 - B k 2 )
Y o = ( A k B k X ( k ) - A k 2 Y ( k ) + C k B k ) ( - A k 2 - B k 2 ) .
再次参照图1,基于40屏幕上虚源位置,可以计算屏幕上虚源位置至实际虚源位置的映射。实质上,这提供了从中产生音频的映射。优选地,使用垂直或定向方式或任何其他适合的技术,将屏幕上源映射至虚源。
参照图7,示出了将屏幕上虚位置映射到实际虚源位置。
***将屏幕上虚源点OVSk(i,j)映射至圆Mk(i,j)的弧上的三维点AVSk(i,j)(实际虚源)。一种针对此类映射的技术可以通过将点OVSk(i,j)正交投影到显示平面并获得其与Mk(i,j)的交点来进行。(见图8、图11)
该点AVSk1(i,j)的坐标可以通过获得线Q(i,j)垂直于平面Z=ZD且通过与圆Mk(i,j)的点OVSk(i,j)=(Xo,Yo,ZD)的交点来获得:
定义AVSk1(i,j)=(Xa,Ya,Za)。
可以通过对以下方程组进行求解410、420获得Ya,Za,从而获得点坐标(Xo,Ya,Za):
平面E(Lk,Spk(i),Spk(j))=Ek(i,j)的法线NK是由坐标
Figure BSA00000360208300084
定义400的
Figure BSA00000360208300085
将收听者位置与AVSk1(i,j)结合的矢量定义为
Figure BSA00000360208300086
那么
Figure BSA00000360208300087
Figure BSA00000360208300088
的点乘可以为零。
因此,
Figure BSA00000360208300089
X Lij k ( X o - X L ) + Y Lij k ( Y a - Y L ) + Z Lij k ( Z a - Z L ) = 0 .
同样,由于点AVSk1(i,j)取位于圆上Mk(i,j),则满足:
( X o - X L ) 2 + ( Y a - Y L ) 2 + ( Z a - Z L ) 2 = R ( i , j ) .
定义:
(Xo-XL)=XoL
(Ya-YL)=YaL
(Za-ZL)=ZaL
然后,针对Ya,Za求解430上述联立方程组,给出以下解:
Y a = Y L + 1 Y Lij k { - X Lij k X oL + X Lij k X oL ( Z lij k ) 2 ( Y Lij k ) 2 + ( Z Lij k ) 2
- Z Lij k 4 ( X Lij k Z Lij k X oL ) 2 - 4 ( ( X Lij k X oL ) 2 - ( R ( i , j ) - X oL 3 / 2 ) ( Y Lij k ) 2 ) ( ( Y Lij k ) 2 + ( Z Lij k ) 2 ) 2 ( ( Y Lij k ) 2 + ( Z Lij k ) 2 ) }
Z a = Z L + 1 2 ( ( Y Lij k ) 2 + ( Z Lij k ) 2 ) { - 2 X Lij k X oL Z Lij k + .
+ 4 ( X Lij k Z Lij k X oL ) 2 - 4 ( ( X Lij k X oL ) 2 - ( R ( i , j ) - X oL 3 / 2 ) ( Y Lij k ) 2 ) ( ( Y Lij k ) 2 + ( Z Lij k ) 2 ) }
参照图8,不出了屏幕上虚源位置440至实际虚源位置450的映射。
参照图9,示出了屏幕上虚源位置至实际虚源位置的另一映射。***将屏幕上虚源位置OVSk(i,j)映射至圆Mk(i,j)的弧上的三维点OVSk(i,j)(实际虚源)。一种针对此类映射的技术通过沿着点(L,OVSk(i,j))所定义的线投影点OVSk(i,j)并获得其与Mk(i,j)的交点来进行。(见图10、图11)。
该点AVSk2(i,j)的坐标可以通过获得通过点(XL,YL,ZL)和点OVSk(i,j)=(Xo,Yo,ZD)的线T(i,j)与圆Mk(i,j)的交点来获得520:
定义AVSk2(i,j)=(Xb,Yb,Zb)。
(XL,YL,ZL)至OVSk(i,j)的矢量500由以下方程给出:
V L , OVS k → = ( X L , Y L , Z L ) - ( X o , Y o , Z D ) .
对矢量进行归一化510,获得:
V L , OVS k ‾ = V L , OVS k → | V L , OVS k → | .
那么, AVS k 2 ( i , j ) = ( X L , Y L , Z L ) - R ( i , j ) V L , OV S k ‾ .
参照图10,示出了屏幕上虚源位置540至虚源位置550的映射。
参照图11,示出了根据两种不同的映射技术而获得的屏幕虚源位置OVSk(i,j)和两个实际虚源位置(AVSk1(i,j),AVSk2(i,j))的放大部分。这示出了正交技术与投影技术之间的略微不同。
再次参照图1,基于屏幕上虚源位置映射50,计算60扩音器增益。这可以使用用于虚源定位的扩音器增益计算的现有方法来进行。在B.Bauer的“Phasor Analysis of Some Stereophonic Phenomena,”Journal Acoust.Society of America,Vol.33,November 1961中描述的这种公知的方法。
使用扩音器对Pk(i,j)来对点AVSk(i,j)处针对窗口W(k)的声源进行虚拟定位,k=k1或k=k2。在一些实施例中,还可以对每个扩音器Pk(i,j)的增益进行修改,以补偿OVSk(i,j)与AVSk(i,j)之间的距离。在一些实施例中,可以重新计算OVSk(i,j)与AVSk(i,j)之间的映射,并存储在查找表中。可以以任何方式选择扩音器增益。
在SAGE***用于拼接显示器的实施例中,可以如下实现动态空间音频区。假定存在产生包括应用A(i)的音频数据在内的应用数据的一个呈现节点(node)。假定存在M×N个显示节点。因此一个显示节点与一个拼接(tile)相对应。然后,可以采用以下步骤来支持如上所述的空间音频。
(1)对于位置(blx,bly)处C×D个像素的窗口W(k),确定与该窗***叠的拼接的集合。将该集合表示为T(o,p),其中o和p表示如上所述拼接索引。典型地,SAGE的自由空间管理器可以进行该确定。可以根据该信息来确定窗口W(k)的中心C(k)。
(2)呈现节点可以将应用A(k)拆分成子图像。典型地,自由空间管理器可以与呈现节点进行通信,以根据先前步骤提供信息。
(3)创建从呈现节点到每个显示节点D(o,p),
Figure BSA00000360208300101
的网络连接,其中,应用窗口可以交叠。
(4)将应用A(k)的音频流传输至每个显示节点D(o,p),
Figure BSA00000360208300102
(5)利用如上所述的映射和其他步骤,回放来自音频再现设备Spk(i),Spk(j)的音频。
再次参照图1,基于扩音器增益计算60,可以确定新窗口位置70。
图12示出了使用4个固定位置扩音器的动态空间音频区***的实施例。在该实施例中,相对显示器设置4个扩音器。显示器的尺寸为MH×NW(高度×高度)。对显示进行量化以显示高度单位(即,MH=1)。3D坐标***的原点可以位于任意位置。在一个实施例中,坐标***的原点位于(x,y,z)=(0,0,0),显示器的左下角在(x,y,z)=(0,0,1)处。在图12中,显示纵横比是
Figure BSA00000360208300111
收听者L位于如图所示的位置。圆是三维的,以收听者(L)为中心,并且针对每个扩音器对Sp(i),Sp(j)定向在不同3D平面中。这些圆中的每一个在三个点(L,Sp(i),Sp(j))所定义的平面中。每个圆是以L为中心的球的大圆。能够使用相应扩音器对定位圆的一部分上的虚源。圆的该部分是显示平面后面的弧。将3D圆的弧投影到显示平面中的2D线上。
在另一实施例中,可以使用3个扩音器,并且音频位置可以基于按照三角布置而设置的3个扩音器。当在3D弧中设置该三角布置时,可以创建“球形三角”,“球形三角”是三角布置的弧形。
在另一实施例中,6扩音器***可以使用实质上位于接近显示器的4个角位置的4个扩音器,以及实质上位于接近显示器的两个垂直(或水平)边界的中心的2个扩音器。
图13示出了可以用于实现上述方法的设备。设备830可以包括:窗口定义部分800,用于在显示器上定义与具有关联的音频信号的程序相关联的窗口。该设备还可以包括:音频位置定义部分810,用于基于显示器上窗口的位置定义音频信号的音频位置,和与显示器相关联的至少两个扬声器的位置。该设备还可以包括修改部分820,用于基于音频位置修改音频信号,以使得音频信号看起来源自所述窗口。
在上述说明书中已经采用的术语和表达方式仅用作描述而并非限制,并且使用这样的术语和表达方式并不意在排除所示或所描述的特征的等同物或其一部分,应认识到,本发明的范围仅由所附权利要求定义和限定。

Claims (17)

1.一种用于为显示器呈现视听内容的方法,包括:
(a)在所述显示器上定义与具有关联的音频信号的程序相关联的窗口;
(b)基于所述显示器上的所述窗口位置定义所述音频信号的音频位置,并定义与所述显示器相关联的至少两个扬声器的位置;
(c)基于所述音频位置修改所述音频信号,以使所述音频信号看起来源自所述窗口。
2.根据权利要求1所述的方法,其中,所述方法包括两个扬声器。
3.根据权利要求1所述的方法,其中,所述方法包括三个扬声器。
4.根据权利要求1所述的方法,其中,所述窗口包括所述显示器的一部分。
5.根据权利要求1所述的方法,还包括:在所述显示器上定义与具有关联的音频信号的程序相关联的多个窗口。
6.根据权利要求1所述的方法,还包括:在所述显示器上定义与具有关联的音频信号的多个程序相关联的多个窗口。
7.根据权利要求1所述的方法,其中,所述音频位置基于虚源位置弧计算。
8.根据权利要求1所述的方法,其中,所述至少两个扬声器是扬声器对。
9.根据权利要求1所述的方法,其中,所述至少两个扬声器是三个扩音器,并且所述音频位置基于所述三个扩音器限定的球形三角。
10.根据权利要求8所述的方法,其中,所述音频位置还基于虚源位置弧。
11.根据权利要求10所述的方法,其中,相对于收听者限定所述虚源位置弧。
12.根据权利要求11所述的方法,其中,相对于多个扩音器对限定所述虚源位置弧。
13.根据权利要求12所述的方法,其中,选择所述虚源位置弧作为最接近所述窗口的所述多个扩音器对中的扩音器对。
14.根据权利要求13所述的方法,其中,音频位置还基于屏幕虚源位置确定。
15.根据权利要求14所述的方法,其中,将所述屏幕虚源位置映射至所述虚源位置。
16.根据权利要求15所述的方法,其中,所述源自还基于为所述多个扩音器对中的每一对选择增益。
17.一种用于为显示器呈现视听内容的设备,包括:
(a)窗口定义部分,用于在显示器上定义与具有关联的音频信号的程序相关联的窗口;
(b)音频位置定义部分,用于基于所述显示器上所述窗口的位置定义所述音频信号的音频位置,并定义与所述显示器相关联的至少两个扬声器的位置;
(c)修改部分,用于基于所述音频位置修改所述音频信号,以使所述音频信号看起来源自所述窗口。
CN2010105590543A 2009-11-24 2010-11-22 动态空间音频区配置的方法和设备 Pending CN102075832A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/592,506 2009-11-24
US12/592,506 US20110123030A1 (en) 2009-11-24 2009-11-24 Dynamic spatial audio zones configuration

Publications (1)

Publication Number Publication Date
CN102075832A true CN102075832A (zh) 2011-05-25

Family

ID=44034148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105590543A Pending CN102075832A (zh) 2009-11-24 2010-11-22 动态空间音频区配置的方法和设备

Country Status (2)

Country Link
US (1) US20110123030A1 (zh)
CN (1) CN102075832A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106293596A (zh) * 2015-06-10 2017-01-04 联想(北京)有限公司 一种控制方法及电子设备
TWI618395B (zh) * 2015-07-16 2018-03-11 新力股份有限公司 資訊處理裝置及方法、以及程式
CN109587533A (zh) * 2011-07-28 2019-04-05 苹果公司 具有增强音频的设备
CN114422935A (zh) * 2022-03-16 2022-04-29 荣耀终端有限公司 音频处理方法、终端及计算机可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11270712B2 (en) 2019-08-28 2022-03-08 Insoundz Ltd. System and method for separation of audio sources that interfere with each other using a microphone array

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030142149A1 (en) * 2002-01-28 2003-07-31 International Business Machines Corporation Specifying audio output according to window graphical characteristics
US20030152236A1 (en) * 2002-02-14 2003-08-14 Tadashi Morikawa Audio signal adjusting apparatus
CN1643982A (zh) * 2002-02-28 2005-07-20 雷米·布鲁诺 用于控制声场再现单元的方法和器件
CN1682567A (zh) * 2002-09-09 2005-10-12 皇家飞利浦电子股份有限公司 智能扬声器
CN1826838A (zh) * 2003-06-24 2006-08-30 弗兰霍菲尔运输应用研究公司 用于驱动扬声器阵列的波场合成装置和方法
US20060236255A1 (en) * 2005-04-18 2006-10-19 Microsoft Corporation Method and apparatus for providing audio output based on application window position
CN1929593A (zh) * 2005-09-07 2007-03-14 宝利通公司 多点视频会议中的空间相关音频
US20080025529A1 (en) * 2006-07-27 2008-01-31 Susann Keohane Adjusting the volume of an audio element responsive to a user scrolling through a browser window
US20090196428A1 (en) * 2008-01-31 2009-08-06 Samsung Electronics Co., Ltd. Method of compensating for audio frequency characteristics and audio/video apparatus using the method
JP2009532985A (ja) * 2006-04-03 2009-09-10 エスアールエス・ラブス・インコーポレーテッド オーディオ信号処理

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5042068A (en) * 1989-12-28 1991-08-20 Zenith Electronics Corporation Audio spatial equalization system
US7719563B2 (en) * 2003-12-11 2010-05-18 Angus Richards VTV system
US7667728B2 (en) * 2004-10-15 2010-02-23 Lifesize Communications, Inc. Video and audio conferencing system with spatial audio
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
JP4973919B2 (ja) * 2006-10-23 2012-07-11 ソニー株式会社 出力制御システムおよび方法、出力制御装置および方法、並びにプログラム
US7792674B2 (en) * 2007-03-30 2010-09-07 Smith Micro Software, Inc. System and method for providing virtual spatial sound with an audio visual player
US20090106428A1 (en) * 2007-10-23 2009-04-23 Torbjorn Dahlen Service intermediary Addressing for real time composition of services
WO2010005413A1 (en) * 2008-07-09 2010-01-14 Hewlett-Packard Development Company, L.P. Method and system for simultaneous rendering of multiple multi-media presentations
KR101542233B1 (ko) * 2008-11-04 2015-08-05 삼성전자 주식회사 화면음원 정위장치, 화면음원 정위를 위한 스피커 셋 정보 생성방법 및 정위된 화면음원 재생방법
US8571192B2 (en) * 2009-06-30 2013-10-29 Alcatel Lucent Method and apparatus for improved matching of auditory space to visual space in video teleconferencing applications using window-based displays

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030142149A1 (en) * 2002-01-28 2003-07-31 International Business Machines Corporation Specifying audio output according to window graphical characteristics
US20030152236A1 (en) * 2002-02-14 2003-08-14 Tadashi Morikawa Audio signal adjusting apparatus
CN1643982A (zh) * 2002-02-28 2005-07-20 雷米·布鲁诺 用于控制声场再现单元的方法和器件
CN1682567A (zh) * 2002-09-09 2005-10-12 皇家飞利浦电子股份有限公司 智能扬声器
CN1826838A (zh) * 2003-06-24 2006-08-30 弗兰霍菲尔运输应用研究公司 用于驱动扬声器阵列的波场合成装置和方法
US20060236255A1 (en) * 2005-04-18 2006-10-19 Microsoft Corporation Method and apparatus for providing audio output based on application window position
CN1929593A (zh) * 2005-09-07 2007-03-14 宝利通公司 多点视频会议中的空间相关音频
JP2009532985A (ja) * 2006-04-03 2009-09-10 エスアールエス・ラブス・インコーポレーテッド オーディオ信号処理
US20080025529A1 (en) * 2006-07-27 2008-01-31 Susann Keohane Adjusting the volume of an audio element responsive to a user scrolling through a browser window
US20090196428A1 (en) * 2008-01-31 2009-08-06 Samsung Electronics Co., Ltd. Method of compensating for audio frequency characteristics and audio/video apparatus using the method

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11640275B2 (en) 2011-07-28 2023-05-02 Apple Inc. Devices with enhanced audio
CN109587533A (zh) * 2011-07-28 2019-04-05 苹果公司 具有增强音频的设备
CN106293596A (zh) * 2015-06-10 2017-01-04 联想(北京)有限公司 一种控制方法及电子设备
CN113055803A (zh) * 2015-07-16 2021-06-29 索尼公司 信息处理装置、信息处理方法及计算机可读介质
US10623884B2 (en) 2015-07-16 2020-04-14 Sony Corporation Information processing apparatus, information processing method, and program
US10645523B2 (en) 2015-07-16 2020-05-05 Sony Corporation Information processing apparatus, information processing method, and program
US10356547B2 (en) 2015-07-16 2019-07-16 Sony Corporation Information processing apparatus, information processing method, and program
CN113055801A (zh) * 2015-07-16 2021-06-29 索尼公司 信息处理装置、信息处理方法及计算机可读介质
CN113055802A (zh) * 2015-07-16 2021-06-29 索尼公司 信息处理装置、信息处理方法及计算机可读介质
CN113055802B (zh) * 2015-07-16 2022-11-08 索尼公司 信息处理装置、信息处理方法及计算机可读介质
CN113055801B (zh) * 2015-07-16 2023-04-07 索尼公司 信息处理装置、信息处理方法及计算机可读介质
TWI618395B (zh) * 2015-07-16 2018-03-11 新力股份有限公司 資訊處理裝置及方法、以及程式
CN114422935A (zh) * 2022-03-16 2022-04-29 荣耀终端有限公司 音频处理方法、终端及计算机可读存储介质
CN114422935B (zh) * 2022-03-16 2022-09-23 荣耀终端有限公司 音频处理方法、终端及计算机可读存储介质

Also Published As

Publication number Publication date
US20110123030A1 (en) 2011-05-26

Similar Documents

Publication Publication Date Title
CN1509118B (zh) 包含多个通道的音频***
CN101341793B (zh) 从立体声信号产生多声道音频信号的方法
CN105392102A (zh) 用于非球面扬声器阵列的三维音频信号生成方法及***
US20130321566A1 (en) Audio source positioning using a camera
US20050281411A1 (en) Binaural horizontal perspective display
CN103826194B (zh) 一种多声道***中声源方向和距离重建的方法与装置
JP2011515942A (ja) 対象指向性の3d音声ディスプレイ装置
CN103634720A (zh) 播放控制的方法及电子设备
Amatriain et al. The allosphere: Immersive multimedia for scientific discovery and artistic exploration
CN102075832A (zh) 动态空间音频区配置的方法和设备
JP6246922B2 (ja) 音響信号処理方法
EP3422744B1 (en) An apparatus and associated methods
WO2018195652A1 (en) System, method and apparatus for co-locating visual images and associated sound
CN106961645A (zh) 音频再生装置以及方法
US20180197551A1 (en) Spatial audio warp compensator
CN102057693B (zh) 内容再现装置及内容再现方法
EP2898706B1 (en) Method for controlling a three-dimensional multi-layer speaker arrangement and apparatus for playing back three-dimensional sound in an audience area
CN102421054A (zh) 多声道显示器上空间音频配置的方法和设备
CN111512648A (zh) 启用空间音频内容的渲染以用于由用户消费
CN109996060B (zh) 一种虚拟现实影院***及信息处理方法
Cabrera et al. The evolution of spatial audio in the allosphere
US20110123055A1 (en) Multi-channel on-display spatial audio system
CN110708647B (zh) 一种球面分配引导的数据匹配立体声场重构方法
CN110134824A (zh) 呈现地理位置信息的方法、装置及***
Deshpande On-Display Spatial Audio for Multiple Applications on Large Displays

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110525