CN1132145C - 用于处理声学虚拟环境中的定向声的方法和*** - Google Patents

用于处理声学虚拟环境中的定向声的方法和*** Download PDF

Info

Publication number
CN1132145C
CN1132145C CN998065447A CN99806544A CN1132145C CN 1132145 C CN1132145 C CN 1132145C CN 998065447 A CN998065447 A CN 998065447A CN 99806544 A CN99806544 A CN 99806544A CN 1132145 C CN1132145 C CN 1132145C
Authority
CN
China
Prior art keywords
sound
wave filter
sound source
filter
virtual environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN998065447A
Other languages
English (en)
Other versions
CN1302426A (zh
Inventor
J·霍帕尼米
R·韦内宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Nokia Technologies Oy
Original Assignee
Nokia Mobile Phones Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Mobile Phones Ltd filed Critical Nokia Mobile Phones Ltd
Publication of CN1302426A publication Critical patent/CN1302426A/zh
Application granted granted Critical
Publication of CN1132145C publication Critical patent/CN1132145C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18Methods or devices for transmitting, conducting or directing sound
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/02Synthesis of acoustic waves

Landscapes

  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Steroid Compounds (AREA)
  • Complex Calculations (AREA)
  • Executing Machine-Instructions (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本发明披露了在电子装置中处理声学虚拟环境的方法。所述声学虚拟环境包括至少一个声源(300)。为了模拟声音被定向的方式,一种方向相关的滤波器装置(306,307,308,309)和声源相连,借以使滤波器装置对声音的影响和预定的参数相关。声音的方向性可以和声音的频率相关。

Description

用于处理声学虚拟环境中的定向声的方法和***
技术领域
本发明涉及一种用于对听众产生一个相应于某个空间的人造听觉印象的方法和***。具体地说,本发明涉及按照一种听觉印象进行的定向声的处理,并涉及在用于以数字形式传递、处理与/或压缩对用户提供信息的***中所得的听觉印象的传输。
背景技术
声学虚拟环境指的是一种听觉印象,借助于所述听觉印象,以电的方式再现的声音的听众可以想象其处于某个空间中。复杂的声学虚拟环境通常旨在模拟一个真实的空间,其被称为所述空间的听觉化(auralization)。这个概念例如在M.Kleiner,B.-I.Dalenback,P.Svensson的文章“Auralization-An Overview(听觉化-概述)”,1993,J.Audio Eng.Soc.,vol.41,No.11,pp.861-875中描述了。声学模拟可以自然地和产生视觉虚拟环境组合,借以使配备有合适的显示器和扬声器或头戴耳机的用户可以检查一个所需的实际的或假象的空间,甚至在所述空间内“走来走去”,借以使用户根据其在所述环境中选择的作为其检验点的一点得到不同的视觉和听觉印象。
声学虚拟环境的产生可以被分成3个因素,即建立声源的模型,建立空间的模型和建立听众的模型。本发明尤其涉及建立声源的模型和声音的早期反射。
VRML97语言(Virtual Reality Modeling Language 97)通常用于建模和处理视觉的和声学的虚拟环境,这种语言在出版物ISO/IECJTC/SC24 IS 14772-1,1997,Information Technology-ComputerGraphics and Image Processing-The Virtual Reality ModelingLanguage(信息技术-计算图形和图像处理-虚拟现实模拟语言)(VRML97)中描述了,在相应的页上注明的互联网的网址是:http://www.vrml.orh/Specifications/VRML97/。在本专利申请撰写的同时正在研制的另一组规则涉及Java 3D,其用于控制和处理VRML的环境,并且例如在出版物SUN Inc.1997:JAVA 3D API sPBCIFICATION1.0中描述了;其互联网的网址是:http://www.javasoft.com/products/javamedia/3D/forDevelopers/3Dguide/-。此外,在研制中的MPEG-4标准(Motion PictureExperts Group4)的目标是,通过数字通信链路传输的多媒体表示可以包含实的对象和虚的对象,它们共同构成某个视听环境。MPEG-4标准在出版物ISO/IEC JTC/SC29 WG11 CD 14496,1997:Informationtechnology--Coding of audiovisual objects(信息技术-对间频视觉对象的编码).November 1997中描述了,在相应的页上的互联网的网址是:ht tp://www.cselt.it/-mpeg/public/mpeg-4-cd.htm。
图1表示用于VRML97和MPEG-4中的已知的定向声模型。声源位于点101,在声源周围有两个互相嵌套的设想的椭圆面102和103,使得一个椭圆面的焦点和声源的位置相同,并且椭圆面的主轴平行。椭圆面102和104的尺寸由maxBack和maxFront表示,它们被沿着主轴的方向测量。作为距离的函数的声音的衰减由曲线104表示。在内椭圆面102的内部声强是恒定的,在外椭圆面103的外部,声强是0。当沿着任何一条通过点101的直线离开点101通过时,在内椭圆面和外椭圆面之间声强线性地减少20dB。换句话说,可以由下式计算在位于椭圆面之间的点105观测到的衰减A:
A=-20dB(d’/d”)
其中d’是从内椭圆面到观测点的距离,沿着连接点101和105的直线测量,d”是内椭圆面和外椭圆面之间的距离,沿着同一条直线测量。
在Java 3D中,定向声利用锥形声的概念模拟,如图2所示。图中表示沿着含有锥体的公共纵轴的平面的某个双锥体结构的一部分。声源位于锥体201和202的公共顶点203。在前锥体201和后锥体202的区域内,声音均匀地衰减。在锥体之间的区域采用线性内插。为了计算在观测点204的衰减,必须知道没有衰减时的声强,前后锥体的宽度以及前锥体的纵轴和连接点203,204的直线之间的角度。
用于模拟包括平面的空间的声学效果的已知的方法是虚声源方法,其中原声源被假定为一组假想的虚声源,其相对于要被检验的反射表面是声源的镜像:一个虚声源位于要被检验的每个反射表面的后面,使得从该虚声源到检验点直接测量的距离和从原声源经反射表面到检验点的测量距离相同。此外,来自虚声源的声音从和实际反射声音相同的方向到达检验点。通过使虚声源产生的声音相加获得听觉印象。
现有技术的方法的计算量非常大。如果我们假定一个虚拟环境例如作为广播或通过数据网络传递给用户,则用户的接收机将连续地累加由数千个虚声源产生的声音。此外,当用户决定改变检验点的位置时,计算的依据总在改变。另外,已知的方法完全忽略了这个事实,即,除去方向角之外,声音的方向性极大地取决于其波长,换句话说,具有不同音调的声音沿着不同的方向传播。
由芬兰专利申请974006(Nokia Corp.)得知有一种用于处理声学虚拟环境的方法和***。其中要被模拟的环境的表面由具有某个频率响应的滤波器表示。为了以数字传输形式传输模拟的环境,以某种方法表示属于所述环境中的所有主要表面的传递函数便足够了。然而,即使这样,也没有考虑声音的到达方向或声音的音调对声音的方向的影响。
发明内容
本发明的目的在于提供一种方法和***,利用所述的方法和***,使声学虚拟环境通过合理的计算负载可被传递到用户。本发明的另一个目的在于提供一种方法和***,所述的方法和***能够考虑声音的音调和到达方向对声音方向的影响。
本发明的目的在于提供一种方法和***,利用所述的方法或***,可以用合理的计算负荷向用户发送声学虚拟环境。本发明的另一个目的在于提供一种方法和***,其中能够考虑声音的音调和到达方向对声音方向的影响。
本发明的目的是这样实现的:利用参数化的***函数模拟声源或其早期反射,其中可以借助于不同的参数设置所需的声音方向,并考虑所述方向对于频率和方向角的依赖性。
本发明提供了一种用于在电子装置中处理声学虚拟环境的方法,其中声学虚拟环境包括至少一个声源,为了模拟声音是如何被定向的,将一个方向相关滤波器装置和声源连接,使得所述滤波装置对声音的影响和预定的参数相关,对于所述声源定义一个参考方向和一组和所述参考方向不同的方向,将一个滤波器与所述每个和确定的参考方向不同的方向关联,从而使滤波器对声音的影响和与每个滤波器相关的参数相关。
本发明还提供了一种用于处理包括至少一个声源的声学虚拟环境的***,所述***包括用于产生包括参数化的滤波器的滤波器组的装置,以便模拟来自属于声学虚拟环境的声源的声音是如何被定向的,其特征在于,对于所述声源产生滤波器组的装置定义一个参考方向和一组和所述参考方向不同的方向,将一个参数化的滤波器与所述每个和确定的参考方向不同的方向关联,从而使滤波器对声音的影响和与每个滤波器相关的参数相关。
按照本发明,声源的模型或者从声源计算的反射模型包括方向相关数字滤波器。对声音选择一个被称为零方位角的确定的参考方向,这个方向可以指向声学虚拟环境中的任何方向。除此之外,选择若干其它方向,希望利用这些方向模拟声音是如何被定向的。这些方向也可以任意地选择。每个选择的其它方向由其自身的数字滤波器模拟,所述数字滤波器具有可以选择的和频率相关或者和频率无关的传递函数。当检验点位于由滤波器表示的方向之外的某处时,在滤波器的传递函数之间可以形成不同的内插。
当要模拟声音以及其在以数字形式传输信息的***中如何被定向时,只需要传输关于每个传递函数的数据。作为所需的检验点的接收装置借助于其已经构成的传递函数确定从声源的位置发出的声音被朝向检验点定向。如果检验点的位置相对于零方位角被改变,则接收装置检查声音是如何朝向新的检验点定向的。可以有若干个声源,借以使接收装置计算声音如何从每个声源朝向检验点定向,并且相应地修正其再现的声音。因而例如相对于位于不同位置的并且指向不同方向的虚拟的管弦乐队,听众获得一个被正确定位的收听位置的印象。
实现方向相关数字滤波器的一种最简单的方法是对于选择的方向连接一个确定的放大系数。不过,这样将不考虑声音的音调。在一种更先进的方法中,被检验的频带被分成子频带,并且对于每个子频带,在选择的方向具有其自身的放大系数。在一种更先进的方法中,利用一种通用的传递函数模拟每个被检验的方向,对于所述通用的传递函数,指定一个能够进行同一传递函数的重构的某个系数。
附图说明
下面参照作为例子提出的优选实施例和附图更详细地说明本发明,其中:
图1表示已知的被定向的声的模型;
图2表示另一个已知的被定向的声的模型;
图3示意地表示按照本发明的被定向的声的模型;
图4表示由按照本发明的模型产生的声是如何被定向的;
图5表示本发明如何应用于声学虚拟环境;
图6表示按照本发明的***;
图7a更详细地表示按照本发明的***的一部分;以及
图7b表示图7a的细节。
具体实施方式
上面参照图1和图2对现有技术进行了说明,因此在下面的说明中,将主要参照图3到图7b说明本发明的优选实施例。
图3表示在点300的声源的位置和0方位角的方向301。在图中假定,利用4个滤波器表示位于点300的声源,4个滤波器中,第一个代表从声源沿方向302传播的声,第二个代表从声源沿方向303传播的声,第3个代表从声源沿方向304传播的声,第4个代表从声源沿方向305传播的声。此外图中假定声音相对于0方位角方向301对称地传播,使得实际上每个方向302到305代表在通过旋转代表围绕0方位角的方向301的检验方向的半径而获得的锥体表面上的任何相应的方向。本发明不限于这些假定,不过,通过首先考虑本发明的一个简化的实施例,本发明更容易理解。在图中,方向302到305以在同一平面内的等距线表示,不过,这些方向是可以容易选择的。
图3所示的表示沿着和零方位角成不同方向传播的声音的每个滤波器被示意地用方块306,307,308和309表示。每个滤波器由某个传递函数Hi表征,其中i∈{1,2,3,4}。滤波器的传递函数被标称化,使得相对于零方位角传播的声音和声源产生的声音相同。因为声音一般是时间的函数,所以由声源产生的声音被表示为X(t)。按照以下等式,每个滤波器306-309产生一个响应Yi(t),其中i∈{1,2,3,4}:
Yi(t)=Hi*X(t)            (1)
其中*表示相对于时间的卷积。响应Yi(t)是指向有关方向的声音。
上面的最简单形式的传递函数说明,脉冲X(t)乘以一个实数。因为选择零方位角作为最强声音被定向的方向是自然的,所以滤波器306-309的最简单的传递函数是0和1之间的实数,这些限制被包括了。
利用实数进行简单的相乘没有考虑音调对于声音的方向性的重要性。更通用的传递函数是这样的,其中脉冲被分成预定的频带,每个频带乘以其自身的放大系数,所述系数是实数。所述频带可以由代表频带的最高频率的一个数来限定。此外,这样一些实数系数可以表示一些示例的频率,借以在这些频率之间进行合适的内插(例如,如果给定400Hz的频率和0.6的系数,以及1000Hz和0.2的系数,利用直接内插可以得到对于700Hz的频率0.4的系数)。
一般地说,每个滤波器306到309是一种IIR或FIR滤波器(无限脉冲响应,有限脉冲响应),其具有可以借助于Z变换H(z)表示的传递函数H。当取脉冲X(t)的Z变换X(t)和脉冲Y(t)的Z变换Y(t)时,则得到定义 H ( z ) = Y ( z ) X ( z ) = Σ k = 0 M b k z - k 1 + Σ k = 1 N a k z - k - - - ( 2 )
因而,为了表示一个任意的传递函数,求出在模拟Z变换中使用的系数[b0,b1,a1,b2,a2..]便足够了。在和式中使用的上限N和M表示定义传递函数所需的精度。实际上,它们由为在传输***中存储与/或传输用于模拟每个传递函数的可利用的容量确定。
图4表示由喇叭产生的声音是如何被定向的,其中由零方位角并按照本发明被表示,还具有8个频率相关的传递函数和在它们之间的内插。以三维坐标***模拟声音被定向的方式,竖轴表示音量,单位是分贝,第一水平轴表示相对于零方位角的方向角,单位是度,第二水平轴表示声音的频率单位是kHz。由于内插,声音利用表面400表示。在图的左上方边缘,表面400由水平线401限制,其表示在零方位角方向,音量和频率无关。在图的右上方边缘,表面400由几乎为水平的线402限制,其表示在甚低频(接近0Hz)时,音量和方向角无关。代表不同方向角的滤波器的频率响应是由线402开始向下倾斜地延伸到图的左方的曲线。方向角是等距的,其大小是22.5、45、67.5、90、112.5、135、157.5和180度。例如,曲线403表示从零方位角测量沿157.5度角传播的声音的音量对频率的函数,该曲线表示,在这个方向,最高的频率比低频衰减得多。
本发明适用于在本地设备中进行再现,其中在计算机存储器中产生声学虚拟环境,并在相同的连接中被处理,或者从存储介质例如DVD盘(数字通用盘)中被读出,并通过视听表达装置(显示器,扬声器)对用户再现。本发明还可以应用于这样的***中,其中在所谓的服务提供者的设备中产生声学虚拟环境,并通过传输***传递给用户。一种装置,其对用户再现按照本发明的方式处理的定向的声音,并且能够使用户选择其希望在声学虚拟环境中的那一点收听再现的声音,这种装置一般被称为接收装置。这个术语并不构成对本发明的限制。
当用户对接收装置给出其希望在声学虚拟环境中的那一点收听再现的声音的信息时,接收装置便确定使来自声源的声音朝向所述的点定向的方式。在利用图表示意地检验的图4中这意味着,当接收装置确定声源的零方位角和检验点的方向之间的角度后,其利用平行于频率轴的垂直平面切割表面400,并以那个值切割表示零方位角和检验点之间的角度的方向角轴线。在表面400和垂直平面之间的交线便是表示作为频率的函数的沿着检验点的方向定向的声音的相对音量。接收装置形成一个滤波器,其实现按照所述频率的频率响应,并把由声源产生的声音引导通过其构成的滤波器,然后向用户再现。如果用户决定改变检验点的位置,则接收装置确定一个新的曲线,并以上述方式产生一个新的滤波器。
图5表示具有3个被不同定向的虚拟声源501,502和503的声学虚拟环境500。点504表示由用户选择的检验点。为了解释图5所示的情况,按照本发明,对每个声源501,502和503产生一个表示声音是如何被定向的模型,使得在每一种情况下,其模型大致如图3和图4所示,不过考虑到对于模型中的每个虚拟声源,零方位角具有不同的方向。在这种情况下,接收装置必须产生3个单独的滤波器,以便考虑声音如何被定向。为了产生第一滤波器,需要确定用于模拟由第一声源传输的声音是如何被定向的那些传递函数,并借助于所述传递函数和内插,产生如图4所示的平面。此外,确定检验点的方向和声源501的零方位角505之间的角度,并借助于所述角度,可以在上述的表面上读出沿所述方向的频率响应。对于每个声源重复上述的操作。对用户再现的声音是来自所有这些声源的声音之和,并且在所述的和中,每个声音利用模拟所述声音是如何被定向的滤波器滤波。
按照本发明,除去实际的声源之外,还可以模拟声反射,特别是早期反射。在图5中,利用已知的虚声源方法,形成一个虚声源506,其表示由声源503传输的声音是如何从相邻的壁反射的。所述虚声源可以以和实声源完全相同的方式按照本发明进行处理,换句话说,可以对其确定零方位角的方向以及沿着和零方位角不同的方向的声音的方向性(当需要时是频率相关的)。利用和实声源产生的声音中使用的相同的原理,接收装置再现由虚声源“产生”的声音。
图6表示具有发送装置601和接收装置602的***。发送装置601产生某个声学虚拟环境,其中包括至少一个声源和至少一个空间的声学特性,并且其以某种形式向接收装置602发送所述环境。可以例如作为数字音频信号或电视广播或通过数据网络进行发送。所述的发送也指发送装置601根据所产生的声学虚拟环境产生一个记录例如DVD盘(数字通用盘),并且接收装置的用户需要所述的记录介质供其使用。作为记录的一种典型的应用例如是一个音乐会,其中声源是包括虚拟乐器的管弦乐队,空间是以电的方式模拟的虚拟音乐厅或实际的音乐厅。借以使接收装置的用户利用其设备可以听到在音乐厅的不同位置演奏的声音。如果这个虚拟环境是视听环境,则其还可以包括由计算机图形学实现的视觉部分。本发明不要求发送装置和接收装置是不同的装置,而是用户可以在一个装置内产生一个虚拟环境,并利用同一装置来检验其产生的虚拟环境。
在图6所示的实施例中,发送装置的用户借助于计算机图形工具603和视频动画制作工具例如具有相应工具604的播放器和虚拟管弦乐队的乐器产生某个虚拟环境,例如音乐厅。此外,其通过键盘605输入其产生的环境的声源的某个方向性,最好代表声音如何定向的传递函数和频率相关。表示声音是如何被定向的模型也可以根据对实际声源的测量得到,此时方向性信息一般从数据库606中读出。虚拟乐器的声音从数据库606中加载。在块607,608,609和610中,发送装置把用户输入的信息处理成为位流,并在多路传输器611中把位流组合成数据流。数据流以某个形式被提供给接收装置602,其中解多路传输器612从数据流中分离出代表静止环境的图像部分放入块613中,将时间相关图像部分或动画部分放入块614中,时间相关声音部分放入块615中,并把代表表面的系数放入块616中。图像部分在显示驱动块617中组合并被提供给显示装置618。代表由声源发送的声音的信号从块615被提供给滤波器组619,滤波器组具有其传递函数利用从块616获得的参数a,b重构的传递函数的滤波器。由滤波器组产生的声音被提供给耳机620。
图7a,7b更详细地表示接收装置的滤波器的结构,利用所述接收装置可以利用按照本发明的方式实现声学虚拟环境。在图中考虑了和声音处理有关的其它因素,而不仅考虑了按照本发明模拟的声音的方向性。延迟装置721产生不同的声音分量的相互的时间差(例如在不同的路径中被反射的声音的相互时间差,或者位于不同距离的虚拟声源之间的时间差)。同时,延迟装置721作为解多路传输器操作,把正确的声音引导进入正确的滤波器722,723和724。滤波器722-724是参数化的滤波器,其在图7b中更详细地说明了。由这些滤波器提供的信号一方面被进一步分路到滤波器701,702和703,在另一方面,通过加法器和乘法器704到加法器705,其和回声分支706,707,708和709以及加法器710,和放大器711,712,713,714形成一种已知的连接,利用这种连接,可以对某个信号产生后回声。滤波器701,702和703是已知的方向滤波器,其例如按照HRTF模型(头相关的传递函数)考虑了听众沿不同方向的听觉上的差别。最好滤波器701-703也还有所谓的ITD延迟(听觉之间的时间差),其模拟从不同方向到达听众耳朵的声音分量的相互时间差。
在滤波器701-703中,每个信号分量被分为右通道和左通道,或者在多通道***中一般被分为N个通道。和某个通道相关的所有信号在加法器715或716中组合,并被输入到加法器717或718,在其中属于每个信号的后回声被附加于所述信号。线路719和720通向扬声器或耳机。在图7a中,在滤波器723和724以及滤波器702和703之间的点意味着本发明不限于在接收装置的滤波器组中有多少个滤波器。根据模拟的声学虚拟环境的复杂性,可以有数百甚至数千个滤波器。
图7b更详细地表示实现图7a所示的参数化的滤波器722的可能性。在图7b中,滤波器722包括3个接续的滤波器级730,731和732,其中第一滤波器级730代表在介质(一般为空气)中的传输衰减,第二级731代表在反射材料(特别是在模拟反射时附加的)中发生的吸收,并且第三级732考虑声音从声源(可能通过反射表面)到检验点在介质中传播的距离和介质的特性,例如空气的湿度、压力和温度。为了计算所述距离,第一级730从发送装置获得关于在要被模拟的坐标***中的声源的位置的信息,并从接收装置中获得关于用户选择的检验点的坐标的信息。第一级730或者从发送装置或者从接收装置(可以使接收装置的用户能够设置所需的介质特性)获得描述介质的数据。作为缺省,第二级731从发送装置获得描述反射表面的吸收的系数,但是在这种情况下也可以使接收装置的用户能够改变被模拟的空间的特性。第三级732考虑由声源发出的声音如何在被模拟的空间内从声源向不同的方向定向,因而第三级732实现在本申请中提出的发明。
上面一般地讨论了如何利用参数处理声学虚拟环境的特性并从一个装置传递到另一个装置。下面讨论本发明如何被应用于某个数据传输形式。多媒体意味着对用户进行视听对象的相互同步的表达。预计在将来交互作用的多媒体表达将被广泛使用,例如作为娱乐形式和电视会议。在现有技术中已有多个用于规定以电的形式传输多媒体节目的不同标准。在本专利申请中特别讨论MPEG标准(Motion PictureExperts Group),其中在本专利申请提出时正在制定的MPEG-4标准的目的在于使发送的多媒体表达可以包含实对象和虚对象,它们共同形成某个视听环境。本发明不以任何方式限制只适用于MPEG-4标准而是可以适用于VRML97标准系列,甚至适用于现在还不知道的将来的视听标准。
按照MPEG-4标准的数据流包括被多路传输的视听对象,其可以含有在时间上是连续的部分(例如合成的声音)和参数(例如要被模拟的声源的位置)。这些对象可以被规定为是分级的,使得原始的对象处于最低的等级上。除去对象之外,按照MPEG-4标准的多媒体节目包括所谓的场景描述,其含有关于对象的相互关系的信息和关于节目的总体设置的结构的信息,这些信息最好被从实际的对象中被单独地编码和解码。场景描述也被称为BIFS部分(场景描述的二进制格式)。按照本发明的声学虚拟环境的传输最好使用在MPEG-4标准中规定的结构的音频语言(SAOL/SASL:Structured Audio OrchesraLanguage/Structured Audio Score Language)或VRML97语言。
在上述的语言中,目前规定了一种用于模拟声源的声节(Soundnode)。按照本发明,可以定义一种已知的声节的扩展,其在本专利申请中被称为定向声节。除去已知的声节之外,其还包括在本申请中被称为定向性场并用于提供用来重构表示声音的方向性的滤波器所需的信息的场。上面讨论了用于模拟滤波器的3种不同的方法,因此下面说明这些方法如何应用于按照本发明的定向声节的方向性场中。
按照第一种方法,模拟和零方位角不同的方向的每个滤波器相应于由作为在0和1之间的标准化的实数的放大系数进行的简单的相乘。因而方向性场的内容例如如下:
((0.79 0.8)(1.57 0.6)(2.36 0.4)(3.14 0.2))
在这种方法中,方向性场合有和在声源模型中与零方位角不同的方向的数量那样多的数对。数对的第一个数以弧度表示有关的方向和零方位角之间的角度,第二个数表示沿所述方向的放大系数。
按照第二种方法,沿着每个和零方位角不同的方向的声音被分成频带,其中的每一个具有其自身的放大系数。方向性场的内容例如如下:
((0.79 125.0 0.8 1000.0 0.6 4000.0 0.4)
 (1.57 125.0 0.7 1000.0 0.5 4000.0 0.3)
 (2.36 125.0 0.6 1000.0 0.4 4000.0 0.2)
 (3.14 125.0 0.5 1000.0 0.3 4000.0 0.1))
在这种方法中,方向性场含有的数组数的数量等于在声源模型中和零方位角不同的方向的数量,所述数组由内部的圆括号隔开。在每个数组中,第一个数以弧度表示相关的方向和零方位角之间的角度。在第一个数之后是数对,其中第一个以赫兹表示某个频率,第二个是放大系数。例如数组(0.79 125.0 0.8 1000.0 0.6 4000.0 0.4)可以被解释为,沿着方向0.79弧度对于125赫兹的频率使用0.8的放大系数,对于1000赫兹使用0.6的放大系数,对于4000赫兹使用0.4的放大系数。此外,可以使用注释,其中说明上述的数组意味着沿着方向0.79弧度对于0-125赫兹的频率使用0.8的放大系数,对于125-1000赫兹使用0.6的放大系数,对于1000-4000赫兹使用0.4的放大系数,并且其它频率的放大系数由利用内插和外推计算的结果计算。对于本发明使用什么样的注释并不重要,只要使用的注释被发送装置和接收装置识别即可。
按照第三种方法,对于和零方位角不同的每个方向应用一个传递函数,并且为了定义传递函数给出了其Z变换的系数a和b。方向性场的内容例如如下:(   (45 b45.0 b45.1 a45.1 b45.2 a45.2...)
(90 b90.0 b90.1 a90.1 b90.2 a90.2...)
(135 b135.0 b135.1 a135.1 b135.2 a135.2...)
(180 b180.0 b180.1 a180.1 b180.2 a180.2...))
在这种方法中,方向性场也含有数量和与零方位角的方向不同的方向的数量相等的数组数,它们由内部括号隔开。在每个数组中,第一个数以度表示相关的方向和零方位角之间的角度,在这种情况下,和上面的情况一样,可以使用其它任何已知的角度单位。在第一个数之后,是用于确定在相关方向中使用的传递函数的Z变换的系数a和b。每个数组之后的点意味着本发明对于用来定义传递函数的Z变换的系数a和b的数量没有任何限制。在不同的数组中,可以有不同数量的系数a和b。在第三种方法中,系数a和b可以以其自身的矢量给出,使得可以用和以下出版物中公开的方式相同的方式进行FIR或全极的IIR滤波器的有效的模拟,所述出版物是:Ellis.S.1998:“Towardsmore realistic sound in VMRL(VMRL下的更现实化声场)”,Proc.VRML’98,Monterey,USA,Feb.16-19,1998,pp.95-100。
当然,本发明的上述的实施例只是作为例子,它们对本发明没有任何限制作用。特别是在定向声节的方向性场中设置表示滤波器的参数的设置方式可以在许多方式中选择。

Claims (13)

1.一种用于在电子装置中处理声学虚拟环境的方法,其中声学虚拟环境包括至少一个声源(300),为了模拟声音是如何被定向的,将一个方向相关滤波器装置(306,307,308,309)和声源连接,使得所述滤波装置对声音的影响和预定的参数相关,其特征在于,对于所述声源定义一个参考方向(301)和一组和所述参考方向不同的方向(302,303,304,405),将一个滤波器(306,307,308,309)与所述每个和确定的参考方向不同的方向关联,从而使滤波器对声音的影响和与每个滤波器相关的参数相关。
2.如权利要求1所述的方法,其特征在于,所述和每个滤波器相关的参数是放大系数,用于确定来自声源的沿着不同的方向被定向的声音的相对的放大情况。
3.如权利要求2所述的方法,其特征在于,所述放大系数包括对于沿着至少一个和参考方向不同的确定的方向的声音的不同的频率的单独的放大系数。
4.如权利要求1所述的方法,其特征在于,所述和每个滤波器有关的参数是滤波器的传递函数的Z变换的商表达式 H ( z ) = Y ( z ) X ( z ) = Σ k = 0 M b k z - k 1 + Σ k = 1 N a k z - k
的系数[b0 b1 a1 b2 a2....]。
5.如权利要求1所述的方法,其特征在于,为了模拟声音如何沿着和参考方向不同的其它方向被定向,在和参考方向不同的一个确定的方向中,其包括在和与参考方向不同的确定的方向相连的滤波器之间的内插(400)。
6.如权利要求1所述的方法,其特征在于,包括以下步骤:
发送装置产生一个包括声源的确定的声学虚拟环境(500),借以通过滤波器模拟来自这些声源的声音被定向的方式,其对声音的影响和与每个滤波器相关的参数相关,
发送装置向接收装置发送关于和每个滤波器相关的所述参数的信息,以及
为了重构声学虚拟环境,接收装置产生一个滤波器组,其中包括的滤波器对声学信号的影响与和每个滤波器相关的参数相关,并根据由发送装置发送的信息产生和每个滤波器相关的参数。
7.如权利要求6所述的方法,其特征在于,作为按照MPEG-4标准的数据流的一部分,发送装置向接收装置发送关于和每个滤波器有关的所述参数的信息。
8.如权利要求1所述的方法,其特征在于,所述声源是实声源(501,502,503)。
9.如权利要求1所述的方法,其特征在于,所述声源是一个反射声源。
10.一种用于处理包括至少一个声源的声学虚拟环境的***,所述***包括用于产生包括参数化的滤波器的滤波器组的装置,以便模拟来自属于声学虚拟环境的声源的声音是如何被定向的,其特征在于,对于所述声源产生滤波器组的装置定义一个参考方向(301)和一组和所述参考方向不同的方向(302,303,304,405),将一个参数化的滤波器(306,307,308,309)与所述每个和确定的参考方向不同的方向关联,从而使滤波器对声音的影响和与每个滤波器相关的参数相关。
11.如权利要求10所述的***,其特征在于,包括发送装置(601)和接收装置(602),以及用于在发送装置和接收装置之间以电的方式进行通信的装置。
12.如权利要求10所述的***,其特征在于,包括在发送装置中的多路传输装置(611),用于把表示参数化的滤波器的参数附加到符合MPEG-4标准的数据流,以及在接收装置中的解多路传输装置(612),用于从符合MPEG-4标准的数据流中检测出表示参数化的滤波器的参数。
13.如权利要求10所述的***,其特征在于,包括在发送装置中的多路传输装置(611),用于把表示参数化的滤波器的参数附加到符合扩展的VRML97标准的数据流,以及在接收装置中的解多路传输装置(612),用于从符合扩展的VRML97标准的数据流中检测出表示参数化的滤波器的参数。
CN998065447A 1998-03-23 1999-03-23 用于处理声学虚拟环境中的定向声的方法和*** Expired - Lifetime CN1132145C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI980649 1998-03-23
FI980649A FI116505B (fi) 1998-03-23 1998-03-23 Menetelmä ja järjestelmä suunnatun äänen käsittelemiseksi akustisessa virtuaaliympäristössä

Publications (2)

Publication Number Publication Date
CN1302426A CN1302426A (zh) 2001-07-04
CN1132145C true CN1132145C (zh) 2003-12-24

Family

ID=8551352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN998065447A Expired - Lifetime CN1132145C (zh) 1998-03-23 1999-03-23 用于处理声学虚拟环境中的定向声的方法和***

Country Status (11)

Country Link
US (1) US7369668B1 (zh)
EP (1) EP1064647B1 (zh)
JP (2) JP4573433B2 (zh)
KR (1) KR100662673B1 (zh)
CN (1) CN1132145C (zh)
AT (1) ATE361522T1 (zh)
AU (1) AU2936999A (zh)
DE (1) DE69935974T2 (zh)
ES (1) ES2285834T3 (zh)
FI (1) FI116505B (zh)
WO (1) WO1999049453A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI116505B (fi) * 1998-03-23 2005-11-30 Nokia Corp Menetelmä ja järjestelmä suunnatun äänen käsittelemiseksi akustisessa virtuaaliympäristössä
US6668177B2 (en) 2001-04-26 2003-12-23 Nokia Corporation Method and apparatus for displaying prioritized icons in a mobile terminal
US7032188B2 (en) 2001-09-28 2006-04-18 Nokia Corporation Multilevel sorting and displaying of contextual objects
US6996777B2 (en) 2001-11-29 2006-02-07 Nokia Corporation Method and apparatus for presenting auditory icons in a mobile terminal
US6934911B2 (en) 2002-01-25 2005-08-23 Nokia Corporation Grouping and displaying of contextual objects
JP2005094271A (ja) * 2003-09-16 2005-04-07 Nippon Hoso Kyokai <Nhk> 仮想空間音響再生プログラムおよび仮想空間音響再生装置
DE602004021716D1 (de) * 2003-11-12 2009-08-06 Honda Motor Co Ltd Spracherkennungssystem
WO2005101897A1 (en) * 2004-04-16 2005-10-27 Smart Internet Technology Crc Pty Ltd Apparatuses and methods for use in creating an audio scene
JP4789145B2 (ja) * 2006-01-06 2011-10-12 サミー株式会社 コンテンツ再生装置及びコンテンツ再生プログラム
JP4894386B2 (ja) * 2006-07-21 2012-03-14 ソニー株式会社 音声信号処理装置、音声信号処理方法および音声信号処理プログラム
JP5082327B2 (ja) * 2006-08-09 2012-11-28 ソニー株式会社 音声信号処理装置、音声信号処理方法および音声信号処理プログラム
GB0724366D0 (en) * 2007-12-14 2008-01-23 Univ York Environment modelling
JP5397131B2 (ja) * 2009-09-29 2014-01-22 沖電気工業株式会社 音源方向推定装置及びプログラム
JP5141738B2 (ja) * 2010-09-17 2013-02-13 株式会社デンソー 立体音場生成装置
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
WO2012168765A1 (en) * 2011-06-09 2012-12-13 Sony Ericsson Mobile Communications Ab Reducing head-related transfer function data volume
CN103152500B (zh) * 2013-02-21 2015-06-24 黄文明 多方通话中回音消除方法
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
CN109891503B (zh) * 2016-10-25 2021-02-23 华为技术有限公司 声学场景回放方法和装置
KR102113542B1 (ko) 2017-11-30 2020-05-21 서울과학기술대학교 산학협력단 심층신경망을 이용하여 음향 신호를 정규화하는 방법
US10705790B2 (en) 2018-11-07 2020-07-07 Nvidia Corporation Application of geometric acoustics for immersive virtual reality (VR)
CN114630240B (zh) * 2022-03-16 2024-01-16 北京小米移动软件有限公司 方向滤波器的生成方法、音频处理方法、装置及存储介质

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4731848A (en) 1984-10-22 1988-03-15 Northwestern University Spatial reverberator
US5285165A (en) 1988-05-26 1994-02-08 Renfors Markku K Noise elimination method
FI90166C (fi) 1991-10-16 1993-12-27 Nokia Mobile Phones Ltd Cmos-kompander
FI89846C (fi) 1991-11-29 1993-11-25 Nokia Mobile Phones Ltd En deviationsbegraensare foer en fraon en radiotelefon utsaend signal
FI92535C (fi) 1992-02-14 1994-11-25 Nokia Mobile Phones Ltd Kohinan vaimennusjärjestelmä puhesignaaleille
EP0563929B1 (en) 1992-04-03 1998-12-30 Yamaha Corporation Sound-image position control apparatus
EP1304797A3 (en) 1992-07-07 2007-11-28 Dolby Laboratories Licensing Corporation Digital filter having high accuracy and efficiency
JPH06292298A (ja) * 1993-03-31 1994-10-18 Sega Enterp Ltd 聴覚特性及びモニター環境を考慮した三次元仮想音像形成装置
JP3552244B2 (ja) * 1993-05-21 2004-08-11 ソニー株式会社 音場再生装置
JP3578783B2 (ja) 1993-09-24 2004-10-20 ヤマハ株式会社 電子楽器の音像定位装置
JPH0793367A (ja) * 1993-09-28 1995-04-07 Atsushi Matsushita 音声情報検索システム及び装置
US5485514A (en) 1994-03-31 1996-01-16 Northern Telecom Limited Telephone instrument and method for altering audible characteristics
US5659619A (en) 1994-05-11 1997-08-19 Aureal Semiconductor, Inc. Three-dimensional virtual audio display employing reduced complexity imaging filters
US5684881A (en) 1994-05-23 1997-11-04 Matsushita Electric Industrial Co., Ltd. Sound field and sound image control apparatus and method
JP3258195B2 (ja) * 1995-03-27 2002-02-18 シャープ株式会社 音像定位制御装置
JPH08272380A (ja) * 1995-03-30 1996-10-18 Taimuuea:Kk 仮想3次元空間音響の再生方法および装置
US5831518A (en) * 1995-06-16 1998-11-03 Sony Corporation Sound producing method and sound producing apparatus
FR2736499B1 (fr) 1995-07-03 1997-09-12 France Telecom Procede de diffusion d'un son avec une directivite donnee
FR2738099B1 (fr) 1995-08-25 1997-10-24 France Telecom Procede de simulation de la qualite acoustique d'une salle et processeur audio-numerique associe
US5790957A (en) 1995-09-12 1998-08-04 Nokia Mobile Phones Ltd. Speech recall in cellular telephone
FI102337B1 (fi) 1995-09-13 1998-11-13 Nokia Mobile Phones Ltd Menetelmä ja piirijärjestely audiosignaalin käsittelemiseksi
JP3296471B2 (ja) * 1995-10-09 2002-07-02 日本電信電話株式会社 音場制御方法および装置
FI100840B (fi) 1995-12-12 1998-02-27 Nokia Mobile Phones Ltd Kohinanvaimennin ja menetelmä taustakohinan vaimentamiseksi kohinaises ta puheesta sekä matkaviestin
JP3976360B2 (ja) * 1996-08-29 2007-09-19 富士通株式会社 立体音響処理装置
DE19646055A1 (de) 1996-11-07 1998-05-14 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Abbildung von Schallquellen auf Lautsprecher
JP3266020B2 (ja) * 1996-12-12 2002-03-18 ヤマハ株式会社 音像定位方法及び装置
FI116990B (fi) 1997-10-20 2006-04-28 Nokia Oyj Menetelmä ja järjestelmä akustisen virtuaaliympäristön käsittelemiseksi
FI116505B (fi) * 1998-03-23 2005-11-30 Nokia Corp Menetelmä ja järjestelmä suunnatun äänen käsittelemiseksi akustisessa virtuaaliympäristössä

Also Published As

Publication number Publication date
JP2002508609A (ja) 2002-03-19
FI980649A (fi) 1999-09-24
KR20010034650A (ko) 2001-04-25
AU2936999A (en) 1999-10-18
EP1064647B1 (en) 2007-05-02
ATE361522T1 (de) 2007-05-15
CN1302426A (zh) 2001-07-04
FI980649A0 (fi) 1998-03-23
DE69935974T2 (de) 2007-09-06
JP2009055621A (ja) 2009-03-12
FI116505B (fi) 2005-11-30
ES2285834T3 (es) 2007-11-16
EP1064647A1 (en) 2001-01-03
DE69935974D1 (de) 2007-06-14
US7369668B1 (en) 2008-05-06
JP4573433B2 (ja) 2010-11-04
WO1999049453A1 (en) 1999-09-30
KR100662673B1 (ko) 2006-12-28

Similar Documents

Publication Publication Date Title
CN1132145C (zh) 用于处理声学虚拟环境中的定向声的方法和***
CN1122964C (zh) 一种处理虚拟声音环境的方法和***
Savioja Modeling techniques for virtual acoustics
CN102395098B (zh) 生成3d声音的方法和设备
Valimaki et al. Fifty years of artificial reverberation
Poirier-Quinot et al. EVERTims: Open source framework for real-time auralization in architectural acoustics and virtual reality
KR100928249B1 (ko) 3차원 음향공간내의 가상위치에 하나 이상의 음원을존재하게 하는 모의 실험 방법 및 장치
Rosen et al. Interactive sound propagation for dynamic scenes using 2D wave simulation
JP2003061200A (ja) 音声処理装置及び音声処理方法、並びに制御プログラム
Rocchesso Spatial effects
Huopaniemi et al. DIVA virtual audio reality system
JPH09160549A (ja) 三次元音響提示方法および装置
Scerbo et al. Higher-order scattering delay networks for artificial reverberation
Lakka et al. Extending X3D Realism with Audio Graphs, Acoustic Properties and 3D Spatial Sound
Foale et al. Portal-based sound propagation for first-person computer games
Faria et al. Audience-audio immersion experiences in the caverna digital
Väänänen Parametrization, auralization, and authoring of room acoustics for virtual reality applications
JP7403436B2 (ja) 異なる音場の複数の録音音響信号を合成する音響信号合成装置、プログラム及び方法
Geronazzo Sound Spatialization.
KR20030002868A (ko) 삼차원 입체음향 구현방법 및 시스템
JP3671756B2 (ja) 音場再生装置
WO2023213501A1 (en) Apparatus, methods and computer programs for spatial rendering of reverberation
Dantele et al. Implementation of mpeg-4 audio nodes in an interactive virtual 3d environment
Stewart Spatial auditory display for acoustics and music collections
Savioja et al. Interactive room acoustic rendering in real time

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20170105

Address after: Espoo, Finland

Patentee after: NOKIA TECHNOLOGIES OY

Address before: Espoo, Finland

Patentee before: Nokia Corp.

Effective date of registration: 20170105

Address after: Espoo, Finland

Patentee after: NOKIA Corp.

Address before: Espoo, Finland

Patentee before: NOKIA MOBILE PHONES Ltd.

CX01 Expiry of patent term

Granted publication date: 20031224

CX01 Expiry of patent term