CN109714697A - 三维声场多普勒音效的仿真方法及仿真*** - Google Patents

三维声场多普勒音效的仿真方法及仿真*** Download PDF

Info

Publication number
CN109714697A
CN109714697A CN201910183564.6A CN201910183564A CN109714697A CN 109714697 A CN109714697 A CN 109714697A CN 201910183564 A CN201910183564 A CN 201910183564A CN 109714697 A CN109714697 A CN 109714697A
Authority
CN
China
Prior art keywords
sound
doppler
dimensional
audio
pressure level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910183564.6A
Other languages
English (en)
Inventor
马翼平
许召辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Touqu Technology Co Ltd
Original Assignee
Shanghai Touqu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Touqu Technology Co Ltd filed Critical Shanghai Touqu Technology Co Ltd
Publication of CN109714697A publication Critical patent/CN109714697A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Stereophonic System (AREA)

Abstract

本发明提供一种三维声场多普勒音效的仿真方法，包括：计算多普勒频移；计算接收者接收到声波声压级的变化；对三维多普勒音效进行分帧处理及重叠相加后，以得到具有三维声场多普勒效应的声音。实施上述方法的仿真***，包括：多普勒频移计算装置，用于计算多普勒频移；声波声压级的变化计算装置，用于计算接收者接收到声波声压级的变化；分帧处理装置，用于对三维多普勒音效进行分帧处理；重叠相加装置，用于将一帧一帧的数据依照分帧顺序拼接成连续的平滑的数据流，以得到具有三维声场多普勒效应的声音。本发明将头相关传递函数与多普勒效应相结合，应用分帧处理技术实现三维声场多普勒效应仿真，在具有多普勒效应的同时，还具有良好的方位感。

Description

三维声场多普勒音效的仿真方法及仿真***
技术领域
本发明涉及一种仿真方法，尤其是一种三维声场多普勒音效的仿真方法及仿真***。
背景技术
双耳听音环境仿真是虚拟现实研究的重要技术手段，在复杂声场情形下，对飞机、舰艇、客车以及各种语音等背景声进行虚拟具有很高的研究价值，尤其在立体声告警、虚拟现实以及增强现实等领域应用广泛。
在航空领域，飞行员通过双手控制飞机操作***，通过屏显或头显来判断空中目标位置，为解放飞行员的双眼，可以通过虚拟立体声来辅助判断空中目标的方位。然而在空中，飞机与目标的相对位置时刻变化，此时，目标与飞行员相对介质运动而使飞行员接收到波的频率有所变化，此种变化称为多普勒频移。简单而言，当目标相对飞机方位角始终相同时，可仅实现该方位多普勒效应；然而，实际中，单一方位的多普勒效应显然不能准确模拟目标相对飞机的运动。为了能够更为准确的实时模拟多普勒效应，假定在一段时间内飞机是沿直线飞行，此时可选择在该方位进行多普勒模拟，在下一时刻选择此时目标相对飞机的方位进行多普勒模拟，将实时合成的模拟音频进行拼接以获得实时模拟效果。
文献：“不同参考系下多普勒效应公式统一，大学物理，2006，第25卷第7期”、“利用MATLAB模拟多普勒效应，南方冶金学院学报，2005，第26卷第6期”以及“多普勒效应公式的简单推导，大学物理，2005，第25卷第7期”均只是对多普勒效应中的多普勒频移进行了相关的研究，而对于多普勒效应产生过程中的接收者接收到的声波声压级变化没有做深入研究，这导致了合成的多普勒音效在听觉感知上只能听到频率移动，而听不出来声压级的变化，与实际多普勒音效听觉感知不相符。同时，该多普勒效应是在二维情形下获得的，通过这些方法合成的多普勒音效，只能是二维的，即只能是单一方位的多普勒音效。然而，声场是三维的，人们在真实声场中获得的听觉感知也是三维的，为此本发明专利提出一种简单的三维声场多普勒效应仿真方法，来模拟三维声场多普勒效应。
发明内容
针对上述问题中存在的不足之处，本发明提供一种将头相关传递函数与多普勒效应结合起来，应用分帧处理技术实现三维声场多普勒效应仿真的一种三维声场多普勒音效的仿真方法及仿真***。
为实现上述目的，本发明提供一种三维声场多普勒音效的仿真方法，包括以下步骤：
计算多普勒频移；
计算接收者接收到声波声压级的变化；
对三维多普勒音效进行分帧处理及重叠相加后，以得到具有三维声场多普勒效应的声音。
上述的一种三维声场多普勒音效的仿真方法，其中，上述方法的实施步骤如下：
步骤1、利用下式计算多普勒频移；
其中，f′为接收者接收的频率，c为声速，v为声源运动速度，f0为声源发出的声波的频率，θ为声源运动方向与声源与接收者连线方向的夹角；
步骤2、利用下式计算接收者接收到声波声压级的变化；
其中，ρ0为媒质密度，r0为球状声源半径，ua为振速幅值，p0为基准声压，r为声源至接收点的距离；
步骤3、对三维多普勒音效进行分帧处理及重叠相加后，得到连续的平滑的数据流，以得到具有三维声场多普勒效应的声音。
上述的一种三维声场多普勒音效的仿真方法，其中，在步骤2中，利用下式推导出任意两点间的声压级关系：
上述的一种三维声场多普勒音效的仿真方法，其中，在步骤3中，包括以下子步骤：
步骤31、对由步骤1与步骤2合成的多普勒音效进行分帧，并将分帧完的信号分别与特定方位左、右耳HRTF进行卷积；
步骤32、应用语音合成中的重叠相加法将一帧一帧的数据依照分帧顺序拼接成连续的平滑的数据流，以得到具有三维声场多普勒效应的声音。
上述的一种三维声场多普勒音效的仿真方法，其中，在步骤31中，当方位改变时，选择当前方位的HRTF，与当前帧进行卷积。
本发明还提供一种三维声场多普勒音效的仿真***，包括：
多普勒频移计算装置，用于计算多普勒频移；
声波声压级的变化计算装置，用于计算接收者接收到声波声压级的变化；
分帧处理装置，用于对三维多普勒音效进行分帧处理；
重叠相加装置，用于将一帧一帧的数据依照分帧顺序拼接成连续的平滑的数据流，以得到具有三维声场多普勒效应的声音。
上述的仿真***，其中，所述多普勒频移计算装置利用下式计算多普勒频移；
其中，f′为接收者接收的频率，c为声速，v为声源运动速度，f0为声源发出的声波的频率，θ为声源运动方向与声源与接收者连线方向的夹角。
上述的仿真***，其中，所述声波声压级的变化计算装置利用下式计算接收者接收到声波声压级的变化；
其中，ρ0为媒质密度，r0为球状声源半径，ua为振速幅值，p0为基准声压，r为声源至接收点的距离。
上述的仿真***，其中，所述分帧处理装置对由所述多普勒频移计算装置与所述声波声压级的变化计算装置合成的多普勒音效进行分帧，并将分帧完的信号分别于特定方位左、右耳HRTF进行卷积。
与现有技术相比，本发明具有以下优点：
本发明将头相关传递函数与多普勒效应结合起来，应用分帧处理技术实现三维声场多普勒效应仿真。将多普勒音效计算过程简单化，同时应用该方法合成的三维声场多普勒效应在具有多普勒效应的同时，还具有良好的方位感。
附图说明
图1为本发明中仿真方法的流程图；
图2为多普勒音效合成原理图；
图3为双耳多普勒音效仿真原理图；
图4为本发明中仿真***的结构框图。
具体实施方式
本发明提供一种三维声场多普勒音效的仿真方法，包括以下步骤：
计算多普勒频移；
计算接收者接收到声波声压级的变化；
对三维多普勒音效进行分帧处理及重叠相加后，以得到具有三维声场多普勒效应的声音。
如图1至图3所示，本发明提供一种三维声场多普勒音效的仿真方法，包括以下步骤：
步骤1、利用下式计算多普勒频移；
其中，f′为接收者接收的频率，c为声速，v为声源运动速度，f0为声源发出的声波的频率，θ为声源运动方向与声源与接收者连线方向的夹角。
步骤2、利用下式计算接收者接收到声波声压级的变化；
球面声波的声压级可表示为：
其中，ρ0为媒质密度，r0为球状声源半径，ua为振速幅值，p0为基准声压，r为声源至接收点的距离；
声源在运动过程中，随时发出声波，接收者接收到的声波的大小随声源与接收者距离的变化而有所不同。由于声源与接收者距离远大于接收者声源大小，故声源可作为点声源处理。
点声源在运动过程中，媒质密度、球状声源半径、振速幅值、基准声压四个参数均为定值，考虑多普勒频移后，不同点的声压级与接收点至声源的距离r有关，因此可推导出任意两点间的声压级关系：
步骤3、对三维多普勒音效进行分帧处理及重叠相加后，得到连续的平滑的数据流，以得到具有三维声场多普勒效应的声音。
在步骤3中，包括以下子步骤：
步骤31、对由步骤1与步骤2合成的多普勒音效进行分帧，并将分帧完的信号分别于特定方位左、右耳HRTF进行卷积。
当方位改变时，选择当前方位的HRTF，与当前帧进行卷积。
步骤32、应用语音合成中的重叠相加法将一帧一帧的数据依照分帧顺序拼接成连续的平滑的数据流，以得到具有三维声场多普勒效应的声音。
在步骤3中，对由步骤1、步骤2合成的多普勒音效进行分帧，将分帧完的信号分别与特定方位左、右耳HRTF进行卷积，由于卷积合成的信号引入了HRTF，应用语音合成中的重叠相加法将一帧一帧的数据连接成连续的平滑的数据流，而不使中间数据产生跳变。
多普勒音效用x(n)表示，HRIR用h(n)表示。h(n)长度为N，x(n)长度为N1，N1＞＞N。将x(n)分为许多帧xi(m)，然后将每帧xi(m)与h(n)做卷积，最后在相邻两帧之间时间重叠部分相加。
且
式(5)中，p为分帧后总帧数。
把每帧数据xi(m)和h(n)均进行补零处理，使其长度为N+M-1。对补零后的数据进行卷积(或进行频域乘积)
yi(n)长度为N+M-1，而xi(m)长度为M，故相领两帧yi(n)之间有N-1长度的数据在时间上相互重叠。把重叠部分相加，与不重叠部分共同构成输出：
合成的y(n)即为具有三维声场多普勒效应的声音。
如图4所示，本发明提供一种仿真***的结构框图
本发明还提供一种三维声场多普勒音效的仿真***，包括：多普勒频移计算装置、声波声压级的变化计算装置、分帧处理装置与重叠相加装置。
多普勒频移计算装置利用下式计算多普勒频移；
其中，f′为接收者接收的频率，c为声速，v为声源运动速度，f0为声源发出的声波的频率，θ为声源运动方向与声源与接收者连线方向的夹角。
声波声压级的变化计算装置利用下式计算接收者接收到声波声压级的变化；
其中，ρ0为媒质密度，r0为球状声源半径，ua为振速幅值，p0为基准声压，r为声源至接收点的距离。
声源在运动过程中，随时发出声波，接收者接收到的声波的大小随声源与接收者距离的变化而有所不同。由于声源与接收者距离远大于接收者声源大小，故声源可作为点声源处理。
点声源在运动过程中，媒质密度、球状声源半径、振速幅值、基准声压四个参数均为定值，考虑多普勒频移后，不同点的声压级与接收点至声源的距离r有关，因此可推导出任意两点间的声压级关系：
分帧处理装置，用于对三维多普勒音效进行分帧处理。
其中，分帧处理装置对由多普勒频移计算装置与述声波声压级的变化计算装置合成的多普勒音效进行分帧，并将分帧完的信号分别于特定方位左、右耳HRTF进行卷积。
重叠相加装置，用于将一帧一帧的数据依照分帧顺序拼接成连续的平滑的数据流，以得到具有三维声场多普勒效应的声音。
多普勒音效用x(n)表示，HRIR用h(n)表示。h(n)长度为N，x(n)长度为N1，N1＞＞N。将x(n)分为许多帧xi(m)，然后将每帧xi(m)与h(n)做卷积，最后在相邻两帧之间时间重叠部分相加。
且
式(5)中，p为分帧后总帧数。
把每帧数据xi(m)和h(n)均进行补零处理，使其长度为N+M-1。对补零后的数据进行卷积(或进行频域乘积)
yi(n)长度为N+M-1，而xi(m)长度为M，故相领两帧yi(n)之间有N-1长度的数据在时间上相互重叠。把重叠部分相加，与不重叠部分共同构成输出：
合成的y(n)即为具有三维声场多普勒效应的声音。
以上所述仅为本发明的较佳实施例，对发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围内。

Claims (9)

1.一种三维声场多普勒音效的仿真方法，包括以下步骤：
计算多普勒频移；
计算接收者接收到声波声压级的变化；
对三维多普勒音效进行分帧处理及重叠相加后，以得到具有三维声场多普勒效应的声音。
2.根据权利要求1所述的一种三维声场多普勒音效的仿真方法，其特征在于，上述方法的实施步骤如下：
步骤1、利用下式计算多普勒频移；
其中，f′为接收者接收的频率，c为声速，v为声源运动速度，f0为声源发出的声波的频率，θ为声源运动方向与声源与接收者连线方向的夹角；
步骤2、利用下式计算接收者接收到声波声压级的变化；
其中，ρ0为媒质密度，r0为球状声源半径，ua为振速幅值，p0为基准声压，r为声源至接收点的距离；
步骤3、对三维多普勒音效进行分帧处理及重叠相加后，得到连续的平滑的数据流，以得到具有三维声场多普勒效应的声音。
3.根据权利要求2所述的一种三维声场多普勒音效的仿真方法，其特征在于，在步骤2中，利用下式推导出任意两点间的声压级关系：
4.根据权利要求2所述的一种三维声场多普勒音效的仿真方法，其特征在于，在步骤3中，包括以下子步骤：
步骤31、对由步骤1与步骤2合成的多普勒音效进行分帧，并将分帧完的信号分别与特定方位左、右耳HRTF进行卷积；
步骤32、应用语音合成中的重叠相加法将一帧一帧的数据依照分帧顺序拼接成连续的平滑的数据流，以得到具有三维声场多普勒效应的声音。
5.根据权利要求3所述的一种三维声场多普勒音效的仿真方法，其特征在于，在步骤31中，当方位改变时，选择当前方位的HRTF，与当前帧进行卷积。
6.一种应用权利要求1所述的一种三维声场多普勒音效的仿真方法的仿真***，其特征在于，包括：
多普勒频移计算装置，用于计算多普勒频移；
声波声压级的变化计算装置，用于计算接收者接收到声波声压级的变化；
分帧处理装置，用于对三维多普勒音效进行分帧处理；
重叠相加装置，用于将一帧一帧的数据依照分帧顺序拼接成连续的平滑的数据流，以得到具有三维声场多普勒效应的声音。
7.根据权利要求6所述的仿真***，其特征在于，所述多普勒频移计算装置利用下式计算多普勒频移；
其中，f′为接收者接收的频率，c为声速，v为声源运动速度，f0为声源发出的声波的频率，θ为声源运动方向与声源与接收者连线方向的夹角。
8.根据权利要求6所述的仿真***，其特征在于，所述声波声压级的变化计算装置利用下式计算接收者接收到声波声压级的变化；
其中，ρ0为媒质密度，r0为球状声源半径，ua为振速幅值，p0为基准声压，r为声源至接收点的距离。
9.根据权利要求6所述的仿真***，其特征在于，所述分帧处理装置对由所述多普勒频移计算装置与所述声波声压级的变化计算装置合成的多普勒音效进行分帧，并将分帧完的信号分别于特定方位左、右耳HRTF进行卷积。
CN201910183564.6A 2018-08-06 2019-03-12 三维声场多普勒音效的仿真方法及仿真*** Pending CN109714697A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810883623 2018-08-06
CN2018108836236 2018-08-06

Publications (1)

Publication Number Publication Date
CN109714697A true CN109714697A (zh) 2019-05-03

Family

ID=66266782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910183564.6A Pending CN109714697A (zh) 2018-08-06 2019-03-12 三维声场多普勒音效的仿真方法及仿真***

Country Status (1)

Country Link
CN (1) CN109714697A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112946578A (zh) * 2021-02-02 2021-06-11 上海头趣科技有限公司 新型双耳定位方法
CN114630145A (zh) * 2022-03-17 2022-06-14 腾讯音乐娱乐科技（深圳）有限公司 一种多媒体数据合成方法、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5622172A (en) * 1995-09-29 1997-04-22 Siemens Medical Systems, Inc. Acoustic display system and method for ultrasonic imaging
US20030223602A1 (en) * 2002-06-04 2003-12-04 Elbit Systems Ltd. Method and system for audio imaging
CN101681663A (zh) * 2007-05-22 2010-03-24 皇家飞利浦电子股份有限公司 处理音频数据的设备和方法
CN101960866A (zh) * 2007-03-01 2011-01-26 杰里·马哈布比 音频空间化及环境模拟
CN102148651A (zh) * 2010-02-09 2011-08-10 上海中兴通讯技术有限责任公司 基于定位技术获取通讯设备频偏的方法及***
US20140355765A1 (en) * 2012-08-16 2014-12-04 Turtle Beach Corporation Multi-dimensional parametric audio system and method
CN104937660A (zh) * 2012-11-18 2015-09-23 诺威托***有限公司 用于生成声场的方法和***
CN106604180A (zh) * 2016-10-28 2017-04-26 惠州市德赛西威汽车电子股份有限公司 一种自适应声场调节方法
US20180043262A1 (en) * 2016-08-10 2018-02-15 Nintendo Co., Ltd. Non-transitory storage medium having stored therein sound processing program, non-transitory storage medium having stored therein information processing program, sound processing method, sound processing device, and non-transitory storage medium having stored therein game program
CN108076415A (zh) * 2016-11-16 2018-05-25 南京大学 一种多普勒音效的实时实现方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5622172A (en) * 1995-09-29 1997-04-22 Siemens Medical Systems, Inc. Acoustic display system and method for ultrasonic imaging
US20030223602A1 (en) * 2002-06-04 2003-12-04 Elbit Systems Ltd. Method and system for audio imaging
CN101960866A (zh) * 2007-03-01 2011-01-26 杰里·马哈布比 音频空间化及环境模拟
CN101681663A (zh) * 2007-05-22 2010-03-24 皇家飞利浦电子股份有限公司 处理音频数据的设备和方法
CN102148651A (zh) * 2010-02-09 2011-08-10 上海中兴通讯技术有限责任公司 基于定位技术获取通讯设备频偏的方法及***
US20140355765A1 (en) * 2012-08-16 2014-12-04 Turtle Beach Corporation Multi-dimensional parametric audio system and method
CN104937660A (zh) * 2012-11-18 2015-09-23 诺威托***有限公司 用于生成声场的方法和***
US20180043262A1 (en) * 2016-08-10 2018-02-15 Nintendo Co., Ltd. Non-transitory storage medium having stored therein sound processing program, non-transitory storage medium having stored therein information processing program, sound processing method, sound processing device, and non-transitory storage medium having stored therein game program
CN106604180A (zh) * 2016-10-28 2017-04-26 惠州市德赛西威汽车电子股份有限公司 一种自适应声场调节方法
CN108076415A (zh) * 2016-11-16 2018-05-25 南京大学 一种多普勒音效的实时实现方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
宋知用编著: "《MATLAB在语音信号分析与合成中的应用》", 30 November 2013, 北京航空航天大学出版社 *
张帆: ""三维虚拟声场技术在先进战斗机的应用研究"", 《信息技术与信息化》 *
栗文彬总主编: "《医学计量检测与校准》", 30 January 2016, 第四军医大学出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112946578A (zh) * 2021-02-02 2021-06-11 上海头趣科技有限公司 新型双耳定位方法
CN114630145A (zh) * 2022-03-17 2022-06-14 腾讯音乐娱乐科技（深圳）有限公司 一种多媒体数据合成方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN101483797B (zh) 一种针对耳机音响***的人脑音频变换函数(hrtf)的生成方法和设备
CN102395098B (zh) 生成3d声音的方法和设备
CN102572676B (zh) 一种虚拟听觉环境实时绘制方法
CN104581610A (zh) 一种虚拟立体声合成方法及装置
CN105120418B (zh) 双声道3d音频生成装置及方法
CN109714697A (zh) 三维声场多普勒音效的仿真方法及仿真***
EP1938655A1 (en) Spatial audio simulation
Grimm et al. Toolbox for acoustic scene creation and rendering (TASCAR): Render methods and research applications
Pieren et al. Auralization of aircraft flyovers with turbulence-induced coherence loss in ground effect
Sahai et al. Interdisciplinary auralization of take-off and landing procedures for subjective assessment in virtual reality environments
Rizzi et al. Synthesis of virtual environments for aircraft community noise impact studies
JP2024069464A (ja) 反響利得正規化
CN104703111B (zh) 一种房间混响合成方法
CN101184349A (zh) 针对双声道耳机设备的三维环响音效技术
Liu et al. Sounding fire for immersive virtual reality
CN108076415B (zh) 一种多普勒音效的实时实现方法
Damiano et al. Pyroadacoustics: a Road Acoustics Simulator Based on Variable Length Delay Lines
Krishnamurthy et al. A Synthesis Plug-in for Steady and Unsteady Loading and Thickness Noise Auralization
Uchida et al. Mixed reality visualization of room impulse response map using room geometry and physical model of sound propagation
US9602927B2 (en) Speaker and room virtualization using headphones
Schäfer et al. Linking atmospheric and urban auralization models
ZHENG et al. Simulation of dynamic ship radiated noise signal
CN103854642A (zh) 基于物理的火焰声音合成方法
Mehra et al. Wave-based sound propagation for VR applications
Krishnamurthy et al. Auralization of Unsteady Rotor Noise using a Solution to the Ffowcs Williams-Hawkings Equation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190503