CN107968985B - 在二维及三维空间上的虚拟声像定位方法 - Google Patents

在二维及三维空间上的虚拟声像定位方法 Download PDF

Info

Publication number
CN107968985B
CN107968985B CN201711353960.6A CN201711353960A CN107968985B CN 107968985 B CN107968985 B CN 107968985B CN 201711353960 A CN201711353960 A CN 201711353960A CN 107968985 B CN107968985 B CN 107968985B
Authority
CN
China
Prior art keywords
virtual sound
sound source
determining
detail
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711353960.6A
Other languages
English (en)
Other versions
CN107968985A (zh
Inventor
刘载铉
李用主
徐廷一
姜京玉
崔根雨
房熙锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of CN107968985A publication Critical patent/CN107968985A/zh
Application granted granted Critical
Publication of CN107968985B publication Critical patent/CN107968985B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/007Two-channel systems in which the audio signals are in digital form
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)

Abstract

公开了一种在二维及三维空间上的虚拟声像定位方法。虚拟声像定位方法,包括:设定与多个扬声器所相关联的播放领域;基于虚拟声像定位来确定所述领域中的虚拟声源的位置;基于所述位置来确定用于播放所述虚拟声源的平移系数;渲染以将输入信号映射到对应于扬声器的输出信号。

Description

在二维及三维空间上的虚拟声像定位方法
本申请是申请日为2014年7月7日、申请号为201480008005.7、发明名称为“在二维及三维空间上的虚拟声像定位方法”的发明专利申请的分案申请。
技术领域
以下实施例涉及利用对应于输出信道的多个扬声器的虚拟声像定位方法。
技术背景
平移(panning)方法是考虑要播放的虚拟声源的位置,分配功率给位于虚拟声源周边的扬声器播放虚拟声源的方法。如此,分配功率给扬声器决定扬声器输出大小,使得在虚拟空间上决定虚拟声源的位置叫做虚拟声像定位。
在这种情况下,利用两个扬声器播放将虚拟声源定义为功率平移,且利用三个扬声器播放将虚拟声源定义为基于向量的振幅平移(vector based amplitude panning:VBAP)。此技术由虚拟声像定位方法被广泛地应用。
上述说明的方法利用在两个或者三个扬声器之间,为了映射虚拟声源的位置分配功率给扬声器的演算。按照这些演算可精细地角度分割,但是收听者很难区分位于如此分割角度的虚拟声源,并且增加演算量。还有,对应于输出信道的扬声器增加平移的输入信道时,可发生音质低下。因此,需要用于解决按照角度分割问题的平移技术。
一方面,一般布置在播放空间的扬声器以收听者为基准显示左侧、右侧,或者中间等左右对称的布置形态。但是,这些对称的布置形态在实际生活中是理想的状况。换言之,实际的扬声器的前后/左右布置形态大部分是非对称的情况较多。因此,也需要有关非对称布置的扬声器的平移技术。
发明内容
技术课题
以下实施例提供利用存在于二维及三维空间的扬声器执行虚拟身影形象定位方法及这些方法的扬声器渲染器。
以下实施例提供将扬声器构成的播放领域分割成细节领域,且基于要播放的虚拟声源所处的细节领域决定平移系数,使得执行可减少用于决定平移系数的演算量的虚拟声像定位方法及这些方法的扬声器渲染器。
以下实施例提供考虑扬声器是否位于二维空间或者三维空间决定平移系数,使得执行可有效地播放虚拟声源的虚拟声像定位方法及这些方法的扬声器渲染器。
技术方案
按照一个实施例,一种虚拟声像定位方法,包括:设定与多个扬声器所相关联的播放领域;基于虚拟声像定位来确定所述领域中的虚拟声源的位置;基于所述位置来确定用于播放所述虚拟声源的平移系数;渲染以将输入信号映射到对应于扬声器的输出信号。
按照一个实施例,一种虚拟声像定位方法,包括:识别收听者周围的多个扬声器;确定在扬声器处连接的圆周上的虚拟声源的位置;基于虚拟声源的位置确定从扬声器分配的虚拟声源的功率;以及基于虚拟声像定位,基于虚拟声源的功率来确定虚拟声源的平移系数。
按照一个实施例,一种虚拟声像定位方法,包括:为了播放对应于输入信道的虚拟声源,确定能够在输出信道中使用的至少一个扬声器的播放信息;以及基于播放信息渲染输入信号;其中所述确定包括:将对应于连接K个扬声器的圆周的播放领域分割成多个细节领域;确定从播放领域提取的细节领域中的、虚拟声源所处的细节领域;以及基于所确定的细节领域来确定扬声器的平移系数。
按照一个实施例,一种虚拟声像定位方法,包括:设定包括能够在输出信道中使用的至少一个扬声器的播放区域;将对应于连接K个扬声器的圆周的播放领域分割成多个细节领域;在所述细节领域中确定待播放的虚拟声源所处的细节领域;基于所确定的细节领域确定用于播放虚拟声源的平移系数;以及基于平移系数渲染输入信号,其中根据基于向量的振幅平移VBAP,来确定该平移系数。
按照一个实施例,一种虚拟声像定位方法,其步骤可包括:为了播放对应于输入信道的虚拟声源,决定能够在输出信道中使用的至少一个扬声器的播放信息;及利用所述播放信息渲染输入信号。
所述扬声器可存在于二维空间或者三维空间。
决定所述扬声器的播放信息的步骤可包括:将由所述扬声器构成的播放领域分割成多个细节领域;判断所述分割的细节领域中将要播放的虚拟声源所处的细节领域;及基于所述判断的细节领域决定所述扬声器的平移系数。
所述分割步骤是所述扬声器为两个时,将对应于连接所述两个扬声器的圆周的播放领域分割成多个细节领域,且所述判断步骤是在所述分割的细节领域中,可判断所述虚拟声源所处的细节领域。
所述分割步骤是所述扬声器为K个(K>3)时,将由所述扬声器构成的播放领域分割成X个(X≥K)细节领域,且所述判断步骤可判断所述分割的细节领域中所述虚拟声源所处的细节领域。
按照其他实施例,一种虚拟声像定位方法,其步骤可包括:设定由能够在输出信道中使用的至少一个扬声器所构成的播放领域;将所述播放领域分割成多个细节领域;判断所述分割的细节领域中将要播放虚拟声源所处的细节领域;基于所述判断的细节领域决定用于播放所述虚拟声源的平移系数;及基于所述平移系数渲染输入信号。
所述扬声器可存在于二维空间或者三维空间。
所述分割步骤是所述扬声器为两个时,将对应于连接所述两个扬声器的圆周的播放领域分割成多个细节领域,且所述判断步骤是在所述分割的细节领域中,可判断所述虚拟声源所处的细节领域。
所述分割步骤是所述扬声器为K个(K>3)时,由所述扬声器构成的播放领域分割成X个(X≥K)细节领域,且所述判断步骤是在所述分割的细节领域中,可判断所述虚拟声源所处的细节领域。
又按照其他实施例,一种虚拟声像定位方法,其步骤可包括:利用位于平面上的扬声器判断是否能够决定用于虚拟声源的平移系数;基于判断结果决定用于虚拟声源的平移系数。
决定所述平移系数的步骤是利用位于所述平面上的扬声器能够决定平移系数时,基于水平角可决定用于所述虚拟声源的平移系数。
决定所述平移系数的步骤是利用位于所述平面上的扬声器不能够决定平移系数时,基于垂直角可决定用于所述虚拟声源的平移系数。
又按照其他实施例,一种虚拟声像定位方法,其步骤可包括:判断扬声器是否位于二维空间或者三维空间;基于判断结果决定用于虚拟声源的平移系数。
决定所述平移系数的步骤是所述扬声器位于二维空间时,基于水平角可决定用于所述虚拟声源的平移系数。
决定所述平移系数的步骤是所述扬声器位于三维空间时,基于垂直角可决定用于所述虚拟声源的平移系数。
按照一个实施例,一种扬声器渲染器,可包括:决定单元,为了播放对应于输入信道的虚拟声源,决定能够在输出信道中使用的至少一个扬声器的播放信息;渲染单元,利用所述播放信息渲染输入信号。
按照其他实施例,一种扬声器渲染器,可包括:决定单元,基于将播放领域分割的细节领域决定用于播放虚拟声源的平移系数,所述播放领域由能够在输出信道中使用的至少一个扬声器所构成;及渲染单元,基于所述平移系数渲染输入信号。
又按照其他实施例,一种扬声器渲染器,可包括:决定单元,利用位于平面上的扬声器判断是否能够决定用于虚拟声源的平移系数,且基于判断结果决定用于虚拟声源的平移系数;及渲染单元,基于所述平移系数渲染输入信号。
又按照其他实施例,一种扬声器渲染器,可包括:决定单元,判断扬声器是否位于二维空间或者三维空间,且基于判断结果决定用于虚拟声源的平移系数;及渲染单元,基于所述平移系数渲染输入信号。
所述决定单元是所述扬声器位于二维空间时,基于水平角决定用于所述虚拟声源的平移系数,且所述扬声器位于三维空间时,基于垂直角可决定用于所述虚拟声源的平移系数。
技术效果
按照以下的实施例,扬声器构成的播放领域分割成细节领域,且基于要播放的虚拟声源所处的细节领域决定平移系数,可减少用于决定平移系数的演算量。
以下的实施例,考虑扬声器是否位于二维空间或者三维空间决定平移系数,可有效地播放虚拟声源。
附图简要说明
图1是示出按照一个实施例,执行虚拟声像定位方法的扬声器渲染器。
图2是示出按照一个实施例的虚拟声像定位方法。
图3是示出按照其他实施例的虚拟声像定位方法。
图4是示出按照一个实施例的空间分组基础的平移技术。
图5是示出在图4中K为3时的空间分组基础的平移技术。
图6是示出按照其他实施例的空间分组基础的平移技术。
图7是示出在图6中K为4时的空间分组基础的平移技术。
具体实施方式
以下,参考本发明的实施例的附图进行详细地说明。
图1是示出按照一个实施例,执行虚拟声像定位方法的扬声器渲染器。
参考图1,扬声器渲染器102可包括决定单元103及渲染单元104。
决定单元103可从解码器101接收混合器输出布局(mixer output layout)。其中,混合器输出布局可以是解码器101解码比特流,使输出的混合器输出信号的格式。对于扬声器渲染器102,混合器输出信号可以是输入信号,并且对应于此的混合器输出布局时输入格式。
决定单元103考虑混合器输出布局和播放布局可决定多个扬声器的播放信息。其中,播放信息是将显示混合器输出布局的输入格式变换成显示播放布局的输出格式时使用的信息。因此,扬声器渲染器102可表现为格式转换器(format converter)。
具体地,输入格式的信道个数比输出格式的信道个数大时,播放信息可以是将输入信号映射成输出信号的降混矩阵。即,扬声器渲染器102可将对应于播放M信道的输入信号时要考虑的播放布局变换成N信道的输出信号。决定单元103可决定用于格式变换的播放信息。
在这种情况下,对应于1信道的输入信号按照扬声器可映射为对应于1信道或者多个信道的输出信号。换言之,输入信号可映射为对应于1信道的输出信号。或者,输入信号可平移为对应于2信道的输出信号。并且,输入信号可分配为对应于三个以上信道的输出信号。
所以,决定单元103可决定将输入信号用于映射为对应于1信道或者多个信道的输出信号的播放信息。其中,播放信息可包括由多个平移系数构成的降混矩阵。
在以下的实施例说明了将输入信号映射成输出信号时,对应于输入信号的声源可播放在扬声器的决定播放信息的过程。尤其是,决定单元103控制输入在扬声器的功率,使得在扬声器之间的虚拟空间,为了将不是实际声源的虚拟声源(virtual sound source)播放的效果提供给收听者的虚拟声像定位(virtual sound image localization)可决定平移系数(panning coefficient)。决定平移系数的过程在图2及图3各个进行说明。
渲染单元104基于播放信息将从解码器101接收的混合器输出信号映射为扬声器信号,可渲染混合器输出信号。换言之,渲染单元104将对应于输入格式的输入信号映射成对应于输出格式的输出信号,可渲染输入信号。具体地,渲染单元104利用在决定单元103决定的平移系数,将输入信号映射为输出信号,可渲染输入信号。
图2是示出按照一个实施例的虚拟声像定位方法。
在步骤201中,扬声器渲染器102可设定由多个扬声器构成的播放领域。其中,播放领域可以是连接两个扬声器的线或者包括三个以上扬声器的平面。在这种情况下,线可包括直线或者曲线(圆周)。
在这种情况下,假设对应于输入信号的虚拟声源在不是扬声器存在的位置,而是在播放领域播放。换言之,播放领域是由多个扬声器构成的虚拟的二维或者三维空间,可以是虚拟声源播放的位置。
在步骤202中,扬声器渲染器102可将播放领域分割成多个细节领域。在这种情况下,播放领域可分割为K个细节领域。分割的细节领域可相同或者不同。
在步骤203中,扬声器渲染器102可判断虚拟声源所处的细节领域。如之前所说,播放领域是虚拟声源播放的位置,所以扬声器渲染器102可判断虚拟声源构成播放领域的多个细节领域中,在哪些细节领域播放。
在步骤204中,扬声器渲染器102基于细节领域可决定用于播放虚拟声源的平移系数。在这种情况下,对于扬声器的平移系数可在-1到1之间决定。
在步骤205中,扬声器渲染器102可按照平移系数渲染输入信号。
在图2说明的虚拟声像定位方法是利用由扬声器构成的播放领域分组为多个细节领域的结果,所以可定义为分组为基础的平移技术。
基于在图2说明的虚拟声像定位方法将要说明变换具有多信道的输入信号的格式的过程。即,变换输入信号的格式的过程是将输入信号映射在输出信号,显示渲染输入信号的过程。
为了将M信道的输入信号的声源由N信道的扬声器(M>2,N>2)播放,需要将M信道的输入信号变换成N信道的输出信号的过程,并且这些变换过程可基于以下的数学式1被执行。
【数学式1】
Y=AX
其中,Y是通过对应于n信道(n=1~N)的扬声器播放的输出信号,并且可按照以下的数学式2被表现。
【数学式2】
Figure BDA0001510766710000071
并且,X是通过对应于m信道(m=1~M)的扬声器播放的输出信号,并且可按照以下的数学式3被表现。
【数学式3】
Figure BDA0001510766710000072
还有,A是NxM矩阵,可由图2说明的平移系数构成。在这种情况下,A可按照以下数学式4被表现。
【数学式4】
Figure BDA0001510766710000081
因此,将数学式1重新表现将如同数学式5。
【数学式5】
Figure BDA0001510766710000082
并且,数学式5由数学式6简单地被表现。
【数学式6】
n=an11+an22+…+anMM for n=1,2,...,N
假设M信道的输入信号是22.2信道、14.0信道、11.1信道、9.0信道的输入信号,如下表1只有按照各信道的格式被x表示的信道可实际地被包括。
【表1】
Figure BDA0001510766710000091
还有,假设N信道的输出信号是5.1信道、8.1信道、10.1信道的输出信号,如下表2只有按照各信道的格式被x表示的信道可实际地被包括。
【表2】
Figure BDA0001510766710000101
以下,显示将M信道的输入信号映射在N信道的输出信号渲染输入信号的过程。即,说明了输入格式变换为输出格式的过程。在以下的数学式7至数学式24中,等号的左侧是在表2表示的编号作为输出信号的信道编号,且等号的右侧是平移系数与输入信号的信道编号的组合。
(1)从22.2信道变换成5.1信道
【数学式7】
·1=1*1+1*13+0.7*25+1*26
·2=1*2+0.7*4+0.7*6+1*14+0.7*18+1*27
·3=1*3+0.7*5+0.7*7+1*15+0.7*19+1*28
·8=1*10+0.7*4+0.7*6+0.7*12+0.7*18+1*22+0.7*24+0.5*25
·9=1*11+0.7*5+0.7*7+0.7*12+0.7*19+1*23+0.7*24+0.5*25
·29=0.7*29+0.7*30
【数学式8】
·1=1*1+1*13+0.7*25+1*26
·2=1*2+0.7*4+0.7*6+1*14+0.7*18+1*27
·3=1*3+0.7*5+0.7*7+1*15+0.7*19+1*28
·8=1*10+0.7*4+0.7*6+0.7*12+0.7*18+1*22+0.7*24-0.5*25
·9=1*11+0.7*5+0.7*7+0.7*12+0.7*19+1*23+0.7*24-0.5*25
·29=0.7*29+0.7*30
(2)从22.2信道变换成8.1信道
【数学式9】
·2=1*2+0.7*1+0.7*4+0.7*6+1*27
·3=1*3+0.7*1+0.7*5+0.7*7+1*28
·8=1*10+0.7*4+0.7*6+0.7*12+0.7*18+1*22+0.7*
24+0.5*25
·9=1*11+0.7*5+0.7*7+0.7*12+0.7*19+1*23+0.7*24+0.5*25
·13=1*13+0.7*25
·16=1*14+0.7*18
·17=1*15+0.7*19
·26=1*26
·29=0.7*29+0.7*30
【数学式10】
·2=1*2+0.7*1+0.7*4+0.7*6+1*27
·3=1*3+0.7*1+0.7*5+0.7*7+1*28
·8=1*10+0.7*4+0.7*6+0.7*12+0.7*18+1*22+0.7*24-0.5*25
·9=1*11+0.7*5+0.7*7+0.7*12+0.7*19+1*23+0.7*24-0.5*25
·13=1*13+0.7*25
·16=1*14+0.7*18
·17=1*15+0.7*19
·26=1*26
·29=0.7*29+0.7*30
(3)从22.2信道变换成10.1信道
【数学式11】
·1=1*1+1*26
·2=1*2+0.7*4+0.7*6+1*27
·3=1*3+0.7*5+0.7*7+1*28
·8=1*10+0.7*4+0.7*6+0.7*12
·9=1*11+0.7*5+0.7*7+0.7*12
·16=1*14+0.7*13+0.7*18
·17=1*15+0.7*13+0.7*19
·20=1*22+0.7*18+0.7*24
·21=1*23+0.7*19+0.7*24
·25=1*25
·29=0.7*29+0.7*30
(4)从14.0信道变换成5.1信道
【数学式12】
·1=1*1+1*13+0.7*25
·2=1*2+1*14+0.7*18
·3=1*3+1*15+0.7*19
·8=1*10+0.7*18+1*22+0.7*24+0.5*25
·9=1*11+0.7*19+1*23+0.7*24+0.5*25
·29=0
【数学式13】
·1=1*1+1*13+0.7*25
·2=1*2+1*14+0.7*18
·3=1*3+1*15+0.7*19
·8=1*10+0.7*18+1*22+0.7*24-0.5*25
·9=1*11+0.7*19+1*23+0.7*24-0.5*25
·29=0
(5)从14.0信道变换成8.1信道
【数学式14】
·2=1*2+0.7*1
·3=1*3+0.7*1
·8=1*10+0.7*18+1*22+0.7*24+0.5*25
·9=1*11+0.7*19+1*23+0.7*24+0.5*25
·13=1*13+0.7*25
·16=1*14+0.7*18
·17=1*15+0.7*19
·26=0
·29=0
【数学式15】
·2=1*2+0.7*1
·3=1*3+0.7*1
·8=1*10+0.7*18+1*22+0.7*24-0.5*25
·9=1*11+0.7*19+1*23+0.7*24-0.5*25
·13=1*13+0.7*25
·16=1*14+0.7*18
·17=1*15+0.7*19
·26=0
·29=0
(6)从14.0信道变换成10.1信道
【数学式16】
·1=1*1
·2=1*2
·3=1*3
·8=1*10
·9=1*11
·16=1*14+0.7*13+0.7*18
·17=1*15+0.7*13+0.7*19
·20=1*22+0.7*18+0.7*24
·21=1*23+0.7*19+0.7*24
·25=1*25
·29=0
(7)从11.1信道变换成5.1信道
【数学式17】
·1=1*1+1*13+0.7*25
·2=1*2+1*16
·3=1*3+1*17
·8=1*8+1*20+0.5*25
·9=1*9+1*21+0.5*25
·29=1*29
【数学式18】
·1=1*1+1*13+0.7*25
·2=1*2+1*16
·3=1*3+1*17
·8=1*8+1*20-0.5*25
·9=1*9+1*21-0.5*25
·29=1*29
(8)从11.1信道变换成8.1信道
【数学式19】
·2=1*2+0.7*1
·3=1*3+0.7*1
·8=1*8+1*20+0.5*25
·9=1*9+1*21+0.5*25
·13=1*13+0.7*25
·16=1*16
·17=1*17
·26=0
·29=1*29
【数学式20】
·2=1*2+0.7*1
·3=1*3+0.7*1
·8=1*8+1*20-0.5*25
·9=1*9+1*21-0.5*25
·13=1*13+0.7*25
·16=1*16
·17=1*17
·26=0
·29=1*29
(9)从11.1信道变换成10.1信道
【数学式21】
·1=1*1
·2=1*2
·3=1*3
·8=1*8
·9=1*9
·16=1*16+0.707*13
·17=1*17+0.707*13
·20=1*20
·21=1*21
·25=1*25
·29=1*29
(10)从9.0信道变换成5.1信道
【数学式22】
·1=1*1
·2=1*2+1*16
·3=1*3+1*17
·8=1*8+1*20
·9=1*9+1*21
·29=0
(11)从9.0信道变换成8.1信道
【数学式23】
·2=1*2+0.7*1
·3=1*3+0.7*1
·8=1*8+1*20
·9=1*9+1*21
·13=0
·16=1*16
·17=1*17
·26=0
·29=0
(12)从9.0信道变换成10.1信道
【数学式24】
·1=1*1
·2=1*2
·3=1*3
·8=1*8
·9=1*9
·16=1*16
·17=1*17
·20=1*20
·21=1*21
·25=0
·29=0
一方面,在图2提出的虚拟声像定位方法不仅是时间领域,而且也适用于如快速傅里叶变换FFT(Fast Fourier transform)的频率领域,或者在利用正交镜像滤波器QMF(quadrature mirror filter),Hybrid filter等的变换中被考虑的子频带领域等。一方面,尽管是相同的输入信号和输出信号间的映射关系,可按照输入信号的频率频带等各领域适用其他平移系数。
图3是示出按照其他实施例的虚拟声像定位方法。
在步骤301中,扬声器渲染器102可判断存在于平面上的两个以下的扬声器是否可决定平移系数。如果,判断为可决定平移系数时,扬声器渲染器102利用基于两个扬声器的水平角可决定对于虚拟声源的平移系数。即,使平移位于平面上的两个扬声器,平移系数可被决定。
其中,对于虚拟声源的平移系数可基于以下数学式25被决定。
【数学式25】
Figure BDA0001510766710000171
其中,朝向收听者正面的基准线和右侧扬声器形成的角度可表现为θ1,且朝向收听者正面的基准线和左侧扬声器形成的角度表现为360-θ2。一方面,θpan是虚拟声源和朝向收听者正面的基准线形成的角度。θm是将适用在左侧扬声器和右侧扬声器的增益值各个表现为cos θm和sin θm。因此,cos θm和sin θm的平方之和是1,这显示分配在左侧扬声器和右侧扬声器的功率的合是恒定的。
如果,在步骤301中判断为不可决定平移系数时,在步骤302中,扬声器渲染器102可判断由平面上的三个扬声器是否可决定平移系数。如果,判断为可决定平移系数时,在步骤304中,扬声器渲染器102利用基于三个扬声器的水平角可决定对于虚拟声源的平移系数。即,使平移位于平面上的三个扬声器,平移系数可被决定。
如果,在步骤302判断为不可决定平移系数时,在步骤303利用扬声器渲染器102的垂直角可决定对于虚拟声源的平移系数。步骤303是虚拟声源位于两个或者三个扬声器存在平面的情况。在这种情况下,扬声器渲染器102选择虚拟声源位置最近的扬声器,且可决定存在于将两个或者三个扬声器由相同的垂直角投影位置的虚拟声源的平移系数。
基于在图3说明的虚拟声像定位方法说明变换具有多信道的输入信号格式的过程。即,变换输入信号格式的过程是将输入信号映射在输出信号,使显示渲染输入信号的过程。图3的渲染过程可决定与在图2说明的数学式1至数学式6相同的过程。
假设M信道的输入信号是22.2信道、14.0信道、11.1信道、9.0信道的输入信号,如所述表1只有按照各信道的格式被x表示的信道可实际的被包括。
还有,假设N信道的输出信号是5.1信道、10.1信道的输出信号,如下表3只有按照各信道的格式被x表示的信道可实际的被包括。
【表3】
Figure BDA0001510766710000191
以下,显示将M信道的输入信号映射在N信道的输出信号渲染输入信号的过程。即,说明了输入格式变换为输出格式的过程。在以下的数学式26至数学式33中,等号的左侧是在表2表示的编号作为输出信号的信道编号,且等号的右侧是平移系数与输入信号的信道编号的组合。
(1)从22.2信道变换成5.1信道
【数学式26】
·3=0.43*1+1*3+0.84*5+0.37*7+0.82*13+0.96*15+0.37*19+0.96*28
·9=0.55*5+0.93*7+0.92*11+0.60*12+0.27*15+0.93*19+0.92*23+0.60*24+0.42*25+0.27*28
·14=0.37*1+0.89*2+0.97*4+0.71*6+0.58*13+1*14+0.71*18+1*27
·22=0.25*4+0.71*6+1*10+0.39*11+0.80*12+0.71*18+1*22+0.39*23+0.80*24+0.57*25
·26=0.82*1+0.46*2+0.7125+1*26
·29=0.707*29+0.707*30
(2)从22.2信道变换成10.1信道
【数学式27】
·3=0.32*1+1*3+0.71*5+0.94*28
·7=0.71*5+1*7+0.34*28
·8=0.46*4+0.94*6
·15=0.58*13+1*15+0.44*19
·16=0.39*1+0.52*2+0.37*4+0.14*6+0.82*13+0.97*14+0.63*18
·21=0.92*11+0.60*12+0.90*19+0.92*23+0.60*24
·22=1*10+0.39*11+0.80*12+0.25*14+0.77*18+1*22+0.39*23+0.80*24
·25=1*25
·26=0.86*1+0.39*2+1*26
·27=0.76*2+0.81*4+0.32*6+1*27
·29=0.707*29+0.707*30
(3)从14.0信道变换成5.1信道
【数学式28】
·3=0.43*1+1*3+0.82*13+0.96*15+0.37*19
·9=0.92*11+0.27*15+0.93*19+0.92*23+0.60*24+0.42*25
·14=0.37*1+0.89*2+0.58*13+1*14+0.71*18
·22=1*10+0.39*11+0.71*18+1*22+0.39*23+0.80*24+0.57*25
·26=0.82*1+0.46*2+0.71*25
·29=0
(4)从14.0信道变换成10.1信道
【数学式29】
·3=0.32*1+1*3
·7=0
·8=0
·15=0.58*13+1*15+0.44*19
·16=0.39*1+0.52*2+0.82*13+0.97*14+0.63*18
·21=0.92*11+0.90*19+0.92*23+0.60*24
·22=1*10+0.39*11+0.25*14+0.77*18+1*22+0.39*23+0.80*24
·25=1*25
·26=0.86*1+0.39*2
·27=0.76*2
·29=0
(5)从11.1信道变换成5.1信道
【数学式30】
·3=0.43*1+1*3+0.82*13+1*17
·9=1*9+1*21+0.42*25
·14=0.37*1+0.89*2+0.42*8+0.58*13+0.89*16+0.42*20
·22=0.91*8+0.91*20+0.57*25
·26=0.82*1+0.46*2+0.46*16+0.71*25
·29=1*29
(6)从11.1信道变换成10.1信道
【数学式31】
·3=0.32*1+1*3
·7=0
·8=1*8
·15=0.58*13+0.96*17
·16=0.39*1+0.52*2+0.82*13+1*16+0.29*17+0.39*20
·21=1*9+1*21
·22=0.92*20
·25=1*25
·26=0.86*1+0.39*2
·27=0.76*2
·29=1*29
(7)从9.0信道变换成5.1信道
【数学式32】
·3=0.43*1+1*3+1*17
·9=1*9+1*21
·14=0.37*1+0.89*2+0.42*8+0.89*16+0.42*20
·22=0.91*8+0.91*20
·26=0.82*1+0.46*2+0.46*16
·29=0
(8)从9.0信道变换成10.1信道
【数学式33】
·3=0.32*1+1*3
·7=0
·8=1*8
·15=0.96*17
·16=0.39*1+0.52*2+1*16+0.29*17+0.39*20
·21=1*9+1*21
·22=0.92*20
·25=0
·26=0.86*1+0.39*2
·27=0.76*2
·29=0
在数学式27至数学式33中,如同显示上行信道的输入信号由位于水平面的扬声器播放的情况,对应于输入信号的输入信道和对应于输出信号的输出信道的垂直角不同时,平移系数中的一部分可被用于负数。由此,可更有效地播放与扬声器垂直角具有不同垂直角的虚拟声源。
一方面,提出的方法不仅是时间领域,而且可适用于如利用fft(fast fouriertransform)等的按照变换的频率领域,或者利用QMF(quadrature mirror filter)和/或Hybrid filter等的按照变换的子频带领域等。在这种情况下,尽管是相同的输入、输出信道的连接情况,也可按照频率频带等各领域将适用其他平移系数。
经图3,即使扬声器未存在于在标准化输出格式定义的位置,但是对扬声器提供水平角和垂直角,可使决定平移系数。还有,输入信号变换的输出信号播放的扬声器之间的距离变化(distance variation)也可决定平移系数时被利用。
在图2及图3说明的数学式通过标志可不同的适用在各样品或者各帧。其中,数学式涉及为了播放虚拟声源的虚拟声像定位方法,经各样品或者各帧的不同方法可将M信道的输入信号变换为N信道的输出信号。
图4是示出按照一个实施例的空间分组基础的平移技术。
参考图4,存在两个扬声器401、402。在这种情况下,以收听者403为中心又左侧扬声器401和右侧扬声器402。其中,假设扬声器401、402存在于二维空间(线或者平面)。
基于以收听者403为中心的左侧扬声器401和右侧扬声器402可设定播放领域。因此,播放领域可分割成K个细节领域(领域1,领域2,…,领域K)。这些播放领域分组为细节领域,并且平移系数可基于要播放的虚拟声源位于哪些细节领域被决定。
图5是示出在图4中K为3时的空间分组基础的平移技术。
以收听者504为中心有左侧扬声器501和右侧扬声器502。在这种情况下,虚拟声源503可位于连接左侧扬声器501和右侧扬声器502的圆周被播放。
一方面,圆周可被分割成构成播放领域的细节领域。图5示出了将构成左侧扬声器501和右侧扬声器502的播放领域分割成三个细节领域播放虚拟声源的情况。但是按照一个实施例,不需均等的分割。
在这种情况下,左侧扬声器501和右侧扬声器502所成的角度θ时,且对应于细节领域的角度为θd时,按照虚拟声像定位方法决定平移系数的过程如下。
作为一个示例,虚拟声源503在对应于细节领域领域1的圆周播放时,为了播放虚拟声源503全部功率分配在左侧扬声器501。例如,θ为60度、θd为20度时虚拟声源在0度到20度播放时,虚拟声源可由在0度的左侧扬声器501被播放。
作为其他示例,虚拟声源503在对应于细节领域领域2的圆周播放时,为了播放虚拟声源503在左侧扬声器501和右侧扬声器502可分配相同的功率。例如,θ为60度、θd为20度时虚拟声源在20度到40度播放时,输入信号的
Figure BDA0001510766710000241
功率分配在左侧扬声器501和右侧扬声器502,可使虚拟声源被播放。
作为又一个示例,虚拟声源503在对应于细节领域领域3的圆周播放时,为了播放虚拟声源503全部功率分配在右侧扬声器502。例如,θ为60度、θd为20度时虚拟声源在40度到60度播放时,虚拟声源可由在60度的右侧扬声器502被播放。
图5说明了播放领域分割为三个细节领域的情况。与此不同,播放领域分割为两个细节领域时,按照要播放的虚拟声源的位置可选择扬声器。
图6是示出按照其他实施例的空间分组基础的平移技术。
图6与图5不同说明了存在于三维空间的扬声器601、602、603的情况。例如,扬声器601、602、603中至少一个存在于平面,且其余的布置在不是平面的三维空间的情况。换言之,图6不仅是收听者所处的水平方向,也在垂直方向(上行或者下行)存在扬声器的情况。
在图6中,由三个扬声器601、602、603构成的播放领域可分割成K个细节领域。播放领域可均等的分割或者不均等的分割。因此,在K个细节领域中,可使与相应于虚拟声源播放位置的细节领域相关的扬声器分配功率决定平移系数。平移系数可具有-1到1之间的值。
图7是示出在图6中K为4时的空间分组基础的平移技术。
参考图7,示出了由存在于三维空间的扬声器701、702、703构成的播放领域分割成四个细节领域的情况。即,由三个扬声器701、702、703可决定四个细节领域。因此,要播放的虚拟声源按照四个细节领域中存在于哪些细节领域的与否,可决定对虚拟声源的平移系数。
上述说明的装置可由硬件构成要素、软件构成要素、和/或硬件构成要素及软件构成要素的组合被体现。例如,说明的装置及构成要素,可利用类似处理器、控制器、算术逻辑单元ALU(arithmetic logic unit)、数字信号处理器(digital signal processor)、微型计算机、现场可编程阵列FPA(field programmable array)、可编程逻辑单元PLU(programmable logic unit)、微处理器、或执行指令(instruction)的其他任何装置、一个以上的范用计算机或特殊目的计算机被体现。处理装置可执行操作***(OS)及该操作***中所执行的一个以上的软件应用程序。此外,处理装置可应答软件的执行,来存取、存储、运行、处理、生成数据。为了便于理解,处理装置被说明是使用一个,但在相关技术领域中,具有通常知识的技术人员应理解,处理装置可包括多个处理元件(processing element)和/或多个类型的处理元件。例如,处理装置可包括多个处理器或一个处理器,以及一个控制器。此外,也可以是类似并行处理器(parallel processor)的其他处理配置(processingconfiguration)。
软件是计算机程序(computer program)、代码(code)、命令(instruction)或者可包括其中的一个以上的组合,并且可命令按所愿的动作构成处理装置,或者独立的或者结合的(collectively)处理装置。软件和/或数据是经处理装置被解释或者为了给处理装提供命令或者数据,可被具体化(embody)为哪些类型的机器、构成要素(component)、物理装置、虚拟装置(virtual equipment)、计算机存储介质或者装置,或者在被传输的信号波(signal wave)永久的,或者一时的。软件分散在由网络连接的计算机***上,以分散的方法存储或者可被执行。软件及数据可存储在一个以上的计算机可读记录媒体。
根据实施例的方法可通过多种计算机手段以可执行的程序指令形态被记录在计算机可读媒体中。计算机可读媒体可包括独立的或结合的程序指令、数据文件、数据结构等。媒体和程序指令可为了本发明被专门设计和创建,或为计算机软件技术人员熟知而应用。计算机可读媒体的例子包括:磁媒体(magnetic media),如硬盘、软盘和磁带;光学媒体(optical media),如CD ROM、DVD;磁光媒体(magneto-optical media),如光盘(flopticaldisk);和专门配置为存储和执行程序指令的硬件装置,如只读存储器(ROM)、随机存取存储器(RAM)等。程序指令的例子,既包括由编译器产生的机器代码,也包括使用解释程序并可通过计算机被执行的高级语言代码。为执行实施例的运作,所述硬件装置可被配置为以一个以上的软件模来运作,反之亦然。
如上所示,本发明虽然由限定的实施例护套图被说明,但是本发明不限于所述实施例,并且本发明的技术人员可从这些器材进行多样的修改及变更。例如,说明的技术与说明的方法不同的被执行和/或说明的***、结构、装置、回路等构成要素与索命的方法不同的形态结合或者组合,或者经其他构成要素或者均等物代替或者置换也可达到适当的结果。因此,本发明的范围不能局限于所说明的实施例,并且不仅由后续的权利要求范围,而且与此权利要求范围均等的被决定。

Claims (7)

1.一种虚拟声像定位方法,包括:
设定与多个扬声器所相关联的播放领域;
基于虚拟声像定位来确定所述领域中的虚拟声源的位置;
基于所述位置来确定用于播放所述虚拟声源的平移系数;
渲染以将输入信号映射到对应于扬声器的输出信号,
其中,确定虚拟声源的位置包括:
将播放领域分割成多个三角形细节领域;
确定三角形细节领域中待播放的虚拟声源所在的一个三角形细节领域;
基于所确定的三角形细节领域确定用于播放虚拟声源的平移系数,
其中,基于与存在虚拟声源的三角形细节领域相关的扬声器的功率来确定虚拟声源。
2.如权利要求1所述的虚拟声像定位方法,其中,所述扬声器位于收听者的垂直方向或水平方向。
3.如权利要求1所述的虚拟声像定位方法,其中根据基于向量的振幅平移VBAP,来确定该平移系数。
4.根据权利要求1所述的虚拟声像定位方法,其中所述扬声器存在于二维空间或三维空间。
5.一种虚拟声像定位方法,包括:
识别收听者周围的多个扬声器;
确定在扬声器处连接的圆周上的虚拟声源的位置;
基于虚拟声源的位置确定从扬声器分配的虚拟声源的功率;以及
基于虚拟声像定位,基于虚拟声源的功率来确定虚拟声源的平移系数,
其中,确定虚拟声源的位置包括:
将播放领域分割成多个三角形细节领域;
确定三角形细节领域中待播放的虚拟声源所在的一个三角形细节领域;
基于所确定的三角形细节领域确定用于播放虚拟声源的平移系数,
其中,基于与存在虚拟声源的三角形细节领域相关的扬声器的功率来确定虚拟声源。
6.一种虚拟声像定位方法,包括:
为了播放对应于输入信道的虚拟声源,确定能够在输出信道中使用的至少一个扬声器的播放信息;以及
基于播放信息渲染输入信号;
其中所述确定包括:
将对应于连接K个扬声器的圆周的播放领域分割成多个细节领域;
确定从播放领域提取的细节领域中的、虚拟声源所处的细节领域;以及
基于所确定的细节领域来确定扬声器的平移系数,
其中,基于与存在虚拟声源的三角形细节领域相关的扬声器的功率来确定虚拟声源。
7.一种虚拟声像定位方法,包括:
设定包括能够在输出信道中使用的至少一个扬声器的播放领域;
将对应于连接K个扬声器的圆周的播放领域分割成多个细节领域;
在所述细节领域中确定待播放的虚拟声源所处的细节领域;
基于所确定的细节领域确定用于播放虚拟声源的平移系数;以及
基于平移系数渲染输入信号,
其中根据基于向量的振幅平移VBAP,来确定该平移系数,
其中,基于与存在虚拟声源的三角形细节领域相关的扬声器的功率来确定虚拟声源。
CN201711353960.6A 2013-07-05 2014-07-07 在二维及三维空间上的虚拟声像定位方法 Active CN107968985B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR10-2013-0079116 2013-07-05
KR20130079116 2013-07-05
KR20130079263 2013-07-05
KR10-2013-0079263 2013-07-05
KR1020140083959A KR102149046B1 (ko) 2013-07-05 2014-07-04 2차원 및 3차원 공간 상에서의 가상 음상 정위 방법
KR10-2014-0083959 2014-07-04
CN201480008005.7A CN104982040B (zh) 2013-07-05 2014-07-07 在二维及三维空间上的虚拟声像定位方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480008005.7A Division CN104982040B (zh) 2013-07-05 2014-07-07 在二维及三维空间上的虚拟声像定位方法

Publications (2)

Publication Number Publication Date
CN107968985A CN107968985A (zh) 2018-04-27
CN107968985B true CN107968985B (zh) 2020-03-10

Family

ID=52477292

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480008005.7A Expired - Fee Related CN104982040B (zh) 2013-07-05 2014-07-07 在二维及三维空间上的虚拟声像定位方法
CN201711353960.6A Active CN107968985B (zh) 2013-07-05 2014-07-07 在二维及三维空间上的虚拟声像定位方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480008005.7A Expired - Fee Related CN104982040B (zh) 2013-07-05 2014-07-07 在二维及三维空间上的虚拟声像定位方法

Country Status (3)

Country Link
US (1) US20160112820A1 (zh)
KR (2) KR102149046B1 (zh)
CN (2) CN104982040B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016182184A1 (ko) * 2015-05-08 2016-11-17 삼성전자 주식회사 입체 음향 재생 방법 및 장치
US9942687B1 (en) 2017-03-30 2018-04-10 Microsoft Technology Licensing, Llc System for localizing channel-based audio from non-spatial-aware applications into 3D mixed or virtual reality space
CN109391896B (zh) * 2018-10-29 2021-05-18 中国传媒大学 一种音效生成方法及装置
CN109286888B (zh) * 2018-10-29 2021-01-29 中国传媒大学 一种音视频在线检测与虚拟声像生成方法及装置
EP3709171A1 (en) * 2019-03-13 2020-09-16 Nokia Technologies Oy Audible distractions at locations external to a device
CN111954146B (zh) * 2020-07-28 2022-03-01 贵阳清文云科技有限公司 虚拟声环境合成装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009077379A (ja) * 2007-08-30 2009-04-09 Victor Co Of Japan Ltd 立体音響再生装置、立体音響再生方法及びコンピュータプログラム
KR20090050380A (ko) * 2007-11-15 2009-05-20 삼성전자주식회사 오디오 매트릭스 디코딩 방법 및 장치
JP2011211312A (ja) * 2010-03-29 2011-10-20 Panasonic Corp 音像定位処理装置及び音像定位処理方法
CN102860048A (zh) * 2010-02-26 2013-01-02 诺基亚公司 修改多个音频信号的空间图像

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19646055A1 (de) * 1996-11-07 1998-05-14 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Abbildung von Schallquellen auf Lautsprecher
JP2002345097A (ja) * 2001-05-15 2002-11-29 Sony Corp サラウンド音場再生システム
EP1761110A1 (en) * 2005-09-02 2007-03-07 Ecole Polytechnique Fédérale de Lausanne Method to generate multi-channel audio signals from stereo signals
US9014377B2 (en) * 2006-05-17 2015-04-21 Creative Technology Ltd Multichannel surround format conversion and generalized upmix
EP2154911A1 (en) * 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for determining a spatial output multi-channel audio signal

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009077379A (ja) * 2007-08-30 2009-04-09 Victor Co Of Japan Ltd 立体音響再生装置、立体音響再生方法及びコンピュータプログラム
KR20090050380A (ko) * 2007-11-15 2009-05-20 삼성전자주식회사 오디오 매트릭스 디코딩 방법 및 장치
CN102860048A (zh) * 2010-02-26 2013-01-02 诺基亚公司 修改多个音频信号的空间图像
JP2011211312A (ja) * 2010-03-29 2011-10-20 Panasonic Corp 音像定位処理装置及び音像定位処理方法

Also Published As

Publication number Publication date
KR20150005477A (ko) 2015-01-14
CN104982040B (zh) 2018-01-12
KR20200105455A (ko) 2020-09-07
CN104982040A (zh) 2015-10-14
CN107968985A (zh) 2018-04-27
US20160112820A1 (en) 2016-04-21
KR102149046B1 (ko) 2020-08-28

Similar Documents

Publication Publication Date Title
CN107968985B (zh) 在二维及三维空间上的虚拟声像定位方法
RU2625953C2 (ru) Посегментная настройка пространственного аудиосигнала к другой установке громкоговорителя для воспроизведения
CN107690123B (zh) 音频提供方法
JP6330034B2 (ja) 適応的なオーディオ・コンテンツの生成
CN111434126B (zh) 信号处理装置和方法以及程序
JP5826996B2 (ja) 音響信号変換装置およびそのプログラム、ならびに、3次元音響パンニング装置およびそのプログラム
EP3332557B1 (en) Processing object-based audio signals
JP6486489B2 (ja) メタデータ保存オーディオ・オブジェクト・クラスタリング
US10375472B2 (en) Determining azimuth and elevation angles from stereo recordings
TWI830989B (zh) 使用有效的中間繞射路徑來渲染一音訊場景的設備及方法
KR102323529B1 (ko) 복합 차수 앰비소닉을 이용한 오디오 신호 처리 방법 및 장치
US11032639B2 (en) Determining azimuth and elevation angles from stereo recordings
EP3488623B1 (en) Audio object clustering based on renderer-aware perceptual difference
Vorländer et al. Virtual room acoustics
CN110637466B (zh) 扬声器阵列与信号处理装置
US20240235511A9 (en) Rendering method of preventing object-based audio from clipping and apparatus for performing the same
US20240136993A1 (en) Rendering method of preventing object-based audio from clipping and apparatus for performing the same
Zotter et al. Signal flow and effects in ambisonic productions
US20230345197A1 (en) Method of rendering object-based audio and electronic device for performing the method
US20230224659A1 (en) Method and apparatus for ambisonic signal reproduction in virtual reality space
KR20230109543A (ko) Vr 공간에서 앰비소닉 신호를 재생하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant