CN105451151B - 一种处理声音信号的方法及装置 - Google Patents

一种处理声音信号的方法及装置 Download PDF

Info

Publication number
CN105451151B
CN105451151B CN201410439142.8A CN201410439142A CN105451151B CN 105451151 B CN105451151 B CN 105451151B CN 201410439142 A CN201410439142 A CN 201410439142A CN 105451151 B CN105451151 B CN 105451151B
Authority
CN
China
Prior art keywords
signal
microphone
mobile terminal
voice signal
initial value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410439142.8A
Other languages
English (en)
Other versions
CN105451151A (zh
Inventor
陈景东
李海婷
张德明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201410439142.8A priority Critical patent/CN105451151B/zh
Priority to EP15166654.2A priority patent/EP2991382B1/en
Priority to KR1020150075144A priority patent/KR101724514B1/ko
Priority to JP2015113909A priority patent/JP2016052117A/ja
Priority to US14/822,476 priority patent/US9439019B2/en
Publication of CN105451151A publication Critical patent/CN105451151A/zh
Application granted granted Critical
Publication of CN105451151B publication Critical patent/CN105451151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/405—Non-uniform arrays of transducers or a plurality of uniform arrays with different transducer spacing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Telephone Function (AREA)

Abstract

本发明实施例公开了一种处理声音信号的方法及装置，涉及音频信号处理领域，能够采集并处理终端周围三维声场信号。本发明的方法包括：移动终端从三维声场中获取声音信号，所述移动终端设置有至少3个麦克风，其中，一个麦克风用于接收至少一个方向上的声音信号；根据所获取的声音信号，获取声源相对于所述移动终端的方向；根据所述声源相对于所述移动终端的方向和所获取的声音信号，得到空间音频信号，所述空间音频信号用于模拟所述三维声场。本发明适用于采集及处理终端周围三维声场信号的过程。

Description

一种处理声音信号的方法及装置
技术领域
本发明涉及音频信号处理领域，尤其涉及一种处理声音信号的方法及装置。
背景技术
随着电子信息技术的发展，三维声场采集处理不断的得到完善，而移动终端是三维声场采集处理***中的常用设备。在现有技术中，移动终端进行三维声场采集处理的具体手段为：
应用于移动终端二维声场采集的波束形成技术，利用波束形成技术产生0度和180度两个方向上的具有心形指向的波束，实现立体声信号的采集。将这种技术应用到三维声场采集上，利用波束形成技术，得到不同方向的波束，来模拟5.1声道声场采集***中的中央声道，左前声道、右前声道、左后环绕声道、右后环绕声道。
目前，利用二维声场采集的波束形成技术在移动终端上所模拟的三维声场，由于利用的是用于二维声场采集的波束形成技术，产生的是0度和180度两个方向上的具有心形指向的波束，这就会导致所模拟出来的三维声场的实际播放效果会出现左右的区分要比前后明显的现象，这就使得所模拟出来的三维声场还是具有二维声场的特征，所模拟的三维声场的质量较低。
发明内容
本发明的实施例提供一种处理声音信号的方法及装置，能够采集并处理终端周围三维声场信号。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，本发明的实施例提供一种处理声音信号的方法，包括：
移动终端从三维声场中获取声音信号，所述移动终端设置有至少3个麦克风，其中，一个麦克风用于接收至少一个方向上的声音信号；
根据所获取的声音信号，获取声源相对于所述移动终端的方向；
根据所述声源相对于所述移动终端的方向和所获取的声音信号，得到空间音频信号，所述空间音频信号用于模拟所述三维声场。结合第一方面，在第一方面的第一种可能的实现方式中，所述根据所获取的声音信号，获取声源相对于所述移动终端的方向，包括：
获取所述移动终端上的麦克风接收到一个方向上的声音信号与另一个方向上的声音信号之间的到达时间差，所述移动终端上的麦克风用于接收至少四个方向上的声音信号；
根据所获取的到达时间差和所述移动终端上的麦克风在所述移动终端上的位置，得到所述声源相对于所述移动终端的方向。
结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述获取所述移动终端上的麦克风接收到一个方向上的声音信号与另一个方向上的声音信号之间的到达时间差，包括：
依据获取在第m麦克风接收到的声音信号与在第1麦克风接收到的声音信号之间的到达时间差，其中，p表示时延样点数，y1(n)表示在第1麦克风接收到的声音信号，ym(n)表示在第m麦克风接收到的声音信号， 表示y1(n)和ym(n)之间的互相关谱，Φ(f)表示接收到的各个方向上的声音信号所在频域的加权函数。
结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述根据所获取的到达时间差和所述移动终端上的麦克风在所述移动终端上的位置，得到所述声源相对于所述移动终端的方向，包括：
根据估计第2麦克风接收到的声音信号的方向；根据估计第3麦克风接收到的声音信号的方向；根据估计第4麦克风接收到的声音信号的方向；
根据获取所述声源相对于所述移动终端的方向θ；
其中，所述第1麦克风与所述第4麦克风位于同一侧，所述第1麦克风与所述第2麦克风位于同一侧；c表示声速，d表示所述第1麦克风的中心点与所述第4麦克风的中心点之间的距离，d等于所述第2麦克风的中心点与所述第3麦克风的中心点之间的距离，h表示所述第1麦克风的中心点与所述第2麦克风的中心点之间的距离，h等于所述第3麦克风的中心点与所述第4麦克风的中心点之间的距离，α表示所述移动终端的对角线与所述第1麦克风和所述第4麦克风所位于的角所在的边的夹角。
结合第一方面的第二种可能的实现方式，在第一方面的第四种可能的实现方式中，所述根据所获取的到达时间差和所述移动终端上的麦克风在所述移动终端上的位置，得到所述声源相对于所述移动终端的方向，包括：
获取所述声源相对于所述移动终端的方向θ；
其中，所述第1麦克风与所述第2麦克风位于所述移动终端的一个面的轴对称线上，并分别处于所述一个面上的两条相互平行的边缘；所述第3麦克风与所述第4麦克风位于所述移动终端的另一面的轴对称线上，并分别处于所述另一个面上的两条相互平行的边缘；c表示声速，(x1,y1)表示对应于所述第1麦克风的坐标，(x2,y2)表示对应于所述第2麦克风的坐标，(x3,y3)表示对应于所述第3麦克风的坐标，(x4,y4)表示对应于所述第4麦克风的坐标。
结合第一方面或第一方面的第一种至第四种可能的实现方式中的任意一项所述的处理声音信号的方法，在第一方面的第五种可能的实现方式中，所述空间音频信号至少包括左侧方向上的信号、右侧方向上的信号、中侧方向上的信号、左后环绕信号、右后环绕信号；
所述根据所述声源相对于所述移动终端的方向和所获取的声音信号，得到空间音频信号，包括：
利用所述声源相对于所述移动终端的方向，生成增益调整参数，所述增益调整参数包括：对应于所述左侧方向上的信号、所述右侧方向上的信号和所述中侧方向上的信号的第1类增益调整参数αF、对应于所述左后环绕信号和所述右后环绕信号的第1类增益调整参数αB、对应于所述左侧方向上的信号和所述左后环绕信号的第2类增益调整参数αL、对应于所述右侧方向上的信号和所述右后环绕信号的第2类增益调整参数αR；并且，当所述声源相对于所述移动终端的方向θ∈[0，90)∪(270,360]时αF>αB，当θ∈(90,270)时αF<αB，当θ∈(0,180)时αL>αR，当θ∈(180,360)时αL<αR；
根据所述声音信号，获取所述空间音频信号中的各个方向上的信号的初始值；
根据所述增益调整参数和所述空间音频信号中的各个方向上的信号的初始值，生成所述左侧方向上的信号、所述右侧方向上的信号、所述中侧方向上的信号、所述左后环绕信号、所述右后环绕信号。
结合第一方面的第五种可能的实现方式，在第一方面的第六种可能的实现方式中，所述空间音频信号还包括：双声道信号；
所述方法还包括：
对所述左侧方向上的信号、所述右侧方向上的信号、所述中侧方向上的信号、所述左后环绕信号和所述右后环绕信号进行下混，生成所述双声道信号。
结合第一方面的第五种可能的实现方式，在第一方面的第七种可能的实现方式中，所述利用所述声源相对于所述移动终端的方向，生成增益调整参数包括：
其中，αF，min、αF，med1、αF，max1、αF，med2、αF，max2、αB，min1、αB，med1、αB，min2、αB，med2和αB，max为大于零的常数，并且αF，min<αF，med1<αF，max1，αF，min<αF，med2<αF，max2，αB，min1<αB，med1<αB，max，αB，min2<αB，med2<αB，max，αB，med1＝αF，med1，αB，med2＝αF，med2；
其中，αL，med1、αL，max、αL，med2、αL，min、αR，med1、αR，min、αR，med2和αR，max为大于零的常数，并且αL，min<αL，med1<αL，max，αL，min<αL，med2<αL，max，αR，min<αR，med1<αR，max，αR，min<αR，med2<αR，max，αL，med1＝αR，med1，αL，med2＝αR，med2。
结合第一方面的第七种可能的实现方式，在第一方面的第八种可能的实现方式中，根据所述增益调整参数和所述空间音频信号中的各个方向上的信号的初始值，生成所述空间音频信号中的各个方向上的信号，包括：
结合第一方面的第七种可能的实现方式，在第一方面的第九种可能的实现方式中，所述根据所述声音信号，获取所述空间音频信号中的各个方向上的信号的初始值包括：
获取心形指向的波束BFL(n)、BFR(n)、BFLS(n)和BFRS(n)，其中，BFL(n)的指向性极大值在(0,90°)，BFLS(n)的指向性极大值在(90°,180°)，BFRS(n)的指向性极大值在(180°,270°)，BFR(n)的指向性极大值在(270°,360°)；
所述左侧方向上的信号的初始值SL(n)＝BFL(n)，所述中侧方向上的信号的初始值所述右侧方向上的信号的初始值SR(n)＝BFR(k)，所述左后环绕信号的初始值SLS(n)＝BFLS(n)，所述右后环绕信号的初始值SRS(n)＝BFRS(n)，其中SL(n)表示所述左侧方向上的信号的初始值，SC(n)表示中侧方向上的信号的初始值，SR(n)表示右侧方向上的信号的初始值，SLS(n)表示左后环绕信号的初始值，SRS(n)表示右后环绕信号的初始值，n表示样点编号。
结合第一方面的第九种可能的实现方式，在第一方面的第十种可能的实现方式中，所述获取心形指向的波束BFL(n)、BFR(n)、BFLS(n)和BFRS(n)，包括：
利用所述第1至第4麦克风接收到的声音信号，获取心形指向的波束BFij(n)，其中，BFij(n)的指向性的极大值点在所述第i麦克风与第j麦克风的连线指向所述第i麦克风的方向，零点所述第i麦克风与第j麦克风的连线指向所述第j麦克风的方向，其中i,j＝1、2、3、4；
结合第一方面的第七种可能的实现方式，在第一方面的第十一种可能的实现方式中，所述根据所述增益调整参数和所述空间音频信号中的各个方向上的信号的初始值，生成所述空间音频信号中的各个方向上的信号包括：
依据SL，final(n)＝SL(n)*αL，获取所述左侧方向上的信号SL，final(n)，
依据SC，final(n)＝SC(n)，获取所述中侧方向上的信号SC，final(n)，
依据SR，final(n)＝SR(n)*αR，获取所述右侧方向上的信号SR，final(n)，
依据SLS，final(n)＝SLS(n)*αL，获取所述左后环绕信号SLS，final(n)，
依据SRS，final(n)＝SRS(n)*αR，获取所述右后环绕信号SRS，final(n)；
其中SL(n)表示所述左侧方向上的信号的初始值，SC(n)表示中侧方向上的信号的初始值，SR(n)表示右侧方向上的信号的初始值，SLS(n)表示左后环绕信号的初始值，SRS(n)表示右后环绕信号的初始值，n表示样点编号。
第二方面，本发明提供一种处理声音信号的装置，包括：
第一获取模块，用于从三维声场中获取声音信号，所述移动终端设置有至少3个麦克风，其中，一个麦克风用于接收至少一个方向上的声音信号；
第二获取模块，用于根据所获取的声音信号，获取声源相对于所述移动终端的方向；
第一处理模块，用于根据所述声源相对于所述移动终端的方向和所获取的声音信号，得到空间音频信号，所述空间音频信号用于模拟所述三维声场。
结合第二方面，在第二方面的第一种可能的实现方式中，所述第二获取模块，包括：
第一获取单元，用于获取所述移动终端上的麦克风接收到一个方向上的声音信号与另一个方向上的声音信号之间的到达时间差，所述移动终端上的麦克风用于接收至少四个方向上的声音信号；
第二获取单元，用于根据所获取的到达时间差和所述移动终端上的麦克风在所述移动终端上的位置，得到所述声源相对于所述移动终端的方向。
结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述第一获取单元，包括：
第一获取子单元，用于依据获取
在第m麦克风接收到的声音信号与在第1麦克风接收到的声音信号之间的到达时间差其中，p表示时延样点数，y1(n)表示在第1麦克风接收到的声音信号，ym(n)表示在第m麦克风接收到的声音信号， 表示y1(n)和ym(n)之间的互相关谱，Φ(f)表示接收到的各个方向上的声音信号所在频域的加权函数。
结合第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，所述第二获取单元，包括：
第二获取子单元，用于根据估计第2麦克风接收到的声音信号的方向；根据估计第3麦克风接收到的声音信号的方向；根据估计第4麦克风接收到的声音信号的方向；
第三获取子单元，用于根据获取所述声源相对于所述移动终端的方向θ；
其中，所述第1麦克风与所述第4麦克风位于同一侧，所述第1麦克风与所述第2麦克风位于同一侧；c表示声速，d表示所述第1麦克风的中心点与所述第4麦克风的中心点之间的距离，d等于所述第2麦克风的中心点与所述第3麦克风的中心点之间的距离，h表示所述第1麦克风的中心点与所述第2麦克风的中心点之间的距离，h等于所述第3麦克风的中心点与所述第4麦克风的中心点之间的距离，α表示所述移动终端的对角线与所述第1麦克风和所述第4麦克风所位于的角所在的边的夹角。
结合第二方面的第二种可能的实现方式，在第二方面的第四种可能的实现方式中，所述第二获取单元，包括：
获取所述声源相对于所述移动终端的方向θ；
其中，所述第1麦克风与所述第2麦克风位于所述移动终端的一个面的轴对称线上，并分别处于所述一个面上的两条相互平行的边缘；所述第3麦克风与所述第4麦克风位于所述移动终端的另一面的轴对称线上，并分别处于所述另一个面上的两条相互平行的边缘；c表示声速，(x1,y1)表示对应于所述第1麦克风的坐标，(x2,y2)表示对应于所述第2麦克风的坐标，(x3,y3)表示对应于所述第3麦克风的坐标，(x4,y4)表示对应于所述第4麦克风的坐标。
结合第二方面或第二方面的第一种至第四种可能的实现方式中的任意一项所述的处理声音信号的装置，所述空间音频信号至少包括左侧方向上的信号、右侧方向上的信号、中侧方向上的信号、左后环绕信号、右后环绕信号；
所述第一处理模块，包括：
第一处理单元，用于利用所述声源相对于所述移动终端的方向，生成增益调整参数，所述增益调整参数包括：对应于所述左侧方向上的信号、所述右侧方向上的信号和所述中侧方向上的信号的第1类增益调整参数αF、对应于所述左后环绕信号和所述右后环绕信号的第1类增益调整参数αB、对应于所述左侧方向上的信号和所述左后环绕信号的第2类增益调整参数αL、对应于所述右侧方向上的信号和所述右后环绕信号的第2类增益调整参数αR；并且，当所述声源相对于所述移动终端的方向θ∈[0，90)∪(270,360]时αF>αB，当θ∈(90,270)时αF<αB，当θ∈(0,180)时αL>αR，当θ∈(180,360)时αL<αR；
第二处理单元，用于根据所述声音信号，获取所述空间音频信号中的各个方向上的信号的初始值；
第三处理单元，用于根据所述增益调整参数和所述空间音频信号中的各个方向上的信号的初始值，生成所述左侧方向上的信号、所述右侧方向上的信号、所述中侧方向上的信号、所述左后环绕信号、所述右后环绕信号。
结合第二方面的第四种可能的实现方式，在第二方面的第六种可能的实现方式中，所述空间音频信号还包括：双声道信号；
所述装置还包括：
第四处理单元，用于对所述左侧方向上的信号、所述右侧方向上的信号、所述中侧方向上的信号、所述左后环绕信号和所述右后环绕信号进行下混，生成所述双声道信号。
本发明实施例提供的处理声音信号的方法及装置，能够从移动终端周围的三维声场中获取声音信号；并获取各个声源相对于移动终端的方向；再利用声源相对于移动终端的方向和声音信号，生成用于模拟三维声场的空间音频信号。本发明提供的方案，能够通过移动终端自身的元件采集和处理用于模拟三维声场的声音信号，并且分析出所接受到的各个方向上的声源相对于移动终端的方向，再结合各个方向上的声源相对于移动终端的方向模拟三维声场的效果，相对于现有技术中仅利用只有0度和180度两个方向的波束模拟三维声场的方案，由于本发明中获取了各个方向上的声源相对于移动终端的方向，而不仅限于0度和180度这两个方向，因此能够缓减所模拟出来的三维声场的左右的区分要比前后明显的现象，从而提升所模拟的三维声场的质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种声音信号处理的方法流程图；
图1a、图1b、图1c、图1d、图1e为本发明实施例提供的一种声音信号处理的应用场景结构示意图；
图2为本发明实施例提供的另一种声音信号处理的方法流程图；
图2a为本发明实施例提供的一种声音信号处理的方法的具体实现方式的流程图；
图2b为本发明实施例提供的另一种声音信号处理的方法的具体实现方式的流程图；
图2c为本发明实施例提供的一种声音信号处理的应用场景结构示意图；
图2d为本发明实施例提供的另一种声音信号处理的应用场景结构示意图；
图2e为本发明实施例提供的再一种声音信号处理的应用场景结构示意图；
图3为本发明实施例提供的一种声音信号处理的方法流程图；
图3a为本发明实施例提供的另一种声音信号处理的方法流程图；
图4为本发明实施例提供的一种声音信号处理的装置结构示意图；
图4a、图4b、图4c、图4d、图4e、图4f、图4g、图4h、图4i、图4j为本发明实施例提供的声音信号处理的装置的具体结构的示意图；
图5为本发明实施例提供的一种声音信号处理的实体设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例提供一种处理声音信号的方法，如图1所示，包括：
101，移动终端从三维声场中获取声音信号，所述移动终端设置有至少3个麦克风。
其中，一个麦克风用于接收至少一个方向上的声音信号。
本发明实施例可以应用于一种移动终端，移动终端上布置有麦克风，麦克风用于对三维声场进行测量，并从三维声场中获取声音信号并将声音信号传输给移动终端中的处理器进行增强处理，并且可以将增强前后的声音信号传输给移动终端中的存储器进行存储。具体的，移动终端上布置的麦克风可以是全指向型的麦克风，也可以是具有一定指向性的麦克风，比如，具体可以在移动终端上布置MEMS(Micro-Electro-Mechanical System，微机电***)麦克风，或是ECM(Electret Condenser Microphones，驻极体电容传声器)麦克风。
在本实施例中，麦克风在移动终端上的布置方式可以有多种，在不同的布置方式中移动终端上的麦克风的数量和位置并不限定，在本实施例中选取4个麦克风和3个麦克风的情况为例进行说明。例如：在移动终端上可以如图1a所示的将4个麦克风分别设置在移动终端的四个角上。也可以如图1b所示的,将4个麦克风分别设置在移动终端的四个边上。还可以如图1c所示的,在移动终端的底边、正面的听筒旁边、背面摄像头附近以及背面底边附近各设置一个麦克风；再例如：可以在移动终端上只设置3个麦克风。如图1d所示，在移动终端底边设置2个麦克风，在正面听筒的旁边设置1个麦克风。也可以如图1e所示的，在移动终端的底边、正面听筒的旁边、背面摄像头附近各设置一个麦克风。
102，根据所获取的声音信号，获取声源相对于所述移动终端的方向。
移动终端通过麦克风对发出声源进行估计，并得到声源相对于移动终端的方向。在本实施例中，对声源进行估计的方法可以有多种，比如基于最大输出功率的可控波束形成技术，或者是基于到达时间差的定位技术，还可以是基于高分辨率谱估计的定位技术等。
并且，移动终端在对声源位置进行估计的同时，还可以对接收到的声音信号进行增强处理。例如：移动终端可以利用波束形成、空间预测、听觉场景分析等技术手段获得各个方向增强后的声音信号。比如：移动终端通过波束形成增强声音信号的具体方法可以包括：延迟相加波束形成、滤波相加等固定波束形成技术，或者是基于最小方差无畸变响应准则的自适应波束形成算法、线性约束最小方差波束形成、旁瓣抵消算法等自适应波束形成技术，还可以是差分波束形成技术；移动终端通过空间预测增强声音信号的具体方法可以包括：通过预先设定某些方向上期望采集到的空间声信号，然后通过预先训练好的最优滤波器组，利用空间预测技术将移动终端上的声音接收器接收到的各个方向上的声音信号转换成为预先设定的某些方向上期望输出信号，从而使得输出的增强后的声音信号的噪声最小且预测误差趋近于零；在本实施例中，听觉场景分析技术具体可以是盲源分离算法。
增强得到至少具有波束指向性的两个方向上的声音信号，由一个麦克风接收到的声音信号经过增强处理得到的具有波束指向性一个方向上的声音信号，例如：可以区分为前方、后方、左侧、右侧等不同方向声源向移动终端发送的各个方向上的声音信号。比如：移动终端对接收到的声音信号进行增强处理后生成四个方向增强后的声音信号，分别具有左前侧、右前侧、左后侧、右后侧的波束指向性；也可以生成四个方向增强后的声音信号分别具有前侧、后侧、左侧、右侧的波束指向性。在本实施例中，也可以根据具体需要，由多个方向不同指向性的声音信号合成某一个指定方向上的声音信号，且经过增强处理得到的具有波束指向性的声音信号的波束形状可以为心形指向，也可以是超心形等其他形状。
103，根据所述声源相对于所述移动终端的方向和所获取的声音信号，得到空间音频信号。
其中，所述空间音频信号用于模拟所述三维声场，所述三维声场可以理解为移动终端周围在一定范围内的声场，声源可以从三维声场任意方向发出声音信号，并被移动终端接收。
例如：移动终端利用声源相对于移动终端的方向和接收到的各个方向上的声音信号，产生用5.1声道回放***模拟声场的空间音频信号，移动终端可以将增强后得到的各个方向上的声音信号映射为用于组成5.1声道回放***模拟声场的空间音频信号所需的总共六个方向上的声音信号，并利用声源相对于移动终端的方向，进一步提升用5.1声道回放***模拟声场的空间音频信号所需的六个方向上的声音信号的分离度，比如：移动终端可以根据声源相对于移动终端的方向，计算每个方向用5.1声道回放***模拟声场的空间音频信号所需的声音信号的增益调整参数，并利用增益调整参数调整用5.1声道回放***模拟声场的空间音频信号所需的声音信号。空间音频信号至少包括左侧方向上的信号、右侧方向上的信号、中侧方向上的信号、左后环绕信号、右后环绕信号。
其中，移动终端接收到的各个方向上的声音信号与用5.1声道回放***模拟声场的空间音频信号所需的六个方向上的声音信号之间的对应关系可以有多种。比如：对移动终端接收到的声音信号进行增强并输出四个方向上的声音信号，分别为左前、左后、右前以及右后；并将左前方向上的声音信号映射为用5.1声道回放***模拟声场的空间音频信号所需的左侧方向上的声音信号；将右前方向上的声音信号映射为用5.1声道回放***模拟声场的空间音频信号所需的右侧方向上的声音信号；根据左前方向上的声音信号和右前方向上的声音信号求取平均信号并将平均信号映射为用5.1声道回放***模拟声场的空间音频信号所需的中侧方向上的信号；将左后方向上的声音信号映射为用5.1声道回放***模拟声场的空间音频信号所需的左后环绕声音信号；将右后方向上的声音信号映射为用5.1声道回放***模拟声场的空间音频信号所需的右后环绕声音信号；根据左前方向、左后方向、右前方向和右后方向上的声音信号求取平均值并对平均值进行150Hz的低通滤波处理，得到用5.1声道回放***模拟声场的空间音频信号所需的重的低音信号。
再例如：对移动终端接收到的声音信号进行增强并输出四个方向上的声音信号，分别为前侧、后侧、左侧以及右侧四个方向上的声音信号；并将左侧方向与前侧方向上的声音信号的平均信号映射为用5.1声道回放***模拟声场的空间音频信号所需的左侧方向上的声音信号；将右侧方向与前侧方向上的声音信号的平均信号映射为用5.1声道回放***模拟声场的空间音频信号所需的右侧方向上的声音信号；将前侧方向上的声音信号映射为用5.1声道回放***模拟声场的空间音频信号所需的中侧方向上的信号；将左侧方向与后侧方向上的声音信号的平均信号映射为用5.1声道回放***模拟声场的空间音频信号所需的左后环绕声音信号；将右侧方向与后侧方向上的声音信号的平均信号映射为用5.1声道回放***模拟声场的空间音频信号所需的右后环绕声音信号；根据前侧方向、后侧方向、左侧方向和右侧方向上的声音信号求取平均值并对平均值进行150Hz的低通滤波处理，得到用5.1声道回放***模拟声场的空间音频信号所需的重的低音信号。
本发明实施例提供的处理声音信号的方法，能够从移动终端三维声场中获取声音信号；并获取各个声源相对于移动终端的方向；再利用声源相对于移动终端的方向和声音信号，得到用于模拟三维声场的空间音频信号。本发明提供的方案，能够通过移动终端自身的元件采集和处理用于模拟三维声场的声音信号，并且分析出所接受到的各个方向上的声源相对于移动终端的方向，再结合各个方向上的声源相对于移动终端的方向增强三维声场的效果，相对于现有技术中仅利用波束模拟三维声场的方案，由于本发明中获取了各个方向上的声源相对于移动终端的方向，并利用该方向信息对波束形成进行进一步的增益调整，因此能够缓减所模拟出来的三维声场的左右的区分要比前后明显的现象，从而提升所模拟的三维声场的质量。
在本实施例中，移动终端获取声源相对于所述移动终端的方向的方式可以有多种，比如可以采用定位技术获取作为声源的移动终端和移动终端的空间坐标，并根据作为声源的移动终端和移动终端的空间坐标确定声源相对于所述移动终端的方向。但是在移动终端进行定位的过程中需要占用网络带宽，并且定位过程有一定的延时，而在本实施例中，移动终端需要获取多个方向上的声源相对于移动终端的方向，可以通过基于到达时间差的定位技术获取声源相对于所述移动终端的方向，因此，如图2所示，102的具体实现方式可以包括：
1021，获取所述移动终端上的麦克风接收到一个方向上的声音信号与另一个方向上的声音信号之间的到达时间差。。
其中，移动终端上的麦克风用于接收至少四个方向上的声音信号。
具体的，依据获取在第m麦克风接收到的声音信号与在第1麦克风接收到的声音信号之间的到达时间差。
其中，p表示时延样点数，p的值一般会根据不同的应用***中麦克风之间的相对距离以及位置关系，信号的采样率，声速，声源入射角度的范围等条件，在一个指定范围内随机获取，y1(n)表示在第1麦克风接收到的声音信号，ym(n)表示在第m麦克风接收到的声音信号， 表示y1(n)和ym(n)之间的互相关谱，Φ(f)表示接收到的各个方向上的声音信号所在频域的加权函数。
1022，根据所获取的到达时间差和所述移动终端上的麦克风在所述移动终端上的位置，得到所述声源相对于所述移动终端的方向。
其中，根据麦克风在移动终端上布置方式的不同，移动终端获取所述声源相对于所述移动终端的方向的具体方式可以有多种。
例如：在一种移动终端上，所述第1麦克风与所述第4麦克风位于同一侧，所述第1麦克风与所述第2麦克风位于同一侧；c表示声速，d表示所述第1麦克风的中心点与所述第4麦克风的中心点之间的距离，d等于所述第2麦克风的中心点与所述第3麦克风的中心点之间的距离，h表示所述第1麦克风的中心点与所述第2麦克风的中心点之间的距离，h等于所述第3麦克风的中心点与所述第4麦克风的中心点之间的距离，α表示所述移动终端的对角线与所述第1麦克风和所述第4麦克风所位于的角所在的边的夹角。
则如图2a所示，1022具体可以实现为10221-10222。
10221，根据估计第2麦克风接收到的声音信号的方向；根据估计第3麦克风接收到的声音信号的方向；根据估计第4麦克风接收到的声音信号的方向。
10222，根据获取所述声源相对于所述移动终端的方向θ。
再例如：在另一种移动终端上，所述第1麦克风与所述第2麦克风位于所述移动终端的一个面的轴对称线上，并分别处于所述一个面上的两条相互平行的边缘；所述第3麦克风与所述第4麦克风位于所述移动终端的另一面的轴对称线上，并分别处于所述另一个面上的两条相互平行的边缘；c表示声速，(x1,y1)表示对应于所述第1麦克风的坐标，(x2,y2)表示对应于所述第2麦克风的坐标，(x3,y3)表示对应于所述第3麦克风的坐标，(x4,y4)表示对应于所述第4麦克风的坐标。
则如图2b所示，1022具体可以实现为10223。
例如：在本实施例中，可以如图2c所示，移动终端的麦克风布放方式为分别在移动终端的4个角上布放麦克风，且在移动终端上的4个麦克风负责获取三维声场的声音信号。再利用所获取的声音信号进行声源位置估计，并对其进行增益处理。
比如：如图2c所示，利用布放在移动终端上的4个麦克风对三维声场进行测量，所获取的声音信号分别记作y1(n)、y2(n)、y3(n)以及y4(n)。首先,选定1个麦克风为参考麦克风，计算其他麦克风获取的信号与该麦克风获取的信号之间的到达时间差。这里选定麦克风1为参考麦克风，利用广义互相关算法计算麦克风2、麦克风3、麦克风4与麦克风1之间的到达时间差
其中：
F-1{·}代表离散时间逆傅里叶变换，是y1(n)和ym(n)之间的互相关谱，Φ(f)是一个频域的加权函数。{·}*表示复共轭。
然后，根据到达时间差、移动终端上的麦克风布放位置以及麦克风之间的位置关系计算出声源与移动终端的入射角度，即声源相对于移动终端的方向θ。具体计算过程如下：
其中c表示声速，一般为340m/s。d表示麦克风1与麦克风4之间的距离，也等于麦克风2与麦克风3之间的距离，h表示麦克风1与麦克风2之间的距离，也等于麦克风3与麦克风4之间的距离。
再例如：在本实施例中，还可以如图2d所示，移动终端的麦克风布放方式为在移动终端的底边、正面听筒的旁边、背面摄像头附近以及背面底边附近各布放1个麦克风，且每个麦克风都负责获取三维声场的声音信号。再利用所获取的声音信号进行声源位置估计，并对其进行增益处理。
比如：如图2d和如图2e所示，利用布放在移动终端上的4个麦克风对三维声场进行测量，所获取的声音信号分别记作y1(n)、y2(n)、y3(n)以及y4(n)。首先,选定1个麦克风为参考麦克风，计算其他麦克风获取的信号与该麦克风获取的信号之间的到达时间差。这里选定麦克风1为参考麦克风，利用广义互相关算法计算麦克风2、麦克风3、麦克风4与麦克风1之间的到达时间差
其中：
F-1{·}代表离散时间逆傅里叶变换，是y1(n)和ym(n)之间的互相关谱，Φ(f)是一个频域的加权函数。{·}*表示复共轭。
然后，根据到达时间差、移动终端上的麦克风布放位置以及麦克风之间的位置关系计算声源的入射角度，即声源相对于移动终端的方向θ。在图2e中假设麦克风1的坐标为(x1,y1)，麦克风2的坐标为(x2,y2)，麦克风3的坐标为(x3,y3)，麦克风4的坐标为(x4,y4)。具体地，声源相对于移动终端的方向θ与到达时间差之间的关系如下：
其中c表示声速，一般为340m/s。
进一步的，本实施例中，在获取所述声源相对于所述移动终端的方向之后，还需要根据所获取的所述声源相对于所述移动终端的方向信息计算每个声道信号的增益调整参数。因此，如图3所示，103可以具体实现为1031。
1031，利用所述声源相对于所述移动终端的方向，生成增益调整参数。
其中，所述增益调整参数包括：对应于所述左侧方向上的信号、所述右侧方向上的信号和所述中侧方向上的信号的第1类增益调整参数αF、对应于所述左后环绕信号和所述右后环绕信号的第1类增益调整参数αB、对应于所述左侧方向上的信号和所述左后环绕信号的第2类增益调整参数αL、对应于所述右侧方向上的信号和所述右后环绕信号的第2类增益调整参数αR；并且，当所述声源相对于所述移动终端的方向θ∈[0，90)∪(270,360]时αF>αB，当θ∈(90,270)时αF<αB，当θ∈(0,180)时αL>αR，当θ∈(180,360)时αL<αR。
其中，1031具体包括：1031a、1031b、1031c、1031d
其中，αF，min、αF，med1、αF，max1、αF，med2、αF，max2、αB，min1、αB，med1、αB，min2、αB，med2和αB，max为大于零的常数，并且αF，min<αF，med1<αF，max1，αF，min<αF，med2<αF，max2，αB，min1<αB，med1<αB，max，αB，min2<αB，med2<αB，max，αB，med1＝αF，med1，αB，med2＝αF，med2。
其中，αL，med1、αL，max、αL，med2、αL，min、αR，med1、αR，min、αR，med2和αR，max为大于零的常数，并且αL，min<αL，med1<αL，max，αL，min<αL，med2<αL，max，αR，min<αR，med1<αR，max，αR，min<αR，med2<αR，max，αL，med1＝αR，med1，αL，med2＝αR，med2。
在本发明实施例中，根据声源位置估计得到的所述声源相对于所述移动终端的方位信息，计算每个声道信号的增益调整参数，然后将每个声道的信号乘以相应的增益调整参数得到最终的5.1声道环绕声输出信号。一般情况下需要对5.1声道信号的左侧方向、中侧方向、右侧方向、左后环绕以及右后环绕的增益进行调整。当然也可以只对左侧方向、右侧方向、左后环绕以及右后环绕的增益进行调整。
1032，根据所述声音信号，获取所述空间音频信号中的各个方向上的信号的初始值，其中SL(n)表示所述左侧方向上的信号的初始值，SC(n)表示中侧方向上的信号的初始值，SR(n)表示右侧方向上的信号的初始值，SLS(n)表示左后环绕信号的初始值，SRS(n)表示右后环绕信号的初始值。
进一步的，根据所述声音信号，获取所述空间音频信号中的各个方向上的信号的初始值，需要通过获取心形指向的波束来计算。所述心形指向波束可以利用所述第1麦克风至第4麦克风接收到的声音信号通过波束形成算法得到，1032可以具体实现为：
1032b1，利用所述第1至第4麦克风接收到的声音信号，获取心形指向的波束BFij(n)，其中，BFij(n)的指向性的极大值点在所述第i麦克风与第j麦克风的连线指向所述第i麦克风的方向，零点所述第i麦克风与第j麦克风的连线指向所述第j麦克风的方向，其中i,j＝1、2、3、4。
获取心形指向的波束BFL(n)、BFR(n)、BFLS(n)和BFRS(n)，其中，BFL(n)的指向性极大值在(0,90°)，BFLS(n)的指向性极大值在(90°,180°)，BFRS(n)的指向性极大值在(180°,270°)，BFR(n)的指向性极大值在(270°,360°)。
所述左侧方向上的信号的初始值SL(n)＝BFL(n)，所述中侧方向上的信号的初始值所述右侧方向上的信号的初始值SR(n)＝BFR(k)，所述左后环绕信号的初始值SLS(n)＝BFLS(n)，所述右后环绕信号的初始值SRS(n)＝BFRS(n)，其中SL(n)表示所述左侧方向上的信号的初始值，SC(n)表示中侧方向上的信号的初始值，SR(n)表示右侧方向上的信号的初始值，SLS(n)表示左后环绕信号的初始值，SRS(n)表示右后环绕信号的初始值，n表示样点编号。
例如：在如图2c所示的应用场景中，在进行声源位置估计的同时，需要进一步对布放在移动终端上的麦克风采集到的多个方向原始声音信号进行增强处理。这里使用的是差分波束形成的方法。根据一阶差分波束形成算法，利用对角线上的麦克风1和麦克风3的原始输入信号产生两个方向具有心形指向的波束记作BFR(n)和BFLS(n)，同时利用对角线上的麦克风2和麦克风4的原始输入信号产生两个方向具有心形指向的波束记作BFL(n)和BFRS(n)。BFL(n)、BFR(n)、BFLS(n)和BFRS(n)就是增强处理后得到的多个方向信号。
再例如：在如图2d和2e所示的应用场景中，在进行声源位置估计的同时，需要进一步对布放在移动终端上的麦克风采集到的多通道原始输入信号进行增强处理。这里使用的是差分波束形成的方法。具体的可以是，根据一阶差分波束形成算法，利用麦克风1和麦克风4的原始输入信号产生两个方向具有心形指向的波束记作BF14(n)和BF41(n)，其中BF14(n)指向性的极大值点在麦克风1的方向而零点在麦克风4的方向，BF41(n)指向性的极大值点在麦克风4的方向而零点在麦克风1的方向。利用麦克风2和麦克风3的原始输入信号产生两个方向具有心形指向的波束记作BF23(n)和BF32(n)，其中BF23(n)指向性的极大值点在麦克风2的方向而零点在麦克风3的方向，BF32(n)指向性的极大值点在麦克风3的方向而零点在麦克风2的方向。利用麦克风1和麦克风2的原始输入信号产生两个方向具有心形指向的波束记作BF12(n)和BF21(n)，其中BF12(n)指向性的极大值点在麦克风1的方向而零点在麦克风2的方向，BF21(n)指向性的极大值点在麦克风2的方向而零点在麦克风1的方向。利用麦克风3和麦克风4的原始输入信号产生两个方向具有心形指向的波束记作BF34(n)和BF43(n)，其中BF34(n)指向性的极大值点在麦克风3的方向而零点在麦克风4的方向，BF43(n)指向性的极大值点在麦克风4的方向而零点在麦克风3的方向。假设增强处理后得到的多通道信号记作BFL(n)、BFR(n)、BFLS(n)和BFRS(n)，则：
本实施例中，利用差分波束形成的方法，得到心形指向波束并能够通过心形指向波束获取所述空间音频信号中的各个方向上的信号的初始值，以便后续计算空间音频信号中的各个方向上的信号。因此，在实施完毕1032之后，还包括：
1033，根据所述增益调整参数和所述空间音频信号中的各个方向上的信号的初始值，生成所述空间音频信号中的各个方向上的信号。
其中，1033具体可以实现为1033a，包括：
例如：在如图2c所示的应用场景中，根据声源位置估计结果、增强后的多通道信号以及回放***类型，选择相应的方法进行空间音频信号的重构，得到最终的空间音频输出信号。
如果回放***是5.1声道环绕声***，则需要将增强后的四个方向上的输出信号映射为5.1声道环绕声***回放所需的六个方向上的信号，同时根据声源位置估计结果，对映射后得到的六个方向上的信号进行空间声场增强调整，得到最终的输出信号。具体的，可以将BFL(n)直接作为5.1声道信号的左侧方向上的信号，将BFR(n)直接作为5.1声道信号的右侧方向上的信号，取BFL(n)和BFR(n)的平均作为中侧方向上的信号，将BFLS(n)直接作为5.1声道信号的左后环绕信号，将BFRS(n)直接作为5.1声道信号的右后环绕信号，取BFL(n)、BFR(n)、BFLS(n)和BFRS(n)四个方向上的信号的平均值后再做150Hz的低通滤波处理，得到5.1声道信号重的低音信号。
根据声源位置估计得到的声源相对于移动终端的方向θ，计算每个方向上的信号的增益调整参数。将每个声道的信号乘以相应的增益调整参数得到最终的5.1声道环绕声输出信号。最终的5.1声道环绕声输出信号中的左侧方向上的信号以SL，final(n)表示，中侧方向上的信号以SC，final(n)表示，右侧方向上的信号以SR，final(n)表示，左后环绕信号以SLS，final(n)表示，右侧方向上的信号以SRS，final(n)表示：
SL，final(n)＝BFL(n)*αF*αL
SR，final(n)＝BFR(n)*αF*αR
SLS，final(n)＝BFLS(n)*αB*αL
SRS，final(n)＝BFRS(n)*αB*αR
如果回放***为立体声扬声器，则可以根据声源位置估计得到的声源相对于移动终端的方向θ计算第2增益调整参数。最终的5.1声道环绕声输出信号中的左侧方向上的信号以SL，final(n)表示，中侧方向上的信号以SC，final(n)表示，右侧方向上的信号以SR，final(n)表示，左后环绕信号以SLS，final(n)表示，右后环绕信号以SRS，final(n)表示：
SL，final(n)＝SL(n)*αL
SC，final(n)＝SC(n)
SR，final(n)＝SR(n)*αR
SLS，final(n)＝SLS(n)*αL
SRS，final(n)＝SRS(n)*αR
之后，还可以通过执行1034，将诸如左侧方向上的信号SL，final(n)、中侧方向上的信号SC，final(n)、右侧方向上的信号SR，final(n)、左后环绕信号SLS，final(n)和右后环绕信号SRS，final(n)等空间声场增强调整后的输出信号下混成双声道信号输出。
再例如：在如图2d和2e所示的应用场景中，根据声源位置估计结果、增强后的多通道信号以及回放***类型，选择相应的方法进行空间音频信号的重构，得到最终的空间音频输出信号。
如果回放***是5.1声道环绕声***，则需要将增强后的四个方向上的输出信号映射为5.1声道环绕声***回放所需的六个方向上的信号，同时根据声源位置估计结果，对映射后得到的六个方向上的信号进行空间声场增强调整，得到最终的输出信号。具体的，可以将BFL(n)直接作为5.1声道信号的左侧方向上的信号，将BFR(n)直接作为5.1声道信号的右侧方向上的信号，取BFL(n)和BFR(n)的平均作为中侧方向上的信号，将BFLS(n)直接作为5.1声道信号的左后环绕信号，将BFRS(n)直接作为5.1声道信号的右后环绕信号，取BFL(n)、BFR(n)、BFLS(n)和BFRS(n)四个方向上的信号的平均值后再做150Hz的低通滤波处理，得到5.1声道信号重的低音信号。
根据声源位置估计得到的声源相对于移动终端的方向θ，计算每个声道信号的增益调整参数。将每个声道的信号乘以相应的增益调整参数得到最终的5.1声道环绕声输出信号。最终的5.1声道环绕声输出信号中的左侧方向上的信号以SL，final(n)表示，中侧方向上的信号以SC，final(n)表示，右侧方向上的信号以SR，final(n)表示，左后环绕信号以SLS，final(n)表示，右后环绕信号以SRS，final(n)表示：
SL，final(n)＝BFL(n)*αF*αL
SR，final(n)＝BFR(n)*αF*αR
SLS，final(n)＝BFLS(n)*αB*αL
SRS，final(n)＝BFRS(n)*αB*αR
如果回放***为立体声扬声器，则可以根据声源位置估计得到的声源相对于移动终端的方向θ计算第2增益调整参数。最终的5.1声道环绕声输出信号中的左侧方向上的信号以SL，final(n)表示，中侧方向上的信号以SC，final(n)表示，右侧方向上的信号以SR，final(n)表示，左后环绕信号以SLS，final(n)表示，右后环绕信号以SRS，final(n)表示：
SL，final(n)＝SL(n)*αL
SC，final(n)＝SC(n)
SR，final(n)＝SR(n)*αR
SLS，final(n)＝SLS(n)*αL
SRS，final(n)＝SRS(n)*αR
之后，还可以通过执行1034，将诸如左侧方向上的信号SL，final(n)、中侧方向上的信号SC，final(n)、右侧方向上的信号SR，final(n)、左后环绕信号SLS，final(n)和右后环绕信号SRS，final(n)等空间声场增强调整后的输出信号下混成双声道信号输出。
在心形指向的波束BFL(n)、BFR(n)、BFLS(n)和BFRS(n)的应用场景下，再依据1032b1-1032b2得到心形指向的波束BFL(n)、BFR(n)、BFLS(n)和BFRS(n)之后，1033可以实现为：
1033b1，依据SL，final(n)＝SL(n)*αL，获取所述左侧方向上的信号SL，final(n)，
1033b2，依据SC，final(n)＝SC(n)，获取所述中侧方向上的信号SC，final(n)，
1033b3，依据SR，final(n)＝SR(n)*αR，获取所述右侧方向上的信号SR，final(n)，
1033b4，依据SLS，final(n)＝SLS(n)*αL，获取所述左后环绕信号SLS，final(n)，
1033b5，依据SRS，final(n)＝SRS(n)*αR，获取所述右后环绕信号SRS，final(n)，
其中SL(n)表示所述左侧方向上的信号的初始值，SC(n)表示中侧方向上的信号的初始值，SR(n)表示右侧方向上的信号的初始值，SLS(n)表示左后环绕信号的初始值，SRS(n)表示右后环绕信号的初始值，n表示样点编号。
本发明实施例提供的处理声音信号的方法，能够从移动终端三维声场中获取声音信号；并获取各个声源相对于移动终端的方向；再利用声源相对于移动终端的方向和声音信号，得到用于模拟三维声场的空间音频信号。本发明提供的方案，能够通过移动终端自身的元件采集和处理用于模拟三维声场的声音信号，并且分析出所接受到的各个方向上的声源相对于移动终端的方向，再结合各个方向上的声源相对于移动终端的方向增强三维声场的效果，相对于现有技术中仅利用波束模拟三维声场的方案，由于本发明中获取了各个方向上的声源相对于移动终端的方向，并利用该方向信息对波束形成进行进一步的增益调整，因此能够缓减所模拟出来的三维声场的左右的区分要比前后明显的现象，从而提升所模拟的三维声场的质量。
进一步的，本实施例中，所述空间音频信号还包括：双声道信号；在获取所述声源相对于所述移动终端的方向之后，还需要对所述左侧方向上的信号、所述右侧方向上的信号、所述中侧方向上的信号、所述左后环绕信号和所述右后环绕信号进行下混，生成所述双声道信号。因此，如图3a所示，103可以具体实现为1034。
1034、对所述左侧方向上的信号、所述右侧方向上的信号、所述中侧方向上的信号、所述左后环绕信号和所述右后环绕信号进行下混，生成所述双声道信号。
例如：如果回放***是耳机，则需要将增强后的N个方向输出信号映射为5.1声道环绕声***回放中的左侧方向、中侧方向、右侧方向、左后环绕以及右后环绕，同时根据声源位置估计结果，按照上述的方法对映射后得到的五个方向上的信号进行空间声场增强调整，得到空间声场增强调整后的输出信号。对于耳机回放***，需要将空间声场增强调整后的输出信号下混为双声道信号。一种可选择的下混方法是采用国际电信联盟标准的5.1声道环绕声下混到双声道信号的方法。另外一种就是在下混前，需要先将左侧方向、右侧方向、左后环绕以及右后环绕的信号与对应角度的头传输函数分别进行卷积，然后再进行下混，这样可以提高信号下混后的前后左右的空间分离度。
本发明实施例提供的处理声音信号的方法，能够从移动终端三维声场中获取声音信号；并获取各个声源相对于移动终端的方向；再利用声源相对于移动终端的方向和声音信号，得到用于模拟三维声场的空间音频信号。本发明提供的方案，能够通过移动终端自身的元件采集和处理用于模拟三维声场的声音信号，并且分析出所接受到的各个方向上的声源相对于移动终端的方向，再结合各个方向上的声源相对于移动终端的方向增强三维声场的效果，相对于现有技术中仅利用波束模拟三维声场的方案，由于本发明中获取了各个方向上的声源相对于移动终端的方向，并利用该方向信息对波束形成进行进一步的增益调整，因此能够缓减所模拟出来的三维声场的左右的区分要比前后明显的现象，从而提升所模拟的三维声场的质量。
本发明实施例提供了一种处理声音信号的装置40结构，如图4所示，其特征在于，包括：
第一获取模块41，用于从三维声场中获取声音信号，所述移动终端设置有至少3个麦克风，其中，一个麦克风用于接收至少一个方向上的声音信号；
第二获取模块42，用于根据所获取的声音信号，获取声源相对于所述移动终端的方向；
第一处理模块43，用于根据所述声源相对于所述移动终端的方向和所获取的声音信号，得到空间音频信号，所述空间音频信号用于模拟所述三维声场。
所述第二获取模块42，如图4a所示，包括：
第一获取单元421，用于获取所述移动终端上的麦克风接收到一个方向上的声音信号与另一个方向上的声音信号之间的到达时间差，所述移动终端上的麦克风用于接收至少四个方向上的声音信号；
第二获取单元422，用于根据所获取的到达时间差和所述移动终端上的麦克风在所述移动终端上的位置，得到所述声源相对于所述移动终端的方向。
所述第一获取单元421，如图4b所示，包括：
第一获取子单元4211，用于依据获取在第m麦克风接收到的声音信号与在第1麦克风接收到的声音信号之间的到达时间差，其中，p表示时延样点数，y1(n)表示在第1麦克风接收到的声音信号，ym(n)表示在第m麦克风接收到的声音信号， 表示y1(n)和ym(n)之间的互相关谱，Φ(f)表示接收到的各个方向上的声音信号所在频域的加权函数。
所述第二获取单元422，如图4c所示，包括：
第二获取子单元4221，用于根据估计第2麦克风接收到的声音信号的方向；根据估计第3麦克风接收到的声音信号的方向；根据估计第4麦克风接收到的声音信号的方向；
第三获取子单元4222，用于根据获取所述声源相对于所述移动终端的方向θ；
其中，所述第1麦克风与所述第4麦克风位于同一侧，所述第1麦克风与所述第2麦克风位于同一侧；c表示声速，d表示所述第1麦克风的中心点与所述第4麦克风的中心点之间的距离，d等于所述第2麦克风的中心点与所述第3麦克风的中心点之间的距离，h表示所述第1麦克风的中心点与所述第2麦克风的中心点之间的距离，h等于所述第3麦克风的中心点与所述第4麦克风的中心点之间的距离，α表示所述移动终端的对角线与所述第1麦克风和所述第4麦克风所位于的角所在的边的夹角。
所述第二获取单元422，获取所述声源相对于所述移动终端的方向之后，如图4d所示，还包括：
其中，所述第1麦克风与所述第2麦克风位于所述移动终端的一个面的轴对称线上，并分别处于所述一个面上的两条相互平行的边缘；所述第3麦克风与所述第4麦克风位于所述移动终端的另一面的轴对称线上，并分别处于所述另一个面上的两条相互平行的边缘；c表示声速，(x1,y1)表示对应于所述第1麦克风的坐标，(x2,y2)表示对应于所述第2麦克风的坐标，(x3,y3)表示对应于所述第3麦克风的坐标，(x4,y4)表示对应于所述第4麦克风的坐标。
进一步的，所述空间音频信号至少包括左侧方向上的信号、右侧方向上的信号、中侧方向上的信号、左后环绕信号、右后环绕信号；
所述第一处理模块43，如图4e所示，包括：
第一处理单元431，用于利用所述声源相对于所述移动终端的方向，生成增益调整参数，所述增益调整参数包括：对应于所述左侧方向上的信号、所述右侧方向上的信号和所述中侧方向上的信号的第1类增益调整参数αF、对应于所述左后环绕信号和所述右后环绕信号的第1类增益调整参数αB、对应于所述左侧方向上的信号和所述左后环绕信号的第2类增益调整参数αL、对应于所述右侧方向上的信号和所述右后环绕信号的第2类增益调整参数αR；并且，当所述声源相对于所述移动终端的方向θ∈[0，90)∪(270,360]时αF>αB，当θ∈(90,270)时αF<αB，当θ∈(0,180)时αL>αR，当θ∈(180,360)时αL<αR；
第二处理单元432，用于根据所述声音信号，获取所述空间音频信号中的各个方向上的信号的初始值；
第三处理单元433，用于根据所述增益调整参数和所述空间音频信号中的各个方向上的信号的初始值，生成所述左侧方向上的信号、所述右侧方向上的信号、所述中侧方向上的信号、所述左后环绕信号、所述右后环绕信号。
进一步的，所述空间音频信号还包括：双声道信号；所述装置40，如图4f所示，还包括：
第四处理单元434，用于对所述左侧方向上的信号、所述右侧方向上的信号、所述中侧方向上的信号、所述左后环绕信号和所述右后环绕信号进行下混，生成所述双声道信号。
可选的，在上述实施方式的基础上还可以包括：所述第一处理单元431，如图4g所示，包括：
其中，αF，min、αF，med1、αF，max1、αF，med2、αF，max2、αB，min1、αB，med1、αB，min2、αB，med2和αB，max为大于零的常数，并且αF，min<αF，med1<αF，max1，αF，min<αF，med2<αF，max2，αB，min1<αB，med1<αB，max，αB，min2<αB，med2<αB，max，αB，med1＝αF，med1，αB，med2＝αF，med2；
其中，αL，med1、αL，max、αL，med2、αL，min、αR，med1、αR，min、αR，med2和αR，max为大于零的常数，并且αL，min<αL，med1<αL，max，αL，min<αL，med2<αL，max，αR，min<αR，med1<αR，max，αR，min<αR，med2<αR，max，αL，med1＝αR，med1，αL，med2＝αR，med2。
根据所述第三处理单元433，生成所述空间音频信号中的各个方向上的信号，如图4h所示，包括：
所述第二处理单元432，如图4i所示，包括：
第六处理子单元4321，用于获取心形指向的波束BFL(n)、BFR(n)、BFLS(n)和BFRS(n)，其中，BFL(n)的指向性极大值在(0,90°)，BFLS(k)的指向性极大值在(90°,180°)，BFRS(k)的指向性极大值在(180°,270°)，BFR(k)的指向性极大值在(270°,360°)；
所述左侧方向上的信号的初始值SL(n)＝BFL(n)，所述中侧方向上的信号的初始值所述右侧方向上的信号的初始值SR(n)＝BFR(k)，所述左后环绕信号的初始值SLS(n)＝BFLS(n)，所述右后环绕信号的初始值SRS(n)＝BFRS(n)，其中SL(n)表示所述左侧方向上的信号的初始值，SC(n)表示中侧方向上的信号的初始值，SR(n)表示右侧方向上的信号的初始值，SLS(n)表示左后环绕信号的初始值，SRS(n)表示右后环绕信号的初始值，n表示样点编号。
所述第六处理子单元4321，具体用于利用所述第1至第4麦克风接收到的声音信号，获取心形指向的波束BFij(n)，其中，BFij(n)的指向性的极大值点在所述第i麦克风与第j麦克风的连线指向所述第i麦克风的方向，零点所述第i麦克风与第j麦克风的连线指向所述第j麦克风的方向，其中i,j＝1、2、3、4；
所述第三处理单元433，如图4j所示，还包括：
第七处理子单元4332，用于依据SL，final(n)＝SL(n)*αL，获取所述左侧方向上的信号SL，final(n)，
第八处理子单元4333，用于依据SC，final(n)＝SC(n)，获取所述中侧方向上的信号SC，final(n)，
第九处理子单元4334，用于依据SR，final(n)＝SR(n)*αR，获取所述右侧方向上的信号SR，final(n)，
第十处理子单元4335，用于依据SLS，final(n)＝SLS(n)*αL，获取所述左后环绕信号SLS，final(n)，
第十一处理子单元4336，用于依据SRS，final(n)＝SRS(n)*αR，获取所述右后环绕信号SRS，final(n)，
其中SL(n)表示所述左侧方向上的信号的初始值，SC(n)表示中侧方向上的信号的初始值，SR(n)表示右侧方向上的信号的初始值，SLS(n)表示左后环绕信号的初始值，SRS(n)表示右后环绕信号的初始值，n表示样点编号。
本发明实施例提供的处理声音信号的装置，能够从移动终端三维声场中获取声音信号；并获取各个声源相对于移动终端的方向；再利用声源相对于移动终端的方向和声音信号，生成用于模拟三维声场的空间音频信号。本发明提供的方案，能够通过移动终端自身的元件采集和处理用于模拟三维声场的声音信号，并且分析出所接受到的各个方向上的声源相对于移动终端的方向，再结合各个方向上的声源相对于移动终端的方向增强三维声场的效果，相对于现有技术中仅利用波束模拟三维声场的方案，由于本发明中获取了各个方向上的声源相对于移动终端的方向，并利用该方向信息对波束形成进行进一步的增益调整，因此能够缓减所模拟出来的三维声场的左右的区分要比前后明显的现象，从而提升所模拟的三维声场的质量。
本发明实施例还提供了一种处理声音信号设备50的结构，如图5所示，该信息传输设备50包括：至少一个处理器501，例如CPU，至少一个网络接口502或者其他用户接口503，存储器504，至少一个通信总线505。通信总线505用于实现这些组件之间的连接通信。可选的，还包含用户接口503，包括显示器，键盘或者点击设备(例如，鼠标，轨迹球(trackball),触感板或者触感显示屏)。存储器504可能包含高速RAM存储器，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器504可选的可以包含至少一个位于远离前述处理器501的存储装置。
在一些实施方式中，存储器504存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:
其中，操作***5041，包含各种***程序，用于实现各种基础业务以及处理基于硬件的任务；应用程序5042，包含各种应用程序，用于实现各种应用业务。
所述处理器501，用于从三维声场中获取声音信号，所述移动终端设置有至少3个麦克风，其中，一个麦克风用于接收至少一个方向上的声音信号；
并根据所获取的声音信号，获取声源相对于所述移动终端的方向；
并根据所述声源相对于所述移动终端的方向和所获取的声音信号，得到空间音频信号，所述空间音频信号用于模拟所述三维声场。
所述处理器501，还用于获取所述移动终端上的麦克风接收到一个方向上的声音信号与另一个方向上的声音信号之间的到达时间差，所述移动终端上的麦克风用于接收至少四个方向上的声音信号；
并根据所获取的到达时间差和所述移动终端上的麦克风在所述移动终端上的位置，得到所述声源相对于所述移动终端的方向。
其中，所述处理器501，具体用于依据获取在第m麦克风接收到的声音信号与在第1麦克风接收到的声音信号之间的到达时间差，其中，p表示时延样点数，y1(n)表示在第1麦克风接收到的声音信号，ym(n)表示在第m麦克风接收到的声音信号， 表示y1(n)和ym(n)之间的互相关谱，Φ(f)表示接收到的各个方向上的声音信号所在频域的加权函数。
所述根据所获取的到达时间差和所述移动终端上的麦克风在所述移动终端上的位置，得到所述声源相对于所述移动终端的方向，包括：
根据估计第2麦克风接收到的声音信号的方向；根据估计第3麦克风接收到的声音信号的方向；根据估计第4麦克风接收到的声音信号的方向；
根据获取所述声源相对于所述移动终端的方向θ；
其中，所述第1麦克风与所述第4麦克风位于同一侧，所述第1麦克风与所述第2麦克风位于同一侧；c表示声速，d表示所述第1麦克风的中心点与所述第4麦克风的中心点之间的距离，d等于所述第2麦克风的中心点与所述第3麦克风的中心点之间的距离，h表示所述第1麦克风的中心点与所述第2麦克风的中心点之间的距离，h等于所述第3麦克风的中心点与所述第4麦克风的中心点之间的距离，α表示所述移动终端的对角线与所述第1麦克风和所述第4麦克风所位于的角所在的边的夹角。
所述处理器501，具体还用于所述根据所获取的到达时间差和所述移动终端上的麦克风在所述移动终端上的位置，得到所述声源相对于所述移动终端的方向，包括：
获取所述声源相对于所述移动终端的方向θ；
其中，所述第1麦克风与所述第2麦克风位于所述移动终端的一个面的轴对称线上，并分别处于所述一个面上的两条相互平行的边缘；所述第3麦克风与所述第4麦克风位于所述移动终端的另一面的轴对称线上，并分别处于所述另一个面上的两条相互平行的边缘；c表示声速，(x1,y1)表示对应于所述第1麦克风的坐标，(x2,y2)表示对应于所述第2麦克风的坐标，(x3,y3)表示对应于所述第3麦克风的坐标，(x4,y4)表示对应于所述第4麦克风的坐标。
其中，所述空间音频信号至少包括左侧方向上的信号、右侧方向上的信号、中侧方向上的信号、左后环绕信号、右后环绕信号；
所述处理器501，具体还用于所述根据所述声源相对于所述移动终端的方向和所获取的声音信号，得到空间音频信号，包括：
利用所述声源相对于所述移动终端的方向，生成增益调整参数，所述增益调整参数包括：对应于所述左侧方向上的信号、所述右侧方向上的信号和所述中侧方向上的信号的第1类增益调整参数αF、对应于所述左后环绕信号和所述右后环绕信号的第1类增益调整参数αB、对应于所述左侧方向上的信号和所述左后环绕信号的第2类增益调整参数αL、对应于所述右侧方向上的信号和所述右后环绕信号的第2类增益调整参数αR；并且，当所述声源相对于所述移动终端的方向θ∈[0，90)∪(270,360]时αF>αB，当θ∈(90,270)时αF<αB，当θ∈(0,180)时αL>αR，当θ∈(180,360)时αL<αR；
根据所述声音信号，获取所述空间音频信号中的各个方向的信号的初始值；
根据所述增益调整参数和所述空间音频信号中的各个方向上的信号的初始值，生成所述左侧方向上的信号、所述右侧方向上的信号、所述中侧方向上的信号、所述左后环绕信号、所述右后环绕信号；
所述设备50中，所述空间音频信号还包括：双声道信号；
所述设备50还包括：
对所述左侧方向上的信号、所述右侧方向上的信号、所述中侧方向上的信号、所述左后环绕信号和所述右后环绕信号进行下混，生成所述双声道信号。
可选的，在上述实施方式的接触上，所述处理器501，还可以用于依据
其中，αF，min、αF，med1、αF，max1、αF，med2、αF，max2、αB，min1、αB，med1、αB，min2、αB，med2和αB，max为大于零的常数，并且αF，min<αF，med1<αF，max1，αF，min<αF，med2<αF，max2，αB，min1<αB，med1<αB，max，αB，min2<αB，med2<αB，max，αB，med1＝αF，med1，αB，med2＝αF，med2；
其中，αL，med1、αL，max、αL，med2、αL，min、αR，med1、αR，min、αR，med2和αR，max为大于零的常数，并且αL，min<αL，med1<αL，max，αL，min<αL，med2<αL，max，αR，min<αR，med1<αR，max，αR，min<αR，med2<αR，max，αL，med1＝αR，med1，αL，med2＝αR，med2。
所述处理器501，还用于获取心形指向的波束BFL(n)、BFR(n)、BFLS(n)和BFRS(n)，其中，BFL(n)的指向性极大值在(0,90°)，BFLS(n)的指向性极大值在(90°,180°)，BFRS(n)的指向性极大值在(180°,270°)，BFR(n)的指向性极大值在(270°,360°)；
所述左侧方向上的信号的初始值SL(n)＝BFL(n)，所述中侧方向上的信号的初始值所述右侧方向上的信号的初始值SR(n)＝BFR(k)，所述左后环绕信号的初始值SLS(n)＝BFLS(n)，所述右后环绕信号的初始值SRS(n)＝BFRS(n)，其中SL(n)表示所述左侧方向上的信号的初始值，SC(n)表示中侧方向上的信号的初始值，SR(n)表示右侧方向上的信号的初始值，SLS(n)表示左后环绕信号的初始值，SRS(n)表示右后环绕信号的初始值，n表示样点编号。
进一步的，所述获取心形指向的波束BFL(n)、BFR(n)、BFLS(n)和BFRS(n)，包括：
利用所述第1至第4麦克风接收到的声音信号，获取心形指向的波束BFij(n)，其中，BFij(n)的指向性的极大值点在所述第i麦克风与第j麦克风的连线指向所述第i麦克风的方向，零点所述第i麦克风与第j麦克风的连线指向所述第j麦克风的方向，其中i,j＝1、2、3、4；
所述处理器501，具体还用于依据SL，final(n)＝SL(n)*αL，获取所述左侧方向上的信号SL，final(n)，
依据SC，final(n)＝SC(n)，获取所述中侧方向上的信号SC，final(n)，
依据SR，final(n)＝SR(n)*αR，获取所述右侧方向上的信号SR，final(n)，
依据SLS，final(n)＝SLS(n)*αL，获取所述左后环绕信号SLS，final(n)，
依据SRS，final(n)＝SRS(n)*αR，获取所述右后环绕信号SRS，final(n)；
其中SL(n)表示所述左侧方向上的信号的初始值，SC(n)表示中侧方向上的信号的初始值，SR(n)表示右侧方向上的信号的初始值，SLS(n)表示左后环绕信号的初始值，SRS(n)表示右后环绕信号的初始值，n表示样点编号。
本发明实施例提供的处理声音信号的设备，能够从移动终端三维声场中获取声音信号；并获取各个声源相对于移动终端的方向；再利用声源相对于移动终端的方向和声音信号，生成用于模拟三维声场的空间音频信号。本发明提供的方案，能够通过移动终端自身的元件采集和处理用于模拟三维声场的声音信号，并且分析出所接受到的各个方向上的声源相对于移动终端的方向，再结合各个方向上的声源相对于移动终端的方向增强三维声场的效果，相对于现有技术中仅利用波束模拟三维声场的方案，由于本发明中获取了各个方向上的声源相对于移动终端的方向，并利用该方向信息对波束形成进行进一步的增益调整，因此能够缓减所模拟出来的三维声场的左右的区分要比前后明显的现象，从而提升所模拟的三维声场的质量。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (13)

1.一种处理声音信号的方法，其特征在于，包括：
移动终端从三维声场中获取声音信号，所述移动终端设置有至少3个麦克风，其中，一个麦克风用于接收至少一个方向上的声音信号；
根据所获取的声音信号，获取声源相对于所述移动终端的方向；
根据所述声源相对于所述移动终端的方向和所获取的声音信号，得到空间音频信号，所述空间音频信号用于模拟所述三维声场；
其中，所述根据所获取的声音信号，获取声源相对于所述移动终端的方向，包括：
获取所述移动终端上的麦克风接收到一个方向上的声音信号与另一个方向上的声音信号之间的到达时间差，所述移动终端上的麦克风用于接收至少四个方向上的声音信号；
根据所获取的到达时间差和所述移动终端上的麦克风在所述移动终端上的位置，得到所述声源相对于所述移动终端的方向；
其中，所述获取所述移动终端上的麦克风接收到一个方向上的声音信号与另一个方向上的声音信号之间的到达时间差，包括：
依据获取在第m麦克风接收到的声音信号与在第1麦克风接收到的声音信号之间的到达时间差其中，p表示时延样点数，y1(n)表示在第1麦克风接收到的声音信号，ym(n)表示在第m麦克风接收到的声音信号， 表示y1(n)和ym(n)之间的互相关谱，Φ(f)表示接收到的各个方向上的声音信号所在频域的加权函数；
其中，所述根据所获取的到达时间差和所述移动终端上的麦克风在所述移动终端上的位置，得到所述声源相对于所述移动终端的方向，包括：
根据估计第2麦克风接收到的声音信号的方向根据估计第3麦克风接收到的声音信号的方向根据估计第4麦克风接收到的声音信号的方向
根据获取所述声源相对于所述移动终端的方向θ；
其中，所述第1麦克风与所述第4麦克风位于同一侧，所述第1麦克风与所述第2麦克风位于同一侧；c表示声速，d表示所述第1麦克风的中心点与所述第4麦克风的中心点之间的距离，d等于所述第2麦克风的中心点与所述第3麦克风的中心点之间的距离，h表示所述第1麦克风的中心点与所述第2麦克风的中心点之间的距离，h等于所述第3麦克风的中心点与所述第4麦克风的中心点之间的距离，α表示所述移动终端的对角线与所述第1麦克风和所述第4麦克风所位于的角所在的边的夹角。
2.根据权利要求1所述的处理声音信号的方法，其特征在于，所述根据所获取的到达时间差和所述移动终端上的麦克风在所述移动终端上的位置，得到所述声源相对于所述移动终端的方向，包括：
根据
获取所述声源相对于所述移动终端的方向θ；
其中，所述第1麦克风与所述第2麦克风位于所述移动终端的一个面的轴对称线上，并分别处于所述一个面上的两条相互平行的边缘；所述第3麦克风与所述第4麦克风位于所述移动终端的另一面的轴对称线上，并分别处于所述另一面上的两条相互平行的边缘；c表示声速，(x1,y1)表示对应于所述第1麦克风的坐标，(x2,y2)表示对应于所述第2麦克风的坐标，(x3,y3)表示对应于所述第3麦克风的坐标，(x4,y4)表示对应于所述第4麦克风的坐标。
3.根据权利要求1或2所述的处理声音信号的方法，其特征在于，所述空间音频信号至少包括左侧方向上的信号、右侧方向上的信号、中侧方向上的信号、左后环绕信号和右后环绕信号；
所述根据所述声源相对于所述移动终端的方向和所获取的声音信号，得到空间音频信号，包括：
利用所述声源相对于所述移动终端的方向，生成增益调整参数，所述增益调整参数包括：对应于所述左侧方向上的信号、所述右侧方向上的信号和所述中侧方向上的信号的第1类增益调整参数αF、对应于所述左后环绕信号和所述右后环绕信号的第1类增益调整参数αB、对应于所述左侧方向上的信号和所述左后环绕信号的第2类增益调整参数αL、对应于所述右侧方向上的信号和所述右后环绕信号的第2类增益调整参数αR；并且，当所述声源相对于所述移动终端的方向θ∈[0，90)∪(270,360]时αF＞αB，当θ∈(90,270)时αF＜αB，当θ∈(0,180)时αL＞αR，当θ∈(180,360)时αL＜αR；
根据所述声音信号，获取所述空间音频信号中的各个方向上的信号的初始值；
根据所述增益调整参数和所述空间音频信号中的各个方向上的信号的初始值，生成所述左侧方向上的信号、所述右侧方向上的信号、所述中侧方向上的信号、所述左后环绕信号、所述右后环绕信号。
4.根据权利要求3所述的处理声音信号的方法，其特征在于，所述空间音频信号还包括：双声道信号；
所述方法还包括：
对所述左侧方向上的信号、所述右侧方向上的信号、所述中侧方向上的信号、所述左后环绕信号和所述右后环绕信号进行下混，生成所述双声道信号。
5.根据权利要求3所述的处理声音信号的方法，其特征在于，所述利用所述声源相对于所述移动终端的方向，生成增益调整参数包括：
依据生成对应于所述左侧方向上的信号、所述右侧方向上的信号和所述中侧方向上的信号的第1类增益调整参数αF；
依据生成对应于所述左后环绕信号和所述右后环绕信号的第1类增益调整参数αB；
其中，αF，min、αF，med1、αF，max1、αF，med2、αF，max2、αB，min1、αB，med1、αB，min2、αB，med2和αB，max为大于零的常数，并且αF，min＜αF，med1＜αF，max1，αF，min＜αF，med2＜αF，max2，αB，min1＜αB，med1＜αB，max，αB，min2＜αB，med2＜αB，max，αB，med1＝αF，med1，αB，med2＝αF，med2；依据生成对应于所述左侧方向上的信号和所述左后环绕信号的第2类增益调整参数αL；
依据生成对应于所述右侧方向上的信号和所述右后环绕信号的第2类增益调整参数αR；
其中，αL，med1、αL，max、αL，med2、αL，min、αR，med1、αR，min、αR，med2和αR，max为大于零的常数，并且αL，min＜αL，med1＜αL，max，αL，min＜αL，med2＜αL，max，αR，min＜αR，med1＜αR，max，αR，min＜αR，med2＜αR，max，αL，med1＝αR，med1，αL，med2＝αR，med2。
6.根据权利要求5所述的处理声音信号的方法，其特征在于，根据所述增益调整参数和所述空间音频信号中的各个方向上的信号的初始值，生成所述空间音频信号中的各个方向上的信号，包括：
依据获取所述左侧方向上的信号SL，final(n)、所述中侧方向上的信号SC，final(n)、所述右侧方向上的信号SR，final(n)、所述左后环绕信号SLS，final(n)和所述右后环绕信号SRS，final(n)，其中SL(n)表示所述左侧方向上的信号的初始值，SC(n)表示中侧方向上的信号的初始值，SR(n)表示右侧方向上的信号的初始值，SLS(n)表示左后环绕信号的初始值，SRS(n)表示右后环绕信号的初始值，n表示样点编号。
7.根据权利要求5所述的处理声音信号的方法，其特征在于，所述根据所述声音信号，获取所述空间音频信号中的各个方向上的信号的初始值包括：
获取心形指向的波束BFL(n)、BFR(n)、BFLS(n)和BFRS(n)，其中，BFL(n)的指向性极大值在(0,90°)，BFLS(n)的指向性极大值在(90°,180°)，BFRS(n)的指向性极大值在(180°,270°)，BFR(n)的指向性极大值在(270°,360°)；
所述左侧方向上的信号的初始值SL(n)＝BFL(n)，所述中侧方向上的信号的初始值所述右侧方向上的信号的初始值SR(n)＝BFR(k)，所述左后环绕信号的初始值SLS(n)＝BFLS(n)，所述右后环绕信号的初始值SRS(n)＝BFRS(n)，其中SL(n)表示所述左侧方向上的信号的初始值，SC(n)表示中侧方向上的信号的初始值，SR(n)表示右侧方向上的信号的初始值，SLS(n)表示左后环绕信号的初始值，SRS(n)表示右后环绕信号的初始值，n表示样点编号。
8.根据权利要求7所述的处理声音信号的方法，其特征在于，所述获取心形指向的波束BFL(n)、BFR(n)、BFLS(n)和BFRS(n)，包括：
利用所述第1至第4麦克风接收到的声音信号，获取心形指向的波束BFij(n)，其中，BFij(n)的指向性的极大值点在第i麦克风与第j麦克风的连线指向所述第i麦克风的方向，零点所述第i麦克风与第j麦克风的连线指向所述第j麦克风的方向，其中i,j＝1、2、3、4；
依据获取所述心形指向的波束BFL(n)、BFR(n)、BFLS(n)和BFRS(n)。
9.根据权利要求5所述的处理声音信号的方法，其特征在于，所述根据所述增益调整参数和所述空间音频信号中的各个方向上的信号的初始值，生成所述空间音频信号中的各个方向上的信号包括：
依据SL，final(n)＝SL(n)*αL，获取所述左侧方向上的信号SL，final(n)，
依据SC，final(n)＝SC(n)，获取所述中侧方向上的信号SC，final(n)，
依据SR，final(n)＝SR(n)*αR，获取所述右侧方向上的信号SR，final(n)，
依据SLS，final(n)＝SLS(n)*αL，获取所述左后环绕信号SLS，final(n)，
依据SRS，final(n)＝SRS(n)*αR，获取所述右后环绕信号SRS，final(n)；
其中SL(n)表示所述左侧方向上的信号的初始值，SC(n)表示中侧方向上的信号的初始值，SR(n)表示右侧方向上的信号的初始值，SLS(n)表示左后环绕信号的初始值，SRS(n)表示右后环绕信号的初始值，n表示样点编号。
10.一种处理声音信号的装置，其特征在于，包括：
第一获取模块，用于从三维声场中获取声音信号，移动终端设置有至少3个麦克风，其中，一个麦克风用于接收至少一个方向上的声音信号；
第二获取模块，用于根据所获取的声音信号，获取声源相对于所述移动终端的方向；
第一处理模块，用于根据所述声源相对于所述移动终端的方向和所获取的声音信号，得到空间音频信号，所述空间音频信号用于模拟所述三维声场；
其中，所述第二获取模块，包括：
第一获取单元，用于获取所述移动终端上的麦克风接收到一个方向上的声音信号与另一个方向上的声音信号之间的到达时间差，所述移动终端上的麦克风用于接收至少四个方向上的声音信号；
第二获取单元，用于根据所获取的到达时间差和所述移动终端上的麦克风在所述移动终端上的位置，得到所述声源相对于所述移动终端的方向；
其中，所述第一获取单元，包括：
第一获取子单元，用于依据获取在第m麦克风接收到的声音信号与在第1麦克风接收到的声音信号之间的到达时间差其中，p表示时延样点数，y1(n)表示在第1麦克风接收到的声音信号，ym(n)表示在第m麦克风接收到的声音信号， 表示y1(n)和ym(n)之间的互相关谱，Φ(f)表示接收到的各个方向上的声音信号所在频域的加权函数；
其中，所述第二获取单元，包括：
第二获取子单元，用于根据估计第2麦克风接收到的声音信号的方向根据估计第3麦克风接收到的声音信号的方向根据估计第4麦克风接收到的声音信号的方向
第三获取子单元，用于根据获取所述声源相对于所述移动终端的方向θ；
其中，所述第1麦克风与所述第4麦克风位于同一侧，所述第1麦克风与所述第2麦克风位于同一侧；c表示声速，d表示所述第1麦克风的中心点与所述第4麦克风的中心点之间的距离，d等于所述第2麦克风的中心点与所述第3麦克风的中心点之间的距离，h表示所述第1麦克风的中心点与所述第2麦克风的中心点之间的距离，h等于所述第3麦克风的中心点与所述第4麦克风的中心点之间的距离，α表示所述移动终端的对角线与所述第1麦克风和所述第4麦克风所位于的角所在的边的夹角。
11.根据权利要求10所述的处理声音信号的装置，其特征在于，所述第二获取单元，包括：
第四获取子单元，用于根据
获取所述声源相对于所述移动终端的方向θ；
其中，所述第1麦克风与所述第2麦克风位于所述移动终端的一个面的轴对称线上，并分别处于所述一个面上的两条相互平行的边缘；所述第3麦克风与所述第4麦克风位于所述移动终端的另一面的轴对称线上，并分别处于所述另一面上的两条相互平行的边缘；c表示声速，(x1,y1)表示对应于所述第1麦克风的坐标，(x2,y2)表示对应于所述第2麦克风的坐标，(x3,y3)表示对应于所述第3麦克风的坐标，(x4,y4)表示对应于所述第4麦克风的坐标。
12.根据权利要求10或11所述的处理声音信号的装置，其特征在于，所述空间音频信号至少包括左侧方向上的信号、右侧方向上的信号、中侧方向上的信号、左后环绕信号、右后环绕信号；
所述第一处理模块，包括：
第一处理单元，用于利用所述声源相对于所述移动终端的方向，生成增益调整参数，所述增益调整参数包括：对应于所述左侧方向上的信号、所述右侧方向上的信号和所述中侧方向上的信号的第1类增益调整参数αF、对应于所述左后环绕信号和所述右后环绕信号的第1类增益调整参数αB、对应于所述左侧方向上的信号和所述左后环绕信号的第2类增益调整参数αL、对应于所述右侧方向上的信号和所述右后环绕信号的第2类增益调整参数αR；并且，当所述声源相对于所述移动终端的方向θ∈[0，90)∪(270,360]时αF＞αB，当θ∈(90,270)时αF＜αB，当θ∈(0,180)时αL＞αR，当θ∈(180,360)时αL＜αR；
第二处理单元，用于根据所述声音信号，获取所述空间音频信号中的各个方向上的信号的初始值；
第三处理单元，用于根据所述增益调整参数和所述空间音频信号中的各个方向上的信号的初始值，生成所述左侧方向上的信号、所述右侧方向上的信号、所述中侧方向上的信号、所述左后环绕信号、所述右后环绕信号。
13.根据权利要求12所述的处理声音信号的装置，其特征在于，所述空间音频信号还包括：双声道信号；
所述装置还包括：
第四处理单元，用于对所述左侧方向上的信号、所述右侧方向上的信号、所述中侧方向上的信号、所述左后环绕信号和所述右后环绕信号进行下混，生成所述双声道信号。
CN201410439142.8A 2014-08-29 2014-08-29 一种处理声音信号的方法及装置 Active CN105451151B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201410439142.8A CN105451151B (zh) 2014-08-29 2014-08-29 一种处理声音信号的方法及装置
EP15166654.2A EP2991382B1 (en) 2014-08-29 2015-05-06 Sound signal processing method and apparatus
KR1020150075144A KR101724514B1 (ko) 2014-08-29 2015-05-28 사운드 신호 처리 방법 및 장치
JP2015113909A JP2016052117A (ja) 2014-08-29 2015-06-04 音声信号処理方法および装置
US14/822,476 US9439019B2 (en) 2014-08-29 2015-08-10 Sound signal processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410439142.8A CN105451151B (zh) 2014-08-29 2014-08-29 一种处理声音信号的方法及装置

Publications (2)

Publication Number Publication Date
CN105451151A CN105451151A (zh) 2016-03-30
CN105451151B true CN105451151B (zh) 2018-09-21

Family

ID=53434189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410439142.8A Active CN105451151B (zh) 2014-08-29 2014-08-29 一种处理声音信号的方法及装置

Country Status (5)

Country Link
US (1) US9439019B2 (zh)
EP (1) EP2991382B1 (zh)
JP (1) JP2016052117A (zh)
KR (1) KR101724514B1 (zh)
CN (1) CN105451151B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170236547A1 (en) * 2015-03-04 2017-08-17 Sowhat Studio Di Michele Baggio Portable recorder
US9583113B2 (en) * 2015-03-31 2017-02-28 Lenovo (Singapore) Pte. Ltd. Audio compression using vector field normalization
KR20240093802A (ko) * 2015-06-17 2024-06-24 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
TWI577194B (zh) * 2015-10-22 2017-04-01 山衛科技股份有限公司 環境音源辨識系統及其環境音源辨識之方法
CN105407443B (zh) * 2015-10-29 2018-02-13 小米科技有限责任公司 录音方法及装置
US11722821B2 (en) * 2016-02-19 2023-08-08 Dolby Laboratories Licensing Corporation Sound capture for mobile devices
CN105548955A (zh) * 2016-03-04 2016-05-04 上海易景信息科技有限公司 一种快速室内声源定向装置及方法
US10356514B2 (en) 2016-06-15 2019-07-16 Mh Acoustics, Llc Spatial encoding directional microphone array
US10477304B2 (en) 2016-06-15 2019-11-12 Mh Acoustics, Llc Spatial encoding directional microphone array
US10451719B2 (en) * 2016-06-22 2019-10-22 Loose Cannon Systems, Inc. System and method to indicate relative location of nodes in a group
WO2018008396A1 (ja) * 2016-07-05 2018-01-11 ソニー株式会社 音場形成装置および方法、並びにプログラム
CN106448693B (zh) * 2016-09-05 2019-11-29 华为技术有限公司 一种语音信号处理方法及装置
US10034083B2 (en) * 2016-09-21 2018-07-24 International Business Machines Corporation Crowdsourcing sound captures to determine sound origins and to predict events
CN109983311B (zh) * 2016-11-22 2021-03-19 三菱电机株式会社 劣化部位估计装置、劣化部位估计***和劣化部位估计方法
CN106782584B (zh) * 2016-12-28 2023-11-07 北京地平线信息技术有限公司 音频信号处理设备、方法和电子设备
US10334360B2 (en) * 2017-06-12 2019-06-25 Revolabs, Inc Method for accurately calculating the direction of arrival of sound at a microphone array
CN109218920B (zh) * 2017-06-30 2020-09-18 华为技术有限公司 一种信号处理方法、装置及终端
US9866308B1 (en) * 2017-07-27 2018-01-09 Quantenna Communications, Inc. Composite WiFi and acoustic spatial diagnostics for smart home management
US10310082B2 (en) * 2017-07-27 2019-06-04 Quantenna Communications, Inc. Acoustic spatial diagnostics for smart home management
US10656268B2 (en) * 2017-07-27 2020-05-19 On Semiconductor Connectivity Solutions, Inc. Acoustic spatial diagnostics for smart home management
CN108269582B (zh) * 2018-01-24 2021-06-01 厦门美图之家科技有限公司 一种基于双麦克风阵列的定向拾音方法及计算设备
GB2572368A (en) * 2018-03-27 2019-10-02 Nokia Technologies Oy Spatial audio capture
CN108769874B (zh) * 2018-06-13 2020-10-20 广州国音科技有限公司 一种实时分离音频的方法和装置
CN111383655B (zh) * 2018-12-29 2023-08-04 嘉楠明芯(北京)科技有限公司 一种波束形成方法、装置及计算机可读存储介质
CN109769181B (zh) * 2019-01-28 2020-08-25 努比亚技术有限公司 一种扬声器出音孔、终端及扬声器出音孔控制方法
CN110103867A (zh) * 2019-05-09 2019-08-09 贵安新区新特电动汽车工业有限公司 声音强度调整方法及装置
CN110225445A (zh) * 2019-05-22 2019-09-10 上海德衡数据科技有限公司 一种处理声音信号实现三维声场听觉效果的方法及装置
WO2024082181A1 (zh) * 2022-10-19 2024-04-25 北京小米移动软件有限公司 空间音频采集方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102707262A (zh) * 2012-06-20 2012-10-03 太仓博天网络科技有限公司 一种基于麦克风阵列的声源定位***
CN103181192A (zh) * 2010-10-25 2013-06-26 高通股份有限公司 利用多麦克风的三维声音捕获和再现

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPO099696A0 (en) * 1996-07-12 1996-08-08 Lake Dsp Pty Limited Methods and apparatus for processing spatialised audio
TWM273904U (en) 2004-08-19 2005-08-21 Inventec Appliances Corp Mobile phone with stereo recording functions
JP4670682B2 (ja) * 2006-02-28 2011-04-13 日本ビクター株式会社 オーディオ装置及び指向音生成方法
US8488796B2 (en) * 2006-08-08 2013-07-16 Creative Technology Ltd 3D audio renderer
JP4379505B2 (ja) * 2007-08-23 2009-12-09 株式会社カシオ日立モバイルコミュニケーションズ 携帯端末装置
JP5397131B2 (ja) * 2009-09-29 2014-01-22 沖電気工業株式会社 音源方向推定装置及びプログラム
US10107887B2 (en) * 2012-04-13 2018-10-23 Qualcomm Incorporated Systems and methods for displaying a user interface
US20130315402A1 (en) * 2012-05-24 2013-11-28 Qualcomm Incorporated Three-dimensional sound compression and over-the-air transmission during a call
US9445174B2 (en) * 2012-06-14 2016-09-13 Nokia Technologies Oy Audio capture apparatus
CN202818484U (zh) 2012-08-21 2013-03-20 徐丙川 会议通信装置和***
CN103634561A (zh) 2012-08-21 2014-03-12 徐丙川 会议通信装置和***
WO2014090277A1 (en) * 2012-12-10 2014-06-19 Nokia Corporation Spatial audio apparatus
CN103064061B (zh) * 2013-01-05 2014-06-11 河北工业大学 三维空间声源定位方法
CN103778657B (zh) * 2014-02-28 2017-01-25 中山大学 一种基于空间剖分的声线束追踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103181192A (zh) * 2010-10-25 2013-06-26 高通股份有限公司 利用多麦克风的三维声音捕获和再现
CN102707262A (zh) * 2012-06-20 2012-10-03 太仓博天网络科技有限公司 一种基于麦克风阵列的声源定位***

Also Published As

Publication number Publication date
EP2991382A1 (en) 2016-03-02
KR101724514B1 (ko) 2017-04-07
US9439019B2 (en) 2016-09-06
JP2016052117A (ja) 2016-04-11
KR20160026652A (ko) 2016-03-09
EP2991382B1 (en) 2017-04-19
US20160066117A1 (en) 2016-03-03
CN105451151A (zh) 2016-03-30

Similar Documents

Publication Publication Date Title
CN105451151B (zh) 一种处理声音信号的方法及装置
US8213623B2 (en) Method to generate an output audio signal from two or more input audio signals
CN104424953B (zh) 语音信号处理方法与装置
DE102019129330A1 (de) Konferenzsystem mit einem Mikrofonarray-System und Verfahren zur Spracherfassung in einem Konferenzsystem
RU2513910C2 (ru) Работающее в зависимости от угла устройство или способ получения псевдостереофонического аудиосигнала
US8693713B2 (en) Virtual audio environment for multidimensional conferencing
US20150189455A1 (en) Transformation of multiple sound fields to generate a transformed reproduced sound field including modified reproductions of the multiple sound fields
JP2016025469A (ja) 収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システム
US10061009B1 (en) Robust confidence measure for beamformed acoustic beacon for device tracking and localization
CN109699200B (zh) 可变声学扬声器
JP2008543143A (ja) 音響変換器のアセンブリ、システムおよび方法
Oreinos et al. Objective analysis of ambisonics for hearing aid applications: Effect of listener's head, room reverberation, and directional microphones
US20160212554A1 (en) Method of determining acoustical characteristics of a room or venue having n sound sources
Simón-Gálvez et al. The effect of reverberation on personal audio devices
Amengual Garí et al. Spatial analysis and auralization of room acoustics using a tetrahedral microphone
DE102021103210A1 (de) Surround-Sound-Wiedergabe basierend auf Raumakustik
WO2017153872A1 (en) Method and apparatus for acoustic crosstalk cancellation
CN103916730B (zh) 一种能够改善音质的声场聚焦方法及***
TWI429885B (zh) 迴響環境之聲源能量分佈可視化的方法
KR20130109615A (ko) 가상 입체 음향 생성 방법 및 장치
Comminiello et al. Intelligent acoustic interfaces with multisensor acquisition for immersive reproduction
US20220021975A1 (en) Optimal Crosstalk Cancellation Filter Sets Generated By Using An Obstructed Field Model And Methods Of Use
CN104735582B (zh) 一种声音信号处理方法、装置及设备
Shabtai et al. Spherical array beamforming for binaural sound reproduction
Dick et al. A comparison of measured room acoustics metrics using a spherical microphone array and conventional methods

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant