CN102834728A - 用于确定检测点和声源之间的方向的方法和*** - Google Patents

用于确定检测点和声源之间的方向的方法和*** Download PDF

Info

Publication number
CN102834728A
CN102834728A CN2010800603051A CN201080060305A CN102834728A CN 102834728 A CN102834728 A CN 102834728A CN 2010800603051 A CN2010800603051 A CN 2010800603051A CN 201080060305 A CN201080060305 A CN 201080060305A CN 102834728 A CN102834728 A CN 102834728A
Authority
CN
China
Prior art keywords
cross
microphone element
pair
check point
sound source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800603051A
Other languages
English (en)
Other versions
CN102834728B (zh
Inventor
奥登·索旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cisco Systems International SARL
Original Assignee
Cisco Systems International SARL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cisco Systems International SARL filed Critical Cisco Systems International SARL
Publication of CN102834728A publication Critical patent/CN102834728A/zh
Application granted granted Critical
Publication of CN102834728B publication Critical patent/CN102834728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • G01S3/808Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403Linear arrays of transducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

一种用于确定检测点和声源之间的方向的方法和***,其中检测点例如是视频会议设备中的摄像机,声源例如是参与视频会议的主动发言人。该方法包括:接收声信号,其中声信号源于在关于检测点对称设置的第一对麦克风元件和第二对麦克风元件处的声源;计算来自第一对麦克风元件的第一互相关信号;以及计算来自第二对麦克风元件的第二互相关信号。然后,基于第一互相关信号和第二互相关信号通过例如卷积计算方向。也可以使用进一步对称设置的成对的麦克风元件。

Description

用于确定检测点和声源之间的方向的方法和***
技术领域
本发明涉及确定检测点和声源之间的方向,特别涉及一种用于确定检测点和诸如视频会议中的发言参与者之类的主动发言人之间的方向的方法和***。
背景技术
视频电话会议***用于创建在位于不同位置的两个或两个以上的人或者两组或两组以上的人之间的虚拟会议。确定检测点和声源间的方向在视频会议中是很有用的。这样的确定可用于例如视频会议***中的自动摄像机指向。在视频会议端点(视频会议网站的终端设备)的一种典型情况的会议室为:一些会议参与者坐在桌前或围着桌子观看端点显示设备,而位于显示设备附近的摄像机拍摄会议室的画面。如果在房间里有许多参与者,在远端侧的会议室中观看会议室画面的人可能难以确定发言人或听取几位发言人间的讨论。因此,优选找出室内的主动发言人的位置并将摄像机自动指向和引导到该参与者。此外,摄像机可以变焦,以获得发言人的合适的画面。
美国专利No.5,778,082示出了背景技术中声源定位的一个示例,除了别的方面以外,其说明了使用成对的两个空间分离的麦克风来获取声源的方向的方法和***。通过检测代表声源的声音的麦克风的各个信号的起点,可确定在接收到的声信号之间的时间延迟,然后可计算声源的方向。
这一原理已在图1中说明。按间距D设置的两个麦克风A和B从声源C接收声信号。入射角θ表示检测点(麦克风A和B之间的中点)和源C之间的方向。时间延迟τ表示在麦克风A和B处的声信号到达时间之间的差异。这一时间延迟是作为分别由麦克风A和B提供的信号的互相关的最大值点来计算。此处,“最大值点”是指与麦克风信号的互相关的最大值对应的内容,即时间。
然后以
Figure BPA00001571296900021
计算角θ,其中c是声速,τ是计算的时间延迟,D是麦克风之间的距离。
上述技术背景的方法有一定的缺陷。特别是已经证明,由麦克风自身产生的噪音对产生角度的确定有不利影响。因此,一直以来,必须使用昂贵的高品质麦克风来获取足够精确和可靠的在检测点和主动发言人之间的方向确定。
发明内容
本发明的目的在于克服背景技术方案的至少某些缺点。
本发明由所附的权利要求定义。
附图说明
当研究下面的详细说明和附图时,将很容易地获得对本发明及其优点更完整的理解。然而,详细说明和附图不应被解释为限制本发明的范围。
图1是示出了在背景技术中的方向确定的原理的示意图;
图2是示出了用于确定检测点和声源之间的方向的方法和***的某些方面的示意图;
图3是示出了用于确定检测点和声源之间的方向的***的第一实施例的原理的示意框图;
图4是示出了用于确定检测点和声源之间的方向的***的第二实施例的原理的示意框图;
图5是示出了用于确定检测点和声源之间的方向的***的第三实施例的原理的示意框图;
图6是说明用于确定检测点和声源之间的方向的方法的第一实施例的原理的示意流程图;和
图7是说明用于确定检测点和声源之间的方向的方法的第二实施例的原理的示意流程图。
具体实施方式
下面,将通过参照附图说明优选实施例来讨论本发明。然而,本领域的技术人员将意识到在由权利要求定义的本发明的范围内,存在其它应用和修改。
在上面的技术背景部分已经提到图1。
图2是示出了用于确定检测点和声源之间的方向的方法和***的某些方面的示意图。
在图2中,假定源于声源的声平面波冲击关于中央检测点190对称的线性麦克风阵列。因此,麦克风阵列包括在一直线上排列的一些麦克风元件,并且从检测点到阵列的一个侧面的任何麦克风元件的距离与到另一个侧面的相应的麦克风元件的距离是相同的。为了说明起见,示出了四个麦克风元件:第一对麦克风元件110、120和第二对麦克风元件130、140。此外,为了说明起见,设立了直角坐标系,使麦克风阵列和平面声波的位置跨越x-y平面,并且与检测点对应的原点位于麦克风阵列的中心。
在这个示例中,以更普遍的方面来看,在麦克风阵列中有M对麦克风元件,即,麦克风元件的总数为2M。
第i个麦克风的位置是xi
i∈{-M;-(M-1),…(M-1),M}。
在图2的示例说明中,M=2,即麦克风阵列中有4个麦克风元件。此外,在图2中,xi=iΔ,M=2。然而,M可以假定为2、3、4、5或更大的任何整数。
在下面将展示是检测点190和声源之间的方向表示的到达角度θ的数学推导。
在时刻t,第i个麦克风的声压由下式给出
p ( t , i ) = s ( t - x i sin ( θ ) c ) * a i ( t , θ ) + n i ( t ) - - - ( 1 )
式中,s(t)是随时间变化的源声信号,c是在通常是空气的声源和麦克风间的介质中的声速,ai(t,θ)是第i个麦克风的随角度变化的脉冲响应,ni(t)是第i个麦克风自身的噪声,*表示卷积运算符。
现在假设时间被认为是处于离散的点而不是作为连续变量,并且麦克风的信号已经以采样频率1/Ts离散化(并可能量化,即模数转换)。
为了说明简单起见,进一步假设每一个麦克风的脉冲响应等于狄拉克δ函数,即a(t,θ)=δ(t),推出了在第i个麦克风处的声压的如下表达式:
p ( n , i ) = s ( [ n - x i sin ( θ ) T s c ] T s ) + n i ( n T s ) - - - ( 2 )
执行傅立叶变换,产生如下表达式
P ( ω , i ) = S ( ω ) e - j k x x i + N i ( ω ) - - - ( 3 )
式中,ω=2πfTs
Figure BPA00001571296900043
c为声速。
现在,能估计检测点和声源之间的方向即到达角,即可确定θ。
假定麦克风的噪音信号和声音源是不相关的(这是一个合理的假设),将在负x平面的傅立叶域麦克风信号(如果s是实数,则对应于利用负频率分量)复共轭并用信号乘以在正x平面中的其余傅立叶域麦克风信号,得到阵列交叉谱
S x ( ω , θ ) = Π i = 1 M P ( ω , - i ) * P ( ω , i ) ≈ S ( ω ) 2 M e - j 2 k x Σ i = 1 M x i + Σ i = 1 M | N | i 2 ( ω ) - - - ( 4 )
可以很容易地看出,当麦克风数量增加时,信噪比将会增大。计算傅立叶逆变换,得出
R x ( n ) = 1 2 π ∫ - π π S x ( ω , θ ) e jωn dω
= R s 2 M ( [ n - 2 sin ( θ ) Σ i = 1 M x i T s c ] T s ) + Σ i = 1 M σ i 2 δ ( n ) . - - - ( 5 )
Rs2M是与其自身做M次卷积的源的自相关函数。
通过定位Rx的最大值的位置,可以得出到达角度θ。
θ = arc sin ( c T s 2 Σ i = 1 M x i [ arg max n R x ( n ) ] ) . - - - ( 6 )
对于其中M=2的阵列配置,即,在两对麦克风的情况下,可通过下式得出最大值:
θ = arc sin ( c T s 6 Δ [ arg max n R x ( n ) ] ) . - - - ( 7 )
上述推理基本上涉及如图2中示意性地示出的麦克风的配置。然而,应当理解的是,当阅读下面的方法和***的实施例的公开时,在适当时,上述教义、原理、推理及假设也可单独应用或组合应用。
图3是示出了用于确定检测点190和声源之间的方向θ的***100的第一实施例的原理的示意框图。
声源并被未示出。然而,入射线184示出了源自声源的入射声波的方向。假定声源和检测点190之间的距离比麦克风之间的任何距离大很多,认为入射角θ对所有的麦克风都相同是合理的。
***包括接收源于声源的声信号的、关于检测点190对称设置的第一对麦克风元件110、120。
该***还包括也接收源于声源的声信号的、关于检测点190对称设置的第二对麦克风元件130、140。
在示出的实施例中,将第一对麦克风元件(110、120)和第二对麦克风元件(130、140)设置在位于检测点190的线性麦克风阵列180中。更具体地说,如也可以从图3所示理解的那样,可按如下方式设置麦克风阵列180:麦克风元件成对地关于通过检测点的入射轴182对称设置。
如图所示,第一对麦克风元件(110、120)可以是里面的一对麦克风元件,即它们被设置为更接近于检测点190。此外,第二对麦克风元件(130、140)可以是外面的一对麦克风元件,即它们被设置在离检测点190更远的距离处。
第一对麦克风元件中的每一个麦克风元件通讯式连接到第一互相关器210的相应的输入,其中第一互相关器210被配置为计算两个输入麦克风信号的互相关。结果,第一互相关器210输出第一互相关信号。
第二对麦克风元件中的每一个麦克风元件通讯式连接到第二互相关器220的相应的输入,其中第二互相关器220被配置为计算两个输入麦克风信号的互相关。结果,第二互相关器220输出第二互相关信号。
使用表达“通讯式连接”是为了强调可能设置或可能不设置中间电路来处理在图3中所示的麦克风和其余电路之间的元件等。这类中间电路可包括从例如放大器、滤波器、离散器件、量化器、采样器、A/D转换器、信号处理器等中选择的任意数量的元件。
将第一互相关信号和第二互相关信号送入卷积器310的相应的输入,卷积器后面是方向计算器410。卷积器310和方向计算器410被配置为基于第一互相关信号和第二互相关信号计算检测点和声源之间的方向。
更具体地说,卷积器310被配置为将第一互相关信号和第二互相关信号进行卷积。
更具体地说,在一个实施例中,卷积器310被配置为在频域内执行第一互相关信号和第二互相关信号的卷积。可替代地,卷积器可被配置为在时域内执行卷积。
方向计算器410被配置为通过识别卷积结果的最大值点来计算检测点和声源之间的方向。
更具体地说,方向计算器410可被配置为基于识别的最大值点计算入射角,其中入射角表示检测点和声源之间的方向。
为了说明本发明的原理,将表示为互相关器、卷积器和方向计算器的元件作为独立的功能模块进行说明。技术人员会意识到,这样的功能模块可以作为软件中的处理指令来实现。在这种情况下,互相关器、卷积器和方向计算器可以是控制处理装置的软件模块,其中处理装置输入输入信号、根据本公开对这些输入信号进行处理并计算出表示所需要的方向或角度的值作为输出信号。处理指令可存放在在存储器或存储装置中。特别地,本发明提供的功能模块和/或其它功能性部件可通过数字信号处理器来实现。可能存在其它的替代,例如诸如FPGA之类的专用集成电路可用于实际实现本发明。
***的一个特殊实施例在视频会议中有特别应用。在这样的一个实施例中,声源可以是视频会议中的主动参与者,即会议中的主动发言人。此外,检测点与诸如视频会议端点之类的视频会议设备中的可变方向的摄像机的位置完全或大体上吻合。***还包括摄像机控制器,摄像机控制器被配置为除其它方面外还控制摄像机特别是其例如绕大体上是垂直轴和/或水平轴的旋转,以使它指向由所公开的方法和***计算的方向,即指向朝向声源的方向,其中声源在这种情况下是主动会议参与者。这使得该主动参与者的图像可由摄像机拍摄。为了改善对主动参与者的图像的拍摄,可以使用变焦来选择图像的合适的细节。
图4是示出了用于确定检测点190和声源之间的方向的***101的第二实施例的原理的示意框图。
图4所示的***101对应于在图3中所示的***100,并且使用相同的参考数字来说明相同的或相应的元件。
然而,图4所示的***101还包括第三对麦克风元件150、160,其中第三对麦克风元件150、160关于检测点190成对对称设置并接收源于声源(未示出)的声信号。
此外,***101包括第三互相关器230,其中第三互相关器230被配置为计算由第三对麦克风元件150、160提供的信号的互相关,生成第三互相关信号。
此外,在***101中,在这个示例中作为第一卷积器310提及的卷积器310、第二卷积器320和方向计算器410被配置为基于第一互相关信号、第二互相关信号和第三互相关信号计算检测点和声源之间的方向。
更具体地说,卷积器310被配置为计算第一互相关信号和第二互相关信号的卷积。将称作第一卷积信号的这个卷积的结果作为第一输入送到第二卷积器320。将第三互相关信号作为第二输入送到第二卷积器320。将第二卷积器320的输出作为输入送到方向计算器410,其中方向计算器410配置为通过识别第二卷积器的输出结果的最大值点来计算检测点和声源之间的方向。
可以理解的是,可在本发明的范围内再次使用在线性麦克风阵列中加入另一对麦克风元件并进一步增加用于计算所加入的一对麦克风元件的互相关的互相关器以及修改卷积器和方向计算器的设置的原理,以做到也基于进一步的互相关器的输出来计算指示入射方向或入射角的值的方向计算器的输出信号。
因此,在M对麦克风元件的情况下,其中M是大于2的整数,M对麦克风元件关于检测点成对对称设置,接收源于声源的声信号。那么,该***还包括被称作第一互相关器、第二互相关器等直至第M互相关器的M个互相关器。每个互相关器被配置为计算由相应的麦克风元件对提供的信号的互相关,生成M个互相关信号。
此外,在***中设置M-1个卷积器。第一卷积器被配置为计算第一互相关信号和第二互相关信号的卷积,第二卷积器配置为计算第一卷积信号和第三互相关信号的卷积,依此类推。第(M-1)卷积器配置为计算第(M-2)卷积信号和第M互相关信号的卷积。
此外,仍然是在M对麦克风元件的情况下,方向计算器410被配置为还基于第M互相关来计算检测点声源之间的方向。更具体地说,如上所规定的那样,方向计算器被配置为基于第(M-1)卷积器的输出来计算检测点和声源之间的方向。
图5是示出了用于确定检测点190和声源间的方向的***102的第三实施例的原理的示意框图。
***102大体上对应于图4所示的***101,并且使用相同的参考数字来说明图中相同的或相应的元件。然而,在图5中已表明,在相邻的麦克风之间的距离不必相同,只要每一对麦克风元件关于检测点190在一直线上对称地设置(或关于通过检测点190的入射轴对称地设置)即可。例如,麦克风元件110和130之间的距离(等于麦克风元件120和140之间的距离)可以小于麦克风元件130和150之间的距离(等于麦克风元件140和160之间的距离)。技术人员应意识到,其它的可能性也存在。
图6是说明用于确定检测点和声源之间的方向的方法的第一实施例的原理的示意流程图。
所述方法在初始步骤600开始。
在第一接收步骤610,在第一对麦克风元件处接收源于声源的声信号,其中第一对麦克风元件关于检测点对称设置。
第一对麦克风元件和第二对麦克风元件可以在一直线上设置在位于检测点的线性麦克风阵列内,通过这种设置,麦克风元件关于通过检测点的入射轴成对地对称分布。第一对麦克风元件可以是里面的一对麦克风元件,第二对麦克风元件可以是外面的一对麦克风元件。
接着,在第二接收步骤620,在第二对麦克风元件处接收源于声源的声信号,其中第二对麦克风元件也关于检测点对称设置。
接着,在第一互相关信号计算步骤630,计算作为由第一对麦克风元件提供的信号的互相关的第一互相关信号。
接着,在第二互相关信号计算步骤640,计算作为由第二对麦克风元件提供的信号的互相关的第二互相关信号。
可以通过先计算每一个麦克风信号的傅立叶变换并将一个麦克风信号的傅立叶表达式乘以在麦克风对中的另一个麦克风对信号的复共轭傅里叶表达式而在频域内方便地计算互相关信号。计算这个乘积的傅立叶逆变换得到麦克风信号的时域互相关。
可替代地,可以在时域内通过将一个麦克风信号与通过麦克风对中的另一个麦克风提供的时间反转信号卷积而计算互相关信号。
接着,在卷积计算步骤650,计算第一互相关信号和第二互相关信号的卷积,生成第一卷积信号。
这样的第一互相关信号和第二互相关信号的卷积可在频域内执行。更具体地说,如果已通过傅立叶变换提供了互相关信号,则可以通过相乘然后对结果执行傅立叶逆变换而方便地在傅立叶域(频域)执行卷积。另外,可以在时域执行卷积。
接着,在方向计算步骤660,基于第一互相关信号和第二互相关信号计算检测点a与声源之间的方向。更具体地说,基于在步骤650生成的第一卷积信号计算方向。
在一个实施例中,方向计算步骤660可包括识别第一卷积信号的最大值点。最大值点代表与第一信号卷积的最大值对应的内容,即时间。可以通过搜索的方法执行识别最大值点。
更具体地,在方向计算步骤660,可以基于确定的最大值点计算入射角度,其中入射角度表示检测点和声源之间的方向。
已经在前文通过参照图2公开了有关该方法的进一步细节、特别是计算角度,即朝向声源的方向的进一步的情况。
可以理解的是,图6中的步骤的示出顺序是出于解释目的提出的,可以使用脱离已示出顺序的顺序来得到相同的结果。例如,接收声信号的步骤610和步骤620可以同时进行或并行进行。如果接收步骤是在不同的时间点执行,则它们之间的时间差与研究的声信号的性质相比应保持为较小。在这种情况下,第一对麦克风元件和在第二对麦克风元件处的接收顺序可以互换。同样,可以理解,如果需要,第一互相关信号和第二互相关信号的计算可以以任何顺序进行,或同时或并行进行。
图7是说明用于使用第一对麦克风元件、第二对麦克风元件和第三对麦克风元件来确定检测点和声源之间的方向的方法的原理的示意流程图。
第一对麦克风元件、第二对麦克风元件和第三对麦克风元件可以在一直线上设置在位于所述检测点的线性麦克风阵列内,通过这种设置,麦克风元件关于通过检测点的入射轴成对地对称地设置,即上文中参照图4或图5说明的方式。
所述方法在初始步骤700开始。
在第一接收步骤710,在第一对麦克风元件处接收源于声源的声信号。
接着,在第二接收步骤720,在第二对麦克风元件处接收源于声源的声信号。
接着,在第三接收步骤730,在第三对麦克风元件处接收源于声源的声信号。
接着,在第一互相关信号计算步骤740,计算作为由第一对麦克风元件提供的信号的互相关的第一互相关信号。
接着,在第二互相关信号计算步骤750,计算作为由第二对麦克风元件提供的信号的互相关的第二互相关信号。
接着,在第三互相关信号计算步骤760,计算作为由第三对麦克风元件提供的信号的互相关的第三互相关信号。
例如,如上参照图3、图4、图5或图6说明的那样,可以方便地在频域或时域内计算互相关信号。
接着,在第一卷积计算步骤770,计算第一互相关信号和第二互相关信号的卷积,生成第一卷积信号。
接着,在第二卷积计算步骤780,计算第一卷积信号和第三互相关信号的卷积,生成第二卷积信号。
例如如上参照图3、图4、图5或图6说明的那样,可以方便地在频域或时域内计算卷积信号。
接着,在方向计算步骤790,基于第一互相关信号、第二互相关信号和第三互相关信号计算检测点与声源之间的方向。更具体地说,基于在步骤780生成的第二卷积信号计算方向。
方向计算步骤790可以以与参照图6说明的对应的方式包括确定第二卷积信号的最大值点。
在本方法的再另一个实施例中,在M对麦克风元件处接收源于声源的声信号,其中M对麦克风元件关于检测点成对地对称设置,其中M是大于2的整数。整数M可以是例如3、4或5。可替代地,整数M可以是大于5的另一个整数。计算由每一对麦克风元件提供的信号的互相关,生成M个互相关信号。此外,计算检测点和声源之间的方向的步骤是基于M个互相关信号。
在这种情况下,该方法包括计算互相关信号的M个步骤,每一个步骤都对应于相应的一对麦克风。这些步骤可称作计算互相关信号的第一步骤、第二步骤等等、直至第M步骤。计算相关信号的的M个步骤生成M个互相关信号。
此外,该方法包括计算卷积的M-1个步骤。计算卷积的第一个步骤计算第一互相关信号和第二互相关信号的卷积,生成第一卷积信号。计算卷积的第二个步骤计算第一卷积信号和第三互相关信号的卷积,依此类推。最后,计算卷积的第(M-1)步骤计算第(M-2)卷积信号与第M互相关信号的卷积。
此外,在仍然是M对麦克风元件的情况下,计算方向的步骤也是基于M个互相关信号计算检测点和声源之间的方向。更具体地说,如以上规定的那样,方向可基于第(M-1)卷积步骤的输出来计算。
因此,结合由线性的、对称的麦克风阵列中里面的那对麦克风元件提供的信号的已经计算好的卷积的互相关,卷积过程可以递归性地用于下一对外面的麦克风元件。
在本方法的一个特别有用的应用中,声源是视频会议的主动参与者,并且检测点与视频会议设备中的可变方向的摄像机的位置相吻合。在这种情况下,该方法还包括控制摄像机指向计算的方向以用摄像机拍摄主动参与者。
如上所述,确定检测点和声源之间的方向的方法和***在视频会议中是非常有用的,例如用于将摄像机自动指向在视频会议***中的主动参与者(发言人)。然而,确定检测点和声源之间的方向也可用于其它一些应用中,例如用于电视节目或电影的制作中,舞台剧或在音乐表演期间的舞台设置中,以及监控、监测或安全技术中。
与在背景部分中提到的用于到达角度估测的常规的时间延迟技术相比,本发明产生了更高的信噪比。因此,本发明允许使用具有更高的噪音水平的便宜的麦克风,而不牺牲整体性能和精度。
另外,使用采用本发明的原理的高品质麦克风允许在确定到达方向上有更好的性能和准确性,在源具有弱输出信号或如果源位于距离检测点相当远的位置的情况下也是如此。
应当理解,所说明的方法和***是完全对应的,所述方法的任何可能已具体说明的特征应视为也公开给了***说明中的对等物,反之亦然。
鉴于上述的教义,对本发明做出大量修改和变化是可能的。因此,可以理解的是,在附加的权利要求的范围内,本发明可以以不同于此处具体说明的方式实现。

Claims (18)

1.一种用于确定检测点和声源之间的方向的方法,包括:
-在第一对麦克风元件处接收源于声源的声信号,其中第一对麦克风元件关于检测点对称设置;
-计算由所述第一对麦克风元件提供的信号的互相关,产生第一互相关信号;
-基于所述第一互相关信号计算所述检测点和所述声源之间的方向;
其特征在于还包括如下步骤
-在第二对麦克风元件处接收源于声源的声信号,其中第二对麦克风元件关于检测点对称设置;
-计算由所述第二对麦克风元件提供的信号的互相关,产生第二互相关信号;以及
其中,计算所述检测点和所述声源之间的方向的步骤还基于所述第二互相关信号。
2.根据权利要求1所述的方法,
其中,计算所述检测点和所述声源之间的方向的步骤包括
-将所述第一互相关信号和所述第二互相关信号卷积。
3.根据权利要求2所述的方法,
其中,将所述第一互相关信号和所述第二互相关信号卷积的步骤是在频域内进行的。
4.根据权利要求2或3所述的方法,
其中,计算所述检测点和所述声源之间的方向的步骤包括
识别所述卷积步骤的结果的最大值点。
5.根据权利要求4所述的方法,
还包括基于所识别的最大值点计算入射角度,其中入射角度表示所述检测点和所述声源之间的方向。
6.根据权利要求1-5中的一项所述的方法,
其中,所述第一对麦克风元件和所述第二对麦克风元件设置在位于所述检测点的线性麦克风阵列内,通过这种设置,所述麦克风元件关于通过所述检测点的入射轴对称地设置。
7.根据权利要求6所述的方法,其中,
所述第一对麦克风元件是里面的一对麦克风元件,所述第二对麦克风元件是外面的一对麦克风元件。
8.根据权利要求1-6中的一项所述的方法,还包括以下步骤:
-在第M对麦克风元件处接收源于声源的声信号,其中第M对麦克风元件关于检测点对称设置;
-计算由所述第M对麦克风元件提供的信号的互相关,产生第M互相关信号;
其中,计算所述检测点和所述声源之间的方向的步骤还基于所述第M互相关信号,其中M是大于2的整数。
9.根据权利要求1-8中的一项所述的方法,
其中,所述声源是视频会议的主动参与者,所述检测点与视频会议设备中的可变方向的摄像机的位置相吻合,
其中,所述方法还包括
控制摄像机指向所计算的方向来用摄像机拍摄所述主动参与者。
10.一种用于确定检测点和声源之间的方向的***,包括
-第一对麦克风元件,所述第一对麦克风元件关于所述检测点对称设置,接收源于所述声源的声信号;
-第一互相关计算器,所述第一互相关计算器被配置为计算由所述第一对麦克风元件提供的信号的互相关,产生第一互相关信号;
-方向计算器,被配置为基于所述第一互相关信号计算所述检测点和所述声源之间的方向;
其特征在于还包括
-第二对麦克风元件,所述第二对麦克风元件关于所述检测点对称设置,接收源于所述声源的声信号;
-第二互相关计算器,所述第二互相关计算器被配置为计算由所述第二对麦克风元件提供的信号的互相关,产生第二互相关信号;
其中,所述方向计算器被配置为还基于所述第二互相关信号计算所述检测点和所述声源之间的方向。
11.根据权利要求10所述的***,
还包括卷积器,所述卷积器被配置为将所述第一互相关信号和所述第二互相关信号卷积,所述卷积器的输出被送给所述方向计算器。
12.根据权利要求11所述的***,
其中,所述卷积器被配置为在频域内执行所述第一互相关信号和所述第二互相关信号的卷积。
13.根据权利要求11或12所述的***,
其中,所述方向计算器被配置为通过识别所述卷积的结果的最大值点来计算所述检测点和所述声源之间的方向。
14.根据权利要求13所述的***,
其中,所述方向计算器被配置为基于所识别的最大值点计算入射角,其中入射角表示所述检测点和所述声源之间的方向。
15.根据权利要求10-14中的一项所述的***,
其中,所述第一对麦克风元件和所述第二对麦克风元件设置在位于所述检测点的线性麦克风阵列内,通过这种设置,所述麦克风元件关于通过所述检测点的入射轴对称地设置。
16.根据权利要求15所述的***,其中,
所述第一对麦克风元件是里面的一对麦克风元件,所述第二对麦克风元件是外面的一对麦克风元件。
17.根据权利要求10-16中的一项所述的***,还包括
-第M对麦克风元件,所述第M对麦克风元件关于所述检测点对称设置,接收源于声源的声信号;
-第M互相关器,所述第M互相关器被配置为计算由所述第M对麦克风元件提供的信号的互相关,产生第M互相关信号;以及
-多个卷积器的排列,
其中,所述方向计算器和所述多个卷积器的排列被配置为还基于所述第M互相关计算所述检测点和所述声源之间的方向,
其中M是大于2的整数。
18.根据权利要求10-17中的一项所述的***,
其中,所述声源是视频会议的主动参与者,并且所述检测点与视频会议设备中的可变方向的摄像机的位置相吻合,
其中,所述***还包括
摄像机控制器,被配置为控制摄像机指向所计算的方向来用摄像机拍摄所述主动参与者。
CN201080060305.1A 2009-12-30 2010-12-17 用于确定检测点和声源之间的方向的方法和*** Active CN102834728B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
NO20093605 2009-12-30
NO20093605A NO332161B1 (no) 2009-12-30 2009-12-30 Fremgangsmate og system for a bestemme retningen mellom et deteksjonspunkt og en akustisk kilde
PCT/NO2010/000470 WO2011081527A1 (en) 2009-12-30 2010-12-17 Method and system for determining the direction between a detection point and an acoustic source

Publications (2)

Publication Number Publication Date
CN102834728A true CN102834728A (zh) 2012-12-19
CN102834728B CN102834728B (zh) 2014-08-20

Family

ID=41697799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080060305.1A Active CN102834728B (zh) 2009-12-30 2010-12-17 用于确定检测点和声源之间的方向的方法和***

Country Status (5)

Country Link
US (1) US8848030B2 (zh)
EP (1) EP2519831B1 (zh)
CN (1) CN102834728B (zh)
NO (1) NO332161B1 (zh)
WO (1) WO2011081527A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375902A (zh) * 2015-07-22 2017-02-01 哈曼国际工业有限公司 通过麦克风的机会性使用的音频增强
WO2017166949A1 (zh) * 2016-03-30 2017-10-05 芋头科技(杭州)有限公司 一种语音寻向***及方法
CN108490384A (zh) * 2018-03-30 2018-09-04 深圳海岸语音技术有限公司 一种小型空间声源方位探测装置及其方法
CN109451396A (zh) * 2018-10-17 2019-03-08 浙江大学 一种基于波束偏转的声场定向调控方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9084036B2 (en) * 2011-05-17 2015-07-14 Alcatel Lucent Signal source localization using compressive measurements
WO2013042201A1 (ja) * 2011-09-20 2013-03-28 トヨタ自動車株式会社 音源検出装置
CN102497529B (zh) * 2011-12-05 2014-09-17 天津市华音宇科工贸有限公司 智能自动混音***新型摄像定位跟踪方法及其装置
US9501472B2 (en) * 2012-12-29 2016-11-22 Intel Corporation System and method for dual screen language translation
US10750132B2 (en) * 2013-03-14 2020-08-18 Pelco, Inc. System and method for audio source localization using multiple audio sensors
CN104052610B (zh) * 2014-05-19 2017-11-24 国家电网公司 信息化智能会议调度管理设备及使用方法
US9886938B2 (en) * 2015-02-10 2018-02-06 Navico Holding As Transducer array having a transceiver
CN110389597B (zh) * 2018-04-17 2024-05-17 北京京东尚科信息技术有限公司 基于声源定位的摄像头调整方法、装置和***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1292985A (zh) * 1998-11-11 2001-04-25 皇家菲利浦电子有限公司 改进后的信号定位装置
US20020048376A1 (en) * 2000-08-24 2002-04-25 Masakazu Ukita Signal processing apparatus and signal processing method
US20040240680A1 (en) * 2003-05-28 2004-12-02 Yong Rui System and process for robust sound source localization
JP2006304124A (ja) * 2005-04-25 2006-11-02 V-Cube Inc 音源方向確定装置および音源方向確定方法
EP2063419A1 (en) * 2007-11-21 2009-05-27 Harman Becker Automotive Systems GmbH Speaker localization

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8947347B2 (en) * 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
JP5195652B2 (ja) * 2008-06-11 2013-05-08 ソニー株式会社 信号処理装置、および信号処理方法、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1292985A (zh) * 1998-11-11 2001-04-25 皇家菲利浦电子有限公司 改进后的信号定位装置
US20020048376A1 (en) * 2000-08-24 2002-04-25 Masakazu Ukita Signal processing apparatus and signal processing method
US20040240680A1 (en) * 2003-05-28 2004-12-02 Yong Rui System and process for robust sound source localization
JP2006304124A (ja) * 2005-04-25 2006-11-02 V-Cube Inc 音源方向確定装置および音源方向確定方法
EP2063419A1 (en) * 2007-11-21 2009-05-27 Harman Becker Automotive Systems GmbH Speaker localization

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375902A (zh) * 2015-07-22 2017-02-01 哈曼国际工业有限公司 通过麦克风的机会性使用的音频增强
CN106375902B (zh) * 2015-07-22 2020-07-21 哈曼国际工业有限公司 通过麦克风的机会性使用的音频增强
WO2017166949A1 (zh) * 2016-03-30 2017-10-05 芋头科技(杭州)有限公司 一种语音寻向***及方法
CN108490384A (zh) * 2018-03-30 2018-09-04 深圳海岸语音技术有限公司 一种小型空间声源方位探测装置及其方法
CN109451396A (zh) * 2018-10-17 2019-03-08 浙江大学 一种基于波束偏转的声场定向调控方法

Also Published As

Publication number Publication date
NO332161B1 (no) 2012-07-09
EP2519831B1 (en) 2014-11-05
EP2519831A1 (en) 2012-11-07
EP2519831A4 (en) 2013-11-20
WO2011081527A1 (en) 2011-07-07
US8848030B2 (en) 2014-09-30
NO20093605A1 (no) 2011-07-01
CN102834728B (zh) 2014-08-20
US20110157300A1 (en) 2011-06-30

Similar Documents

Publication Publication Date Title
CN102834728B (zh) 用于确定检测点和声源之间的方向的方法和***
CN111025233B (zh) 一种声源方向定位方法和装置、语音设备和***
US9706298B2 (en) Method and apparatus for localization of an acoustic source and acoustic beamforming
EP1906707B1 (en) Audio transmission system and communication conference device
JP5857674B2 (ja) 画像処理装置、及び画像処理システム
CN101061743B (zh) 音频信号增强的方法和设备
EP2320676A1 (en) Method, communication device and communication system for controlling sound focusing
CN113466793B (zh) 一种基于麦克风阵列的声源定位方法、装置及存储介质
CN106093866A (zh) 一种适用于空心球阵列的声源定位方法
WO2017061023A1 (ja) 音声信号処理方法および装置
CN103856877A (zh) 一种声控信息检测方法及电子设备
CN106199607B (zh) 一种麦克风阵列的声源方向定位方法及装置
JPWO2018003158A1 (ja) 相関関数生成装置、相関関数生成方法、相関関数生成プログラムおよび波源方向推定装置
CN100538607C (zh) 分布式计算平台上的音频传感器和执行器的三维位置校正
Nguyen et al. Real-time sound localization using field-programmable gate arrays
JP4960838B2 (ja) 距離測定装置、距離測定方法、距離測定プログラム、および記録媒体
CN110133595A (zh) 一种声源测向方法、装置和用于声源测向的装置
KR20030046727A (ko) 서브밴드 씨피에스피 알고리듬을 이용한 음원위치추정방법및 그 시스템
JP5235725B2 (ja) 発話向き推定装置、方法及びプログラム
CN112596028A (zh) 一种投票装置、投票方法和计算机可读存储介质
Hayashida et al. Near field sound source localization based on cross-power spectrum phase analysis with multiple microphones.
JP2002062900A (ja) 収音装置及び受信装置
JP2006295698A (ja) 選択受信方法及び受信装置
Sayoud et al. Speaker localization using stereo-based sound source localization
Kashentsev Estimation of dominant sound source with three microphone array

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant