CN112198476A - 一种基于立体视觉和波束形成的移动声源的三维定位方法 - Google Patents
一种基于立体视觉和波束形成的移动声源的三维定位方法 Download PDFInfo
- Publication number
- CN112198476A CN112198476A CN202011108814.9A CN202011108814A CN112198476A CN 112198476 A CN112198476 A CN 112198476A CN 202011108814 A CN202011108814 A CN 202011108814A CN 112198476 A CN112198476 A CN 112198476A
- Authority
- CN
- China
- Prior art keywords
- camera
- depth image
- sound
- microphone
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000003709 image segmentation Methods 0.000 claims abstract description 11
- 238000005516 engineering process Methods 0.000 claims abstract description 10
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000001228 spectrum Methods 0.000 claims description 9
- 230000004807 localization Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 238000002474 experimental method Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
- G01S5/22—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H1/00—Measuring characteristics of vibrations in solids by using direct conduction to the detector
- G01H1/12—Measuring characteristics of vibrations in solids by using direct conduction to the detector of longitudinal or not specified vibrations
- G01H1/14—Frequency
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
- G01H9/002—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means for representing acoustic field distribution
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/14—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object using acoustic emission techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
- G01N29/4409—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison
- G01N29/4427—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison with stored values, e.g. threshold values
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
- G01N29/4472—Mathematical theories or simulation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
- G01N29/46—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by spectral analysis, e.g. Fourier analysis or wavelet analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2291/00—Indexing codes associated with group G01N29/00
- G01N2291/02—Indexing codes associated with the analysed material
- G01N2291/028—Material parameters
- G01N2291/0289—Internal structure, e.g. defects, grain size, texture
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2291/00—Indexing codes associated with group G01N29/00
- G01N2291/10—Number of transducers
- G01N2291/106—Number of transducers one or more transducer arrays
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Immunology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Pathology (AREA)
- Mathematical Physics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Acoustics & Sound (AREA)
- Pure & Applied Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明公开了一种基于立体视觉和波束形成的移动声源的三维定位方法,将立体相机拾取的环境深度图像导入计算机;在计算机中将得到的环境深度图像通过图像分割技术将被测的运行机构从运行环境中提取出来,获得运行机构深度图像;通过空间匹配将运行机构深度图像转化为声阵列空间坐标系下的空间三维点云,将这些点作为波束形成的声压重建点,并在这些点上重建运行机构表面的声场,将最大声场输出所对应的声压重建点作为声源的三维定位结果。本发明通过引入立体视觉技术可以获得运行机构的三维表面,并结合波束形成实现在该面上进行声场重建,使得本发明无需对声源所在深度进行测量或假设。
Description
技术领域
本发明涉及一种基于立体视觉和波束形成的移动声源的三维定位方法,属于机械设备状态监测及故障诊断技术领域。
背景技术
在日常生活和工业机械***的运行环境降噪过程中,声源定位起到重要的作用。而准确的识别生产生活中的声源是对其进行故障诊断、降噪的前提。声源定位技术主要的研究是确定被接收信号源处于接收传感器的相对方向和距离,即方向估计和距离估计。目前,定位声源位置最常用的就是基于传声器阵列来定位声源位置。
基于声阵列的波束形成方法已是主流的几种声源识别方法之一,可识别中、远场和瞬态的声源,已经成为飞机分析噪声源的标准工具,同时在火车、汽车等机械结构中得到了广泛的应用。
波束形成方法定位时,通常需要对声源所在深度进行测量或假设,然后在该深度上设置一个包含声源的矩形平面(重构面)上进行网格化,将各网格点作为声场重建点进行计算,重建该平面内的声场并输出声成像图,在声成像图上最大输出为声源的定位坐标。重构面深度和声源深度是相同的,深度定位结果是不精确的。
目前,在无法对声源深度进行测量的情况下,波束形成在定位声源的三维信息时,仅有通过不断迭代假设深度,寻求最佳的声场重建深度,并将此深度作为三维定位中深度方向的结果,如图1。每次迭代都需要重构一次声场,存在巨大的计算量,严重影响声源的定位效率。
发明内容
本发明提供了一种基于立体视觉和波束形成的移动声源的三维定位方法,可以有效地用于移动声源的三维定位。
本发明的技术方案是:一种基于立体视觉和波束形成的移动声源的三维定位方法,首先把传声器阵列和立体相机安置在需要监测的运行机构的一侧,通过直流稳压电源同时触发传声器阵列、立体相机;相机每次曝光期间,通过传声器阵列拾取机构运行时声压频谱信号,并同步通过立体相机内置的立体视觉算法拾取对应的环境深度图像;将立体相机拾取的环境深度图像导入计算机;在计算机中将得到的环境深度图像通过图像分割技术将被测的运行机构从运行环境中提取出来,获得运行机构深度图像;通过空间匹配将运行机构深度图像转化为声阵列空间坐标系下的空间三维点云,将这些点作为波束形成的声压重建点,并在这些点上重建运行机构表面的声场,将最大声场输出所对应的声压重建点作为声源的三维定位结果。
所述方法具体步骤如下:
S1、首先把传声器阵列和立体相机安置在需要监测的运行机构的一侧,通过直流稳压电源同时触发传声器阵列、立体相机;其中,传声器阵列为M个传声器组成的阵列,传声器m在声阵列空间坐标系中的空间坐标为(xm,ym,zm),选择1号传声器为参考通道;
S2、相机每次曝光期间,通过传声器阵列拾取机构运行时声压频谱信号Pm(ω),并同步通过立体相机内置的立体视觉算法拾取对应的环境深度图像;其中m=1,2,3…,M,Pm(ω)为第m个传声器采集到的声压频谱信号;
S3、将立体相机拾取的环境深度图像导入计算机;在计算机中将得到的环境深度图像通过图像分割技术将被测的运行机构从运行环境中提取出来,获得运行机构深度图像;
S4、通过空间匹配将运行机构深度图像转化为声阵列空间坐标系下的空间三维点云,将这些点作为波束形成的声压重建点f;其中,f=1,2,...F,F表示重建点的总数;
S5、对各声压重建点f到达各传声器m相对于参考传声器的延时时间计算:τm(f)=|r1f|-|rmf|/c;其中,r1f为参考传声器1到重建点f的位置向量,rmf为第m号传声器到重建点f的位置向量,|·|是矢量取模,c为声速;
S6、通过S5步骤中得到的延时时间,对各传声器信号进行延迟补偿后求和,并根据传声器总数M,进行归一化,得到各声压重建点f的声场输出B(f,ω);将各声压重建点f的声场输出B(f,ω)共同组成声成像图;其中,wm是第m号传声器的加权系数,e为自然常数,j为虚数单位;
S7、声成像图中的最大声场输出所对应的声压重建点作为声源的三维定位结果。
所述图像分割技术采用阈值法。
所述S4步骤具体如下:
S4.1、运行机构深度图像作为平面图像,是各像素的深度组成的矩阵图像化的结果,根据成像原理,运行机构深度图像的每个像素点(x,y)及像素点的深度l,能够建立像素坐标与相机空间坐标系的空间变换关系,三维点(x1,y1,l)为深度图像的像素点(x,y)在相机空间坐标系中的空间坐标;
其中,U为运行机构深度图像的水平分辨率,V为运行机构深度图像的垂直分辨率,α0为相机的水平广角,β0为相机的垂直广角;
S4.2、相机空间坐标系和声阵列空间坐标系为不同的空间坐标系,使用波束形成重构声场需在声阵列空间坐标系中进行,根据两坐标系的位置关系,建立公式:
式中,u为相机空间坐标系的水平坐标轴,v为相机空间坐标系的垂直坐标轴,w为相机指向测量面的深度坐标轴;MR为三维旋转矩阵,能够使相机空间坐标系绕w轴旋转θ,绕v轴旋转β,绕u轴旋转α,实现两空间坐标系互相平行;[xu,yv,zw]T为两坐标系原点间在x,y,z方向的平移量,[xf,yf,zf]T为空间变换后在声阵列空间坐标系中的用于波束形成计算的点,即声压重建点的坐标;
本发明的有益效果是:本发明通过引入立体视觉技术可以获得运行机构的三维表面,并结合波束形成实现在该面上进行声场重建,使得本发明无需对声源所在深度进行测量或假设,因此可以避免每次深度迭代时需要一次声场重建的巨大计算量;再者本发明引入了图像分割技术,使得本发明可有效避免对机构以外的冗余区域的声场重建,减少了计算量。
附图说明
图1是波束形成在进行三维定位时的原理图;
图2是空间匹配时的各坐标系示意图;
图3是实施例的位置示意图;
图4是实施例中,深度相机拾取到的环境深度图像一;
图5是实施例中,深度相机拾取到的环境深度图像二;
图6是实施例中,应用本方法计算获得的声成像图一;
图7是实施例中,应用本方法计算获得的声成像图二;
图中各标号为:1-传声器阵列、2-不同深度平面组成的声场重建区域、3-移动声源、4-声压重建点、5-像素坐标、6-相机空间坐标系、7-成像平面坐标系、8-驱动电机、9-声阵列空间坐标系、10-双目立体相机、11-机械实验台、12-声源运动轨迹。
具体实施方式
实施例1:如图1-7所示,一种基于立体视觉和波束形成的移动声源的三维定位方法,首先把传声器阵列和立体相机安置在需要监测的运行机构的一侧,通过直流稳压电源同时触发传声器阵列、立体相机;相机每次曝光期间,通过传声器阵列拾取机构运行时声压频谱信号,并同步通过立体相机内置的立体视觉算法拾取对应的环境深度图像;将立体相机拾取的环境深度图像导入计算机;在计算机中将得到的环境深度图像通过图像分割技术将被测的运行机构从运行环境中提取出来,获得运行机构深度图像;通过空间匹配将运行机构深度图像转化为声阵列空间坐标系下的空间三维点云,将这些点作为波束形成的声压重建点,并在这些点上重建运行机构表面的声场,将最大声场输出所对应的声压重建点作为声源的三维定位结果。
进一步地,可以设置所述方法具体步骤如下:
S1、首先把传声器阵列和立体相机安置在需要监测的运行机构的一侧,通过直流稳压电源同时触发传声器阵列、立体相机;其中,传声器阵列为M个传声器组成的阵列,传声器m在声阵列空间坐标系中的空间坐标为(xm,ym,zm),选择1号传声器为参考通道;机械实验台11顶部安装驱动电机8驱动的并缓慢旋转的摆臂,摆臂末端安装直径为100mm的蓝牙音箱,播放频率3kHz的单频声,摆臂长为750mm。传声器阵列为24个传声器组成的螺旋阵列,阵列的直径为800mm,传声器选型为BSW1MPA416,实验台所处平面与阵列平面呈一定角度,使其在深度上存在变化。通过LMS公司的移动式数采SCM05采集声音信号,设置采样率为51.2kHz。相机选择为RealSenseTM D415深度相机,设置分辨率为640×480,曝光间隔为0.1s。相机安置在阵列坐标系的(0,0,80);
现场位置摆放示意图如图3。
S2、相机每次曝光期间,通过传声器阵列拾取实验台运行时声压频谱信号Pm(ω),并同步通过立体相机内置的立体视觉算法拾取对应的环境深度图像,如图4、图5为两次曝光获得的环境深度图像;其中m=1,2,3…,24,Pm(ω)为第m个传声器采集到的声压频谱信号;ω为声源简谐振动的圆频率;
S3、将立体相机拾取的环境深度图像导入计算机;在计算机中将得到的环境深度图像通过图像分割技术将被测的运行机构从运行环境中提取出来,获得运行机构深度图像;
S4、通过空间匹配将运行机构深度图像转化为声阵列空间坐标系下的空间三维点云,将这些点作为波束形成的声压重建点f;其中,f=1,2,...F,F表示重建点的总数;
S5、对各声压重建点f到达各传声器m相对于参考传声器的延时时间计算:τm(f)=|r1f|-|rmf|/c;其中,r1f为参考传声器1到重建点f的位置向量,rmf为第m号传声器到重建点f的位置向量,|·|是矢量取模,c为声速;
S6、通过S5步骤中得到的延时时间,对各传声器信号进行延迟补偿后求和,并根据传声器总数M,进行归一化,得到各声压重建点f的声场输出B(f,ω);将各声压重建点f的声场输出B(f,ω)共同组成声成像图,如图6、图7所示(对图4处理的结果如图6,对图5处理的结果如图7);其中,wm是第m号传声器的加权系数,e为自然常数,j为虚数单位;
S7、声成像图中的最大声场输出所对应的重建点作为声源的三维定位结果,图6中对应的声源的定位结果:(464,116,1735),图7中对应的声源的定位结果(198,28,1979)。
本实施例的仿真采用的相机的每次曝光间隔取值为0.1s,进一步地,可以设置所述相机的每次曝光间隔取值为通过该取值,使得利用每一帧深度图像重建的声成像结果,是对应帧所在时刻运行实验台表面的瞬时声压分布,使得定位结果更加准确。
进一步地,可以设置所述图像分割技术采用阈值法,将粗略估计机构的深度区间作为阈值(如深度图像上显示这机构深度在1700mm,可以取2000mm到1500mm)。
进一步地,可以设置所述S4步骤中,具体步骤如下:
所述S4步骤中,成像平面坐标系7及其内部的像素坐标5、像素点对应的空间三维声压重建点4、相机空间坐标系6、声阵列空间坐标系9的位置关系如图2所示,具体步骤如下:
S4.1、运行机构深度图像作为平面图像,是各像素的深度组成的矩阵图像化的结果,根据成像原理,运行机构深度图像的每个像素点(x,y)及像素点的深度l,能够建立像素坐标与相机空间坐标系的空间变换关系,三维点(x1,y1,l)为深度图像的像素点(x,y)在相机空间坐标系中的空间坐标;
其中,640为运行机构深度图像的水平分辨率,480为运行机构深度图像的垂直分辨率,69.4°为相机的水平广角,42.5°为相机垂直广角;
S4.2、相机空间坐标系和声阵列空间坐标系为不同的空间坐标系,使用波束形成重构声场需在声阵列空间坐标系中进行,声阵列及立体相机置于同一平面内,根据两坐标系的位置关系,建立公式:
式中,u为相机空间坐标系的水平坐标轴,v为相机空间坐标系的垂直坐标轴,w为相机指向测量面的深度坐标轴;MR为三维旋转矩阵,实施例中已经通过将相机与声阵列置于一个平面内,故已实现两空间坐标系互相平行,MR=0;[xu,yv,zw]T=[-80,0,0]T为两坐标系原点间在x,y,z方向的平移量,[xf,yf,zf]T为空间变换后在声阵列空间坐标系中的用于波束形成计算的点,即声压重建点的坐标。
上面结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (5)
1.一种基于立体视觉和波束形成的移动声源的三维定位方法,其特征在于:首先把传声器阵列和立体相机安置在需要监测的运行机构的一侧,通过直流稳压电源同时触发传声器阵列、立体相机;相机每次曝光期间,通过传声器阵列拾取机构运行时声压频谱信号,并同步通过立体相机内置的立体视觉算法拾取对应的环境深度图像;将立体相机拾取的环境深度图像导入计算机;在计算机中将得到的环境深度图像通过图像分割技术将被测的运行机构从运行环境中提取出来,获得运行机构深度图像;通过空间匹配将运行机构深度图像转化为声阵列空间坐标系下的空间三维点云,将这些点作为波束形成的声压重建点,并在这些点上重建运行机构表面的声场,将最大声场输出所对应的声压重建点作为声源的三维定位结果。
2.根据权利要求1所述的基于立体视觉和波束形成的移动声源的三维定位方法,其特征在于:所述方法具体步骤如下:
S1、首先把传声器阵列和立体相机安置在需要监测的运行机构的一侧,通过直流稳压电源同时触发传声器阵列、立体相机;其中,传声器阵列为M个传声器组成的阵列,传声器m在声阵列空间坐标系中的空间坐标为(xm,ym,zm),选择1号传声器为参考通道;
S2、相机每次曝光期间,通过传声器阵列拾取机构运行时声压频谱信号Pm(ω),并同步通过立体相机内置的立体视觉算法拾取对应的环境深度图像;其中m=1,2,3…,M,Pm(ω)为第m个传声器采集到的声压频谱信号;
S3、将立体相机拾取的环境深度图像导入计算机;在计算机中将得到的环境深度图像通过图像分割技术将被测的运行机构从运行环境中提取出来,获得运行机构深度图像;
S4、通过空间匹配将运行机构深度图像转化为声阵列空间坐标系下的空间三维点云,将这些点作为波束形成的声压重建点f;其中,f=1,2,...F,F表示重建点的总数;
S5、对各声压重建点f到达各传声器m相对于参考传声器的延时时间计算:τm(f)=|r1f|-|rmf|/c;其中,r1f为参考传声器1到重建点f的位置向量,rmf为第m号传声器到重建点f的位置向量,|·|是矢量取模,c为声速;
S6、通过S5步骤中得到的延时时间,对各传声器信号进行延迟补偿后求和,并根据传声器总数M,进行归一化,得到各声压重建点f的声场输出B(f,ω);将各声压重建点f的声场输出B(f,ω)共同组成声成像图;其中,wm是第m号传声器的加权系数,e为自然常数,j为虚数单位;
S7、声成像图中的最大声场输出所对应的声压重建点作为声源的三维定位结果。
4.根据权利要求1或2所述的基于立体视觉和波束形成的移动声源的三维定位方法,其特征在于:所述图像分割技术采用阈值法。
5.根据权利要求2所述的基于立体视觉和波束形成的移动声源的三维定位方法,其特征在于:所述S4步骤具体如下:
S4.1、运行机构深度图像作为平面图像,是各像素的深度组成的矩阵图像化的结果,根据成像原理,运行机构深度图像的每个像素点(x,y)及像素点的深度l,能够建立像素坐标与相机空间坐标系的空间变换关系,三维点(x1,y1,l)为深度图像的像素点(x,y)在相机空间坐标系中的空间坐标;
其中,U为运行机构深度图像的水平分辨率,V为运行机构深度图像的垂直分辨率,α0为相机的水平广角,β0为相机的垂直广角;
S4.2、相机空间坐标系和声阵列空间坐标系为不同的空间坐标系,使用波束形成重构声场需在声阵列空间坐标系中进行,根据两坐标系的位置关系,建立公式:
式中,u为相机空间坐标系的水平坐标轴,v为相机空间坐标系的垂直坐标轴,w为相机指向测量面的深度坐标轴;MR为三维旋转矩阵,能够使相机空间坐标系绕w轴旋转θ,绕v轴旋转β,绕u轴旋转α,实现两空间坐标系互相平行;[xu,yv,zw]T为两坐标系原点间在x,y,z方向的平移量,[xf,yf,zf]T为空间变换后在声阵列空间坐标系中的用于波束形成计算的点,即声压重建点的坐标;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011108814.9A CN112198476B (zh) | 2020-10-16 | 2020-10-16 | 一种基于立体视觉和波束形成的移动声源的三维定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011108814.9A CN112198476B (zh) | 2020-10-16 | 2020-10-16 | 一种基于立体视觉和波束形成的移动声源的三维定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112198476A true CN112198476A (zh) | 2021-01-08 |
CN112198476B CN112198476B (zh) | 2023-10-27 |
Family
ID=74009255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011108814.9A Active CN112198476B (zh) | 2020-10-16 | 2020-10-16 | 一种基于立体视觉和波束形成的移动声源的三维定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112198476B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114089277A (zh) * | 2022-01-24 | 2022-02-25 | 杭州兆华电子股份有限公司 | 三维声源声场重构方法及*** |
CN117910279A (zh) * | 2024-03-18 | 2024-04-19 | 西北工业大学 | 基于空间坐标旋转变换的三维声场快速处理方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101290347A (zh) * | 2008-06-13 | 2008-10-22 | 清华大学 | 用规则声阵列和单摄像机获取静止声源声场图像的方法 |
CN101295017A (zh) * | 2008-06-13 | 2008-10-29 | 清华大学 | 基于规则声阵列和双目视觉的获取运动声场视频的方法 |
US20110135102A1 (en) * | 2009-12-04 | 2011-06-09 | Hsin-Chieh Huang | Method, computer readable storage medium and system for localizing acoustic source |
CN102901950A (zh) * | 2012-09-20 | 2013-01-30 | 浙江工业大学 | 平面阵列识别声源三维坐标的方法 |
CN103167373A (zh) * | 2011-12-09 | 2013-06-19 | 现代自动车株式会社 | 定位声源的方法和*** |
CN104748764A (zh) * | 2015-04-01 | 2015-07-01 | 清华大学 | 一种声场可视化***中声像平面的空间角度标定方法 |
US20150297177A1 (en) * | 2014-04-17 | 2015-10-22 | The Johns Hopkins University | Robot assisted ultrasound system |
US20170186441A1 (en) * | 2015-12-23 | 2017-06-29 | Jakub Wenus | Techniques for spatial filtering of speech |
US9753119B1 (en) * | 2014-01-29 | 2017-09-05 | Amazon Technologies, Inc. | Audio and depth based sound source localization |
CN108445450A (zh) * | 2018-04-13 | 2018-08-24 | 上海其高电子科技有限公司 | 超大规模声源定位方法 |
CN109901112A (zh) * | 2019-03-29 | 2019-06-18 | 桂林电子科技大学 | 基于多通道声获取的声学同时定位与建图方法 |
CN110109058A (zh) * | 2019-05-05 | 2019-08-09 | 中国航发湖南动力机械研究所 | 一种平面阵列反卷积声源识别方法 |
-
2020
- 2020-10-16 CN CN202011108814.9A patent/CN112198476B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101290347A (zh) * | 2008-06-13 | 2008-10-22 | 清华大学 | 用规则声阵列和单摄像机获取静止声源声场图像的方法 |
CN101295017A (zh) * | 2008-06-13 | 2008-10-29 | 清华大学 | 基于规则声阵列和双目视觉的获取运动声场视频的方法 |
US20110135102A1 (en) * | 2009-12-04 | 2011-06-09 | Hsin-Chieh Huang | Method, computer readable storage medium and system for localizing acoustic source |
CN103167373A (zh) * | 2011-12-09 | 2013-06-19 | 现代自动车株式会社 | 定位声源的方法和*** |
CN102901950A (zh) * | 2012-09-20 | 2013-01-30 | 浙江工业大学 | 平面阵列识别声源三维坐标的方法 |
US9753119B1 (en) * | 2014-01-29 | 2017-09-05 | Amazon Technologies, Inc. | Audio and depth based sound source localization |
US20150297177A1 (en) * | 2014-04-17 | 2015-10-22 | The Johns Hopkins University | Robot assisted ultrasound system |
CN104748764A (zh) * | 2015-04-01 | 2015-07-01 | 清华大学 | 一种声场可视化***中声像平面的空间角度标定方法 |
US20170186441A1 (en) * | 2015-12-23 | 2017-06-29 | Jakub Wenus | Techniques for spatial filtering of speech |
CN108445450A (zh) * | 2018-04-13 | 2018-08-24 | 上海其高电子科技有限公司 | 超大规模声源定位方法 |
CN109901112A (zh) * | 2019-03-29 | 2019-06-18 | 桂林电子科技大学 | 基于多通道声获取的声学同时定位与建图方法 |
CN110109058A (zh) * | 2019-05-05 | 2019-08-09 | 中国航发湖南动力机械研究所 | 一种平面阵列反卷积声源识别方法 |
Non-Patent Citations (2)
Title |
---|
TAKAHIRO IYAMA等: "Visualization of auditory awareness based on sound source positions estimated by depth sensor and microphone array", 《2014 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》, pages 1908 - 1913 * |
王学志等: "基于匹配场原理的矢量阵三维声源定位研究", 《兵工学报》, vol. 33, no. 8, pages 927 - 933 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114089277A (zh) * | 2022-01-24 | 2022-02-25 | 杭州兆华电子股份有限公司 | 三维声源声场重构方法及*** |
CN114089277B (zh) * | 2022-01-24 | 2022-05-03 | 杭州兆华电子股份有限公司 | 三维声源声场重构方法及*** |
CN117910279A (zh) * | 2024-03-18 | 2024-04-19 | 西北工业大学 | 基于空间坐标旋转变换的三维声场快速处理方法 |
CN117910279B (zh) * | 2024-03-18 | 2024-05-28 | 西北工业大学 | 基于空间坐标旋转变换的三维声场快速处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112198476B (zh) | 2023-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10762645B2 (en) | Stereo visual odometry method based on image gradient joint optimization | |
CN112198476A (zh) | 一种基于立体视觉和波束形成的移动声源的三维定位方法 | |
JP2018527554A (ja) | 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機 | |
CN110927669B (zh) | 一种用于无线声传感器网络的cs多声源定位方法及*** | |
CN113702909B (zh) | 一种基于声音信号到达时间差的声源定位解析解计算方法及装置 | |
EP3227704B1 (en) | Method for tracking a target acoustic source | |
CN109669159A (zh) | 基于麦克风十字环阵列的声源定位跟踪装置及方法 | |
JP6858415B2 (ja) | 海面計測システム、海面計測方法および海面計測プログラム | |
CN103064061A (zh) | 三维空间声源定位方法 | |
CN108413917B (zh) | 非接触式三维测量***、非接触式三维测量方法及测量装置 | |
Kraljević et al. | Free-field TDOA-AOA sound source localization using three soundfield microphones | |
CN101295017B (zh) | 基于规则声阵列和双目视觉的获取运动声场视频的方法 | |
CN109597021B (zh) | 一种波达方向估计方法及装置 | |
CN102540145A (zh) | 单站准三维闪电定位装置和方法 | |
CN113933786A (zh) | 一种新型四麦克风工业噪声源定位*** | |
CN112556574A (zh) | 一种水空协同的渡槽裂缝检测定位方法 | |
CN111812581B (zh) | 基于原子范数的球面阵列声源波达方向估计方法 | |
CN103345765B (zh) | 基于dsp+fpga的移动平台下运动目标检测装置及其方法 | |
CN113607346A (zh) | 一种基于嵌入式处理器的三维声学成像实时信号处理装置 | |
CN112782705B (zh) | 一种超声声层析流场成像方法及其装置 | |
CN114442871A (zh) | 被动声纳宽带警戒长历程显示方法及装置 | |
Yang et al. | Development and calibration of acoustic video camera system for moving vehicles | |
CN115453300B (zh) | 一种基于声传感器阵列的局部放电定位***及方法 | |
CN105954653B (zh) | 一种gis现场耐压试验击穿点定位方法及*** | |
Bau et al. | Technical evaluation of an easy-to-use head-related transfer function measurement system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |