CN112857560B - 一种基于声音频率的声学成像方法 - Google Patents
一种基于声音频率的声学成像方法 Download PDFInfo
- Publication number
- CN112857560B CN112857560B CN202110165625.3A CN202110165625A CN112857560B CN 112857560 B CN112857560 B CN 112857560B CN 202110165625 A CN202110165625 A CN 202110165625A CN 112857560 B CN112857560 B CN 112857560B
- Authority
- CN
- China
- Prior art keywords
- frequency
- sound source
- sound
- processing unit
- central processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H13/00—Measuring resonant frequency
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Circuit For Audible Band Transducer (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
本发明公开了一种基于声音频率的声学成像方法,包括S1:搭建声学成像***;S2:中央处理器对N个通道在一个采样周期内获得的原始音频数据进行傅里叶变换,得到N路傅里叶数据组成的N*K维复数矩阵X';S3:对复数矩阵X'进行处理,得到声源频率分布图;S4:依据可见光波长,找出每个声音信号所对应的颜色;S5:根据声源频率分布图上声源频率的不同,对图像的每个区域涂上对应颜色,并在显示屏上显示。同类设备不同故障类型所产生的声音信号会在图像上呈现不同颜色,根据图像上呈现颜色推断设备故障类型。通过将听觉信号转化为视觉信号,使设备发出异常声音的现象更加直观,从而降低分辨故障声音的难度与门槛,提高故障检测效率。
Description
技术领域
本发明属于声学成像技术领域,具体涉及一种基于声音频率的声学成像方法。
背景技术
目前基于传声器阵列测量技术,都是通过测量一定空间内的声波到达各传声器的信号相位差异,依据相控阵原理确定声源的位置,测量声源的幅值,并以图像的方式显示声源在空间的分布。具体做法是:用多个麦克风收集摄像机附近的声音信息,通过比较各声音到达麦克风的时间差,确定声源所在方向,通过分析所有麦克风收集声音信号的幅值,确定聚焦方向上声源发出声音震动的幅值。该方法能取得空间声场分布云图-声像图,以图像的颜色和亮度代表声音的强弱,声源发出的声音振幅越大,图像上对应显示颜色越鲜艳、亮度越大。
该方法测量的是声源的方向和声音的振幅,但因为声音的振幅主要反映能量的大小,所以该方法取得的图像只能反映声源在设备上所处的位置和发出的能量强度,无法反映导致声源震动的原因。
发明内容
本发明的目的在于提供一种基于声音频率的声学成像方法,以解决现有技术中不能直观反映导致声源震动的原因的技术问题。
为了解决上述技术问题,本发明采用如下技术方案:
一种基于声音频率的声学成像方法,包括如下步骤:
S1:搭建声学成像***:所述声学成像***包括摄像机、中央处理器、显示屏和N个麦克风,N个麦克风设置在摄像机附近形成麦克风阵列,摄像机、显示屏和N个麦克风均与中央处理器电连接;N为大于10的正整数;摄像机拍摄图片传送给中央处理器,同时麦克风阵列将接收得到N个通道的原始音频数据传送给中央处理器,每个通道在一个采样周期内获得K个离散的原始音频数据,K为正整数;
S2:中央处理器对N个通道在一个采样周期内获得的原始音频数据进行傅里叶变换,得到N路傅里叶数据组成的N*K维复数矩阵X';
S3:对复数矩阵X'进行处理,得到声源频率分布图,具体处理方法包括以下步骤:
S31:设定频率范围,该频率范围为20HZ-20000HZ;
S32:按照设定频率范围,从复数矩阵X'中抽取部分数据组成N*k维复数矩阵X,其中,k≤K/2;
S33:将同一频率点的傅里叶数据抽取出来组成频率点的音频矩阵,然后通过连续抽取设定频率范围内不同频率点的数据组成一组连续的音频矩阵,实现对这一频率范围的覆盖;
S34:根据麦克风阵列的阵型以及目标分辨率得到波束形成计算矩阵M,目标分辨率为显示屏的分辨率,显示屏的分辨率已知;
S35:将设定频率范围内每一个频率点的音频矩阵与波束形成计算矩阵M进行波束形成计算得到设定频率范围内每一个频率点的声源强度矩阵;
S36:对各频率点声源强度矩阵分别进行变换,得到各频率点的声源强度分布图;
S37:找出空间上每点在各声源强度分布图中的最大强度,选择对应频率作为该点声源频率,得到声源频率分布图。
S4:中央处理器将声源频率分布图的声音信号频率对应转化为可见光波长;依据可见光波长,找出每个声音信号所对应的颜色;
S5:显示图像:中央处理器将摄像机拍摄的图片转为黑白图像,然后根据声源频率分布图上声源频率的不同,对图像的每个区域涂上对应颜色,并在显示屏上显示。
声源震动的频率只与声源自身和导致震动的原因有关,与环境无关。对同类型设备而言,声源震动频率只与震动原因有关。通过运用本发明的技术方案,同类设备不同故障类型所产生的声音信号会在图像上呈现不同颜色,使用者可以根据图像上呈现颜色推断设备故障类型。通过将听觉信号转化为视觉信号,使设备发出异常声音的现象更加直观,从而降低分辨故障声音的难度与门槛,提高故障检测效率。
进一步优化,所述步骤S3中傅里叶变换函数变换过程为:
x(n)为第n次采集的声音信号、K为一个通道在一个采样周期内采集信号的个数;
X(k)可展开为:
进一步优化,所述步骤S1中N个麦克风按照仿生S-112麦克风阵列排列。该阵列为现有技术,不在赘述。
与现有技术相比,本申请具有如下有益效果:
1、声源震动的频率只与声源自身和导致震动的原因有关,与环境无关。对同类型设备而言,声源震动频率只与震动原因有关。通过运用本发明的技术方案,同类设备不同故障类型所产生的声音信号会在图像上呈现不同颜色,通过观察图像上颜色特异点,检查图像在设备上的对应位置,直接定位发出异常声音的声源位置,找到高压设备故障点。
2、通过将听觉信号转化为视觉信号,使设备发出异常声音的现象更加直观,从而降低分辨故障声音的难度与门槛,提高故障检测效率。
附图说明
图1为本发明所述基于声音频率的声学成像方法的流程图;
图2为本发明中听觉信号与视觉信号对应关系示意图;
图3为本发明所述基于声音频率的声学成像***示意图;
图4为本发明所述基于声音频率的声学成像方法的显示屏显示效果。
具体实施方式
下面结合附图对本发明作若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
如图1所示,一种基于声音频率的声学成像方法,包括如下步骤:S1:搭建声学成像***:所述声学成像***包括摄像机6、中央处理器10、显示屏和N个麦克风,N个麦克风设置在摄像机附近形成麦克风阵列7,摄像机、显示屏和N个麦克风均与中央处理器电连接,如图3所示;N为大于10的正整数;摄像机拍摄图片传送给中央处理器,同时麦克风阵列将接收得到N个通道的原始音频数据传送给中央处理器,每个通道在一个采样周期内获得K个原始音频数据,K为正整数;
S2:中央处理器对N个通道在一个采样周期内获得的原始音频数据进行傅里叶变换,得到N路傅里叶数据组成的N*K维复数矩阵X';
S3:对复数矩阵X'进行处理,得到声源频率分布图,具体处理方法包括以下步骤:
S31:设定频率范围,该频率范围为20HZ-20000HZ;
S32:按照设定频率范围,从复数矩阵X'中抽取部分数据组成N*k维复数矩阵X,其中,k≤K/2;
S33:将同一频率点的傅里叶数据抽取出来组成频率点的音频矩阵,然后通过连续抽取设定频率范围内不同频率点的数据组成一组连续的音频矩阵,实现对这一频率范围的覆盖;
S34:根据麦克风阵列的阵型以及目标分辨率得到波束形成计算矩阵M,目标分辨率为显示屏的分辨率,已知;
S35:将设定频率范围内每一个频率点的音频矩阵与波束形成计算矩阵M进行波束形成计算得到设定频率范围内每一个频率点的声源强度矩阵;
S36:对各频率点声源强度矩阵分别进行变换,得到各频率点的声源强度分布图;
S37:找出空间上每点在各声源强度分布图中的最大强度,选择对应频率作为该点声源频率,得到声源频率分布图。
S4:中央处理器将声源频率分布图的声音信号频率对应转化为可见光波长;依据可见光波长,找出每个声音信号所对应的颜色;
如图2听觉信号与视觉信号对应关系示意图所示,超声波对应范围1、人耳可识别声波对应范围2、20Hz以下声波对应范围3、红外线波长对应范围4、可见光波长对应范围5、紫外线波长对应范围6。
S5:显示图像:中央处理器将摄像机拍摄的图片转为黑白图像,然后根据声源频率分布图上声源频率的不同,对图像的每个区域涂上对应颜色,并在显示屏上显示,如图4所示,其中,颜色分布层11、黑白图像12、声源在图像上的位置13,声源在颜色分布层显示的对应颜色和范围14。
声源震动的频率只与声源自身和导致震动的原因有关,与环境无关。对同类型设备而言,声源震动频率只与震动原因有关。通过运用本发明的技术方案,同类设备不同故障类型所产生的声音信号会在图像上呈现不同颜色,使用者可以根据图像上呈现颜色推断设备故障类型。通过将听觉信号转化为视觉信号,使设备发出异常声音的现象更加直观,从而降低分辨故障声音的难度与门槛,提高故障检测效率。在本实施例中,所述步骤S2中傅里叶变换函数变换过程为:
x(n)为第n次采集的声音信号、K为一个采样周期内采集信号的个数;
X(k)可展开为:
在本实施例中,所述步骤S1中N个麦克风按照仿生S-112麦克风阵列排列。
如图3所示,通过麦克风采集图片,当故障点9处于摄像机6的视野范围8内,发出的声波被麦克风7接收,中央处理器10根据麦克风接收到的声音信号计算出故障点9的震动频率,从而通过摄像机6采集的图片对应位置相应颜色。
本发明通过麦克风阵列接收得到多个通道的声音信号,然后基于波束形成算法(Beamforming)识别出声源的位置信息,麦克风阵列与仅用单个麦克风7的测试手段相比,麦克风阵列在信号接收及处理过程中有着一系列明显优势,主要表现在抗混响、去噪声、语音分离的能力更强,空间分辨率更高,麦克风阵列的多通道信号处理方式丰富了声音信号的处理域,在时间域与频率域外增加了空间域,使得声源定位的准确性更高,适应能力更为突出。
声阵列的拓扑结构指的是传感器的空间几何形状,阵列中传感器的布置方式会影响阵列识别声源的空间分辨率及其识别频率的范围,对声阵列拓扑结构的研究具有非常重要的意义。
麦克风阵列声源定位技术的另一个关键就是声源定位算法的研究,常规波束形成算法基于“延时、求和”原理,由于原理简单、适应性强等优点得到了广泛的应用。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.一种基于声音频率的声学成像方法,其特征在于,包括如下步骤:
S1:搭建声学成像***:所述声学成像***包括摄像机、中央处理器、显示屏和N个麦克风,N个麦克风设置在摄像机附近形成麦克风阵列,摄像机、显示屏和N个麦克风均与中央处理器电连接;N为大于10的正整数;摄像机拍摄图片传送给中央处理器,同时麦克风阵列将接收得到N个通道的原始音频数据传送给中央处理器,每个通道在一个采样周期内获得K个离散的原始音频数据,K为正整数;
S2:中央处理器对N个通道在一个采样周期内获得的原始音频数据进行傅里叶变换,得到N路傅里叶数据组成的N*K维复数矩阵X';
S3:对复数矩阵X'进行处理,得到声源频率分布图;
对复数矩阵X'进行处理步骤如下:
S31:设定频率范围,该频率范围为20HZ-20000HZ;
S32:按照设定频率范围,从复数矩阵X'中抽取部分数据组成N*k维复数矩阵X,其中,k≤K/2;
S33:将同一频率点的傅里叶数据抽取出来组成频率点的音频矩阵,然后通过连续抽取设定频率范围内不同频率点的数据组成一组连续的音频矩阵,实现对这一频率范围的覆盖;
S34:根据麦克风阵列的阵型以及目标分辨率得到波束形成计算矩阵M,目标分辨率为显示屏的分辨率,显示屏的分辨率已知;
S35:将设定频率范围内每一个频率点的音频矩阵与波束形成计算矩阵M进行波束形成计算,得到设定频率范围内每一个频率点的声源强度矩阵;
S36:对各频率点声源强度矩阵分别进行变换,得到各频率点的声源强度分布图;
S37:找出空间上每点在各声源强度分布图中的最大强度,选择对应频率作为该点声源频率,得到声源频率分布图;
S4:中央处理器将声源频率分布图的声音信号频率对应转化为可见光波长;依据可见光波长,找出每个声音信号所对应的颜色;
S5:显示图像:中央处理器将摄像机拍摄的图片转为黑白图像,然后根据声源频率分布图上声源频率的不同,对图像的每个区域涂上对应颜色,并在显示屏上显示。
3.根据权利要求1所述的基于声音频率的声学成像方法,其特征在于:所述步骤S1中N个麦克风按照仿生S-112麦克风阵列排列。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110165625.3A CN112857560B (zh) | 2021-02-06 | 2021-02-06 | 一种基于声音频率的声学成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110165625.3A CN112857560B (zh) | 2021-02-06 | 2021-02-06 | 一种基于声音频率的声学成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112857560A CN112857560A (zh) | 2021-05-28 |
CN112857560B true CN112857560B (zh) | 2022-07-22 |
Family
ID=75988816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110165625.3A Active CN112857560B (zh) | 2021-02-06 | 2021-02-06 | 一种基于声音频率的声学成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112857560B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118035943A (zh) * | 2024-04-12 | 2024-05-14 | 国网山东省电力公司淄博供电公司 | 一种变压器状态监测方法、***、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112254802A (zh) * | 2020-10-13 | 2021-01-22 | 中国人民解放军国防科技大学 | 基于毫米波雷达相位测距的语音重构方法 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2985697B2 (ja) * | 1994-12-16 | 1999-12-06 | 株式会社日立製作所 | 画像情報の音響出力方法 |
KR20010020900A (ko) * | 1999-08-18 | 2001-03-15 | 김길호 | 화성법과 색음 상호변환을 이용하여 색채를 조화하는 방법및 장치 |
EP1402652A4 (en) * | 2001-03-29 | 2005-01-19 | Harmonicolor System Co Ltd | SPEAKER AND METHOD FOR CONVERTING SOUND IN PICTURE AND DISPLAYING IT TO THE SCREEN |
JP3853807B2 (ja) * | 2003-08-28 | 2006-12-06 | 本田技研工業株式会社 | 音振解析装置及び音振解析方法並びに音振解析用のプログラムを記録したコンピュータ読み取り可能な記録媒体及び音振解析用のプログラム |
KR20080021201A (ko) * | 2006-08-30 | 2008-03-07 | 주식회사 하모니칼라시스템 | 음-색 변환기능을 구비한 발광 스피커 및 그 음-색변환방법 |
TWI389579B (zh) * | 2009-04-27 | 2013-03-11 | Univ Nat Chiao Tung | Acoustic camera |
CN101916569B (zh) * | 2010-08-03 | 2015-05-06 | 北京中星微电子有限公司 | 一种显示声音的方法和装置 |
JP2012133250A (ja) * | 2010-12-24 | 2012-07-12 | Sony Corp | 音情報表示装置、音情報表示方法およびプログラム |
KR102090840B1 (ko) * | 2011-10-12 | 2020-03-18 | 세노 메디컬 인스투르먼츠 인코포레이티드 | 광음향 데이터를 획득하며 그것의 파라메트릭 맵들을 생성하기 위한 시스템 및 방법 |
US20140066768A1 (en) * | 2012-08-30 | 2014-03-06 | Siemens Medical Solutions Usa, Inc. | Frequency Distribution in Harmonic Ultrasound Imaging |
CN102879080B (zh) * | 2012-09-11 | 2014-10-15 | 上海交通大学 | 基于图像识别定位和声学传感器阵列测量的声场分析方法 |
CN105073073B (zh) * | 2013-01-25 | 2018-12-07 | 胡海 | 用于声音可视化及声源定位的设备与方法 |
RU2649422C2 (ru) * | 2013-08-28 | 2018-04-03 | Андрей Витальевич Фрейдман | Способ преобразования изображения в звуковой образ |
EP2975397B1 (en) * | 2014-07-18 | 2020-01-15 | Siemens Aktiengesellschaft | High frequency acoustic spectrum imaging method and corresponding device |
CN105698918B (zh) * | 2014-11-24 | 2019-01-22 | 广州汽车集团股份有限公司 | 一种可视化比较振动噪声colormap图的方法及装置 |
WO2016087973A1 (en) * | 2014-12-02 | 2016-06-09 | Fondazione Istituto Italiano Di Tecnologia | Method for tracking a target acoustic source |
CN104464741B (zh) * | 2014-12-29 | 2018-04-06 | 中山大学花都产业科技研究院 | 一种音频信号转视觉颜色信息的方法及*** |
CN105004412B (zh) * | 2015-07-20 | 2018-02-02 | 国家电网公司 | 一种改进型变压器、电抗器噪声源定位及振动检测的***和方法 |
WO2017072098A1 (en) * | 2015-10-27 | 2017-05-04 | Koninklijke Philips N.V. | Medical probe for ultrasound imaging |
CN106304539B (zh) * | 2016-08-03 | 2018-10-26 | 杭州电子科技大学 | 一种基于节奏跟随的音乐彩灯控制器设计方法 |
US20190129027A1 (en) * | 2017-11-02 | 2019-05-02 | Fluke Corporation | Multi-modal acoustic imaging tool |
CN108594795A (zh) * | 2018-05-31 | 2018-09-28 | 北京康拓红外技术股份有限公司 | 一种动车组声音故障诊断***及诊断方法 |
CN108801439A (zh) * | 2018-07-10 | 2018-11-13 | 河海大学常州校区 | 一种声场测量装置及测量方法 |
WO2020118503A1 (zh) * | 2018-12-11 | 2020-06-18 | 华为技术有限公司 | 一种确定图像对焦区域的方法及装置 |
CN110006672A (zh) * | 2019-04-09 | 2019-07-12 | 唐山百川智能机器股份有限公司 | 基于声成像技术的轨道车辆故障监测方法 |
US10735887B1 (en) * | 2019-09-19 | 2020-08-04 | Wave Sciences, LLC | Spatial audio array processing system and method |
CN111781557A (zh) * | 2020-05-12 | 2020-10-16 | 杭州兆华电子有限公司 | 一种基于点声源的声学照相机定位误差修正方法 |
CN111739554A (zh) * | 2020-06-19 | 2020-10-02 | 浙江讯飞智能科技有限公司 | 声学成像频率确定方法、装置、设备及存储介质 |
CN111736050B (zh) * | 2020-08-28 | 2020-11-17 | 杭州兆华电子有限公司 | 局部放电故障监测和评估装置及方法 |
CN112034418A (zh) * | 2020-09-15 | 2020-12-04 | 北京中电慧声科技有限公司 | 基于频域Bark子带的波束扫描方法及声源定向装置 |
CN112179482B (zh) * | 2020-09-27 | 2022-08-16 | 中车长春轨道客车股份有限公司 | 一种轨道车辆车内噪声源识别方法及*** |
CN112017688B (zh) * | 2020-10-28 | 2021-01-19 | 杭州兆华电子有限公司 | 一种声学成像方法 |
-
2021
- 2021-02-06 CN CN202110165625.3A patent/CN112857560B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112254802A (zh) * | 2020-10-13 | 2021-01-22 | 中国人民解放军国防科技大学 | 基于毫米波雷达相位测距的语音重构方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112857560A (zh) | 2021-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101282673B1 (ko) | 음원 위치 추정 방법 | |
JP4368798B2 (ja) | 音源探査システム | |
US9525926B2 (en) | Acoustic sensor apparatus and acoustic camera for using MEMS microphone array | |
WO2009145310A1 (ja) | 音源分離及び表示方法並びにシステム | |
CN111983357B (zh) | 一种结合声纹检测功能的超声可视化故障检测方法 | |
JP2011015050A (ja) | ビームフォーミング用のアレイ、及びそれを用いた音源探査測定システム | |
JP2002181913A (ja) | 音源探査システム | |
CN106680376A (zh) | 一种基于三维声强阵列的隔声测量***与测量方法 | |
KR101213539B1 (ko) | 멤스 마이크로폰 어레이를 이용한 음향감지 장치 및 음향카메라 | |
CN106124040A (zh) | 噪声源可视化数据累积显示方法、数据处理装置及声学照相机*** | |
Bouzid et al. | Investigation of sampling frequency requirements for acoustic source localisation using wireless sensor networks | |
CN112857560B (zh) | 一种基于声音频率的声学成像方法 | |
WO2023159997A1 (zh) | 门类密闭性能及其漏点位置的主动式检测方法及*** | |
CN113607447A (zh) | 一种声学光学联合风机故障定位装置及方法 | |
CN112763058A (zh) | 一种自定义坐标阵列噪声信号实时数据分析***及方法 | |
CN115542091A (zh) | 一种无人机局放检测***及方法 | |
Kotus et al. | 3D acoustic field intensity probe design and measurements | |
CN115435891A (zh) | 基于矢量传声器的道路车辆声功率监测*** | |
CN116309921A (zh) | 基于cuda技术的延迟求和声成像并行加速方法 | |
CN115575896B (zh) | 一种针对非点声源声源图像的特征增强方法 | |
Turqueti et al. | Acoustic sensor array for sonic imaging in air | |
de Bree et al. | Broad banded acoustic vector sensors for outdoor monitoring propeller driven aircraft | |
CN116482501B (zh) | 用于高压电缆接头局部放电检测的超声成像方法及*** | |
Wang et al. | Thunder acoustic signature for channel reconstruction in triggered lightning | |
Günel et al. | Wavelet packet based analysis of sound fields in rooms using coincident microphone arrays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |