CN112466323A - 一种光学图像与声学图像融合方法及*** - Google Patents

一种光学图像与声学图像融合方法及*** Download PDF

Info

Publication number
CN112466323A
CN112466323A CN202011332991.5A CN202011332991A CN112466323A CN 112466323 A CN112466323 A CN 112466323A CN 202011332991 A CN202011332991 A CN 202011332991A CN 112466323 A CN112466323 A CN 112466323A
Authority
CN
China
Prior art keywords
image
camera
sound source
coordinate system
microphone array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011332991.5A
Other languages
English (en)
Inventor
李蜀丰
徐永绍
刘秉政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Nuclear Industry Maintenance Co Ltd
Original Assignee
China Nuclear Industry Maintenance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Nuclear Industry Maintenance Co Ltd filed Critical China Nuclear Industry Maintenance Co Ltd
Priority to CN202011332991.5A priority Critical patent/CN112466323A/zh
Publication of CN112466323A publication Critical patent/CN112466323A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

一种光学图像与声学图像融合方法及***涉及一种基于光学图像上的二维声学成像领域。***实现由麦克风阵列单元、数据采集卡单元和上位机单元三部分构成，麦克风阵列单元包括一个相机和若干个性能完全一致的麦克风组成。工作中，首先由麦克风阵列将声源信号转化为电信号并对目标声源信号进行放大处理，然后采用数据采集卡进行多通道数据同步采集，最后由上位机单元中对声学图像和光学图像进行融合，并通过上位机***的***设备的显示器输出。麦克风阵列单元与声数据采集卡单元的硬件部分均用导线相互连接。本发明通过解算光学图像每个像素点对应的声学图像的俯仰角θ和方向角
Figure DDA0002793779680000011
的关系，可以方便地进行图像融合，***简单，容易实现。

Description

一种光学图像与声学图像融合方法及***
技术领域
本发明涉及一种光学图像与声学图像融合的方法及其***实现，尤其涉及一种基于光学图像上的二维声学成像算法及相应***。
背景技术
声学成像通过测量一定空间内的声波到达各麦克风的信号相位差异，依据相控阵原理确定声源的位置，并以图像的方式显示声源在空间的分布，取得空间声场分布云图(声像图)，其中以图像的颜色和亮度代表声音的强弱。较于其他感官，眼睛获取信息往往要更加迅速和直观，在故障处理、噪声分布等领域，通过声学成像可以提供快速、准确的声源目标分布图，有利于对故障目标(声源点)的进一步分析处理。
发明内容
本发明通过麦克风阵列采集声音并生成声学图像，并通过工业相机采集光学图像信息，创建叠加融合在光学图像上的声学图像，实现声学故障目标(声源点)的可视化。
本发明首先进行相机标定。对于空间中的声源点P，求取它在图像坐标系中的坐标p(x,y)。由相机坐标系和图像坐标系的关系可知，p(x,y)可以由声源点P在相机坐标系下的坐标P(XC,YC,ZC)得到：
Figure BDA0002793779660000011
式中，dx,dy,u0,v0,f均为相机的内参，其中f为相机的焦距；dx和dy分别表示图像中x方向和y方向的一个像素占多少长度单位，即图像坐标系中一个像素代表的实际物理值的大小；u0和v0分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。以上参数都只与相机的型号有关，均可通过标定相机得到。
对上式进计算、化简，可以得到：
Figure BDA0002793779660000021
而声源点P在相机坐标系下的坐标P(XC,YC,ZC)也可以用球坐标系表示为：
Figure BDA0002793779660000022
相机固定在麦克风阵列平面上，本发明中，相机固定在麦克风阵列的物理中心点。所以θ是声源点P的俯仰角，而
Figure BDA0002793779660000023
是声源点P的方位角，r是声源到阵列中心的距离。
将公式(3)代入到公式(2)中，得：
Figure BDA0002793779660000024
通过(4)式，可以得到光学图像坐标中任意一点的坐标p(x,y)与声源点P到相机中心的俯仰角θ和方向角
Figure BDA0002793779660000025
之间的一一对应关系。
取得坐标p(x,y)与声源点P到相机中心的俯仰角θ和方向角
Figure BDA0002793779660000026
之间对应关系后，进行声学成像，过程如下：
1)顺次取光学图像中的任意像素点的坐标(x,y)；
2)根据公式(4)，求得每个像素点(x,y)对应的俯仰角θ和方向角
Figure BDA0002793779660000027
3)对求得的
Figure BDA0002793779660000028
进行波束形成，得到(x,y)点对应的声学成像。以图像的颜色和亮度代表声音的强弱，在光学图像中对应像素点标出。
本发明的优势在于：
本发明通过解算光学图像每个像素点对应的声学图像的俯仰角θ和方向角
Figure BDA0002793779660000029
的关系，可以方便地进行图像融合，***简单，容易实现。
附图说明
图1为相机与麦克风布放示意图；
图2为***实现示意图；
图3为圆形麦克风阵列成像示例图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案进行详细说明。
如图1所示，多个麦克风组成麦克风阵列，相机放置于阵列的物理中心点。
如图1所示，整个麦克风阵列的物理中心点作为空间坐标系的圆心，实现坐标系的转换。
图2所示表明本发明光学图像与声学图像融合的方法及其***实现由麦克风阵列单元、数据采集卡单元和上位机单元三部分构成，麦克风阵列单元包括一个相机和若干个性能完全一致的麦克风组成。工作中，首先由麦克风阵列将声源信号转化为电信号并对目标声源信号进行放大处理，然后采用数据采集卡进行多通道数据同步采集，最后由上位机单元中对声学图像和光学图像进行融合，并通过上位机***的***设备的显示器输出。麦克风阵列单元与声数据采集卡单元的硬件部分均用导线相互连接。
下面以圆阵为例，进行麦克风阵列波束形成的过程描述：
如图3所示，将M个性能相同的麦克风均匀分布在平面X-Y上一个半径为r的圆周上。以整个阵列模型的中心位置即参考阵元为空间坐标系的圆心，坐标系的X轴为参考阵元与第一个阵元之间的连线，建立起声学成像的空间坐标系。
第m个阵元与x轴之间的夹角
Figure BDA0002793779660000031
表示:
Figure BDA0002793779660000032
第m个阵元的位置在空间坐标系中可表示为：
Figure BDA0002793779660000033
远场中入射声源的单位向量可表示为：
Figure BDA0002793779660000034
因此第m个阵元与参考阵元之间的延时可表示为：
Figure BDA0002793779660000041
(5)-(8)式中M和r的意义如前文表述，式(8)中c为声速。
声源点的方位矢量可表示为：
Figure BDA0002793779660000042
式(5)中ω＝2πf为载频，λ为信号的波长。方向矢量
Figure BDA0002793779660000043
可表示为：
Figure BDA0002793779660000044
则麦克风阵列的输出可表示为：
Figure BDA0002793779660000045
其中x(t)是麦克风接收到的信号，
Figure BDA0002793779660000046
代表
Figure BDA0002793779660000047
的共轭转置，则麦克风阵列的输出功率为：
Figure BDA0002793779660000048
其中，R是x(t)的协方差矩阵，R＝E[x(t)xH(t)]
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种光学图像与声学图像融合方法，其特征在于：
首先进行相机标定：
对于空间中的声源点P，求取它在图像坐标系中的坐标p(x,y)；由相机坐标系和图像坐标系的关系可知，p(x,y)由声源点P在相机坐标系下的坐标P(XC,YC,ZC)得到：
Figure FDA0002793779650000011
式中，dx,dy,u0,v0,f均为相机的内参，其中f为相机的焦距；dx和dy分别表示图像中x方向和y方向的一个像素占多少长度单位，即图像坐标系中一个像素代表的实际物理值的大小；u0和v0分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数；以上参数都只与相机的型号有关，均通过标定相机得到；
对上式进计算、化简，得到：
Figure FDA0002793779650000012
而声源点P在相机坐标系下的坐标P(XC,YC,ZC)也用球坐标系表示为：
Figure FDA0002793779650000013
相机固定在麦克风阵列平面上，相机固定在麦克风阵列的物理中心点；所以θ是声源点P的俯仰角，而
Figure FDA0002793779650000014
是声源点P的方位角，r是声源到阵列中心的距离；
将公式(3)代入到公式(2)中，得：
Figure FDA0002793779650000015
通过(4)式，得到光学图像坐标中任意一点的坐标p(x,y)与声源点P到相机中心的俯仰角θ和方向角
Figure FDA0002793779650000021
之间的一一对应关系；
取得坐标p(x,y)与声源点P到相机中心的俯仰角θ和方向角
Figure FDA0002793779650000022
之间对应关系后，进行声学成像，过程如下：
1)顺次取光学图像中的任意像素点的坐标(x,y)；
2)根据公式(4)，求得每个像素点(x,y)对应的俯仰角θ和方向角
Figure FDA0002793779650000023
3)对求得的
Figure FDA0002793779650000024
进行波束形成，得到(x,y)点对应的声学成像。
2.根据权利要求1所述的一种光学图像与声学图像融合方法，其特征在于：
以圆阵为研究对象，将M个性能相同的麦克风均匀分布在平面X-Y上一个半径为r的圆周上；以整个阵列模型的中心位置即参考阵元为空间坐标系的圆心，坐标系的X轴为参考阵元与第一个阵元之间的连线，建立起声学成像的空间坐标系；
第m个阵元与x轴之间的夹角
Figure FDA0002793779650000025
表示:
Figure FDA0002793779650000026
第m个阵元的位置在空间坐标系中表示为：
Figure FDA0002793779650000027
远场中入射声源的单位向量表示为：
Figure FDA0002793779650000028
因此第m个阵元与参考阵元之间的延时表示为：
Figure FDA0002793779650000029
式(8)中c为声速；
声源点的方位矢量表示为：
Figure FDA0002793779650000031
式(5)中ω＝2πf为载频，λ为信号的波长；方向矢量
Figure FDA0002793779650000032
表示为：
Figure FDA0002793779650000033
则麦克风阵列的输出表示为：
Figure FDA0002793779650000034
其中x(t)是麦克风接收到的信号，
Figure FDA0002793779650000035
代表
Figure FDA0002793779650000036
的共轭转置，则麦克风阵列的输出功率为：
Figure FDA0002793779650000037
其中，R是x(t)的协方差矩阵，R＝E[x(t)xH(t)]。
3.一种光学图像与声学图像融合***，其特征在于：
由麦克风阵列单元、数据采集卡单元和上位机单元三部分构成，麦克风阵列单元包括一个相机和若干个性能完全一致的麦克风组成；
多个麦克风组成麦克风阵列，相机放置于阵列的物理中心点；
整个麦克风阵列的物理中心点作为空间坐标系的圆心，实现坐标系的转换；
工作中，首先由麦克风阵列将声源信号转化为电信号并对目标声源信号进行放大处理，然后采用数据采集卡进行多通道数据同步采集，最后由上位机单元中对声学图像和光学图像进行融合，并通过上位机***的***设备的显示器输出；麦克风阵列单元与声数据采集卡单元的硬件部分均用导线相互连接。
CN202011332991.5A 2020-11-24 2020-11-24 一种光学图像与声学图像融合方法及*** Pending CN112466323A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011332991.5A CN112466323A (zh) 2020-11-24 2020-11-24 一种光学图像与声学图像融合方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011332991.5A CN112466323A (zh) 2020-11-24 2020-11-24 一种光学图像与声学图像融合方法及***

Publications (1)

Publication Number Publication Date
CN112466323A true CN112466323A (zh) 2021-03-09

Family

ID=74799495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011332991.5A Pending CN112466323A (zh) 2020-11-24 2020-11-24 一种光学图像与声学图像融合方法及***

Country Status (1)

Country Link
CN (1) CN112466323A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113607447A (zh) * 2021-07-08 2021-11-05 中核检修有限公司 一种声学光学联合风机故障定位装置及方法
CN114623984A (zh) * 2022-05-16 2022-06-14 之江实验室 一种基于异构麦克风阵列的声学成像仪
CN115100298A (zh) * 2022-08-25 2022-09-23 青岛杰瑞工控技术有限公司 一种用于深远海视觉养殖的光-声图像融合方法
CN115452141A (zh) * 2022-11-08 2022-12-09 杭州兆华电子股份有限公司 一种非均匀声学成像方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070081695A1 (en) * 2005-10-04 2007-04-12 Eric Foxlin Tracking objects with markers
WO2014125835A1 (ja) * 2013-02-15 2014-08-21 パナソニック株式会社 指向性制御システム、キャリブレーション方法、水平偏差角算出方法及び指向性制御方法
JP2015161659A (ja) * 2014-02-28 2015-09-07 株式会社熊谷組 音源方向推定装置、及び、音源推定用画像の表示装置
WO2016183791A1 (zh) * 2015-05-19 2016-11-24 华为技术有限公司 一种语音信号处理方法及装置
CN106653041A (zh) * 2017-01-17 2017-05-10 北京地平线信息技术有限公司 音频信号处理设备、方法和电子设备
US9674453B1 (en) * 2016-10-26 2017-06-06 Cisco Technology, Inc. Using local talker position to pan sound relative to video frames at a remote location
CN109683132A (zh) * 2018-11-09 2019-04-26 天津师范大学 一种声学与图像信号混合终端及其处理方法
CN110068796A (zh) * 2019-03-31 2019-07-30 天津大学 一种用于声源定位的麦克风阵列方法
CN110297215A (zh) * 2019-06-19 2019-10-01 东北电力大学 一种圆阵列声源定位可视化***及方法
CN110488223A (zh) * 2019-07-05 2019-11-22 东北电力大学 一种声源定位方法
CN110875060A (zh) * 2018-08-31 2020-03-10 阿里巴巴集团控股有限公司 语音信号处理方法、装置、***、设备和存储介质
US20200137492A1 (en) * 2017-09-08 2020-04-30 Panasonic Intellectual Property Management Co., Ltd. Sound pickup device, sound pickup system, sound pickup method, program, and calibration method

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070081695A1 (en) * 2005-10-04 2007-04-12 Eric Foxlin Tracking objects with markers
WO2014125835A1 (ja) * 2013-02-15 2014-08-21 パナソニック株式会社 指向性制御システム、キャリブレーション方法、水平偏差角算出方法及び指向性制御方法
CN105075288A (zh) * 2013-02-15 2015-11-18 松下知识产权经营株式会社 指向性控制***、校准方法、水平偏差角计算方法及指向性控制方法
US20160142620A1 (en) * 2013-02-15 2016-05-19 Panasonic Intellectual Property Management Co., Ltd. Directionality control system, calibration method, horizontal deviation angle computation method, and directionality control method
JP2015161659A (ja) * 2014-02-28 2015-09-07 株式会社熊谷組 音源方向推定装置、及び、音源推定用画像の表示装置
WO2016183791A1 (zh) * 2015-05-19 2016-11-24 华为技术有限公司 一种语音信号处理方法及装置
US9674453B1 (en) * 2016-10-26 2017-06-06 Cisco Technology, Inc. Using local talker position to pan sound relative to video frames at a remote location
CN106653041A (zh) * 2017-01-17 2017-05-10 北京地平线信息技术有限公司 音频信号处理设备、方法和电子设备
US20200137492A1 (en) * 2017-09-08 2020-04-30 Panasonic Intellectual Property Management Co., Ltd. Sound pickup device, sound pickup system, sound pickup method, program, and calibration method
CN110875060A (zh) * 2018-08-31 2020-03-10 阿里巴巴集团控股有限公司 语音信号处理方法、装置、***、设备和存储介质
CN109683132A (zh) * 2018-11-09 2019-04-26 天津师范大学 一种声学与图像信号混合终端及其处理方法
CN110068796A (zh) * 2019-03-31 2019-07-30 天津大学 一种用于声源定位的麦克风阵列方法
CN110297215A (zh) * 2019-06-19 2019-10-01 东北电力大学 一种圆阵列声源定位可视化***及方法
CN110488223A (zh) * 2019-07-05 2019-11-22 东北电力大学 一种声源定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张焕强: "基于机器视觉的声源成像方法研究", 中国优秀硕士学位论文全文数据库工程科技Ⅱ辑, no. 01, 15 January 2020 (2020-01-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113607447A (zh) * 2021-07-08 2021-11-05 中核检修有限公司 一种声学光学联合风机故障定位装置及方法
CN114623984A (zh) * 2022-05-16 2022-06-14 之江实验室 一种基于异构麦克风阵列的声学成像仪
CN115100298A (zh) * 2022-08-25 2022-09-23 青岛杰瑞工控技术有限公司 一种用于深远海视觉养殖的光-声图像融合方法
CN115452141A (zh) * 2022-11-08 2022-12-09 杭州兆华电子股份有限公司 一种非均匀声学成像方法

Similar Documents

Publication Publication Date Title
CN112466323A (zh) 一种光学图像与声学图像融合方法及***
WO2012176945A1 (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
CN111383285B (zh) 一种基于毫米波雷达与摄像机传感器融合标定方法及***
CN109478317A (zh) 用于合成图像的***和方法
JP6312227B2 (ja) Ｒｇｂ−ｄ画像化システム、ｒｇｂ−ｄ画像の生成方法、及びｒｇｂ−ｄ画像を生成する装置
CN107449374A (zh) 柔性布局的视觉辅助激光振镜扫描***及其现场校准方法
CN110794471B (zh) 一种毫米波稀疏阵列远程监视成像方法及***
JP2017509986A (ja) 超音波深度検出を使用するオプティカルフロー画像化システム及び方法
WO2020164335A1 (en) Optical distortion measuring apparatus and optical distortion measuring method, image processing system, electronic apparatus and display apparatus
Xu et al. An omnidirectional 3D sensor with line laser scanning
CN107862716A (zh) 机械臂定位方法及定位机械臂
CN113607447A (zh) 一种声学光学联合风机故障定位装置及方法
CN112880563B (zh) 一种单维像素合并模式等效窄面阵相机空间位置测量方法
JPWO2019065260A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
CN109146959A (zh) 单目相机实现动态点三维测量方法
CN112986260A (zh) 基于相机矩阵的检测***、控制***、终端、介质及应用
CN116519257A (zh) 基于单光场相机双视角背景纹影的三维流场测试方法及***
CN113012238B (zh) 一种多深度相机快速标定与数据融合的方法
JP2010217984A (ja) 像検出装置及び像検出方法
JP2019045299A (ja) ３次元情報取得装置
Han et al. Modeling and calibration of a galvanometer-camera imaging system
CN112698169B (zh) 一种电晕放电定位方法、装置、电子设备及存储介质
CN108981609A (zh) 一种复杂精铸件三维形貌测量方法
CN214623040U (zh) 一种大视场关联成像装置
CN112419421B (zh) 一种相机标定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination