CN101916569B - 一种显示声音的方法和装置 - Google Patents

一种显示声音的方法和装置 Download PDF

Info

Publication number
CN101916569B
CN101916569B CN201010244463.4A CN201010244463A CN101916569B CN 101916569 B CN101916569 B CN 101916569B CN 201010244463 A CN201010244463 A CN 201010244463A CN 101916569 B CN101916569 B CN 101916569B
Authority
CN
China
Prior art keywords
sound
array
frequency
sound signal
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010244463.4A
Other languages
English (en)
Other versions
CN101916569A (zh
Inventor
李飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vimicro Corp
Original Assignee
Vimicro Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vimicro Corp filed Critical Vimicro Corp
Priority to CN201010244463.4A priority Critical patent/CN101916569B/zh
Publication of CN101916569A publication Critical patent/CN101916569A/zh
Application granted granted Critical
Publication of CN101916569B publication Critical patent/CN101916569B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明提供一种显示声音的方法和装置，其中方法包括：通过麦克风阵列采集多路音频信号，并记录每路音频信号对应的麦克风的位置信息；将每路音频信号的声音频率转换为色彩频率，将每路音频信号的声音强度转换为灰度值，从而每路音频信号对应生成一个包括位置信息、色彩频率和灰度值的像素点；在显示屏上显示所述多路音频信号对应生成的像素点阵列。本发明能解决现有技术不能针对声音本身进行成像，不能用图像来研究声音本身的分布的技术问题。

Description

一种显示声音的方法和装置
技术领域
本发明涉及研究声音的方法和设备，特别是涉及一种显示声音的方法和装置。
背景技术
人类对声音的感觉，完全来自于耳朵，但耳朵并不是一个非常灵敏的器官，其能够听见的音频信号的范围是20HZ到20KHZ，自然界中有很多低于20HZ的次声波(例如，火山爆发、地震、海啸、台风等所含能量巨大的自然现象及核爆中都会产生次声波)和高于20KHZ的超声波是不能被人耳觉察的。并且，人耳的方向性也很差，只能判断出声音的大致来源，并不能进行很准确的定位。此外，人耳仅能觉察所在位置的声音，并不能感知较大空间内的声音分布，例如，研究一个音乐厅的音响效果，有时需要测试者跑遍音乐厅的每个角落才能有个大概了解。
另外，以听觉的方式来感知声音，给人的感觉是暂时的、模糊的，听完之后的回味和正听时的感觉是有出入的，即使进行了录音，也是一遍一遍的听，一遍一遍的回味，并不能形成持续的感受。
现有技术的声纳成像和医学超声诊断成像技术，大多是根据回声来形成被测物体的形象和位置，其不是针对声音本身的成像，其不适用来研究声音本身的分布和特征。
因此，需要一种直观的研究声音的空间分布的方法和装置，
发明内容
本发明的目的是提供一种显示声音的方法和装置，解决现有技术不能针对声音本身进行成像，不能用图像来研究声音本身的分布的技术问题。
为了实现上述目的，一方面，提供了一种显示声音的方法，包括：
通过麦克风阵列采集多路音频信号，并记录每路音频信号对应的麦克风的位置信息；
将每路音频信号的声音频率转换为色彩频率，将每路音频信号的声音强度转换为灰度值，从而每路音频信号对应生成一个包括位置信息、色彩频率和灰度值的像素点；
在显示屏上显示所述多路音频信号对应生成的像素点阵列。
优选地，上述的方法中，还包括：通过所述象素点阵列的排部信息计算音源的位置和强度。
优选地，上述的方法中，还包括：通过移动所述麦克风阵列，来获取不同空间的音频信号。
优选地，上述的方法中，所述麦克风阵列为平面阵列或者为多层平面阵列组成的立体阵列，所述音频信号包括超声波和次声波。
为了实现上述目的，本发明实施例还提供了一种显示声音的装置，包括：
麦克风阵列；
采样模块，用于：采集所述麦克风阵列产生的多路音频信号，并记录每路音频信号对应的麦克风的位置信息；
数据处理模块，用于：将每路音频信号的声音频率转换为色彩频率，将每路音频信号的声音强度转换为灰度值，从而每路音频信号对应生成一个包括位置信息、色彩频率和灰度值的像素点；
显示屏，用于：显示所述多路音频信号对应生成的像素点阵列。
优选地，上述的装置中，还包括：中央处理器，用于：通过所述象素点阵列的排部信息计算音源的位置和强度。
优选地，上述的装置中，还包括：位移模块，用于移动所述麦克风阵列。
优选地，上述的装置中，所述麦克风阵列为平面阵列或者为多层平面阵列组成的立体阵列，所述麦克风能够采集超声波和次声波。
本发明至少存在以下技术效果：
1)本发明提供了一种显示声音的方法，能将空间中分布的声音信号转换为图像信号，能针对声音本身进行成像，从而可以对声音进行拍照或生成视频，因此本发明实施例提供了一种对声音的新的研究角度和表示方法，让声音不仅能听到还能像照片一样更直观形象的看到。
2)本发明实施例把声音频率和图像颜色相关联，声音频率越高颜色所对应的光的频率也越高，声音强度越大所对应照片的灰度也越大，使图像能够准确的显示声音自身的特征，让人一目了然。
3)本发明中的麦克风可以采集超声波和次声波，从而可以显示人耳不能听见的声音。
4)所述麦克风阵列为平面阵列或者为多层平面阵列组成的立体阵列，可以进行移动或者转动，可以显示不同空间的声音。
附图说明
图1为本发明实施例提供的方法的步骤流程图；
图2为本发明实施例提供的装置的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对具体实施例进行详细描述。
图1为本发明实施例提供的方法的步骤流程图，如图1所示，显示声音的方法包括：
步骤101，通过麦克风阵列采集多路音频信号，并记录每路音频信号对应的麦克风的位置信息；
步骤102，将每路音频信号的声音频率转换为色彩频率，将每路音频信号的声音强度转换为灰度值，从而每路音频信号对应生成一个包括位置信息、色彩频率和灰度值的像素点；
步骤103，在显示屏上显示所述多路音频信号对应生成的像素点阵列。
其中，还可以包括：通过所述象素点阵列的排部信息计算音源的位置和强度；通过移动所述麦克风阵列，来获取不同空间的音频信号。
可见，本发明方法实施例，是通过微小麦克风组成的点阵来采集一个平面的声音强度和频率等参数，通过数字处理后生成一幅图像。图像的明暗和色彩能够反映出声音的强弱、频率、声源位置等信息。
音频到视频的转换的方法，可以采用一次函数的方式，例如H＝kh，其中H为色彩频率，h为声音频率，k为可调节的系数。调节k是为了将所转换出来的色彩频率调节到一个容易识别的频率范围。
如果，各麦克风采集的音频信号的差异很小，也可以采用二次函数或者更高次的函数来放大差异，例如H＝ah2+bh+c，a、b、c为预设的通过经验获得的系数。
同理，将每路音频信号的声音强度转换为灰度值的方式，也可以通过一次函数或者多次函数甚至对数的方式进行转换。
转换之后，各像素点在显示屏上显示了一幅图像，该图像可以通过视觉的方式呈现各位置点的声音差异。如果进行不间断的实时采集，显示屏幕上将呈现一个动态的视频图像。
本实施例中的象素点，在麦克风矩阵中包含的麦克风数目足够多时(例如800×600)，可以就是一个屏幕中的真实象素点，如果麦克风矩阵中包含的麦克风数目不足时(例如30×20)，为了使图像足够大，该象素点可以放大为一个小块的显示区域。
所述麦克风阵列为平面阵列或者为多层平面阵列组成的立体阵列，所述音频信号可以包括超声波和次声波，从而可以研究人耳不能听见的声音。
图2为本发明实施例提供的装置的结构图。如图2所示，显示声音的装置包括：
麦克风阵列210；
采样模块220，用于：采集所述麦克风阵列产生的多路音频信号，并记录每路音频信号对应的麦克风的位置信息；
数据处理模块230，用于：将每路音频信号的声音频率转换为色彩频率，将每路音频信号的声音强度转换为灰度值，从而每路音频信号对应生成一个包括位置信息、色彩频率和灰度值的像素点；
显示屏240，用于：显示所述多路音频信号对应生成的像素点阵列。
还可以包括：
中央处理器CPU 250，用于：通过所述象素点阵列的排部信息计算音源的位置和强度。计算的方法可以是通过声音强度的递减方向等等成熟技术进行计算，在此不再赘述。
还可以包括：位移模块，用于移动所述麦克风阵列，从而能够测量不同空间的声音分布。此时，麦克风阵列210和采样模块220放置在现场，其采样的数据可以通过数据传输控制模块260发送给数据处理模块230。
采样模块220中进一步包括：声音频率采样模块和声音强度采样模块。
其中，数据处理模块230进行音频到视频的转换的方式，可以采用一次函数的方式，例如H＝kh，其中H为色彩频率，h为声音频率，k为可调节的系数。调节k是为了将所转换出来的色彩频率调节到一个容易识别的频率范围。如果，各麦克风采集的音频信号的差异很小，也可以采用二次函数或者更高次的函数来放大差异，例如H＝ah2+bh+c，a、b、c为预设的通过经验获得的系数。同理，将每路音频信号的声音强度转换为灰度值的方式，也可以通过一次函数或者多次函数甚至对数的方式进行转换。
所述麦克风阵列为平面阵列或者为多层平面阵列组成的立体阵列，所述麦克风能够采集超声波和次声波。
本发明的麦克风阵列，每一个麦克风作为一个像素，通过频率采样模块和声强采样模块循环扫描采集每一个麦克风所接收到声音的频率和声强数据，再由数据传输控制模块把数据通过数据总线发送到数据处理模块，最终由数据处理算法把所接收的声音频率和强度生成一幅图片显示出来。用这种方法可以实时处理这些图片并连续显示在LCD上，这样就可以像数码相机一样显示景物，只是这种影像是声音的一些信息。本发明实施例把声音频率和照片颜色相关联，声音频率越高颜色所对应的光的频率也越高，声音强度越大所对应照片的灰度也越大，还可以根据灰度的分布判断出声源的位置。麦克风阵列的分辨率决定了声音照片的质量，分辨率越高照片的表现的越细致。
由上可知，本发明实施例具有以下优势：
1)本发明提供了一种显示声音的方法，能将空间中分布的声音信号转换为图像信号，能针对声音本身进行成像，从而可以对声音进行拍照或生成视频，因此本发明实施例提供了一种对声音的新的研究角度和表示方法，让声音不仅能听到还能像照片一样更直观形象的看到。
2)本发明实施例把声音频率和图像颜色相关联，声音频率越高颜色所对应的光的频率也越高，声音强度越大所对应照片的灰度也越大，使图像能够准确的显示声音自身的特征，让人一目了然。
3)本发明中的麦克风可以采集超声波和次声波，从而可以显示人耳不能听见的声音。
4)所述麦克风阵列为平面阵列或者为多层平面阵列组成的立体阵列，可以进行移动或者转动，可以显示不同空间的声音。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种显示声音的方法，其特征在于，包括：
通过麦克风阵列采集多路音频信号，并记录每路音频信号对应的麦克风的位置信息；
将每路音频信号的声音频率转换为色彩频率，将每路音频信号的声音强度转换为灰度值，从而每路音频信号对应生成一个包括位置信息、色彩频率和灰度值的像素点；
在显示屏上显示所述多路音频信号对应生成的像素点阵列。
2.根据权利要求1所述的方法，其特征在于，还包括：
通过所述象素点阵列的排部信息计算音源的位置和强度。
3.根据权利要求1所述的方法，其特征在于，还包括：
通过移动所述麦克风阵列，来获取不同空间的音频信号。
4.根据权利要求3所述的方法，其特征在于，所述麦克风阵列为平面阵列或者为多层平面阵列组成的立体阵列，所述音频信号包括超声波和次声波。
5.一种显示声音的装置，其特征在于，包括：
麦克风阵列；
采样模块，用于：采集所述麦克风阵列产生的多路音频信号，并记录每路音频信号对应的麦克风的位置信息；
数据处理模块，用于：将每路音频信号的声音频率转换为色彩频率，将每路音频信号的声音强度转换为灰度值，从而每路音频信号对应生成一个包括位置信息、色彩频率和灰度值的像素点；
显示屏，用于：显示所述多路音频信号对应生成的像素点阵列。
6.根据权利要求5所述的装置，其特征在于，还包括：
中央处理器，用于：通过所述象素点阵列的排部信息计算音源的位置和强度。
7.根据权利要求5所述的装置，其特征在于，还包括：
位移模块，用于移动所述麦克风阵列。
8.根据权利要求7所述的装置，其特征在于，所述麦克风阵列为平面阵列或者为多层平面阵列组成的立体阵列，所述麦克风能够采集超声波和次声波。
CN201010244463.4A 2010-08-03 2010-08-03 一种显示声音的方法和装置 Expired - Fee Related CN101916569B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010244463.4A CN101916569B (zh) 2010-08-03 2010-08-03 一种显示声音的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010244463.4A CN101916569B (zh) 2010-08-03 2010-08-03 一种显示声音的方法和装置

Publications (2)

Publication Number Publication Date
CN101916569A CN101916569A (zh) 2010-12-15
CN101916569B true CN101916569B (zh) 2015-05-06

Family

ID=43324061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010244463.4A Expired - Fee Related CN101916569B (zh) 2010-08-03 2010-08-03 一种显示声音的方法和装置

Country Status (1)

Country Link
CN (1) CN101916569B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8183997B1 (en) * 2011-11-14 2012-05-22 Google Inc. Displaying sound indications on a wearable computing system
CN103685683B (zh) * 2012-09-03 2015-08-12 中兴通讯股份有限公司 语音涂鸦的实现方法、装置以及终端
CN104464741B (zh) * 2014-12-29 2018-04-06 中山大学花都产业科技研究院 一种音频信号转视觉颜色信息的方法及***
CN106162418A (zh) * 2015-04-22 2016-11-23 环旭电子股份有限公司 收音方法以及收音装置
KR102358025B1 (ko) 2015-10-07 2022-02-04 삼성전자주식회사 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법
CN106373579A (zh) * 2016-08-31 2017-02-01 天脉聚源（北京）科技有限公司 显示音频信息的方法和装置
CN106485991A (zh) * 2016-12-23 2017-03-08 天津城建大学 声音三要素演示仪
CN109524022B (zh) * 2018-11-16 2021-03-02 方雯晖 一种视觉、听觉、嗅觉的相互转化方法
CN112857560B (zh) * 2021-02-06 2022-07-22 河海大学 一种基于声音频率的声学成像方法
CN114018499B (zh) * 2021-09-28 2022-09-09 雅砻江流域水电开发有限公司 一种水电站水车室噪声声源成像方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1748221A (zh) * 2003-03-10 2006-03-15 有限会社Adeu.Nek 彩色点编码***
CN1885976A (zh) * 2005-06-24 2006-12-27 英华达(上海)电子有限公司 将声音在手机显示屏上图形化显示并播放的方法
JP2007086365A (ja) * 2005-09-21 2007-04-05 Eiko Denshi:Kk イルミネーション装置及びその駆動回路並びにイルミネーション方法及びイルミネーション装置駆動方法
CN101488346A (zh) * 2009-02-24 2009-07-22 深圳先进技术研究院 语音可视化***及语音可视化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7924328B2 (en) * 2007-01-25 2011-04-12 Hewlett-Packard Development Company, L.P. Applying visual effect to image data based on audio data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1748221A (zh) * 2003-03-10 2006-03-15 有限会社Adeu.Nek 彩色点编码***
CN1885976A (zh) * 2005-06-24 2006-12-27 英华达(上海)电子有限公司 将声音在手机显示屏上图形化显示并播放的方法
JP2007086365A (ja) * 2005-09-21 2007-04-05 Eiko Denshi:Kk イルミネーション装置及びその駆動回路並びにイルミネーション方法及びイルミネーション装置駆動方法
CN101488346A (zh) * 2009-02-24 2009-07-22 深圳先进技术研究院 语音可视化***及语音可视化方法

Also Published As

Publication number Publication date
CN101916569A (zh) 2010-12-15

Similar Documents

Publication Publication Date Title
CN101916569B (zh) 一种显示声音的方法和装置
CA3206524C (en) Technique for directing audio in augmented reality system
AU2017247070B2 (en) Three-dimensional, 360-degree virtual reality camera exposure control
CN107566739B (zh) 一种拍照方法及移动终端
EP3120321B1 (en) Encoding and decoding wide-angle images
CN105872940A (zh) 一种虚拟现实声场生成方法及***
GB2524249A (en) Image Processing
US11941318B2 (en) Audio and video playing system, playing method and playing device
Madmoni et al. Beamforming-based binaural reproduction by matching of binaural signals
US11812222B2 (en) Technique for directing audio in augmented reality system
WO2022262416A1 (zh) 音频的处理方法及电子设备
Maempel The virtual concert hall—A research tool for the experimental investigation of audiovisual room perception
WO2021020150A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN103584882A (zh) 空间复合成像方法、装置及超声成像***
CN107124590A (zh) 基于声源定向的全景视频压缩方法、存储介质及摄像机
CN111739554A (zh) 声学成像频率确定方法、装置、设备及存储介质
US10547961B2 (en) Signal processing apparatus, signal processing method, and storage medium
US20210314723A1 (en) An Apparatus, Method and Computer Program for Representing a Sound Space
Okamoto et al. Implementation of a high-definition 3D audio-visual display based on higher-order Ambisonics using a 157-loudspeaker array combined with a 3D projection display
Siltanen et al. Acoustic visualizations using surface mapping
Roginska et al. CityTones: a repository of crowdsourced annotated soundfield soundscapes
JP2020167471A (ja) 情報処理装置、情報処理方法、及びプログラム
US10419671B2 (en) System, method, and program for displaying omnidirectional camera image
EP3229070A1 (en) Three-dimensional, 360-degree virtual reality camera exposure control
CN207410480U (zh) 一种模拟装置及录音设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150506

Termination date: 20170803

CF01 Termination of patent right due to non-payment of annual fee