CN110488225A - 声音方位的指示方法、装置、可读存储介质及移动终端 - Google Patents
声音方位的指示方法、装置、可读存储介质及移动终端 Download PDFInfo
- Publication number
- CN110488225A CN110488225A CN201910985754.XA CN201910985754A CN110488225A CN 110488225 A CN110488225 A CN 110488225A CN 201910985754 A CN201910985754 A CN 201910985754A CN 110488225 A CN110488225 A CN 110488225A
- Authority
- CN
- China
- Prior art keywords
- sound
- data
- audio
- target
- mobile terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
- G01S1/72—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using ultrasonic, sonic or infrasonic waves
- G01S1/76—Systems for determining direction or position line
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
- G01S5/20—Position of source determined by a plurality of spaced direction-finders
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Stereophonic System (AREA)
Abstract
一种声音方位的指示方法、装置、可读存储介质及移动终端,该方法应用于移动终端中,该移动终端的至少一侧边缘设置有多组灯带,以界面中的用户为中心,将用户接收声音的方向划分为多个角度范围,所述灯带与所述角度范围呈对应关系,所述指示方法包括:获取***内双声道的音频数据,并对所述音频数据进行特征提取,得到音频特征数据;通过神经网络模型判断提取的音频特征数据是否为目标声音的数据;若是,根据所述音频特征数据计算所述目标声音的声源方向;确定所述声源方向所属的角度范围,并控制所述角度范围对应的目标灯带点亮。本发明实施例通过视觉提醒的方式,提供给用户声源的方位,以作为初步判断和提醒,从而提升用户体验。
Description
技术领域
本发明涉及电子技术领域,特别是涉及一种声音方位的指示方法、装置、可读存储介质及移动终端。
背景技术
“听声辩位”对于FPS(第一人称射击)类游戏玩家是攸关胜败的基本功之一,玩家需要在没有看到敌方玩家之前,根据枪声、脚步声、车声等提前判断敌我玩家的位置,才能正确决策、先发制人获得胜利。“听声辩位”源于现实中的声学原理,人的左右耳由于耳廓结构及位置差异,左右耳所接收到的某一点音源的信息是会不同的,尤其是声波到达时间会有细微差异,人脑通过对双声道数据差异的计算,估算出声音方位。为此,游戏引擎往往会提供至少双声道数据,从而模拟出现实中声音信息,让玩家能够做到“听声辩位”。
但是,当声音输出设备或环境有限,抑或玩家听力受限时,难以根据声音做到听声辩位。尤其在移动端游戏中,由于手机扬声器通常难以做好双声道功能,而很多时候玩家只能使用扬声器,甚至由于环境静音要求而减低游戏音量,此时玩家在游戏中已经无法直接做到“听声辩位”,游戏体验差。
虽然,部分移动端游戏针对这种情况为玩家提供了一定程度上的UI提示作为辅助,例如“和平X英”中会在小地图中提示枪声在地图中的位置,但这种提示是由游戏开发者自行定义的,在不同游戏中差异很大或没有,且提示效果不够明显难以快速辨别方位。
发明内容
鉴于上述状况,有必要针对现有技术中往往很难通过听取游戏中声音来辨别声源方向的问题,提供一种声音方位的指示方法、装置、可读存储介质及移动终端。
一种声音方位的指示方法,应用于移动终端中,该移动终端的至少一侧边缘设置有多组灯带,以所述移动终端界面中的用户头部位置为中心,将用户接收声音的方向划分为多个角度范围,所述多组灯带与所述多个角度范围呈对应关系,所述指示方法包括:
获取***内双声道的音频数据,并对所述音频数据进行特征提取,得到音频特征数据;
通过神经网络模型判断提取的音频特征数据是否为目标声音的数据;
若是,根据所述音频特征数据计算所述目标声音的声源方向;
确定所述声源方向所属的角度范围,并控制所述角度范围对应的目标灯带点亮。
进一步的,上述声音方位的指示方法,其中,所述通过神经网络模型判断提取的音频特征数据是否为目标声音的数据的步骤包括:
对所述音频特征数据在每个声道上,依次每三个采样点的数据取一次均值,得到一段新的音频数据。
将所述新的音频数据在每一次采样点进行左右声道的均值计算,从而混合为单声道音频数据;
将所述单声道音频数据通过神经网络模型进行计算,以确定是否为目标声音。
进一步的,上述声音方位的指示方法,其中,所述通过神经网络模型判断提取的音频特征数据是否为目标声音的数据的步骤还包括:
通过所述神经网络模型计算所述目标声音的类型;
所述控制所述角度范围对应的目标灯带点亮的步骤还包括:
控制所述目标灯带按照所述目标声音的类型对应的灯带特效进行显示,所述灯带特效包括灯光颜色、灯光按照预设频率闪烁和光亮度渐变中的至少一种。
进一步的,上述声音方位的指示方法,其中,所述根据所述音频特征数据计算所述目标声音的声源方向的步骤包括:
通过GCC-PHAT算法计算所述音频特征数据,以得到所述目标声音到达用户的时间差,并根据所述时间差计算出目标声音的声源方向。
进一步的,上述声音方位的指示方法,其中,所述获取***内双声道的音频数据的步骤包括:
获取***内录入的双声道的音频数据流,将所述音频数据流不断添加到缓存块中;
获取所述缓存块中的音频片段数据作为音频数据。
进一步的,上述声音方位的指示方法,其中,对所述音频数据进行特征提取的步骤之前还包括:
根据***的当前音量与预设的目标音量对所述音频数据进行音频调幅,以使所述音频数据的音量为所述目标音量。
进一步的,上述声音方位的指示方法,其中,所述移动终端的至少一侧边均匀设置三组灯带,以用户头部所在位置为极点,以用户头部正前方向为极轴建立极坐标系,将用户接收声音的方向划分为三个角度范围,分别为:﹣30°~﹣120°;﹣30°~0°,0°~30°,120°~180°,﹣120°~﹣180°;30°~120°。
进一步的,上述声音方位的指示方法,其中,所述根据所述音频特征数据计算所述目标声音的声源方向的步骤还包括:
根据所述音频特征数据计算所述目标声音的声源与用户的距离;
所述控制所述角度范围对应的目标灯带点亮的步骤还包括:
控制所述目标灯带的亮度为所述距离对应的亮度或控制所述目标灯带按照所述距离对应的频率闪烁。
本发明实施例还提供一种声音方位的指示装置,应用于移动终端中,该移动终端的至少一侧边缘设置有多组灯带,以所述移动终端界面中的用户头部位置为中心,将用户接收声音的方向划分为多个角度范围,所述多组灯带与所述多个角度范围呈对应关系,所述指示装置包括:
提取模块,用于获取***内双声道的音频数据,并对所述音频数据进行特征提取,得到音频特征数据;
判断模块,用于通过神经网络模型判断提取的音频特征数据是否为目标声音的数据;
计算模块,用于根据所述音频特征数据计算所述目标声音的声源方向;
控制模块,用于确定所述声源方向所属的角度范围,并控制所述角度范围对应的目标灯带点亮。
本发明实施例还提供了一种可读存储介质,其上存储有程序,述程序被处理器执行时实现如上述任一所述的方法。
本发明实施例还提供了一种移动终端,包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序,所述处理器执行所述程序时实现如上述任意一项所述的方法。
本发明实施例中通过移动终端侧边的灯带来指示声源的大致方向,当声音输出设备或环境有限,抑或玩家本身难以根据声音做到听声辩位时,通过视觉提醒的方式,提供给用户大致的方位,以作为初步判断和提醒,从而提升游戏体验。
附图说明
图1为本发明第一实施例中声音方位的指示方法的流程图;
图2为本发明第一实施例中移动终端设两侧设置的灯带与对应的角度范围的示意图;
图3为本发明第二实施例中声音方位的指示方法的流程图;
图4为本发明第二实施例中缓存组的结构示意图;
图5为本发明第三实施例中声音方位的指示装置的结构框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
参照下面的描述和附图,将清楚本发明的实施例的这些和其他方面。在这些描述和附图中,具体公开了本发明的实施例中的一些特定实施方式,来表示实施本发明的实施例的原理的一些方式,但是应当理解,本发明的实施例的范围不受此限制。相反,本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
请参阅图1,为本发明第一实施例中的声音方位的指示方法,该方法应用于移动终端中,该移动终端例如手机、平板电脑、个人数字助理等。该移动终端的至少一侧边缘设置有多组灯带,以所述移动终端界面中的用户头部位置为中心,将用户接收声音的方向划分为多个角度范围,灯带与多个角度范围呈对应关系。此处的用户为移动终端中应用程序(如游戏程序)中的对应用户的虚拟对象。该指示方法包括步骤S11~S14。
步骤S11,获取***内双声道的音频数据,并对所述音频数据进行特征提取,得到音频特征数据。
移动终端中往往会提供双声道音频数据,可通过移动终端上设置的音频数据获取接口来获取***内录取的频数据。移动终端获取的音频数据为终端***中录取的所有声音,即在进行游戏时,获取的是游戏声音;若游戏的同时开启了音乐播放,录制得到的是二者合成的声音,该种情况下录取的音乐声音会干扰判断。本实施例中先对获取的音频数据进行特征提取,常用的提取音频特征的算法例如为MFCC(梅尔频率倒谱系数)法。MFCC把音频信号中具有辨识性的成分提取出来,然后把其他的干扰信息去掉。使用MFCC方法将音频数据计算得到音频特征数据。
步骤S12,通过神经网络模型判断提取的音频特征数据是否为目标声音的数据。
通过神经网络模型进行音频特征数据进行计算,根据计算结果判断是否属于目标声音。本实施例该目标声音为游戏中的声音,例如包括游戏中的脚步声、枪声和车声等。
其中,区分音频数据的方法可基于现有技术中的神经网络模型进行。例如可采用DNN模型(Deep Neural Networks,深度神经网络模型),从DNN按不同层的位置划分,DNN内部的神经网络层可以分为三层,输入层,隐藏层和输出层。
具体实施时,先构建DNN模型,并对该DNN模型进行训练 ,该DNN模型可采用tensorflow框架来训练音频数据,从而确定DNN模型的参数,训练后的DNN模型用于区分音频数据的声音为目标声音还是非目标声音。最后将获取的音频数据输入训练后的DNN模型中,最终输出该音频数据的类型,即为目标声音还是非目标声音。可使用MFCC(梅尔频率倒谱系数)方法将音频数据计算得到音频特征向量数据,并输入训练后的DNN模型中。
步骤S13,当判断到所述音频特征数据为目标声音的数据时,根据所述音频特征数据计算所述目标声音的声源方向。
其中,可通过GCC-PHAT算法(Generalized Cross Correlation PHAseTransformation,广义互相关-相位变换方法)计算所述音频特征数据,得到目标声音到达用户的时间差,并根据该时间差计算出目标声音的声源方向。其具体计算步骤如下:
步骤S1,将左右声道的音频特征数据转换为复数形式数据,并分别应用快速傅里叶变换得到两组频域数据。
步骤S2,对其一组频域数据计算其共轭复数再与另一组频域数据相乘,然后再应用逆傅里叶变换,从而得到互相关函数。
步骤S3,计算互相关函数的峰值,峰值所在坐标位置即两声道的相位差。
步骤S4,相位差除以采样频率得到TDOA(声音到达的时间差tau),再根据 TDOA 计算声源角度α。其计算公式即:
sinα= tau * (c/b);
其中,声音到达的时间差tau=Δn/f,α为声源对观察者的入射角,b为左右耳在水平空间上的距离,c为声音速度,Δn为左右声道的相位差,f为音频数据采样频率。其中,以下参数为已知量:
b取值为20cm,c取值为343m/s,f可为1600hz。
因此,使用GCC-PHAT算法得到左右声道数据的相位差Δn,便可最终计算得到声源角度α。
步骤S14,确定所述声源方向所属的角度范围,并控制所述角度范围对应的目标灯带点亮。
移动终端的至少一侧中设置有多组灯带,每组灯带至少含有一个灯珠,当电流通过时可点亮。例如,本实施例中可将移动终端的两侧分别设置多组灯带,其两侧设置的灯带的位置相对,且灯带效果相同。例如,如图2所示,移动终端的两侧分别均匀设置有三组灯带,其中一侧灯带为从左至右分别为L1、L2和L3,另一侧灯带从左至右分别为N1、N2和N3。以移动终端界面中的用户头部所在位置位为极点,以用户头部正前方向为极轴建立极坐标系,将用户接收声音的方向划分为三个角度范围:A;B1~B4和C,其中A表示角度范围为:﹣30°~﹣120°;B1~B4表示角度范围为﹣30°~0°,0°~30°,120°~180°,﹣120°~﹣180°;C表示角度范围为30°~120°。移动终端两侧的灯带与三个角度范围的对应关系如表1所示。
当确定声源方向所属的角度范围时,将该角度范围对应的灯带点亮。例如,声源在该极坐标系中的方向为25°角的方向,则将灯带L1和N1点亮,用户根据该点亮的灯带即可直观的判断声源的大致方向。
需要说明的是,本实施例中的灯带数量以及角度范围的设置仅作为示例,对此本发明不予限定。在本发明的其他实施例中还可有其他的设置方式,例如,每侧灯带的数量可设置为四个或五个,对应的角度范围也设置四个或五个,并且每组灯带对应的角度范围可根据实际需要进行设置。除此之外,还可以仅在一侧设置灯带。
本实施例中通过移动终端侧边的灯带来指示声源的大致方向,当声音输出设备或环境有限,抑或玩家本身难以根据声音做到听声辩位时,通过视觉提醒的方式,提供给用户大致的方位,以作为初步判断和提醒,从而提升游戏体验。
请参阅图3,为本发明第二实施例中的声音方位的指示方法,包括步骤S21~S29。
步骤S21,获取***内录入的双声道的音频数据流,将所述音频数据流不断添加到缓存块中。
步骤S22,获取所述缓存块中的音频片段数据作为音频数据,并提取所述音频数据的音频特征数据。
步骤S23,对所述音频特征数据在每个声道上,依次每三个采样点的数据取一次均值,得到一段新的音频数据。
音频数据的识别和分类首先要对波形数据分帧处理,即使用缓存窗口切成一段一段的数据,简单的分帧会使信号两端的部分被削弱,为此还需要保留一部分数据作为下一帧的起始部分。为此要维护一个如图4所示的缓存组,重叠区域的数据被同步复制到下一帧,当一个缓存区域满后传递到下一阶段的计算,并清空缓存区。
本实施例中移动终端录制时的音频采样频率为48000Hz,录制双声道音频流数据。使用音频缓存组,将音频数据流不断添加到缓存块中,当此时缓存已存满 96000 byte,亦即 500ms 的双声道音频数据时,把此缓存的数据重采样至16000hz。具体实施时,将音频片段数据,在每个声道上,依次每三个采样点的数据取一次均值,得到一段新的音频数据,从而将音频从48000Hz重采样到16000Hz。
步骤S24,将所述新的音频数据在每一采样点进行左右声道的均值计算,从而混合为单声道音频数据。
移动终端获取的音频数据为双声道数据,进行音频数据识别及分类时,需要将双声道数据混合为单声道的数据。其通过将计算得到的一段新的音频数据在每一次采样的左声道音频数据和右声道的音频数据进行均值计算,即可混合为单声道音频数据。
步骤S25,将所述单声道音频数据通过神经网络模型进行计算,以确定是否为目标声音的数据。
步骤S26,所述单声道音频数据为目标声音的数据时,通过所述神经网络模型计算所述目标声音的类型。
其中,区分音频数据的方法可基于现有技术中的神经网络模型进行。例如可采用DNN模型(Deep Neural Networks,深度神经网络模型)。具体实施时,先构建DNN模型,并通过各类型的音频数据作为训练数据对该DNN模型进行训练 ,该DNN模型可采用tensorflow框架来训练音频数据,从而确定DNN模型的参数,训练后的DNN模型用于区分音频数据的声音类型。该声音类型可通过训练的音频数据来确定,例如,通过预先采集的游戏中的枪声、脚步声、车声等音频数据对DNN模型进行训练。将移动终端混合后的单声道音频数据输入训练后的DNN模型中,最终输出该音频数据的类型。
具体实施时,神经网络模型在对单声道音频数据进行处理时即可输出目标声音的分类信息,若该单声道数据不存在目标声音时,则输出为0。
步骤S27,根据所述音频特征数据计算所述目标声音的声源方向。
可通过GCC-PHAT算法对音频特征数据进行计算,确定目标声音到达用户的时间差,并根据该时间差计算出目标声音的声源方向。
步骤S28,确定所述声源方向所属的角度范围。
步骤S29,控制所述角度范围对应的目标灯带点亮,并按照所述目标声音的类型对应的灯带特效进行显示。
本实施例中,可在该移动终端的两侧边缘分别设置有3组灯带,以移动终端界面中的用户为中心,将用户接收声音的方向划分为3个角度范围,每测的三个灯带均分别与该3个角度范围呈一一对应关系。具体的,该移动终端两侧的灯带与三个角度范围的对应关系可如上述实施例中的表1所示。当确定声源方向所属的角度范围时,将该角度范围对应的灯带点亮。例如,声源在该极坐标系中的方向为60°角的方向,则将灯带L2和N2点亮,用户根据该点亮的灯带即可直观的判断声源的大致方向。若同时确定到多个方向存在目标声音,则同时将该多个方向对应的灯带点亮。
进一步的,每种类型声音对应一种灯带特效,该灯带特效包括颜色、按照预设频率闪烁和光强渐变中的至少一种。用户根据该目标灯带的灯带特效即可判断是那种类型的声音,例如游戏中的车声对应的灯带特效为红色灯光,脚步声对应的灯带特效为黄色灯光且以每秒一次的频率闪烁,枪声对应的灯带特效为灯光亮度逐渐加强。
即当目标声音为车声时,控制目标灯带点亮,且灯光颜色红色;当目标声音为车声时,控制目标灯带点亮,且颜色为黄色以及灯光按照为目标声音的类型对应的频率进行闪烁;当目标声音为枪声时,控制控制目标灯带点亮,且光强逐渐加强。
可以理解的,上述列举的灯带特效仅作为示例,具体实施时每种类型对应的灯带特效可根据实际情况进行设计和组合,也可以增加其他的特效。
进一步的,该灯带特效的持续时间可进行设置,例如持续时间为2s,即目标灯带点亮的持续时间为2s,该时间段内的灯光指示足以引起用户的注意,不需要一直处于点亮状态,以免造成不必要的电量浪费。
进一步的,在本发明的其他实施例中提取音频数据中的音频特征数据的步骤之前还可根据***当前音量与预设的目标音量,对获取的双声道音频数据进行音频调幅。
***内录入音频数据经常会被***设定音量进行调幅,当***音量变化时获取的音频数据不同,不便于音频识别。因此需要对获取的音频数据进行调幅,以使获取的音频数据的音量始终不变,其具体实施步骤包括:
步骤S31,监听并保存***当前音量的参数值;
步骤S32,将当前音量的参数值与预设的目标音量的参数值分别计指数,取指数后的比值为目标音量和当前音量的振幅比值;
步骤S33,将音频数据的每个音频信号的值乘以该振幅比值,得到调幅后的音频数据。
具体实施时,***预先设置一个目标音量的参数值Vt,通过接口监听和保存手机***当前音量的参数值,这里将其表述为Vn。由于音量的响度在人耳感受是成指数关系,因而音频振幅与音量参数也是成指数关系,因此将目标音量和当前音量分别计指数,取指数后的比值为目标音量和现音量的振幅比值:
scale = exp(Vt)/exp(Vn)。
获得***音频数据后,将每个音频信号的值乘以scale,转换得到的数据就变为目标音量了。转换后的音频数据的音量即为目标音量即将会把不同大小音量下的数据最终调幅到这个目标音量下。
作为本发明实施例的另一种实施方式,还可以根据目标灯带的光强度来区分目标声音的声源与用户的距离。在游戏开发时,可通过游戏音频通过音量递减的方式模拟声源距离,声源与用户的距离可根据用户接受到的声音的强度来判断,在移动终端中声音的强度可用左右两声道音频信号的电压幅值进行表示。即移动终端获取音频特征数据中的电压幅值,并根据该电压幅值计算声源与用户的距离,并控制目标灯带的光强为该距离对应的光强度。该移动终端***中预存有距离值(或距离范围)与灯光强度的对应关系,使用时查询即可。
本实施例中通过光强度来区分声源与用户的距离,在本发明的其他实施例中,还可通过其他方式,例如可通过灯光的闪烁频率来区分远近,距离越近的声音对应的灯光闪烁频率越高,距离越远的声音对应的灯光闪烁频率越低。
请参阅图5,为本发明第三实施例中的一种声音方位的指示装置,应用于移动终端中,该移动终端的至少一侧边缘设置有多组灯带,以界面中的用户为中心,将用户接收声音的方向划分为多个角度范围,所述多组灯带与所述多个角度范围呈对应关系,所述指示装置包括:
提取模块10,用于获取***内双声道的音频数据,并对所述音频数据进行特征提取,得到音频特征数据;
判断模块20,用于通过神经网络模型判断提取的音频特征数据是否为目标声音的数据;
计算模块30,用于根据所述音频特征数据计算所述目标声音的声源方向;
控制模块40,用于确定所述声源方向所属的角度范围,并控制所述角度范围对应的目标灯带点亮。
进一步的,上述声音方位的指示装置,其中,所述判断模块20包括:
采样模块,用于对所述音频特征数据在每个声道上,依次每三个采样点的数据取一次均值,得到一段新的音频数据。
均值计算模块,用于将所述新的音频数据在每一采样点进行左右声道的均值计算,从而混合为单声道音频数据;
判断子模块,用于将所述单声道音频数据通过神经网络模型进行计算,并确定是否为目标声音。
进一步的,上述声音方位的指示装置,其中,所述计算模块30还用于:通过所述神经网络模型计算所述目标声音的类型;
所述控制模块40还用于控制所述目标灯带按照所述目标声音的类型对应的灯带特效进行显示,所述灯带特效包括灯光颜色、灯光按照预设频率闪烁和光亮度渐变中的至少一种。
本发明实施例所提供的声音方位的指示装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明还提出一种可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述的声音方位的指示方法。
本发明实施例还提供了一种移动终端,包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序,所述处理器执行所述程序时实现上述的方法。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种声音方位的指示方法,应用于移动终端中,其特征在于,该移动终端的至少一侧边缘设置有多组灯带,以所述移动终端界面中的用户头部位置为中心,将用户接收声音的方向划分为多个角度范围,所述多组灯带与所述多个角度范围呈对应关系,所述指示方法包括:
获取***内双声道的音频数据,并对所述音频数据进行特征提取,得到音频特征数据;
通过神经网络模型判断提取的音频特征数据是否为目标声音的数据;
若是,根据所述音频特征数据计算所述目标声音的声源方向;
确定所述声源方向所属的角度范围,并控制所述角度范围对应的目标灯带点亮。
2.如权利要求1所述的声音方位的指示方法,其特征在于,所述通过神经网络模型判断提取的音频特征数据是否为目标声音的数据的步骤包括:
对所述音频特征数据在每个声道上,依次每三个采样点的数据取一次均值,得到一段新的音频数据;
将所述新的音频数据在每一次采样点进行左右声道的均值计算,从而混合为单声道音频数据;
将所述单声道音频数据通过神经网络模型进行计算,以确定是否为目标声音。
3.如权利要求1所述的声音方位的指示方法,其特征在于,所述通过神经网络模型判断提取的音频特征数据是否为目标声音的数据的步骤还包括:
通过所述神经网络模型计算所述目标声音的类型;
所述控制所述角度范围对应的目标灯带点亮的步骤还包括:
控制所述目标灯带按照所述目标声音的类型对应的灯带特效进行显示,所述灯带特效包括灯光颜色、灯光按照预设频率闪烁和光亮度渐变中的至少一种。
4.如权利要求1所述的声音方位的指示方法,其特征在于,所述根据所述音频特征数据计算所述目标声音的声源方向的步骤包括:
通过GCC-PHAT算法计算所述音频特征数据,以得到所述目标声音到达用户的时间差,并根据所述时间差计算出目标声音的声源方向。
5.如权利要求1所述的声音方位的指示方法,其特征在于,对所述音频数据进行特征提取的步骤之前还包括:
根据***的当前音量与预设的目标音量对所述音频数据进行音频调幅,以使所述音频数据的音量为所述目标音量。
6.如权利要求1所述的声音方位的指示方法,其特征在于,所述移动终端的至少一侧边均匀设置三组灯带,以用户头部所在位置为极点,以用户头部正前方向为极轴建立极坐标系,将用户接收声音的方向划分为三个角度范围,分别为:﹣30°~﹣120°;﹣30°~0°,0°~30°,120°~180°,﹣120°~﹣180°;30°~120°。
7.如权利要求1所述的声音方位的指示方法,其特征在于,所述根据所述音频特征数据计算所述目标声音的声源方向的步骤还包括:
根据所述音频特征数据计算所述目标声音的声源与用户的距离;
所述控制所述角度范围对应的目标灯带点亮的步骤还包括:
控制所述目标灯带的亮度为所述距离对应的亮度或控制所述目标灯带按照所述距离对应的频率闪烁。
8.一种声音方位的指示装置,应用于移动终端中,其特征在于,该移动终端的至少一侧边缘设置有多组灯带,以所述移动终端界面中的用户头部位置为中心,将用户接收声音的方向划分为多个角度范围,所述多组灯带与所述多个角度范围呈对应关系,所述指示装置包括:
提取模块,用于获取***内双声道的音频数据,并对所述音频数据进行特征提取,得到音频特征数据;
判断模块,用于通过神经网络模型判断提取的音频特征数据是否为目标声音的数据;
计算模块,用于根据所述音频特征数据计算所述目标声音的声源方向;
控制模块,用于确定所述声源方向所属的角度范围,并控制所述角度范围对应的目标灯带点亮。
9.一种可读存储介质,其上存储有程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7任一所述的方法。
10.一种移动终端,包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910985754.XA CN110488225B (zh) | 2019-10-17 | 2019-10-17 | 声音方位的指示方法、装置、可读存储介质及移动终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910985754.XA CN110488225B (zh) | 2019-10-17 | 2019-10-17 | 声音方位的指示方法、装置、可读存储介质及移动终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110488225A true CN110488225A (zh) | 2019-11-22 |
CN110488225B CN110488225B (zh) | 2020-02-07 |
Family
ID=68544717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910985754.XA Active CN110488225B (zh) | 2019-10-17 | 2019-10-17 | 声音方位的指示方法、装置、可读存储介质及移动终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110488225B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110972053A (zh) * | 2019-11-25 | 2020-04-07 | 腾讯音乐娱乐科技(深圳)有限公司 | 构造听音场景的方法和相关装置 |
CN111929645A (zh) * | 2020-09-23 | 2020-11-13 | 深圳市友杰智新科技有限公司 | 特定人声的声源定位方法、装置和计算机设备 |
CN112415467A (zh) * | 2020-11-06 | 2021-02-26 | 中国海洋大学 | 一种基于神经网络的单矢量潜标目标定位实现方法 |
CN114355289A (zh) * | 2022-03-19 | 2022-04-15 | 深圳市烽火宏声科技有限公司 | 声源定位方法、装置、存储介质及计算机设备 |
WO2024082800A1 (zh) * | 2022-10-18 | 2024-04-25 | 抖音视界有限公司 | 音频处理方法、装置及终端设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140241549A1 (en) * | 2013-02-22 | 2014-08-28 | Texas Instruments Incorporated | Robust Estimation of Sound Source Localization |
CN105378826A (zh) * | 2013-05-31 | 2016-03-02 | 诺基亚技术有限公司 | 音频场景装置 |
CN107231586A (zh) * | 2016-03-24 | 2017-10-03 | 徐超 | 听声辨位的方法及装置 |
CN107450883A (zh) * | 2017-07-19 | 2017-12-08 | 维沃移动通信有限公司 | 一种音频数据处理方法、装置及移动终端 |
CN109788130A (zh) * | 2018-12-27 | 2019-05-21 | 努比亚技术有限公司 | 终端及其方位提醒方法、及计算机可读存储介质 |
CN109960484A (zh) * | 2017-12-26 | 2019-07-02 | 腾讯科技(深圳)有限公司 | 一种音频音量获取方法及装置、存储介质、终端 |
-
2019
- 2019-10-17 CN CN201910985754.XA patent/CN110488225B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140241549A1 (en) * | 2013-02-22 | 2014-08-28 | Texas Instruments Incorporated | Robust Estimation of Sound Source Localization |
CN105378826A (zh) * | 2013-05-31 | 2016-03-02 | 诺基亚技术有限公司 | 音频场景装置 |
CN107231586A (zh) * | 2016-03-24 | 2017-10-03 | 徐超 | 听声辨位的方法及装置 |
CN107450883A (zh) * | 2017-07-19 | 2017-12-08 | 维沃移动通信有限公司 | 一种音频数据处理方法、装置及移动终端 |
CN109960484A (zh) * | 2017-12-26 | 2019-07-02 | 腾讯科技(深圳)有限公司 | 一种音频音量获取方法及装置、存储介质、终端 |
CN109788130A (zh) * | 2018-12-27 | 2019-05-21 | 努比亚技术有限公司 | 终端及其方位提醒方法、及计算机可读存储介质 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110972053A (zh) * | 2019-11-25 | 2020-04-07 | 腾讯音乐娱乐科技(深圳)有限公司 | 构造听音场景的方法和相关装置 |
CN111929645A (zh) * | 2020-09-23 | 2020-11-13 | 深圳市友杰智新科技有限公司 | 特定人声的声源定位方法、装置和计算机设备 |
CN112415467A (zh) * | 2020-11-06 | 2021-02-26 | 中国海洋大学 | 一种基于神经网络的单矢量潜标目标定位实现方法 |
CN114355289A (zh) * | 2022-03-19 | 2022-04-15 | 深圳市烽火宏声科技有限公司 | 声源定位方法、装置、存储介质及计算机设备 |
CN114355289B (zh) * | 2022-03-19 | 2022-06-10 | 深圳市烽火宏声科技有限公司 | 声源定位方法、装置、存储介质及计算机设备 |
WO2024082800A1 (zh) * | 2022-10-18 | 2024-04-25 | 抖音视界有限公司 | 音频处理方法、装置及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110488225B (zh) | 2020-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110488225A (zh) | 声音方位的指示方法、装置、可读存储介质及移动终端 | |
US10685638B2 (en) | Audio scene apparatus | |
US20220159403A1 (en) | System and method for assisting selective hearing | |
KR102639491B1 (ko) | 개인화된 실시간 오디오 프로세싱 | |
CN110972053B (zh) | 构造听音场景的方法和相关装置 | |
Ericson et al. | Factors that influence intelligibility in multitalker speech displays | |
CN107450724A (zh) | 一种基于双声道音频多普勒效应的手势识别方法及*** | |
CN107241672B (zh) | 一种获得空间音频定向向量的方法、装置及设备 | |
Vestergaard et al. | The mutual roles of temporal glimpsing and vocal characteristics in cocktail-party listening | |
Cooke et al. | Computational auditory scene analysis: Listening to several things at once | |
US20230164509A1 (en) | System and method for headphone equalization and room adjustment for binaural playback in augmented reality | |
JP6737342B2 (ja) | 信号処理装置および信号処理方法 | |
Griesinger | What is clarity, and how it can be measured? | |
CN108389584A (zh) | 声音分析方法及装置 | |
CN101516055A (zh) | 一种能够模拟不同音响环境的三维回声音效方法和设备 | |
CN106465032A (zh) | 操控输入音频信号的装置和方法 | |
JP2009539133A (ja) | 発話の区別 | |
Plack | Auditory perception | |
Topper et al. | Spatio-operational spectral (sos) synthesis | |
KR20050048686A (ko) | 음향 재생 장치를 이용한 이동 시뮬레이팅 방법 및 상기방법을 수행하기 위한 사운드 재생 장치 | |
May et al. | Preserving auditory situation awareness in headphone-distracted persons | |
Ziemer et al. | Psychoacoustics | |
US20240181201A1 (en) | Methods and devices for hearing training | |
Palomäki et al. | A binaural auditory model for missing data recognition of speech in noise | |
Feakes | Auditory Displays and Assistive Technologies: the use of head movements by visually impaired individuals and their implementation in binaural interfaces |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230320 Address after: 518055 1501, Building 1, Chongwen Park, Nanshan Zhiyuan, No. 3370, Liuxian Avenue, Fuguang Community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong Province Patentee after: Shenzhen Grey Shark Technology Co.,Ltd. Address before: Room 601, Block A, Chuangzhi Building, No. 17, Xinghuo Road, Jiangbei New District, Nanjing, Jiangsu, 210000 Patentee before: Nanjing Thunder Shark Information Technology Co.,Ltd. |