CN106328164A - 音乐频谱的圆形可视化***及方法 - Google Patents

Abstract

本发明提供一种音乐频谱的圆形可视化***及方法，该***包括音乐信号获取模块、傅里叶变换模块、频段分割模块、绑定模块、视频渲染模块、合成播放模块，傅里叶变换模块用于将音乐信号进行频域变换，确定能量较集中的频率区域，并均分为N个频段，频段分割模块将信号划分为N个频带互相衔接但不重叠的频段信号，绑定模块将频段信号与不同半径的N个同心圆环一一对应绑定，延径向频率依次增加。每环都有一定宽度，且从环的正上方开始延顺时针方向划分刻度，代表本频段内频率增加的方向，圆环各处的宽度与该处对应频率分量的幅值绑定。本发明将音乐频谱可视化，是将音乐的频谱以多层彩色、宽度随音乐变化的圆环形式进行可视化。

Description

音乐频谱的圆形可视化***及方法

技术领域

本发明涉及信息处理与可视化领域，具体地涉及到一种音乐频谱的圆形可视化的***及方法。

背景技术

理论上任何一段音乐都可被可视化，从而使音乐不仅能听，而且能“看”。一段音乐往往具有各种特征，有时域的、有频域的。时域特征可分为音量、节奏等，频域特征则可分为频谱、音色等。音乐可视化就是将以上这些特征中的一种或几种用视频表现出来，随着音乐的播放，特征在变化，视频画面也在相应地变化，从而实现“看”音乐的目的。

随着计算机技术及音、视频制作技术的发展，目前音乐可视化作品已经到处可见，既有将音乐时域特征可视化的，也有将音乐频域特征可视化的。其中将音乐频域特征之一——频谱可视化的作品往往是这样实现的：首先将一段音乐信号经过N个分段滤波器滤波得到N个不同频段的信号，再以柱状图形式来表示这些频段信号的幅度大小，二维柱状图的横坐标代表频率，纵坐标（柱面的高度）代表与频率对应的频段信号幅度。也就是说，目前音乐频谱可视化的形式多为柱状图，如Windows 操作***的“media player”，成本高。

发明内容

本发明所要解决的技术问题是提供一种音乐频谱的圆形图的可视化***及方法，其通过一种完全不同的形式将音乐频谱可视化，是将音乐的频谱以多层同心圆环的形式进行可视化，给人一种不同的视觉效果，降低成本。

本发明是通过下述技术方案来解决上述技术问题的：一种音乐频谱的圆形可视化***，其特征在于，其包括：

音乐信号获取模块，主要由声音传感器、模拟数字转换器两部分构成，功能分别是将声音物理量转换为模拟电量、将模拟电量转换为数字电量，以便导入计算机进一步处理；

傅里叶变换模块，主要通过在Matlab平台编程实现，包括快速傅里叶变换程序、频谱能量阈值设定程序、频率范围及频段宽度计算程序、N个频段上、下限计算程序等，功能分别是对音乐信号获取模块获取的数字音乐信号进行快速傅里叶变换，画出频谱图；确定整个频谱中能量较集中的频率范围f_上~f_下；计算W=（f_上-f_下）/N，W为每个频段的宽度；计算每个频段的上、下限，如：第一频段的上、下限为f_上~f_上+W, 第二频段的上、下限为f_上+W~f_上+2*W；这些数据将作为后级各频段滤波器的上、下截止频率；

频段分割模块，由N个带宽为W的数字带通滤波器构成，N为自然数，功能是将整个音乐信号划分为频带互相衔接但不重叠的N个频段信号，每一个带通滤波器的上、下截止频率就是前级得到的对应频段的上、下限频率；傅里叶变换模块将音乐信号由时域转换到频域，在其频谱图上确定出能量较集中的频率区域，该区域上、下限对应的频率分别称为f_上和f_下；再通过（f_上-f_下）/N =W将该区域均分为N个频段，每个频段的宽度为W，进而可推出每个频段的上、下限，做为后级各带通滤波器的设计参数；N个带宽为W的带通滤波器的截止频率分别是前述得到的N个频段的上、下限频率；音乐信号通过这样的N个并行滤波器后被划分为频带互相衔接但不重叠的N个频段信号；绑定模块将N个频段信号与N个不同半径的同心圆环一一对应绑定，内环对应低频段，外环对应高频段，且每层圆环还都有一定宽度，每个圆环从正上方开始、延顺时针方向设置三百六十个刻度，将对应频段中的所有频率分量由低到高均匀分布在该圆环的三百六十个刻度上，将频率分量幅度与所在刻度处环的宽度绑定，即每个刻度处的环厚度代表该处对应的频率分量的振幅，当播放时，每个频段中的频率分量幅度都会随时间发生变化，这个变化将直接反应到对应圆环的对应刻度处的厚度变化上；同时各环的颜色根据“颜色与音调的对应关系”设定，即暖色对应高音调，冷色对应低音调，最外环频率最高，用红色表示，最内环频率最低，用蓝色表示，从而间接将音调与人的情绪联系起来；

绑定模块，绑定模块共有N组，均由三部分组成：频段与圆环绑定部分、颜色与圆环绑定部分、刻度与频率分量幅度绑定部分；这三部分是通过后期特效制作软件中的不同“表达式”实现的；具体地，首先在后期特效制作软件中制作N个同心圆环,每环都有一定宽度，各环的颜色根据颜色与音调的对应关系设定，即暖色对应高音调，冷色对应低音调，最外环频率最高，用红色表示，最内环频率最低，用蓝色表示，然后一一绑定；接着利用后期特效制作软件中的表达式功能将前述频段信号与对应的同心圆环一一绑定，低频段对应内环，高频段对应外环；最后还要将每个圆环从正上方开始、延顺时针方向设置三百六十个刻度，将某频段中的所有频率分量由低到高均匀分布在该频段对应的圆环的三百六十个刻度上，并利用表达式绑定，每个刻度处的环宽度代表该处对应的频率分量的振幅，当播放时，频段内各频率分量的幅度都会随时间发生变化，这个变化将直接反应到对应圆环的宽度变化上；

视频渲染模块，主要完成可视化所需每帧视频数据的预计算及存储功能，合成播放模块则将渲染后的视频信号与原音乐信号进行时间对准并播放，这样可以避免由于视频信号每帧数据量巨大，实时处理时会造成视频播放不流畅的问题；具体是通过后期特效制作软件中的渲染功能完成的，根据上述绑定模块的各项绑定内容进行数据计算，将计算所得数据先存储于内存，以备播放时调用；

合成播放模块，主要由视、音频合成及视、音频播放两部分组成，合成的功能是将音乐信号与渲染后的视频信号进行时间对准，是利用后期特效制作软件中的视音频合成功能实现的；播放的功能则是将视频、音频数据分别送至显示设备及扬声器设备。

优选地，所述音乐信号获取模块、傅里叶变换模块、频段分割模块、绑定模块、渲染模块、合成播放模块依次连接。

为解决上述技术问题，本发明还提供一种音乐频谱圆形可视化的方法，其主要包括如下步骤：

步骤一，获取一段音乐，将模拟音乐信号转为数字信号；

步骤二，将数字音乐信号导入电脑，利用编程软件Matlab对该信号进行快速傅里叶变换，并画出频谱图，根据频谱图确定能量较集中的频率范围f_上～f_下，再通过（f_上-f_下）/N =W将该区域平分为N个频段，每个频段的宽度均为W，进而得出每个频段的上、下限，做为后级各带通滤波器的上、下截止频率，其中N取自然数；

步骤三，N个带宽为W的带通滤波器根据前级得到的N个频段的上、下限频率作为本身的上、下截止频率进行设计，之后当音乐信号通过N个并行的带通滤波器后就被分为频带互相衔接但不重叠的N个频段信号；

步骤四，利用后期特效制作软件将N个频段信号与N个不同半径的同心圆环一一对应绑定，低频段对应内环，高频段对应外环，再将频段中的各频率分量幅度与环上三百六十度刻度处的宽度绑定，最后再根据颜色与频率的对应关系确定每个圆环的颜色；

步骤五，绑定完成后，进行视频渲染，即根据上述绑定关系进行视频数据的预先计算与存储；

步骤六，将渲染后的视频信号与原数字音乐信号进行时间对准并播放。

本发明的积极进步效果在于：本发明通过一种完全不同的形式将音乐频谱可视化，是将音乐频谱以多层彩色圆环的形式进行可视化，其中每层圆环的宽度、颜色均不同，代表音乐信号中不同频段信号的频率特征，给人一种不同的视觉效果，且***成本低廉。

附图说明

图1为本发明音乐频谱的圆形可视化***结构示意图。

具体实施方式

下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。

如图1所示，本发明音乐频谱的圆形可视化***包括：

音乐信号获取模块，主要由声音传感器、模拟数字转换器两部分构成，功能分别是将声音物理量转换为模拟电量、将模拟电量转换为数字电量，以便导入计算机进一步处理。

傅里叶变换模块，主要通过在Matlab平台编程实现，包括快速傅里叶变换（FFT）程序、频谱能量阈值设定程序、频率范围及频段宽度计算程序、N个频段上、下限计算程序等，功能分别是对音乐信号获取模块获取的数字音乐信号进行快速傅里叶变换，画出频谱图；确定整个频谱中能量较集中的频率范围f_上~f_下；计算W=（f_上-f_下）/N，W为每个频段的宽度；计算每个频段的上、下限，如：第一频段的上、下限为f_上~f_上+W, 第二频段的上、下限为f_上+W~f_上+2*W，……以此类推；这些数据将作为后级各频段滤波器的上、下截止频率。

频段分割模块，由N个带宽为W的数字带通滤波器构成，N为自然数，功能是将整个音乐信号划分为频带互相衔接但不重叠的N个频段信号，每一个带通滤波器的上、下截止频率就是前级得到的对应频段的上、下限频率。傅里叶变换模块将音乐信号由时域转换到频域，在其频谱图上确定出能量较集中的频率区域，该区域上、下限对应的频率分别称为f_上和f_下。再通过（f_上-f_下）/N =W将该区域均分为N个频段，每个频段的宽度为W，进而可推出每个频段的上、下限，做为后级各带通滤波器的设计参数。N个带宽为W的带通滤波器的截止频率分别是前述得到的N个频段的上、下限频率。音乐信号通过这样的N个并行滤波器后被划分为频带互相衔接但不重叠的N个频段信号。绑定模块将N个频段信号与N个不同半径的同心圆环一一对应绑定，内环对应低频段，外环对应高频段，且每层圆环还都有一定宽度，每个圆环从正上方开始、延顺时针方向设置三百六十个刻度，将对应频段中的所有频率分量由低到高均匀分布在该圆环的三百六十个刻度上，将频率分量幅度与所在刻度处环的宽度绑定，即每个刻度处的环厚度代表该处对应的频率分量的振幅，当播放时，每个频段中的频率分量幅度都会随时间发生变化，这个变化将直接反应到对应圆环的对应刻度处的厚度变化上。同时各环的颜色根据“颜色与音调的对应关系”设定，即暖色对应高音调（高频），冷色对应低音调（低频），最外环频率最高，用红色表示，最内环频率最低，用蓝色表示，从而间接将音调与人的情绪联系起来。

绑定模块，绑定模块共有N组，均由三部分组成：频段与圆环绑定部分、颜色与圆环绑定部分、刻度与频率分量幅度绑定部分。这三部分是通过后期特效制作软件AfterEffects（AE）中的不同“表达式”实现的。具体地，首先在AE中制作N个同心圆环,每环都有一定宽度，各环的颜色根据颜色与音调的对应关系设定，即暖色对应高音调（高频），冷色对应低音调（低频），最外环频率最高，用红色表示，最内环频率最低，用蓝色表示，然后一一绑定。接着利用AE中的表达式功能将前述频段信号与对应的同心圆环一一绑定，低频段对应内环，高频段对应外环；最后还要将每个圆环从正上方开始、延顺时针方向设置三百六十个刻度，将某频段中的所有频率分量由低到高均匀分布在该频段对应的圆环的三百六十个刻度上，并利用表达式绑定，每个刻度处的环宽度代表该处对应的频率分量的振幅，当播放时，频段内各频率分量的幅度都会随时间发生变化，这个变化将直接反应到对应圆环的宽度变化上。

视频渲染模块，主要完成可视化所需每帧视频数据的预计算及存储功能，合成播放模块则将渲染后的视频信号与原音乐信号进行时间对准并播放，这样可以避免由于视频信号每帧数据量巨大，实时处理时会造成视频播放不流畅的问题。具体是通过AE中的渲染功能完成的，根据上述绑定模块的各项绑定内容进行数据计算，将计算所得数据先存储于内存，以备播放时调用。

合成播放模块，主要由视、音频合成及视、音频播放两部分组成，合成的功能是将音乐信号与渲染后的视频信号进行时间对准，是利用AE中的视音频合成功能实现的；播放的功能则是将视频、音频数据分别送至显示设备及扬声器设备。

音乐信号获取模块、傅里叶变换模块、频段分割模块、绑定模块、渲染模块、合成播放模块依次连接，这样使用方便。

本发明音乐频谱圆形可视化方法主要包括如下步骤：

步骤一，获取一段音乐，将模拟音乐信号转为数字信号；

步骤二，将数字音乐信号导入电脑，利用编程软件Matlab对该信号进行快速傅里叶变换，并画出频谱图，根据频谱图确定能量较集中的频率范围f_上～f_下，再通过（f_上-f_下）/N =W将该区域平分为N个频段，每个频段的宽度均为W，进而得出每个频段的上、下限，做为后级各带通滤波器的上、下截止频率，其中N取自然数；

步骤三，N个带宽为W的带通滤波器根据前级得到的N个频段的上、下限频率作为本身的上、下截止频率进行设计，之后当音乐信号通过N个并行的带通滤波器后就被分为频带互相衔接但不重叠的N个频段信号；

步骤四，利用后期特效制作软件After Effects（AE）将N个频段信号与N个不同半径的同心圆环一一对应绑定，低频段对应内环，高频段对应外环，再将频段中的各频率分量幅度与环上三百六十度刻度处的宽度绑定，最后再根据颜色与频率的对应关系确定每个圆环的颜色；

步骤五，绑定完成后，进行视频渲染，即根据上述绑定关系进行视频数据的预先计算与存储；

步骤六，将渲染后的视频信号与原数字音乐信号进行时间对准并播放。

以上所述的具体实施例，对本发明所解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种音乐频谱的圆形可视化***，其特征在于，其包括：

音乐信号获取模块，主要由声音传感器、模拟数字转换器两部分构成，功能分别是将声音物理量转换为模拟电量、将模拟电量转换为数字电量，以便导入计算机进一步处理；

傅里叶变换模块，主要通过在Matlab平台编程实现，包括快速傅里叶变换程序、频谱能量阈值设定程序、频率范围及频段宽度计算程序、N个频段上、下限计算程序，功能分别是对音乐信号获取模块获取的数字音乐信号进行快速傅里叶变换，画出频谱图；确定整个频谱中能量较集中的频率范围f_上~f_下；计算W=（f_上-f_下）/N，W为每个频段的宽度；计算每个频段的上、下限，如：第一频段的上、下限为f_上~f_上+W, 第二频段的上、下限为f_上+W~f_上+2*W；这些数据将作为后级各频段滤波器的上、下截止频率；

频段分割模块，由N个带宽为W的数字带通滤波器构成，N为自然数，功能是将整个音乐信号划分为频带互相衔接但不重叠的N个频段信号，每一个带通滤波器的上、下截止频率就是前级得到的对应频段的上、下限频率；傅里叶变换模块将音乐信号由时域转换到频域，在其频谱图上确定出能量较集中的频率区域，该区域上、下限对应的频率分别称为f_上和f_下；再通过（f_上-f_下）/N =W将该区域均分为N个频段，每个频段的宽度为W，进而可推出每个频段的上、下限，做为后级各带通滤波器的设计参数；N个带宽为W的带通滤波器的截止频率分别是前述得到的N个频段的上、下限频率；音乐信号通过这样的N个并行滤波器后被划分为频带互相衔接但不重叠的N个频段信号；绑定模块将N个频段信号与N个不同半径的同心圆环一一对应绑定，内环对应低频段，外环对应高频段，且每层圆环还都有一定宽度，每个圆环从正上方开始、延顺时针方向设置三百六十个刻度，将对应频段中的所有频率分量由低到高均匀分布在该圆环的三百六十个刻度上，将频率分量幅度与所在刻度处环的宽度绑定，即每个刻度处的环厚度代表该处对应的频率分量的振幅，当播放时，每个频段中的频率分量幅度都会随时间发生变化，这个变化将直接反应到对应圆环的对应刻度处的厚度变化上；同时各环的颜色根据“颜色与音调的对应关系”设定，即暖色对应高音调，冷色对应低音调，最外环频率最高，用红色表示，最内环频率最低，用蓝色表示，从而间接将音调与人的情绪联系起来；

绑定模块，绑定模块共有N组，均由三部分组成：频段与圆环绑定部分、颜色与圆环绑定部分、刻度与频率分量幅度绑定部分；这三部分是通过后期特效制作软件中的不同“表达式”实现的；具体地，首先在后期特效制作软件中制作N个同心圆环,每环都有一定宽度，各环的颜色根据颜色与音调的对应关系设定，即暖色对应高音调，冷色对应低音调，最外环频率最高，用红色表示，最内环频率最低，用蓝色表示，然后一一绑定；接着利用后期特效制作软件中的表达式功能将前述频段信号与对应的同心圆环一一绑定，低频段对应内环，高频段对应外环；最后还要将每个圆环从正上方开始、延顺时针方向设置三百六十个刻度，将某频段中的所有频率分量由低到高均匀分布在该频段对应的圆环的三百六十个刻度上，并利用表达式绑定，每个刻度处的环宽度代表该处对应的频率分量的振幅，当播放时，频段内各频率分量的幅度都会随时间发生变化，这个变化将直接反应到对应圆环的宽度变化上；

视频渲染模块，主要完成可视化所需每帧视频数据的预计算及存储功能，合成播放模块则将渲染后的视频信号与原音乐信号进行时间对准并播放，这样可以避免由于视频信号每帧数据量巨大，实时处理时会造成视频播放不流畅的问题；具体是通过后期特效制作软件中的渲染功能完成的，根据上述绑定模块的各项绑定内容进行数据计算，将计算所得数据先存储于内存，以备播放时调用；

合成播放模块，主要由视、音频合成及视、音频播放两部分组成，合成的功能是将音乐信号与渲染后的视频信号进行时间对准，是利用后期特效制作软件中的视音频合成功能实现的；播放的功能则是将视频、音频数据分别送至显示设备及扬声器设备。

2.根据权利要求1所述的音乐频谱的圆形可视化***，其特征在于，所述音乐信号获取模块、傅里叶变换模块、频段分割模块、绑定模块、渲染模块、合成播放模块依次连接。

3.一种音乐频谱的圆形可视化方法，其特征在于，其主要包括如下步骤：

步骤一，获取一段音乐，将模拟音乐信号转为数字信号；

步骤二，将数字音乐信号导入电脑，利用编程软件Matlab对该信号进行快速傅里叶变换，并画出频谱图，根据频谱图确定能量较集中的频率范围f_上～f_下，再通过（f_上-f_下）/N =W将该区域平分为N个频段，每个频段的宽度均为W，进而得出每个频段的上、下限，做为后级各带通滤波器的上、下截止频率，其中N取自然数；

步骤三，N个带宽为W的带通滤波器根据前级得到的N个频段的上、下限频率作为本身的上、下截止频率进行设计，之后当音乐信号通过N个并行的带通滤波器后就被分为频带互相衔接但不重叠的N个频段信号；

步骤四，利用后期特效制作软件将N个频段信号与N个不同半径的同心圆环一一对应绑定，低频段对应内环，高频段对应外环，再将频段中的各频率分量幅度与环上三百六十度刻度处的宽度绑定，最后再根据颜色与频率的对应关系确定每个圆环的颜色；

步骤五，绑定完成后，进行视频渲染，即根据上述绑定关系进行视频数据的预先计算与存储；

步骤六，将渲染后的视频信号与原数字音乐信号进行时间对准并播放。