CN104464741B - 一种音频信号转视觉颜色信息的方法及*** - Google Patents

Abstract

本发明提供一种音频信号转视觉颜色信息的方法及***，方法包括S1：对音频信号进行采样；S2：计算音频信号的亮度V；S3：计算音频信号的色相H和饱和度S；S4：将亮度V、色相H和饱和度S进行RGB颜色格式转换；S5：将S4中得到的RGB值进行颜色混合最终提取音频信号的颜色值。本发明通过将采集的音频信号量化处理，计算出其能量值来代表亮度，通过FFT处理来计算其代表的色相和饱和度，再将得到的亮度、色相和饱和度转换成RGB颜色格式，整个方法都是依据科学原理计算推演，过程都是一个的量化处理过程，没有人的主观意思的表达，科学严谨。

Description

一种音频信号转视觉颜色信息的方法及***

技术领域

本发明涉及音频信号处理领域，更具体地，涉及一种音频信号转视觉颜色信息的方法及***。

背景技术

音乐和美术都是艺术的重要组成部分。就像绘画需要各种颜色一样，音乐的音色也是多种多样的。在很早以前人们就把音乐的音色和颜色联系在一起，比如十七世纪的德国人基歇尔，他曾提出：音乐是光线的模仿，二者是可以互为表达的。后来这一理论由法国人卡斯特尔所证实，他在1720 年出版了《音乐与色彩》一书，并在1734年设计了一种“视觉哈普西科德”，即将音阶按光谱的位置排列分配，一个键连接一种颜色，按键演奏乐谱，光线就从透明色彩带传出。后来也有许多科学家、艺术家甚至是文学家把音乐和色彩联系在一起，1876年，当时著名音乐家波萨科特提出了一个音乐家们可以接受的比拟：弦乐、人声——黑色；铜管、鼓——红色；木管——蓝色。而指挥家高得弗来提出的见解是：长笛——蓝色；单簧管——玫瑰色；铜管——红色。这种比拟在当时得到更多人的赞同，但显然它是带有浓厚的个人主观色彩的。十八世纪伟大的科学家牛顿发现了光的粒子性，而后人们又发现了光的波动性，并通过三棱镜析出了七种颜色：红橙黄绿青蓝紫。这样一来，就有人将音乐中的七个音和这七种色彩联系起来，同样的这种对应关系显然是机械性的，并没有多大意义。

如今，人们对音乐和颜色的联系有了跟进一步的认识。北京中星微电子有限公司的一篇专利《一种音乐控制发光灯组的亮度和颜色的方法》中提到，通过建立查找表的方式建立音乐和色彩的联系，所述查找表的每一行均存储有一组发光灯的控制参数，所述发光灯的控制参数与多色发光灯组显示的颜色和亮度相对应。显然，这种对应关系是有限的，是一种不太严谨的对应规律。《哈尔滨理工大学学报》第6期第18卷的论文《基于音频信号频谱分析的混合光效设计与实现》中提到：“对于RGB混合光效，可以明显观测到在不同的频率下，不同的幅值下，光的颜色和光强各不相同，这就是利用了PWM的不同占空比形成的。”但它并没有详细分析音乐（音频信号）与颜色之间的具体的映射关系。基于以上分析，本发明根据模拟音频信号的时域和频域分析将从音乐中提取颜色信息，实现音乐的彩色化效果。

一直到现今大部分的艺术家都是根据人们的感情因素将音乐和颜色联系在一起的，但这是并没有一个有效的有规律的映射方法。随着科学技术发展，人们对声音和光有了新的认识，虽然声音属于机械波，光波属于电磁波，但它们都有波的一切特性，如：都能产生反射、折射、干涉、衍射等现象。另外，他们都具有波的一些基本属性，如：波速、波长、频率之间的关系，我们就会很容易地将声音的频率和光的频率联系在一起。比如，将人的耳朵能听到的声音的频率范围联系到可见光的频率范围，最典型的是从白色光中析出了七种色彩对应七个基本音阶，这种映射关系是有一定的道理，它大致符合了音色和颜色的对应关系，但这种映射关系是有限的，并不够严谨。

发明内容

本发明提供一种映射关系严谨的音频信号转视觉颜色信息的方法。

本发明的又一目的在于提供一种音频信号转视觉颜色信息的***。

为了达到上述技术目的，本发明的技术方案如下：

一种音频信号转视觉颜色信息的方法，包括以下步骤：

S1：对音频信号进行采样；

S2：计算音频信号的亮度V；

S3：计算音频信号的色相H和饱和度S；

S4：将亮度V、色相H和饱和度S进行RGB颜色格式转换；

S5：将S4中得到的RGB值进行颜色混合最终提取音频信号的颜色值。

进一步地，所述步骤S1中的音频信号包括模拟音频信号和数字音频信号；

对模拟音频信号进行采样的过程如下：

在单位时间T内采样N个点为一帧信号，N=2^M，M为正整数；

对数字音频信号进行采样的过程如下：

对数字音频信号进行重采样，根据音频的采样率与重采样的频率选择增采样或减采样倍数，获取单位时间T内N个点为一帧的采样信号，N=2^M，M为正整数。

进一步地，所述步骤S2中计算音频信号的亮度V的过程如下：

单位时间T内的音频信号的平均能量：

设音频信号的最大能量为E_max，一帧采样信号对应的亮度V：

。

进一步地，所述步骤S3的过程如下：

对采样后的音频信号进行实时FFT得到一帧音频信号的音频频谱，令一帧音频频谱中第i个采样点的频率为f _i ，该采样点的色相H _i 为：

令一帧音频频谱中幅度F的最大值是F _max ，最小值是F _min ，一帧音频频谱中第i个采样点的颜色饱和度S _i 与幅度F _i 的关系为：

。

进一步地，所述步骤S4的过程如下：

一帧音频频谱中第i个采样点的颜色向量 (R_i,G_i,B_i)为：

。

进一步地，所述步骤S5的过程如下：

一帧音频频谱中N个采样点的RGB的平均值为：

。

一种音频信号转视觉颜色信息***，包括：

信号采样模块，用于采集模拟音频信号或数字音频信号；

亮度值计算模块，用于计算采集到的音频信号的亮度值V；

色相和饱和度计算模块，用于计算采集到的音频信号的色相H和饱和度S；

HSV转RGB模块，用于将亮度V、色相H和饱和度S进行RGB颜色格式转换；

RGB颜色混合模块，用于将HSV转RGB模块中得到的得到的RGB值进行颜色混合最终提取音频信号的颜色值。

与现有技术相比，本发明技术方案的有益效果是：

本发明通过将采集的音频信号量化处理，计算出其能量值来代表亮度，通过FFT处理来计算其代表的色相和饱和度，再将得到的亮度、色相和饱和度转换成RGB颜色格式，整个方法都是依据科学原理计算推演，过程都是一个的量化处理过程，没有人的主观意思的表达，科学严谨。

附图说明

图1为本发明方法总流程图；

图2为本发明方法音频信号采样流程图；

图3为本发明方法求取音频信号色相和饱和度流程图；

图4为可见光谱与切割后的色相环对应图；

图5为本发明***结构图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，一种音频信号转视觉颜色信息的方法，包括以下步骤：

S1：对音频信号进行采样；

S2：计算音频信号的亮度V；

S3：计算音频信号的色相H和饱和度S；

S4：将亮度V、色相H和饱和度S进行RGB颜色格式转换；

S5：将S4中得到的RGB值进行颜色混合最终提取音频信号的颜色值。

本实施例中，如图2所示，步骤S1中的音频信号包括模拟音频信号和数字音频信号；

对模拟音频信号进行采样的过程如下：

在单位时间T内采样N个点为一帧信号，N=2 ^M ，M为正整数；

对数字音频信号进行采样的过程如下：

对数字音频信号进行重采样，根据音频的采样率与重采样的频率选择增采样或减采样倍数，获取单位时间T内N个点为一帧的采样信号，N=2 ^M ，M为正整数。

本实施例中，步骤S2中计算音频信号的亮度V的过程如下：

单位时间T内的音频信号的平均能量：

设音频信号的最大能量为E_max，一帧采样信号对应的亮度V：

。

本实施例中，如图3所示，步骤S3的过程如下：

对采样后的音频信号进行实时FFT得到一帧音频信号的音频频谱，针对实时采样的一帧N点信号u(n)进行FFT：

由于人的眼睛只能看见可见光谱，由红色变化到紫色波长范围约为780nm-380nm，对应频率范围是430THz-750THz。但是人眼能看到的颜色并不一定都落在可见光谱上，比如***，但它可以以红色(R)和蓝色(B)按照一定比例混合而成。为了能更好的反映可听声频率范围和可见光谱相对应的关系，以及可听声频率范围与可度量的色度的对应关系，如图4所示，本实施例将本来完整的色相环(0~360°)分割为对应0~270°色相，即从红色到紫色去掉了270°~360°的“红紫色部分”这样便符合可见光谱所具有的颜色。

令一帧音频频谱中第i个采样点的频率为f _i，该采样点的色相H _i 为：

令一帧音频频谱中幅度F的最大值是F _max ，最小值是F _min ，一帧音频频谱中第i个采样点的颜色饱和度S _i 与幅度F _i 的关系为：

。

本实施例中，RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色***之一。

而HSV是基于人的眼睛对色彩的识别，是一种从视觉的角度定义的颜色模式。是将色彩分解为色调，饱和度及亮度。通过调整色调，饱和度及亮度得到颜色和变化。因此，本实施例将对音乐的直观感受与HSV模式的颜色联系在一起。但是为了能充分表达所有的组合颜色，同时为了方便以下所述的“颜色混合”，本实施例中将HSV模式转为工业界的颜色标准RGB颜色：

一帧音频频谱中第i个采样点的颜色向量 (R_i,G_i,B_i)为：

。

本实施例中，在单位时间内的音频信号所包含的不同的色相、饱和度、亮度的颜色信息进行颜色混合，一帧音频信号求N个点的RGB的平均值：

。

本方法通过将采集的音频信号量化处理，计算出其能量值来代表亮度，通过FFT处理来计算其代表的色相和饱和度，再将得到的亮度、色相和饱和度转换成RGB颜色格式，整个方法都是依据科学原理计算推演，过程都是一个的量化处理过程，没有人的主观意思的表达，科学严谨。

实施例2

如图5所示，一种音频信号转视觉颜色信息***，包括：

信号采样模块，用于采集模拟音频信号或数字音频信号；

亮度值计算模块，用于计算采集到的音频信号的亮度值V；

色相和饱和度计算模块，用于计算采集到的音频信号的色相H和饱和度S；

HSV转RGB模块，用于将亮度V、色相H和饱和度S进行RGB颜色格式转换；

RGB颜色混合模块，用于将HSV转RGB模块中得到的得到的RGB值进行颜色混合最终提取音频信号的颜色值。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (4)

1.一种音频信号转视觉颜色信息的方法，其特征在于，包括以下步骤：

S1：对音频信号进行采样；

S2：计算音频信号的亮度V；

S3：计算音频信号的色相H和饱和度S；

S4：将亮度V、色相H和饱和度S进行RGB颜色格式转换；

S5：将S4中得到的RGB值进行颜色混合最终提取音频信号的颜色值；

其中，音频信号包括模拟音频信号和数字音频信号；

对模拟音频信号进行采样的过程如下：

在单位时间T内采样N个点为一帧信号，N=2^M，M为正整数；

对数字音频信号进行采样的过程如下：

对数字音频信号进行重采样，根据音频的采样率与重采样的频率选择增采样或减采样倍数，获取单位时间T内N个点为一帧的采样信号，N=2^M，M为正整数；

音频信号的亮度V的过程如下：

单位时间T内的音频信号的平均能量：

其中，u(n)是采样的一帧N点信号；

设音频信号的最大能量为E_max，一帧采样信号对应的亮度V：

；

对采样后的音频信号进行实时FFT得到一帧音频信号的音频频谱，令一帧音频频谱中第i个采样点的频率为f _i ，该采样点的色相H_i为：

令一帧音频频谱中幅度F的最大值是F_max，最小值是F_min，一帧音频频谱中第i个采样点的颜色饱和度S_i与幅度F_i的关系为：

。

2.根据权利要求1所述的音频信号转视觉颜色信息的方法，其特征在于，所述步骤S4的过程如下：

一帧音频频谱中第i个采样点的颜色向量 (R_i,G_i,B_i)为：

。

3.根据权利要求2所述的音频信号转视觉颜色信息的方法，其特征在于，所述步骤S5的过程如下：

一帧音频频谱中N个采样点的RGB的平均值为：

。

4.一种实现如权利要求1-3任一项所述的音频信号转视觉颜色信息方法的***，其特征在于，包括：

信号采样模块，用于采集模拟音频信号或数字音频信号；

亮度值计算模块，用于计算采集到的音频信号的亮度值V；

色相和饱和度计算模块，用于计算采集到的音频信号的色相H和饱和度S；

HSV转RGB模块，用于将亮度V、色相H和饱和度S进行RGB颜色格式转换；

RGB颜色混合模块，用于将HSV转RGB模块中得到的得到的RGB值进行颜色混合最终提取音频信号的颜色值。