CN1321964A - 声音及节拍的图象显示方法和设备 - Google Patents

Abstract

用图形显示声音本质的方法和设备,能显示声音的波形,主要频率特征,节拍及随时间作出的变化。采用的是颜色、形状、位置及移动的形态。多个图形以同心圆的方式或放在相邻位置同时显示,可重叠或不重叠,以突显声音不同方面的本质。声音的特征频率可以用快速富里叶变换算出。本发明包含一个基于“零点间格”的低计算量算法并配合自相关函数去强调主要频率特征。另一个螺旋形的坐标提供比横－直及极坐标更高的精度及能令节奏及和弦,声调变化等特征容易辨认。

Description

声音及节拍的图象显示方法和设备

概括地说，本发明以一个新的形式显示声音的本质。它可以通过在通用计算机上编写程式完成，或以特别的电子线路配合软件完成，亦可以加入机械及光学装置产生图象。具体地说，本发明涉及用图形显示声音本质的装置和方法，能显示它的波形，主要频率特征，节拍及随时间作出的变化。采用的是颜色、形状、位置及移动的形态。多个图形可以同心圆的方式或放在双邻的位置同时显示，可重叠或不重叠，以突显声音的不同方面的本质。

音乐表演及语言发音通常是在有经验导师的辅导下进行的。导师虽然能察觉学生发音的问题所在，并告诉学生如何进行校正，但出错的程度则不能定量地用言语表达出来。此外，亦有一些设备在某些程度上提供声音频率及其它参数。这些设备包括：

(一)示波器

示波器用在波形显示上已经很久了，而声音的频率亦能很宽裕地应付。但除了一些很稳定及纯净的声音外，示波器并未能显示稳定的波形，而只有杂乱的画面，李沙育(ISSAJOUS)图把两个相关的信号分别输到X及Y轴而避免了不稳定的扫描触发，有人把立体声的左右声道输至X-Y轴而得到某些稳定的图形，但仍未能产生对人有意义的图形。

(二)节拍机

音乐演奏的节拍是使演奏具节奏感的最重要因素。在由许多乐器组成的演奏或团体演奏中，节奏感是由许多乐器的相互配合产生的。虽然说单靠人耳就可检测出不同演奏者在节奏上的失调，但是要精确判断是谁失调就更困难了。此外，要查出组成节拍各部分的相对持续时间是否合乎要求也有困难。

有一些工具可以协助掌握节奏。常用的一种节拍器是个倒装的摆，可以调得使其按固定的周期摆动，在每一个周期发出滴答声，这在机械设计上还有其它方案。在这些仪器中，节奏是预先调定的，演奏人员按照调好的节奏演奏。节奏紧跟程度的优劣是靠主观判断的。

有许多音调测量仪可供乐器调音，那是通过显示所产生音调的频率进行的。然而这些测量仪在一般演奏过程中音调迅速变化的场合就无用武之地了。即使测量仪能发挥作用，演奏者也无法快速理解显示出来的数字。

(三)频谱图

通常频谱图主要用于鉴定声调的转变及分辨“发声音类”(有清晰的基准频率，所以频谱清晰)及“非发声音类”(没有清晰的基准频率，所以频谱分散)，可以用于学习中文的四声(或广东语的九声或其它语系)。

作为另一种选择，频谱图能显示声音体现出音调和共振峰频率瞬时变化的富里叶变换，还能显示出多重演奏中所有的声音或人类言语的各组成部分。适当标出频率轴线和格线就可表示出声音各音调。但是变化程度很难用肉眼看得准确，而且同样的音度变化在高低频中也不一样，所以频谱图作为一个教学辅助工具的作用就很有限。

频谱图还有这样的缺点：区分音调高低的标度密集，无法用肉眼在频谱图看出的细微偏差，在听觉上可能已有极大的差异，音调的泛音也使图表显得混乱。因此，频谱虽然广泛用来分析语音，却很少应用到音乐演奏上，即使在语音应用中也很少用于实时训练和反馈。

本发明的一个目的是提供一种声音及节拍的图象显示方法。

本发明的另一个目的是提供一种声音及节拍的图象显示设备。

本发明利用随声音改变的图案及颜色以各种方式反映声音的不同本质，利用从波形计算出的基准周期或预设的周期绘制波形图及频谱图对重覆的波形及旋律能得到比较稳定的图象，对变化中的声音则通过图形显示相应的轨迹变化。

声音的特征频率可以用快速富里叶变换(FAST FOURIERTRANSFORM)算出。本发明包含一个基于“零点间隔”(TIMEBETWEEN ZERO-CROSSING)的低计算量算法并配合自相关函数(AUTO CORRELATION)去强调主要频率特征。另一个螺旋形的坐标提供比直角坐标和极坐标更高的精度以及能令节奏、和弦和声调变化等特征容易辨识，通过形象化的方式显示声音的波形、频率特征、相互关系及随时间的变化、发音或者演奏者便能改善他们的表现。

本发明的螺旋坐标提供了比直角坐标更高的分辨率，又避免了极坐标中角度轴每360度重叠的现象。而且各泛音的相对位置是固定的角度。

传统仪器中发光点随时间的消退提供了对时间的感觉。在这发明中，声音的各种特征值被转换成颜色特征(亮度饱和度及色彩)、位置以及位置随时间的变化或它们的混合变化。

此外，也可令颜色的特征对应于声音的特征例如以彩虹色彩代表7个音调配合光度及浓度代表音准。这有助于某些乐器如小提琴等的音准训练。

图1是本发明的声音和节拍的图象显示装置的方框图，

图2是信号处理流程图，

图3是富里叶转换中使用的窗口函数，

图4是利用富里叶变换找出特征频率，

图5是零点间隔的量度，

图6是基于零点通过隔距得出不同的还原波形图，

图7是音调m及t造成的扇叶形图案，

图8是螺旋坐标音度图，

图9是螺旋坐标上只显示峰值频率的线形图，

图10是极坐标节拍图，

图11是螺旋坐标上显示节声度点随节拍向内收缩的轨迹图，

图12是利用色相、饱和度及光暗反映声音准确度的频率图，

图13是声音经富里叶转换后的结果

图14是螺旋坐标上声音频率及强度变化的实面波形图，

图15是螺旋坐标上声音频率及强度变化的波峰外形图，

图16是利用波形加权平均减小扫瞄速度的原理图。

下面参照附图，详细描述本发明的最佳实施例。

首先参阅图1，图中示出了根据本发明的声音和节拍的图象显示装置的方框图，标号1表示声音输入部分，2表示信号处理及控制部分，3表示用户接口，4表示显示驱动部分，4表示显示实体。

声音首先通过声音输入部分1变成信号处理及控制部分2可接受的形式，模拟处理线路会接受随时间变化的电压或电流作为输入。计算机或数字电路会接受一个频率及波形分辨率足够的数字输入。已储存的录音或乐谱会先转换成可用的模拟或数字形式作为声音来源。使用者通过用户接口3选取显示的模式及有关参数。然后信号处理及控制部分根据收到的声音信号及用户的选择进行运算。运算结果被转接成显示驱动部分4可接受的形式。最后在显示部分5输出与声音相对应的图形。其中信号处理部分2可以是固定电子线路或计算机，软件及硬件加速装置的组合。显示驱动部分4可以是简单的数字模拟转换器或光电与机械装置的组合。显示部分5可以是一般计算机监视器或示波仪，亦可以是投射光束及前面的反光物。

本发明还对以上点阵式及机械方法绘制图形提供了有效的实现方法以达至所需的动态效果。

本发明以一个新的形式显示声音的本质，它可以通过在通用计算机上编写程式完成，或以特别的电子线路配合软件完成，亦可以加入机械及光学装置产生图象。

本发明采用以下方法把声音输入转换成图形输出。信号处理的流程请参阅图1。

图2中的信号处理流程图每一部分的细节如下。

(一)抽取频率特征

(1)富里叶变换

目前计算声音的频率成分都是采用快速富里叶变换(FFT)。它的频率精度是平均的。例如精度是5赫(每秒周数)，它在100赫的精度是5/1000=0.5％，而在100赫的精度则是5/100=5％，在12平均音阶中，音阶的差距只有约5％，为使图象低频部分的精度提高，在较低的取样频率但较长的时间下进行附加的FFT处理。在某一精度未符要求的频率开始以较低的取样频率及时间上较长的窗口函数计算附加的FFT。在最低频的处理上，因加大窗口函数将增大显示时间的延迟，所以把窗口函数设计成比较扁平以取代一般的尖顶形：

图3表示富里叶转换中使用的窗口函数

在实际计算时，窗口函数的宽度确定进行的是宽带抑或窄带分析，和频谱分析图有宽带和窄带之分一样。

图4表示利用富里叶变换找出特征频率

在图4中，先找出每一个局部峰值。如果峰值太低，就把这小峰舍去，太阔的波峰属于噪音也可以不要。余下的局部峰值各自量度它们的阔度，就是从一边相等于峰值一半作起点至另一边为止。这阔度乘以峰值约等于波峰的面积，可视为局部峰值的强度，或这个频率成分的强度。从而得出一个或以上的四元(时间t，波峰序号n，频率f，强度a)的序数。

在富里叶变换以后，删除细小及过阔的局部峰值，如果声音含有基准频率，有些清晰的频率峰不会被删除。这些局部峰值f就是特征频率。

(2)零点间隔及波形参数抽取

图5表示零点间隔的量度

波形从负通过零点转到正值间的时间就是零点间隔，如图5中的t₁及t₃。同样地，从正值转到负值的间隔，如t₂，也是零点间隔，一个以上相邻的零点间隔相加，如t₁+t₃，也可以算是零点间隔。对于稳定而单纯的波形，零点间隔也很稳定，也等于声波一周的时间。例如一个500周的正弦波，则t₁=t₂=t₃=1/500秒=0.002秒这个频率特征亦即声波的基准周期。它的倒数(负一次方)就是基准频率。为了提供更多数据，t₄,t₅,t₆,t₇等也用作零点间格，它们的倒数就是零点通过频率，实际的声音往往是多个频率成分的混合，或甚至如摩擦声等没有稳定的频率。这个发明的特点是每一个零点间隔都是一个有序五维值(时间，隔数，间间隔，自相关值，波幅)或记作(t,n,x,r,q)，时间是这个间段在时间坐标上的平均值，如图4上的波形的其中一个五维点是(t,c,x,r,a)=(t_4-6,3,t₄,t₅,t₆,r_4-6,a_4-6)，其中r_4-6就是以t_4-6为中心而时间距为t₄+t₅+t₆的自相关函数。

自相关函数除了按它的数学定义直接从波形取样值计算外，也可以通过假设波形的特性并量度(或以抽样中计算出)某些特征数值而予以简化。

图6通过不同设置而主要基于零点通过隔距得出不同的还原波形。其中：

(a)等值假设：即波形只可能是一个固定的正值或负值的方形波。

(b)方形假设：方形波波峰的高度正比于零点通过间隔的时间。

(c)梯形假设：但波形是某一选定形状的梯形。

(d)抛物线平均值修定假设：波形是抛物线而平均值与原波形相同。

图6表示基于零点通过隔距得出不同的还原波形图

以上四种假设只有(d)需要在零点间隔以外量度或计算原波形的额外参数(零点间隔间的波形平均值)。

基于不同的假设及不同的窗口函数，可以不同程度地简化自相关函数的计算。如等值假设配合一方形窗口函数，则计算简化为加减运算。

从以上计算出的零点通过间隔及自相关函数的计算可以反映波形的频率特征。自相关值愈大，愈是重要的特征频率。而最低的特征频率就是基准频率，它的倒数称为基准周期。如已知主要发声频率只有一个可使用以下演算选取数据。

如果在(t_i,n_i,x_i,r_i,a_i)中，r_I很接近，如＞0.9，则x_I约为基准周期或它的整数倍。如另外(t_j,nk,x_j,r_j,a_j)中，r_j也很接近1，如＞0.9,x_i≈mx_j,t_j≈t_j，其中m为一个数值很小的正整数，如2或3，则(t_i,n_i,x_i,r_i,a_i)中x_I约为基准周期的m倍，而基准周期为x，因已找到x_j，故不需显示点(t_i,n_i,x_i,r_i,a_i)

在人类的发声中，声带的震动就是基准频率通常每秒低于400周。但口腔和鼻腔的共鸣箱作用会造成较高频的共振频率至每秒1,000至3,000周。它们都可以从零点通过间隔找到。在处理语音输入时，会先把声音分别作低频及高频滤波，并在预期的低频及高频范围计算自相关函数分别找出声带震动的基准频率及口鼻腔的共鸣频率。

以上基于零点间隔的方法较适合处理单纯的音乐声。在有足够的运算能力时，可直接计算波形的富里叶转换，然后找出基准频率。

(二)坐标计算

要强调上述所计算出的频率特征数据及基准频率，可以利用以下的坐标计算方法。

(1)波形坐标计算

利用波形的基准周期或预设周期绘制波形图。利用(一)找出的瞬时基准频率配合下述的波形图绘画法，得出的波形在不同频率下的形状不变，而使用预设值则利用图形突显不同音调的不同。如在音乐上，可预设频率为1/256或基于演奏及演唱的作品而选的固定值。在以下讨论中，以“T”表示，而t则是时间变量，s(t)是时间“t”的声音信号值。

分别使用(a)笛卡儿坐标和(b)极坐标，(即角度，长度)

(a)X-Y轨迹

X：横坐标

Y：纵坐标

笛卡儿坐标(x,y)=(S(t),S(t-kT))

其中k是相位参数，通常选为0至1之间的值。

其中T是周期参数，通常选为找到的或预设的基准周期。

以中央C调的频率为例，T等于1/256秒；中央C调高八度则T等如1/(512)秒。当k=1/4时，周期为T的正弦波会绘制出一个圆形。其它音调则会得出不同倾斜度的椭圆形。而不纯粹正弦波的乐器会造成参差的边缘。

(b)θ-r轨迹

θ：角度坐标

r：长度坐标

(rθ)=(s(t)+K_r,K_θ·2π·t/T)

极坐标

K_r：轨迹半径参数

K_θ：轨迹扫描速度参数

如s(t)的值在-1与1之间

K_r=0.5

K_θ=0.5

T=1/262秒

自然旋律中音调d,r,m,f,s,l,t的周期与K₂/T的比例分别是2,9/4,5/2,8/3,3,10/3,15/4,4。音调m及t得出的K₂/T是5/2及15/4，分别得出下图的扇叶形模拟图案。

图7表示音调m及t造成的扇叶形图案。

图为音乐的音符间的频率呈简单比例关系，或非常接近简单比例，如果选取一个基本音调的频率作为T，而K₂为简单分数，则绘制的轨迹会形成稳定的重覆轨迹(精确简单比例)，或作慢速旋转(与简单比例有偏差)。

如果T是波形推导出来的，则会随时间而变化，可以使用一个短间隔(如0.1秒)内找到的基准周期移动平均值作为T。同时可以用一个以上特征频率的周期T₁,T₂等分别演算而绘制多个图案同时显示。

(2)音度坐标计算

采用以下各坐标系强调频率特征坐标转换。

(a)笛卡儿坐标(X,Y)，即直角坐标

(b)极坐标(θ,r)，即(角度，长度)

(c)螺旋坐标(θ,Y)，即(角度，高度)

其中笛卡儿及极坐标都在数学课本中有详细描述。

本发明使用的螺旋坐标是两者的混合。它可以视为一个X轴卷起来的笛卡儿坐标或角度轴没有重叠的极坐标。(θ,Y)的θ轴比(X,Y)的X轴精密而且更便于突显周期性的关系。

以上坐标在用以标出特征频率数据(t,n,x,r,a)或(t,n,f,a)的两个轴绘图时，一般用频率而非周期，所以可以用(t,n,f,r,a)=(t,n,l/x,r,a)作为绘图用的数据。

(a)基于要强调的特性，可以把t、f、r、a的其中两个作为坐标(x,y),(θ,r),(θ,y)的两轴上。而n则用以区分不同的数据组或置之不理。

(b)特别当螺旋坐标(θ,y)的θ轴为频率时，采用一圈(即360度)相当于一个音乐上八度或与语言上的声调变化对应的比例，则各个音符或声调的距离都对应于坐标上的角度差距。如12平均音阶的12个音调正如对应于时钟上的12个钟点，如图8所示。当Y为时间坐标时，假设时间坐标的两极为零秒及1秒，最内端是现在(零秒前)的峰值，最外端则是1秒前的峰值。峰值点愈亮代表声音愈强：愈暗则代表声音愈弱。在刚才的例子中，渐强的声音峰值会变成一条内端暗，外端亮的线形图。当声音频率不稳定时(如出现震音效果)，便会显示一条摆动的曲线。当声音消失后，峰值频率线则会由内向外逐渐缩短，直到一秒后完全消失。

图8表示螺旋坐标音度图。

图9表示螺旋坐标上只显示峰值频率的线形图。

(c)把(t,n,f,r,a)或(t,n,f,a)中时间相近而n不同特征频率点配对，作为(x,y)坐标的两轴，如两数据(t_i,n_i,f_i,r_i,a_i)及(t_j,n_j,f_j,r_j,a_j)t_I≈t_j而n_i≠n_j则可画出点(x,y)=(f_i,f_j)，它的轨迹反映声音的频率特征点的宽和高度对应于a_i及a_j以反映它们的相对强度。

(3)节拍坐标计算

节拍的坐标计算可以有以下(a)及(b)两种方法：

(a)极坐标显示节拍(θ,r)=(时间，频率)

本发明用极坐标显示声音的富里叶变换和主频率。实质上，这是加上了主频率的极坐标式频谱图。均衡分离音调时，频率轴(径向轴)采用对数坐标。但就节奏型式而论，也可以采用对数-对数坐标、线性坐标或其它坐标而得出类似的效果。此外，较接近中心所显示的是高频还是低频声音都无所谓。音乐音调划出的弧线总是与其持续时间成正比的。

为精确区分各声音音调的高低，经富里叶变换的信号进一步经过处理，以检测主音调重叠在频率显示图形上亮度较高或以突出的颜色显示的中心频率。角度时间坐标轴标有所要求节奏型式的各分音律。作一般用途时，将圆划分成24个圆心角为15度的扇形就会满足大部分通用的节拍类型的需要，例如2/2、4/4、4/8、3/3等。这样各音符作为节拍的一部分和离正确计拍的偏差产生的持续时间就显示出来了。

在标准的频谱图中，曲线不是卷(SCROLL)出提供就是循环写满的。循环写满适用于极坐标曲线。然而，总希望能比较以后节拍的差别。因而最好能使用半透明效果的重叠。

为显示出高音调声音与低音调声音之间的对比度，频率坐标中无用频率范围应尽可能小覆盖。这是根据先前几个节拍的频率范围能动地缩小和扩大频率坐标进行的。

图10表示极坐标节拍图

(b)利用螺旋坐显示节拍(θ,Y)=(时间，频率)

上文已介绍过利用同心圆的角度作为节拍坐标(即θ=时间)及其半径作为高低声度坐标的方法来显示节拍的变化。但当发出新的声度和旧的相等或相似时，新节拍的声度轨迹便会盖过尚未消失的旧声度轨迹尾段，形成互相重叠的现象。

要令到一圈以上的轨迹图可以同时显示出来，同时避免出现新旧轨迹互相重叠的现象，便可以利用一个不断向内收缩的螺旋坐标来显示节拍。如下图所显示，螺旋坐标上的声度轨迹，会随着新的音节节拍，沿螺旋形坐标不断回旋伸展。只要将螺旋坐标及上面已经画出的图形整体同时向内收缩，以保持整体大小不变。这种方法不但同等声度的轨迹图可以在不同节拍的坐标上被显示出来，而且避免了声度轨迹无限地向外扩展的问题。同时图形径向收缩的速度比在X-Y坐标直接移动的卷出新资料的速度要慢得多，方便人眼观察。

图11表示螺旋坐标上显示节声度点随节拍向内收缩的轨迹图

(三)色彩计算

描绘图形时，可以用颜色的变化显示二轴坐标中没有使用的数据。颜色可表示为三维值：H(色相，即红橙黄绿等变化)，S(饱和度，即鲜明或淡白)，V(亮度)。例如(t,n,f,r,a)→(X,Y,H,S,V)：

X=F₁(t)

Y=F₂(f)

H=F₃(r)

S=自设值

V=F₄(a)

则色相及亮度分别对应于自相关值及音强度而不反映n。

(1)用非线性的关系强调发声的频率准确度

本发明利用不同的色相显示各种音调，颜色的饱和度显示音调是否准确，亮与暗显示音调的强弱。如在下图水平坐标中，红色代表c音，绿色代表e音，如此类推。垂直坐标的高低表示颜色饱和度的高低。当声音是非常准确的c调时，饱和度高的红色，即鲜红色便会被显示出来。如果声音是开始偏离c调，并趋向于d调时，所显示的红色会变得愈来愈淡及逐渐偏向橙色。色相与频率的非线性关系令微小的走音产生明显的颜色转变，再加上颜色的光暗，会随差音调本身的强弱而作出改变，从而绘制出显示音调、音调的准确性及音调强弱三者关系的频率图形。

图12表示利用色相、饱和度及光亮度反映声音准确度的频率图

(四)绘制图形。

针对富里叶转换后频率数据，声音的强度在固定的频率中亦会随时间逐渐增强、减弱或保持稳定，令波形急速变动而不能稳定地显示出来。本发明则利用渐变的颜色，来表示时间和声音强度的关系，利用填满整个实面或描绘波峰外形的方式，以较稳定的状态显示一段时间内声音强度的转换。为方便解释，图13为声音经富里叶转换后的结果。

图13表示声音经富里叶转换后的结果

(1)填满实面

利用颜色显示时间坐标可以有以下假设：表示现在(零秒前)的颜色为鲜绿色，随时间逐渐变得暗淡，橙色代表半秒前，黑色代表一秒前。再假设现在有三种声音频率，而三个波峰分别表示渐强、稳定及渐弱三种声音强度。随时间逐渐增强的声音，其波形会逐渐变大，在没有透明效果的情况下，愈接近现在，愈巨大的鲜绿波峰会不断出现并盖过之前已变得暗淡而较细小的波峰。结果形成一座逐渐变大的鲜绿波峰。当声音的强度持续固定在某水上，波峰的大小亦不会因时间逐渐变大或缩小。而愈接近现在的鲜绿波峰，会刚好盖过之前已变得暗淡的波峰，结果形成一座稳定而鲜绿的波峰。当声音的强度不断减弱，愈接近现在，颜色愈鲜艳的波峰会因为强度不断减弱而逐渐缩小，令之前面积较大，但颜色已变暗淡的波峰没有完全被遮盖。结果形成一座***逐渐变得暗淡而消失，内里逐渐呈现鲜绿色，一层层逐渐缩小的图形。再将水平坐标卷成螺旋形，便形成下图的显示结果。

图14表示螺旋坐标上声音频率及强度变化的实面波形图。

(2)描绘波峰外形

现在将显示频率图的实面改为只显示频率图的外形。利用(a)同样的假设，渐强的波形会因为避免了实面互相遮盖的情况而显示成一座内部逐渐变得暗淡，***呈现鲜绿并逐渐向外扩大的波峰。稳定的声音频率，会显示成一条描绘出波峰外形，内部没有颜色的鲜绿波峰。而渐弱的声音频率，则与声音频率渐强的情况呈相反的现象。即是一座***暗淡，内部呈现鲜绿并逐渐缩小的波峰。在螺旋坐标上便形成下图的显示结果。

图15表示螺旋坐标上声音频率及强度变化的波峰外形图。

(五)图像输出

上述所绘制的图形，可以用以下(1)和(2)两种输出方式：

(1)对于点阵式的显示装置，则可以用以下方法，利用软件，硬件或者软硬件组合形成动态色彩。

(a)更新像素(Pixel)颜色。

在以新声音数据不断绘制图形的同时，图像上每一点的颜色可每隔一定时间而更新以达到变色效果。一般的方式是R_n+1,G_n+1,B_n+1,=F(R_n,G_n,B_n)。以红绿蓝方式显示不同颜色为例，0代表最黑，1代表最亮光，当颜色点被绘画出来时，不论它的数值是0,1或界乎0至1之间的任何数值，都可以用每1/50秒的速度将其数值减去0.02。假如开始时像素的数值是1，它便会在一秒内由最光变成黑色而消失；假始开始时像素的数值是0.5，它便会在半秒内消失，如此类推。通过其它的转变规律可以达到从一种颜色过渡到其他不同颜色的渐变效果。例如采用HSV即(色相，浓度，亮度)颜色坐标可利用改变色相而造成彩虹变色效果。

(b)更新调色盘(Palette)。

利用时间的改变而更新调色盘上的颜色数值，亦可达到动态的色调变化。以红绿蓝的方式显示颜色为例，假设由0至255的256种颜色中，设定0至99的100种颜色作为动态改变用的颜色，循环使用。当前使用的颜色编号往回数50个用过的编号的颜色组成所需的渐变过程，如从鲜绿过渡到橙、黄及红色。余下的50个编号的颜色全为背景色，而任意另取编号255为独立背景颜色编号，其余的数值则作其他用途。当绘制图形时，绘图用的颜色编号每1/50秒加1直至99，以后则重新从0开始。调色盘的颜色也同时更新，以保持当前使用的颜色往回数50种颜色组成所需的渐变过渡。另外在每一秒之内检查画面上的每个象素，如为暂时不用作组成渐变用的50种颜色编号，即全改写为背景颜色编号255。这个步骤并无改变图形颜色，却是颜色编号循环再用所必须的。

(2)对包含机械的显示设备以较低速扫描轨迹

相对于几百赫的声音波形，机械扫瞄设备的速度往往未能跟随波形的变化同步显示出来。故机械扫瞄设备会将之前未能及时显示出来的波形综合，并计算出这些波形的加权平均值然再扫瞄出来。如下图所显示，假设声音频率比相对于机械设备能完成一个周期的扫瞄速度快十倍。当机械扫瞄设备以声音频率1/10的速度完成扫瞄一个声波周期时，已忽略了9个音频周期的数据。要将这九个周期的数据及时反映出来，机械扫瞄器只好利用它们的加权平均值，作为下一个扫瞄周期的轨迹数据。

图16表示利用波形加权平均减小扫瞄速度的原理图。

基于上述的计算及显示方式，可以有以下的变化：

(一)上文已介绍过利用各种计算及显示方式，在笛卡儿坐标、极坐标及螺旋坐标上绘画出各种波形及频率的图象。这些因计算及显示方式不同所绘制成的个别图象，其实可以用同心的形式或互相靠近提供多重的视觉反馈，例如动态地改变它们的位置、比例及颜色选择等，成为一幅幅既有规律，而又变化万千的声音图象。效果比现时的舞台或雷射灯光更佳。除了图象，检测出的声音的周期、节拍和其它参数也可以用数字的形式一起显示出来。

(二)乐谱或预先录好的音乐，可以利用本发明对音乐的计算，将即将播放的音乐，以图形预先显示出来。如现在流行的卡拉OK，歌唱者可以在每个音开始之前，透过图形变化预先知道将会出现什麽音乐，对何时及如何正确地入唱作好准备。

(三)当出现一种以上的声音来源时，可以将个别的声音或预录及预设的乐谱及乐器所预期发出的声音作独立处理，并将经过处理后的个别图形重叠而合并成为一个综合的图形。这个综合了多个声源的图形可以用作比较个别声源的差异，如进行乐队练习或音乐有关的训练时，可即时知道那里出现偏差。

(四)将同一声音来源高、中及低频的部分以滤波器分离然后分开处理，绘成个别的图形。这种做法可以独立显示声音的成分或乐队内各种声音的性质。例如，人说话时声带的振动频率大约低于400赫；口和鼻造成的共振频率则高于1000赫。先将高低频部分分开处理，可得到数个较单纯以及易于辨别的图象，再将个别的图形合并后，方便分析同一声音中的多重特性。

Claims (26)

1．一种把声音变成图形的方法包括：

(1)以波形的富里叶变换及零点间隔抽取声音频率特征，并在声音含有基准频率时，周以找出声音的一个或以上基准频率。

(2)以频率特征数据或原波形计算绘图用的波形值(SIGNALVALUE)，分别强调波形，音度及节拍。

(3)以频率特征数据计算绘图用的色彩。

(4)以(2)及(3)所得到的数据动态地绘制图形。

(5)对点阵显示设备以硬件、软件或软硬件配合作动态颜色变化。

(6)对机械显示设备利用计算声音波形的加权平均值以较低速度扫瞄声音波形的轨迹。

2．如权利要求1所述的方法，其特征是富里叶变换在某一精度未符要求的频率开始以较低的取样频率及时间上较长的窗口函数计算附加的富里叶变换。在最低频的处理上把窗口函数设计成比较扁平以取代一般的尖顶形。富里叶变换以后，删除细小及过宽的局部峰值，余下的局部峰值就是特征频率。

3．如权利要求1所述的方法，其特征是计算波形的零点间隔及相对应的自相关函数作为频率特征数据。一个或以上相对应的自相关函数数值大的零点间隔的倒数就是基准频率。

4．如权利要求3所述的方法，其特征是以波形的零点间隔及简单参数包括零点间隔峰值及重心位置用数学近似算法还原经简化的波形，减低自相关函数的计算量。

5．如权利要求1所述的方法，其特征是利用所找到的基准周期或预设的基准周期绘制视象图形，令绘制出的图形较稳定。

6．如权利要求1所述的方法，其特征是绘制(x,y)轨迹笛卡儿坐标(x,y)=(S(t),S(t-kT)，其中

S(t)：波形在时间t的值，

k：相位参数，通常选为0至1之间的值，

t：周期参数，通常选为找到的或预设的基准周期，

x：横坐标，

y：纵坐标。

7．如权利要求1所述的方法，其特征是绘制(r,θ)轨迹，角度是时间轴，半径是波形轴。(r,θ)=(S(t)+K_r,K₂·2π·t/T)

其中

S(t)：波形在时间t的值，

K_r：半径参数，通常选为0至1之间的值，

K₂：简单分数，

T：周期参数，通常选为找到的或预设的基准周期，

θ：角度坐标，

R：长度坐标。

8．如权利要求1所述的方法，其特征是用一个两轴的坐标，包括笛卡儿直角坐标、用长度及角度表示的极坐标及螺旋坐标，以反映周期性的关系。

9．如权利要求1所述的方法，其特征是当螺旋坐标(θ,y)的θ轴为频率时，采用一圈(即360度)相当于一个音乐上八度或与语言上的声调变化对应的比例。

10．如权利要求1所述的方法，其特征是把螺旋坐标(θ,y)的Y轴作为时间坐标。

11．如权利要求1所述的方法，其特征是极坐标显示节拍(θ,r)=(时间，频率)是加上了主频率的极坐标式频谱图，音乐音调划出的弧线的夹角总是与其持续时间成正比。为精确区分各声音音调的高低，经富里叶变换的信号进一步经过处理，以检测主音调重叠在频率显示图形上亮度较高或以突出的颜色显示的中心频率，角度时间坐标轴标有所要求节奏型式的各分音律，作一般用途时，将圆划分成24个圆心角为15度的扇形。

12．如权利要求11的方法，其特征是描出的图像的亮度模拟出荧光持续效应的衰减情况，从而使当前和先前的节拍重叠显示出夹，演奏人员看到就会得到启发。

13．如权利要求11的方法，其特征在于，描出的图像的颜色随时间而变化，新描的图像使用半透明效果而重叠在几个扫瞄的图像上，从而使节拍上的失调引起边缘扩散现象，演奏人员看到了就从颜色方面得到节拍失调的启示。

14．如权利要求1所述的方法，其特征是利用螺旋坐标显示节拍(θ,Y)=(时间，频率)，

利用一个不断向内收缩的螺旋坐标来显示节拍。螺旋坐标上的声度轨迹，会随着新的音乐节拍，沿螺旋形坐标不断回旋伸展。只要将螺旋坐标整体同时向内收缩，以保持整体大小不变，这种方法不但同等声度的轨迹图可以在不同节拍的坐标上被显示出来，而且避免了声度轨迹无限地向外扩展的问题。

15．如权利要求1所述的方法，其特征是描绘图形时，颜色的变化显示二轴坐标中没有使用的数据。

16．如权利要求15所述的方法，其特征是用非线性的关系强调发声的频率准确度。色相显示各种音调，颜色的饱和度显示音调是否准确，光暗显示音调的强弱，当声音是非常准确的音调时，饱和度高的鲜艳颜色便会被显示出来，如果声音开始偏离，所显示的颜色的色相会有改变，同时色饱和度会变得愈来愈淡，再加上颜色的光暗，会随着音调本身的强弱而作出改变，从而绘制出显示音调、音调的准确性及音调强弱三者关系的频率图形。

17．如权利要求1所述的方法，其特征是利用渐变的颜色，来表示时间和声音强度的关系，利用填满整个实面或描绘波峰外形的方式，以较稳定的状态显示一段时间内声音强度的转变。

18．如权利要求1所述的方法，其特征是对于点阵式的显示装置，利用软件、硬件或者软硬件组合造成动态色彩，图像上每一点的颜色可每隔一定时间而更新以达到变色效果，以红绿蓝编码的颜色，每隔一定时间，将红绿蓝三色的数值减去一自选数值，不断重覆直至最后消失。

19．如权利要求1所述的方法，其特征是对于点阵式的显示装置，利用软件、硬件或者软硬件组合形成动态色彩，图像上每一点的颜色可每隔一定时间更新以达到变色效果，每隔一定时间，将光度的数值减去一自选数值，同时将色相或浓度改变，不断重覆以达到彩虹变色效果并最后消失。

20．如权利要求1所述的方法，其特征是利用时间的改变而更新调节色盘上的颜色，在所有可用的颜色编号中，选取某一数量的颜色作为动态改变用的颜色，循环使用，当前使用的颜色编号往回数某一数量的颜色组成所需的渐变过程，余下的作为动态改变用的颜色全为背景色，而任意另取某一颜色编号为独立背景颜色编号，其余的数值则用作其他用途，当绘制图形时，绘图用的颜色编号每一定时间转至下一可用颜色编号，循环使用，调色盘的颜色也同时更新，以保持当前使用的颜色往回数所用过的某一数量的颜色编号组成所需的渐变过渡，另外在所有动态颜色编号用完以前，检查画面上的每个图像点，如暂时不用作组成渐变用的颜色编号，则全改写为背景颜色编号，这个步骤并无改变图形颜色，却是颜色编号循环再用所必须的。

21．如权利要求1所述的方法，其特征是对包含机械的显示设备以较低速扫描，声音频率周期的速度，比机械设备能完成一个周期的扫瞄速度为快，当机械扫瞄设备以低于声音频率某一比例的速度进行扫瞄时，机械扫瞄器利用未被扫瞄的声音数据的加权平均值，作为下一个扫瞄周期的轨迹数据，将它们扫瞄出来，成为机械扫瞄设备下一个扫瞄周期。

22．如权利要求1所述的方法，其特征是将因计算及显示方式不同所绘制成的个别图像，用同心的形式或互相靠近提供多重的视觉反馈，动态地改变它们的位置、比例及颜色选择等，成为一幅幅既有规律，又变化万千的声音图像，除了图像，检测出的声音的周期、节拍和其它参数也可以用数字的形式一起显示出来。

23．如权利要求1所述的方法，其特征在于乐谱或预先录好的音乐，可以利用本发明对音乐的计算，将即将播放的音乐，以图形预先显示出来。

24．如权利要求1所述的方法，当出现一种以上的声音来源时，可以将个别的声音作独立处理，并将经过处理后的个别图形重叠而合并成为一个综合的图形，这个综合了多个声源的图形可以用来比较个别声源的偏差。

25．如权利要求1所述的方法，其特征在于将同一声音来源的高、中及低频的部分以滤波器分离然后分开处理，绘成个别的图形，这种做法可以独立显示声音的成分或乐队内各种声音的性质以及得到数个较单纯以及易于辨别的图象，方便分析同一声音中的多重特征。

26．一种实施根据权利要求1的方法的设备，其特征在于包括：声音输入装置，信号处理及控制装置，用户接口，显示驱动装置以及显示装置。

Images