CN108735192A - 一种结合曲风的钢琴演奏音质评价***及方法 - Google Patents
一种结合曲风的钢琴演奏音质评价***及方法 Download PDFInfo
- Publication number
- CN108735192A CN108735192A CN201810311753.2A CN201810311753A CN108735192A CN 108735192 A CN108735192 A CN 108735192A CN 201810311753 A CN201810311753 A CN 201810311753A CN 108735192 A CN108735192 A CN 108735192A
- Authority
- CN
- China
- Prior art keywords
- song
- style
- sample
- piano
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000011156 evaluation Methods 0.000 claims abstract description 45
- 230000005236 sound signal Effects 0.000 claims abstract description 36
- 238000004458 analytical method Methods 0.000 claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 17
- 238000002474 experimental method Methods 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 12
- 238000011160 research Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000027455 binding Effects 0.000 description 1
- 238000009739 binding Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011120 plywood Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/32—Constructional details
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/211—User input interfaces for electrophonic musical instruments for microphones, i.e. control of musical parameters either directly from microphone signals or by physically associated peripherals, e.g. karaoke control switches or rhythm sensing accelerometer within the microphone casing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
- G10H2240/081—Genre classification, i.e. descriptive metadata for classification or selection of musical pieces according to style
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本发明提出一种结合曲风的钢琴演奏音质评价***及方法。***包括钢琴曲曲库、麦克风阵列录音装置、高质量麦克风录音装置、音乐数据库、专家听音评价模块、信号特征提取模块、样本库、信号特征分析模块和音质评价模块。***建立好之后,用户只需要选择偏好曲风的一首曲子,在待评价钢琴上演奏,该***便会智能地处理采集到的演奏音信号,输出一个评价分数作为钢琴演奏音质的评价结果。本发明提出的***结合了曲风因素,分析了空域、时域、频域和时频图等多种信号特征,并在使用过程中智能地输出评价结果,与以往的音质评价方法相比,客观性、便利性、智能性大大提升,同时更符合了用户的个性化需求。
Description
技术领域
本发明涉及音乐声学、心理声学、信号处理、计算机模式识别等交叉技术领域,特别涉及一种结合曲风的钢琴演奏音质评价***及方法。
背景技术
随着经济、社会的不断发展,人们的物质生活水平得到了迅速提高,精神文化方面受到越来越多的关注和重视,需求日益增大。其中,音乐艺术是人们日常生活中接触得最多的方面,而钢琴作为“乐器之王”占据了演奏音乐艺术的很大一部分比重。由于钢琴结构复杂、音域广阔,对其音质、音色的研究和评价难度较大。目前,钢琴的音质好坏基本上依赖于主观判断,即由具备一定钢琴乐理知识和演奏经验的专家进行听音,并根据一些指标进行评分。这种评价方法会因为测试者的听觉疲劳、个人偏好以及现场听音环境的不同,导致评价准确度波动等问题。此外,在很多实时的情况下,听音测试的人力成本和时间成本也相对昂贵。
随着计算机科学的发展以及信号处理技术与音乐声学之间更多的结合研究,人们开始从理性和科学的角度来分析乐器各方面的特征。应用小波分析等数字信号信号处理技术或神经网络等机器学习知识可实现乐器演奏音信号的音乐信号特征的精确提取,而以往的研究多是使用这些特征进行乐器识别、演奏正误评价等方面的应用,或是直接分析这些特征进行简单的音质评价,无法很好地实现自动化地智能地进行音质评价。若可以将主观先验知识和客观信号特征分析结合,找到两者之间的映射关系,再利用更接近人类认知和判断机制的神经网络、模糊推理等技术来设计一个智能评价***,最终只需要给计算机输入一段钢琴演奏音信号,就可以节省人力成本,无需人工对钢琴演奏音质进行评价。
在音乐信号特征提取和分析方面,钢琴音乐主观上的先验知识与客观上的数字信号特征之间的关系得到了越来越多的关注和研究。在之前的研究中,大多是基于内容的音乐识别的研究,且多是使用单个麦克风收集钢琴演奏音的信号,而结合麦克风阵列的研究中,多是收集空间场的信号,应用于空间场的声场模拟和声场重现,很少利用麦克风阵列在不同位置处接收钢琴演奏音的信号,即空域信号的测量和采集,而空域信号与整体听觉感受息息相关,同时在音板特性对钢琴音质的影响的研究中,空域信号的空域特征与音板特性也存在紧密关系。因此,考虑采集多个位置的空域信号并综合分析,就能更全面评估一架钢琴的音质。
而关于钢琴音质的研究,之前的研究在分析音乐数据时大多仅使用了单音符、双音符或简单的没有曲风标签的演奏样本,演奏者主观上的偏好即曲风这一因素没有考虑到其中。而如今社会环境下,个性化需求受到钢琴厂家和销售商更多的重视,因为每个钢琴爱好者都有自己的偏好,希望能找到最符合自己习惯和喜好的钢琴。而无论是初学者还是有经验的专家,演奏者在同一架钢琴上演奏不同风格的钢琴曲时,钢琴表现出来的音质也不相同。因此,评价一架钢琴的音质好坏,应该考虑曲风这一具备个性化特性的因素。
发明内容
本发明的目的在于克服钢琴音质评价时依赖于主观评价以及没有考虑曲风导致分析不够全面的缺陷,并解决仅利用了单个麦克风进行数据采集而缺少对钢琴演奏音信号的空域特征分析的问题,提出一种结合曲风的钢琴演奏音质评价***, 并采用麦克风阵列录音装置结合高质量麦克风录音装置的演奏音信号采集装置。同时,本发明采用模糊神经网络构建音质评价模块,当接收到用户在一台钢琴上演奏特定风格曲子的演奏音信号后,通过分析这些数据在域、时域、频域、时频图的相应特征,并将得到的特征向量和曲风标签作为模糊神经网络的输入,最终输出一个分数,对所弹钢琴在选定曲风时进行音质评价。
为了实现上述目的和功能,本发明提出的***在使用之前,需要先经过***建立的过程,即采集不同钢琴上不同曲风的演奏音信号,收集专家主观评价数据并提取和分析信号特征,确定模糊神经网络的结构并进行训练;训练好的模糊神经网络即可使用。本发明具体技术方案如下。
一种结合曲风的钢琴演奏音质评价***,其包括钢琴曲曲库、麦克风阵列录音装置、高质量麦克风录音装置、音乐数据库、专家听音评价模块、信号特征提取模块、样本库、信号特征分析模块和音质评价模块;
所述的钢琴曲曲库带有曲风标签,曲风标签是指在曲风分类的基础上对每种曲风进行编号标记;钢琴曲曲库有两个功能,一是在***建立过程中,提供大量的钢琴曲资源,用于后续的分析和模糊神经网络的训练;二是在用户使用过程中,为用户提供可选的钢琴曲;
所述的麦克风阵列录音装置包括在不同的空间位置上放置的麦克风,多个麦克风采集钢琴在不同位置的演奏音信号即空域信号,实现在宏观上对钢琴的演奏音质进行分析;
所述信号特征提取模块通过对麦克风阵列录音装置和高质量麦克风录音装置采集到的钢琴演奏音形成的音频文件进行信号特征提取,提取得到宏观上和微观上的信号特征,这些信号特征包括空域特征、时域特征、频域特征以及时频图特征;然后建立样本库,用于存储模糊神经网络的输入样本,输入样本包括训练样本和待评价样本两种样本类型;样本内容为信号特征向量,包括提取到的信号特征和对应的曲风标签;
所述的信号特征分析模块实现模糊集和模糊推理规则建立的功能,包括将提取到的信号特征与从专家听音评价模块中得到的主观评价数据进行统计对比分析,由此建立信号特征和主观评价数据的模糊集,同时建立评价过程的模糊推理规则;
所述的音质评价模块实现将样本库中的样本经过模糊神经网络的处理后,输出音质评价分数的功能;此音质评价模块在使用前,需采用所述的信号特征分析模块建立的模糊推理规则来确定模糊神经网络的结构,并且将所述样本库的所有样本作为模糊神经网络的训练样本,而每个样本对应的音频文件的主观评价数据作为期望输出,即监督信号,然后对模糊神经网络进行训练;网络训练好后,音质评价模块即可使用;用户使用音质评价模块时,无需人工获取主观评价数据,就可实现在获取到待评价的样本后智能输出评价分数的功能。
基于上述的技术方案,本发明提出的利用一种结合曲风的钢琴演奏音质评价***的评价方法,包括两个过程,一是***建立过程,二是用户使用过程。
***在使用之前,需要采集不同钢琴上不同曲风的演奏音信号,收集专家主观评价数据并提取和分析信号特征,确定模糊神经网络的结构并进行训练。
***建立过程的步骤如下:
(1)通过分析具有代表性的曲风分类规则,建立带有曲风标签的钢琴曲曲库,曲风标签是指在曲风分类的基础上对各曲风类型进行编号标记。
(2)使用麦克风阵列录音装置和高质量麦克风录音装置现场录制在多台钢琴上演奏的演奏音信号,演奏的曲子包含了钢琴曲曲库中的所有曲子。将麦克风阵列录音装置采集的演奏音信号进过处理之后形成多声道音频文件,高质量麦克风录音装置采集得到的演奏音信号经过相应处理之后形成高保真音频文件。
(3)将高保真音频文件在听音室中进行回放,让多名专业人士进行听音实验,对其音质的好坏进行评价,收集主观评价数据,并将统计得到的主观评价数据、音频文件和曲风标签对应地存储到音乐数据库中。
(4)基于音频信号的短时平稳性,对多声道音频文件和高保真音频文件进行预加重处理和分帧处理。
(5)将音乐数据库中的所有音频文件输入到信号特征提取模块进行信号特征的提取,并建立样本库,将提取到的信号特征和对应的曲风标签一起形成信号特征向量,对应地存储到样本库中,作为训练样本。
(6)将提取到的信号特征进行统计,与步骤(3)中的主观评价数据进行对比分析,从而建立信号特征和主观评价数据的模糊集,同时建立评价过程的模糊推理规则;所述模糊集和模糊推理规则是指判断音质好坏所需要的条件和判断逻辑在模糊数学中的描述;如可以做如下描述:如果基频泛音比例在x1范围,且空间均衡度在y1范围,则音质评价得分在z1范围;x1,y1,z1都属于各自的模糊集X、Y、Z。
(7)根据步骤(5)中得到的信号特征向量的大小以及步骤(6)中分析得到的模糊推理规则,确定模糊神经网络的结构,将样本库的所有样本作为模糊神经网络的训练样本,而每个样本对应的音频文件的主观评价数据作为期望输出,即监督信号,然后对模糊神经网络进行训练,音质评价模块即完成建立。
将***建立好之后,用户即可以使用此***,无需人工获取主观评价数据,就可实现在获取到待评价的样本后智能输出评价分数的功能。用户使用***的步骤如下:
(1)让用户选择钢琴曲曲库中的一首曲子并在待评价的钢琴上演奏,麦克风阵列录音装置和高质量麦克风录音装置同时采集演奏音信号。
(2)将演奏音信号经过处理后形成音频文件,与曲风标签一起存储到音乐数据库中;
(3)将音频文件进行预处理后输入信号特征提取模块,将提取出的信号特征和曲风标签一起形成信号特征向量,存储到样本库中作为待评价样本。
(4)将待评价样本输入到建立好的音质评价模块中,最终音质评价模块会输出一个在[0,100]范围内的评价分数,作为所选钢琴的演奏音质评价结果。
与现有音质评价***相比,本发明具有如下优点:
(1)本发明提出的结合曲风的钢琴演奏音质评价***,在***建立好之后,只需要给计算机输入一段钢琴演奏音信号,就可以无需后续人工对钢琴演奏音质进行评价,与专家人工主观评价相比,便利性、智能性大大提升,减少了人力成本和时间成本。
(2)本发明提出的***在***建立过程中充分考虑了主观评价数据和客观信号特征,其中客观信号特征包含了空域特征、时域特征、频域特征和时频图特征,多特征分析方法让评价***的客观性大大提升,避免了人工主观评价引起的评价标准浮动等问题。
(3)本发明提出的***还考虑了曲风这一种具备个性化特性的因素,并将曲风标签带入钢琴演奏中,在进过***处理之后,用户可以得到自己偏好的曲风在待评价的钢琴上的音质好坏。因此,用户可以对比多台意向钢琴在自己偏好曲风上的评价分数,更好地辅助用户选择到真正适合自己的钢琴,让演奏达到最佳的效果;而钢琴的生产厂家根据用户的喜好,在生产个性化定制钢琴时,可以利用此***进行辅助调试钢琴的各项参数。
附图说明
图1是实施例中一种结合曲风的钢琴演奏音质评价***的总体结构框图。
图2是麦克风阵列录音装置结构框图。
图3是实例中***建立流程图。
图4是实例中用户使用流程图。
具体实施方式
为了使本发明的目的、技术方案及创新点和优点更清楚明白,下面结合附图对本发明的具体实施方式作进一步说明。
下面结合附图对本发明的具体实施方式作进一步说明,但本发明的实施不限于此。
如图1所示,本发明***包括九个模块:钢琴曲曲库,麦克风阵列录音装置,高质量麦克风录音装置,音乐数据库,专家听音评价模块,信号特征提取模块,样本库,信号特征分析模块,音质评价模块。
本实例的一种结合曲风的钢琴演奏音质评价***,主要包括如下几个部分:
(1)钢琴曲曲库:包括带有曲风标签的多首钢琴曲,曲风标签是指在曲风分类的基础上对各曲风进行编号标记。
(2)麦克风阵列录音装置:该装置用来采集钢琴演奏音的空域信号以用于宏观上的分析。
(3)高质量麦克风录音装置:该用来采集钢琴高保真演奏音的信号以用于微观上的分析。
(4)专家听音评价模块:在***建立过程中,需采集钢琴曲曲库中所有钢琴曲在不同钢琴上的演奏音信号,然后将演奏音信号进行相应处理之后形成音频文件;然后通过音频文件的回放及专家听音评价这个过程,获取主观评价数据。
(5)音乐数据库:将上述的曲风标签、音频文件和主观评价数据对应存储到音乐数据库中;在用户使用***过程中则无需音频文件的回放及专家听音评价这个过程,因此存储到音乐库中的数据仅包含音频文件和曲风标签。
(6)信号特征提取模块:对音乐数据库中的演奏音音频文件进行预处理之后,通过该模块提取钢琴演奏音宏观上和微观上的信号特征,这些信号特征主要包括空域特征、时域特征、频域特征以及时频图特征。
(7)样本库:此部分用于存储模糊神经网络的输入样本,样本内容为信号特征向量,包括提取到的信号特征和对应的曲风标签,样本类型包括训练样本和待评价样本两种。
(8)信号特征分析模块:该模块主要用于***建立过程中,实现模糊推理规则建立的功能,包括将提取到的信号特征与主观评价数据进行统计对比分析,由此建立信号特征和主观评价数据的模糊集,同时建立评价过程的模糊推理规则。
(9)音质评价模块:该模块实现了将样本库中的样本经过模糊神经网络的处理后,输出音质评价分数的功能。此模块在使用前,需采用(8)中的信号特征分析模块建立的模糊推理规则来确定模糊神经网络的结构,并且将(7)中样本库的所有样本作为模糊神经网络的训练样本,而每个样本对应的音频文件的主观评价数据作为期望输出,即监督信号,然后对模糊神经网络进行训练。网络训练好后,音质评价模块即可使用。用户使用该模块时,无需人工获取主观评价数据,就可实现在获取到待评价的样本后智能输出评价分数的功能。
本发明提出的***在使用之前,需要先经过***建立的过程,即采集不同钢琴上不同曲风的演奏音信号,收集专家主观评价数据并提取和分析信号特征,确定模糊神经网络的结构并进行训练;训练好的模糊神经网络即可使用。因此,***建立过程包括所有九个模块,而用户使用过程只包括其中七个模块:钢琴曲曲库,麦克风阵列录音装置,高质量麦克风录音装置,音乐数据库,信号特征提取模块,样本库,音质评价模块。
本实例中的钢琴曲曲库可包括按照钢琴曲发展时期而分类形成的四类风格:巴洛克风格、古典主义风格、浪漫主义风格、现代主义风格,曲风标签分别编号1,2,3,4;每类风格选取三首典型的练习曲;因此曲库中一共包括12首钢琴曲。
本实施例中的麦克风阵列录音装置如图2所示,包含18个麦克风,接口集合板,USB转串口信号传输控制电路,放大带通电路,A/D模块,ARM信号处理存储模块。其中放大带通电路,A/D模块,ARM信号处理存储模块集合成一块集合电路,每块集合电路板接收3个麦克风采集的演奏音信号,共6块这样的集合电路板,包括了1个主机集合电路和5个从机集合电路;所采用的采样频率是100kHz,量化精度是12bit;而USB转串口信号传输控制电路主要负责接收计算机端录制起止的信号,当计算机发出开始接收的指令时,通过此模块将指令传输给主机,并且主机通过和从机之间连接的信号线,将指令同时传给每个从机,然后其他模块便开始工作;所述ARM信号处理存储模块中数据以bin文件的形式存储在SD存储卡上,通过相应程序将其转化为多声道wav音频文件。
高质量麦克风录音装置包含可以采集高保真演奏音信号的单个麦克风,并结合Adobe Audition软件生成高保真wav音频文件,所选采样频率为96kHz,量化精度16bit。
本实例中的音乐数据库主要用于存储多声道wav音频文件和高保真wav音频文件,这些音频文件与经过专家听音评价模块后获得的主观评价数据,以及曲风标签对应存储到该数据库中,从而建立具有多种风格、多台钢琴、不同音质评价分数标签的音乐数据库。
而其中所述专家听音评价模块主要包括以下内容:将用高保真wav音频文件截取部分在听音室中回放,邀请5名专家进行听音实验,根据声音稳定性、丰富度、明亮度、饱满度等指标对每一个截取音频进行评价,然后对两两音频文件之间音质对比并进整体评分,并对收集到的主观评价数据进行统计和分析。
本实例中的音乐特征提取模块,主要实现了将音乐数据库中音频文件作为输入,提取得到空域、时域、频域、时频图等方面的特征的功能;这些特征与音质指标间的关系如下:
1)基于多声道wav音频文件提取的空间均衡度等宏观上的空域信号特征与声音的稳定性、音区及过渡区自然度有关;
2)基于高保真wav音频文件提取的起振时间、单音时值等微观上的时域包络特征与声音的音色明亮或低沉有关,也直接影响音质好坏;
3)基于高保真wav音频文件提取的基频和泛音的振幅及振幅比例等微观上的频域特征与声音的音色表现力有关;
4)时频图中显示出基频、泛音的整体特征与声音的音色饱满度、协调性有关。
本实例中的样本库,用于存储音质评价模块的输入样本,包括训练样本和待评价样本两种样本类型;样本内容为信号特征向量,包括提取到的信号特征和对应的曲风标签。
本实例中的音质评价模块为本***的主要模块,其主结构为多输入单输出的五层神经网络,内部逻辑和权函数的选择依赖于信号特征分析模块建立的模糊集和模糊推理规则。
而其中所述音乐信号特征分析模块主要实现模糊推理规则建立的功能,包括将提取到的信号特征与主观评价数据进行统计对比分析,由此建立信号特征和主观评价数据的模糊集,同时建立评价过程的模糊推理规则;而所述模糊集和模糊规则是指判断音质好坏所需要的条件和判断逻辑在模糊数学中的描述;如可以做如下描述:如果基频泛音比例在x1范围,且空间均衡度在y1范围,则音质评价得分在z1范围。x1,y1,z1都属于各自的模糊集X、Y、Z。
本实例的***在使用之前,需要先经过***建立的过程,即采集不同钢琴上不同曲风的演奏音信号,收集专家主观评价数据并提取和分析信号特征,确定模糊神经网络的结构并进行训练;训练好的模糊神经网络即可使用。***建立过程的流程图如图3所示。
***建立的流程如下:
(1)建立钢琴曲曲库:如前所述,曲库中一共包括四种风格的12首钢琴曲。
(2)录音装置开启,演奏者演奏曲库中的曲子:使用麦克风阵列录音装置和高质量麦克风录音装置现场录制在多台钢琴上演奏的演奏音信号,演奏的曲子包含了钢琴曲曲库中的所有曲子。
(3)形成音频文件:将麦克风阵列录音装置采集的演奏音信号进过处理之后形成多声道音频文件,高质量麦克风录音装置采集得到的演奏音信号经过相应处理之后形成高保真音频文件。为了对应本实例的钢琴曲曲库中的每种风格的每首练习曲,因此让3名演奏者在4架差异明显的钢琴上演奏,共可获得48个高保真音频文件和48个16声道的音频文件。
(4)音频文件回放,专家听音评价,建立音乐数据库:将高保真音频文件在听音室中进行回放,让多名专业人士进行听音实验,对其音质的好坏进行评价,收集主观评价数据,并将统计得到的主观评价数据、音频文件和曲风标签对应地存储到音乐数据库中。
(5)音频文件预处理:基于音频信号的短时平稳性,对多声道音频文件和高保真音频文件进行预加重处理和分帧处理。
(6)提取信号特征,形成训练样本:将音乐数据库中的所有音频文件输入到信号特征提取模块进行信号特征的提取,并建立样本库,将提取到的信号特征和对应的曲风标签一起形成信号特征向量,对应地存储到样本库中,作为训练样本。
(7)分析信号特征和主观评价数据,建立模糊集和模糊推理规则:将提取到的信号特征进行统计,与(4)得到的主观评价数据进行对比分析,从而建立信号特征和主观评价数据的模糊集,同时建立评价过程的模糊推理规则;所述模糊集和模糊推理规则是指判断音质好坏所需要的条件和判断逻辑在模糊数学中的描述;如可以做如下描述:如果基频泛音比例在x1范围,且空间均衡度在y1范围,则音质评价得分在z1范围;x1,y1,z1都属于各自的模糊集X、Y、Z。
(8)确定模糊神经网络的结构,训练模糊神经网络:根据步(6)中得到的信号特征向量的大小以及步骤(7)中分析得到的模糊推理规则,确定模糊神经网络的结构,将样本库的所有样本作为模糊神经网络的训练样本,而每个样本对应的音频文件的主观评价数据作为期望输出,即监督信号,然后对模糊神经网络进行训练。
验证验证评价结果已达最优后,音质评价模块即完成建立。***成功建立后,用户即可以使用该***,无需人工获取主观评价数据,就可实现在获取到待评价的样本后智能输出评价分数的功能;用户使用***的流程图4所示。
用户使用***过程的流程如下:
(1)用户选择偏好的曲风:用户在钢琴曲曲库中选择偏好的曲风的曲子,如用户选择的是浪漫主义风格的曲子,曲风标签编号设置为3,在希望获得音质评价的钢琴上正确地演奏所选曲子。
(2)录音装置开启,用户在待评价的钢琴上演奏所选曲风的曲子:麦克风阵列录音装置和高质量麦克风录音装置同时采集用户的演奏音信号。
(3)形成音频文件,结合曲风标签存储到音乐数据库:演奏结束后,将采集的到的演奏音信号经过处理后形成音频文件,与曲风标签一起存储到音乐数据库中。
(4)音频文件预处理:基于音频信号的短时平稳性,对音频文件进行预加重处理和分帧处理。
(5)提取信号特征,形成待评价样本:将预处理后的音频文件输入信号特征提取模块,将提取出的信号特征和曲风标签一起形成信号特征向量,存储到样本库中作为待评价样本。
(6)进行音质评价,输出音质评价分数:将待评价样本输入到建立好的音质评价模块中,最终音质评价模块会输出一个在[0,100]范围内的评价分数,如65分,此分数即为所弹钢琴在所选曲风下的演奏音质评价结果。
由此,用户可以对比多台意向钢琴在自己偏好曲风上的评价分数,以此来辅助选择到真正适合自己的钢琴,让演奏达到最佳的效果;而钢琴的生产厂家根据用户的喜好,在生产个性化定制钢琴时,可以利用此***进行辅助调试钢琴的各项参数,从而减少很大一部分的人工评价成本和时间成本。
上述实施例需求为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围。
Claims (2)
1.一种结合曲风的钢琴演奏音质评价***,其特征在于包括钢琴曲曲库、麦克风阵列录音装置、高质量麦克风录音装置、音乐数据库、专家听音评价模块、信号特征提取模块、样本库、信号特征分析模块和音质评价模块;
所述的钢琴曲曲库带有曲风标签,曲风标签是指在曲风分类的基础上对每种曲风进行编号标记;钢琴曲曲库有两个功能,一是在***建立过程中,提供大量的钢琴曲资源,用于后续的分析和模糊神经网络的训练;二是在用户使用过程中,为用户提供可选的钢琴曲;
所述的麦克风阵列录音装置包括在不同的空间位置上放置的麦克风,多个麦克风采集钢琴在不同位置的演奏音信号即空域信号,实现在宏观上对钢琴的演奏音质进行分析;
所述信号特征提取模块通过对麦克风阵列录音装置和高质量麦克风录音装置采集到的钢琴演奏音形成的音频文件进行信号特征提取,提取得到宏观上和微观上的信号特征,这些信号特征包括空域特征、时域特征、频域特征以及时频图特征;然后建立样本库,用于存储模糊神经网络的输入样本,输入样本包括训练样本和待评价样本两种样本类型;样本内容为信号特征向量,包括提取到的信号特征和对应的曲风标签;
所述的信号特征分析模块实现模糊集和模糊推理规则建立的功能,包括将提取到的信号特征与从专家听音评价模块中得到的主观评价数据进行统计对比分析,由此建立信号特征和主观评价数据的模糊集,同时建立评价过程的模糊推理规则;
所述的音质评价模块实现将样本库中的样本经过模糊神经网络的处理后,输出音质评价分数的功能;此音质评价模块在使用前,需采用所述的信号特征分析模块建立的模糊推理规则来确定模糊神经网络的结构,并且将所述样本库的所有样本作为模糊神经网络的训练样本,而每个样本对应的音频文件的主观评价数据作为期望输出,即监督信号,然后对模糊神经网络进行训练;网络训练好后,音质评价模块即可使用;用户使用音质评价模块时,无需人工获取主观评价数据,就可实现在获取到待评价的样本后智能输出评价分数的功能。
2.利用权利要求1所述一种结合曲风的钢琴演奏音质评价***的评价方法,其特征在于包括***建立过程和用户使用过程;***在使用之前,需要采集不同钢琴上不同曲风的演奏音信号,收集专家主观评价数据并提取和分析信号特征,确定模糊神经网络的结构并进行训练;
***建立过程的步骤如下:
(1)通过分析具有代表性的曲风分类规则,建立带有曲风标签的钢琴曲曲库,曲风标签是指在曲风分类的基础上对各曲风进行编号标记;
(2)使用麦克风阵列录音装置和高质量麦克风录音装置现场录制在多台钢琴上演奏的演奏音信号,演奏的曲子包含了钢琴曲曲库中的所有曲子;将麦克风阵列录音装置采集的演奏音信号进过处理之后形成多声道音频文件,高质量麦克风录音装置采集得到的演奏音信号经过相应处理之后形成高保真音频文件;
(3)将高保真音频文件在听音室中进行回放,让多名专业人士进行听音实验,对其音质的好坏进行评价,收集主观评价数据,并将统计得到的主观评价数据、音频文件和曲风标签对应地存储到音乐数据库中;
(4)基于音频信号的短时平稳性,对多声道音频文件和高保真音频文件进行预加重处理和分帧处理;
(5)将音乐数据库中的所有音频文件输入到信号特征提取模块进行信号特征的提取,并建立样本库,将提取到的信号特征和对应的曲风标签一起形成信号特征向量,对应地存储到样本库中,作为训练样本;
(6)将提取到的信号特征进行统计,与步骤(3)中的主观评价数据进行对比分析,从而建立信号特征和主观评价数据的模糊集,同时建立评价过程的模糊推理规则;所述模糊集和模糊推理规则是指判断音质好坏所需要的条件和判断逻辑在模糊数学中的描述;如可以做如下描述:如果基频泛音比例在x1范围,且空间均衡度在y1范围,则音质评价得分在z1范围;x1,y1,z1都属于各自的模糊集X、Y、Z;
(7)根据步骤(5)中得到的信号特征向量的大小以及步骤(6)中分析得到的模糊推理规则,确定模糊神经网络的结构,将样本库的所有样本作为模糊神经网络的训练样本,而每个样本对应的音频文件的主观评价数据作为期望输出,即监督信号,然后对模糊神经网络进行训练,音质评价模块即完成建立;
将***建立好之后,用户即可以使用此***,无需人工获取主观评价数据,就可实现在获取到待评价的样本后智能输出评价分数的功能;
用户使用***的步骤如下:
(1)让用户选择钢琴曲曲库中的一首曲子并在待评价的钢琴上演奏,麦克风阵列录音装置和高质量麦克风录音装置同时采集演奏音信号;
(2)将演奏音信号经过处理后形成音频文件,与曲风标签一起存储到音乐数据库中;
(3)将音频文件进行预处理后输入信号特征提取模块,将提取出的信号特征和曲风标签一起形成信号特征向量,存储到样本库中作为待评价样本;
(4)将待评价样本输入到建立好的音质评价模块中,最终音质评价模块会输出一个在[0,100]范围内的评价分数,作为所选钢琴的演奏音质评价结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810311753.2A CN108735192B (zh) | 2018-04-09 | 2018-04-09 | 一种结合曲风的钢琴演奏音质评价***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810311753.2A CN108735192B (zh) | 2018-04-09 | 2018-04-09 | 一种结合曲风的钢琴演奏音质评价***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108735192A true CN108735192A (zh) | 2018-11-02 |
CN108735192B CN108735192B (zh) | 2021-09-21 |
Family
ID=63941242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810311753.2A Expired - Fee Related CN108735192B (zh) | 2018-04-09 | 2018-04-09 | 一种结合曲风的钢琴演奏音质评价***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108735192B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109991842A (zh) * | 2019-03-14 | 2019-07-09 | 合肥工业大学 | 基于神经网络的钢琴调音方法及*** |
CN110516104A (zh) * | 2019-08-27 | 2019-11-29 | 腾讯音乐娱乐科技(深圳)有限公司 | 歌曲推荐方法、装置及计算机存储介质 |
CN110675879A (zh) * | 2019-09-04 | 2020-01-10 | 平安科技(深圳)有限公司 | 基于大数据的音频评估方法、***、设备及存储介质 |
CN113108894A (zh) * | 2021-03-30 | 2021-07-13 | 华南理工大学 | 基于音频阵列采集的乐器音板瞬态声场测量***及方法 |
CN114842876A (zh) * | 2022-04-27 | 2022-08-02 | 厦门大学 | 一种基于振动声学的琵琶音色品质评价方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105719661A (zh) * | 2016-01-29 | 2016-06-29 | 西安交通大学 | 一种弦乐器演奏音质自动判别方法 |
CN107146497A (zh) * | 2016-08-02 | 2017-09-08 | 浙江大学 | 一种钢琴考级评分*** |
-
2018
- 2018-04-09 CN CN201810311753.2A patent/CN108735192B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105719661A (zh) * | 2016-01-29 | 2016-06-29 | 西安交通大学 | 一种弦乐器演奏音质自动判别方法 |
CN107146497A (zh) * | 2016-08-02 | 2017-09-08 | 浙江大学 | 一种钢琴考级评分*** |
Non-Patent Citations (4)
Title |
---|
OLGA SLIZOVSKAIA ET AL.: ""musical instrument recognition in user-generated videos using a multimodal convolutional neural network architecture"", 《ACM ON INTERNATIONAL CONFERENCE ON MULTIMEDIA RETRIEVAL》 * |
刘乐: ""钢琴演奏评价***研究"", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
吴晶晶: ""钢琴音乐信号的特征识别"", 《中国优秀硕士学位论文全文数据库 哲学与人文科学辑》 * |
黄阿罗等: ""声乐演唱中音色的评价标准"", 《黄河之声》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109991842A (zh) * | 2019-03-14 | 2019-07-09 | 合肥工业大学 | 基于神经网络的钢琴调音方法及*** |
CN110516104A (zh) * | 2019-08-27 | 2019-11-29 | 腾讯音乐娱乐科技(深圳)有限公司 | 歌曲推荐方法、装置及计算机存储介质 |
CN110675879A (zh) * | 2019-09-04 | 2020-01-10 | 平安科技(深圳)有限公司 | 基于大数据的音频评估方法、***、设备及存储介质 |
CN113108894A (zh) * | 2021-03-30 | 2021-07-13 | 华南理工大学 | 基于音频阵列采集的乐器音板瞬态声场测量***及方法 |
CN114842876A (zh) * | 2022-04-27 | 2022-08-02 | 厦门大学 | 一种基于振动声学的琵琶音色品质评价方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108735192B (zh) | 2021-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108735192A (zh) | 一种结合曲风的钢琴演奏音质评价***及方法 | |
Yang et al. | Psychoacoustical evaluation of natural and urban sounds in soundscapes | |
CN109147804A (zh) | 一种基于深度学习的音质特性处理方法及*** | |
CN107221319A (zh) | 一种语音识别测试***和方法 | |
US9952826B2 (en) | Audio mixer system | |
DE102012103553A1 (de) | Audiosystem und verfahren zur verwendung von adaptiver intelligenz, um den informationsgehalt von audiosignalen in verbraucheraudio zu unterscheiden und eine signalverarbeitungsfunktion zu steuern | |
CN105719661A (zh) | 一种弦乐器演奏音质自动判别方法 | |
CN102723079B (zh) | 基于稀疏表示的音乐和弦自动识别方法 | |
CN110047514A (zh) | 一种伴奏纯净度评估方法以及相关设备 | |
CN107704631B (zh) | 一种基于众包的音乐标注原子库的构建方法 | |
CN102880693A (zh) | 一种基于个体发声能力的音乐推荐方法 | |
CN108615536A (zh) | 基于麦克风阵列的时频联合特征乐器音质评价***及方法 | |
CN108513227B (zh) | 一种基于扬声器阵列设计的现代电子琴制作方法 | |
Chiu et al. | Mixing-specific data augmentation techniques for improved blind violin/piano source separation | |
Zhang et al. | Automatic singing evaluation without reference melody using bi-dense neural network | |
CN110739006B (zh) | 音频处理方法、装置、存储介质及电子设备 | |
Liu et al. | Research on the Correlation Between the Timbre Attributes of Musical Sound and Visual Color | |
CN115512718A (zh) | 用于存量语音文件的语音质量评价方法、装置及*** | |
CN115579021A (zh) | 一种基于神经网络和视听融合的声乐表演评分方法及*** | |
CN101370216A (zh) | 一种手机音频文件的情绪化处理和播放方法 | |
Pedgley et al. | Materials innovation in acoustic guitars: challenging the tonal superiority of wood | |
Marolt | Audio melody extraction based on timbral similarity of melodic fragments | |
WO2022103290A1 (en) | Method for automatic quality evaluation of speech signals using neural networks for selecting a channel in multimicrophone systems | |
CN109060109B (zh) | 基于阻抗技术的大提琴共鸣箱信息化声学检测方法及*** | |
Yang et al. | On the design of Solfeggio audio machine assessment system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210921 |