CN101604528A - 信息处理设备和方法以及程序 - Google Patents
信息处理设备和方法以及程序 Download PDFInfo
- Publication number
- CN101604528A CN101604528A CNA2009101458232A CN200910145823A CN101604528A CN 101604528 A CN101604528 A CN 101604528A CN A2009101458232 A CNA2009101458232 A CN A2009101458232A CN 200910145823 A CN200910145823 A CN 200910145823A CN 101604528 A CN101604528 A CN 101604528A
- Authority
- CN
- China
- Prior art keywords
- band extension
- unit
- frequency
- voice data
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 260
- 238000012545 processing Methods 0.000 claims description 66
- 238000011156 evaluation Methods 0.000 claims description 15
- 238000007405 data analysis Methods 0.000 claims description 2
- 230000010365 information processing Effects 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 description 59
- 238000006243 chemical reaction Methods 0.000 description 18
- 238000013213 extrapolation Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 16
- 238000013139 quantization Methods 0.000 description 14
- 239000000284 extract Substances 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 230000006872 improvement Effects 0.000 description 9
- 241001269238 Data Species 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000036651 mood Effects 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 101001026137 Cavia porcellus Glutathione S-transferase A Proteins 0.000 description 2
- 101001026109 Gallus gallus Glutathione S-transferase Proteins 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000500881 Lepisma Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrophonic Musical Instruments (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本发明公开了信息处理设备和方法以及程序。该信息处理设备包括:波段扩展单元,被配置为执行波段扩展处理,以生成特定频带中的分量,并且将该分量添加到音频数据;以及控制单元,被配置为控制波段扩展单元使用在多种不同波段扩展方法之中确定的波段扩展方法来执行波段扩展处理,波段扩展方法是针对使用音频数据的特征所确定的音乐类而预先定义的。
Description
技术领域
本发明涉及一种信息处理设备和方法以及程序。更具体地,本发明涉及一种适合于在编码音频数据的回放中使用的信息处理设备和方法以及程序。
背景技术
当使用现有通用编码方案(压缩方案),例如自适应变换声学编码(ATRAC)或运动图像专家组音频层-3(MP3)对乐曲的音频数据进行编码时,高频分量可能损失。当回放乐曲时,缺少高频分量可能导致受抑制的声音,而且声音的丰富度可能减少。
当对乐曲的音频数据进行编码时,如图1所示,首先,编码器中的频率转换单元11将具有时间波形的音频数据转换为乐曲的各个频率分量,即,指示各个频率的功率的频率信息。然后,量化单元12将频率信息量化为量化信息。此外,编码单元13对量化信息进行编码,并且输出所得到的码串作为编码音频数据。具有时间波形的音频数据指的是指示处于不同时间的音频的幅度(增益)的数据。
在回放乐曲期间,由解码器对通过上述方式编码的音频数据进行解码和回放。具体地,解码单元14将音频数据解码为量化信息,解量化单元15将量化信息解量化为频率信息。然后,时间转换单元16将频率信息转换为具有时间波形的音频数据。所得到的音频数据被输出作为解码音频数据。
当对音频数据进行编码时,为了数据压缩,一般剪切(移除)频率信息中所包括的乐曲的高频分量。由于高频声音较少为人耳所感知,因此数据移除的影响较小。
然而,如果从音频数据移除了高频分量,则从频率转换单元11输出的频率信息与从解量化单元15输出的频率信息是不同的。例如,如图2所示,通过编码来剪切乐曲的高范围分量(高频分量)。
在图2中,垂直轴表示乐曲的音频幅度或频率功率,而水平轴表示时间或频率。
当对图2的上部分所示的具有时间波形的音频的音频数据进行频率转换时,获得图2的左中部分所示的频率信息。该频率信息包含范围从低范围分量到高范围分量的不同频率的分量。如果在对音频数据进行编码期间移除频率信息中的高范围分量,则如图2的右中部分所示,在解码期间所获得的频率信息不包含高范围分量。换句话说,图2的右中部分所示的频率信息仅包含低范围分量。
因此,当对通过解量化单元15所执行的解量化而获得的频率信息进行时间转换时,如图2的下部分所示,获得其时间波形比在编码之前的原始音频的时间波形更圆滑的音频的音频数据。以此方式,因为已经移除了原始音频数据中所包含的高范围分量(高频分量),所以基于通过解码而获得的音频数据的音频的时间波形是圆滑的。
当使用通过上述方式已经从其中移除高范围分量的音频数据来回放乐曲时,即使原始乐曲具有丰富的声音,回放乐曲也可能听起来受抑制。回放的乐曲听起来受抑制的级别取决于被移除的高范围分量的量。
据说,人类听觉频率范围的上限处于大约20kHz的量级。如果音频数据中包含达到大约15kHz的频率分量,则当回放时,多数人并没有感觉到声音受抑制。虽然年龄和个体之间存在差别,但一般来说,如果音频数据仅包含频率大约为11kHz或更小的分量,则当回放音频时,多数成年人可以体验到声音受抑制的感觉。
使用以下示例来更好地描述这种情况:人们对于使用包含达到大约15kHz的频率分量的信号的调频(FM)广播服务基本上没有声音受抑制的感觉,而当收听使用仅包含达到大约8kHz的频率分量的信号的调幅(AM)广播服务时,多数人具有声音受抑制的感觉。
一种被称为波段扩展的技术已经可用(见例如日本待审专利申请公开号No.2007-328268),该技术可以在回放音频期间通过生成在编码期间损失的音频数据的高范围分量并且将高范围分量添加到音频数据来改进进行回放时的声音的丰富度。
例如,在采用波段扩展技术的音乐回放装置中,如图3所示,通过使用波段扩展单元41而使得从解码器提供的音频数据受到波段扩展处理。具体地,波段扩展单元41使用从时间转换单元16提供的解码音频数据,并且生成音频数据的高范围分量。然后,波段扩展单元41将所生成的高范围分量添加到音频数据,以产生最终音频数据,并且输出产生的音频数据。在图3中,对于与图1所示的部分对应的部分分配相同的标号,并且省略其描述。
例如,如果从解码器中的时间转换单元16提供给波段扩展单元41的音频数据不包含高范围分量,则如图4的上部分所示,基于该音频数据的音频是时间波形圆滑、并且随时间而稍微改变的音频。在图4中,垂直轴表示音频幅度或频率功率,而水平轴表示时间或频率。
当将具有图4的上部分所示的时间波形的音频的音频数据提供给波段扩展单元41时,波段扩展单元41对所提供的音频数据执行频率分析,以生成高范围分量。具体地,如图4的左中部分所示,波段扩展单元41复制音频数据的低范围分量SL′,并且生成待添加到音频数据的高范围分量SH′。此外,如图4的右中部分所示,波段扩展单元41调整所生成的高范围分量SH′的形状,以产生最终高范围分量XSH′。
波段扩展单元41将通过上述方式生成的高范围分量XSH′添加到从时间转换单元16提供的音频数据。因此,如图4的下部分所示,获得具有随时间而较大地改变的时间波形的音频的音频数据,即具有高范围分量的音频数据。因此,可以改进待回放的音频的质量。
以下三种波段扩展方法可以被看作用于执行其中波段扩展单元41生成音频的高范围分量并且将高范围分量添加到音频数据的波段扩展处理的具体方法:用于沿着频率轴执行波段扩展的方法、用于沿着时间轴执行波段扩展的方法、以及用于既沿着时间轴又沿着频率轴执行波段扩展的方法。
在上述三种波段扩展方法之中的用于沿着频率轴执行波段扩展的方法中,如图5A所示,将音频数据转换为频率信息,并且使用通过转换而获得的频率信息来生成高范围分量。然后,将生成的高范围分量添加到频率信息,并且对所得到的频率信息进行时间转换,以获得具有时间波形的波段扩展音频数据。
具体地,频率转换单元71对解码音频数据进行频率转换,以将音频数据转换为频率信息。副本生成单元72使用频率信息,并且生成待添加到音频的高范围分量。形状调整单元73修改高范围分量以改变各个频率分量的功率,并且调整高范围分量的形状。
此外,高范围附加单元74将形状调整后的高范围分量附加到频率信息,并且将所得到的频率信息提供给时间转换单元75。然后,时间转换单元75执行时间转换,以将附加了高范围分量的频率信息,即添加了高范围分量的频率信息,转换为指示处于不同时间的音频的幅度的音频数据,并且输出该音频数据。用于沿着频率轴、或在频域中执行波段扩展的方法在下文中被称为“使用基于频率的波段扩展方案的波段扩展”。
在用于沿着时间轴执行波段扩展的方法中,如图5B所示,对使用划分滤波器单元81从所提供的音频数据提取的低范围分量进行修改,以生成高范围分量。然后,使用组合滤波器单元84来组合所提供的音频数据和生成的高范围分量的音频数据。由此,获得波段扩展音频数据。
具体地,划分滤波器单元81使用划分滤波器将解码音频数据划分为多个频带,并且从音频数据提取音频的低范围分量和高范围分量。注意,解码音频基本上不包含高范围分量。因此,由于在后续阶段中高范围分量是不可使用的,所以划分滤波器基本上不从音频数据提取高范围分量,在图5B中由叉(“×”)来表示该情况。
副本生成单元82使用划分滤波器单元81所提取的低范围分量的音频数据,并且生成待添加到音频的高范围分量的音频数据。形状调整单元83修改所生成的高范围分量的音频数据,并且调整高范围分量的形状。然后,组合滤波器单元84使用组合滤波器来对划分滤波器单元81所提取出的低范围分量的音频数据的频带和形状调整后的高范围分量的音频数据的频带进行组合,并且输出所得到的音频数据作为波段扩展音频数据。用于沿着时间轴、或在时域中执行波段扩展的方法在下文中被称为“使用基于时间的波段扩展方案的波段扩展”。
在既沿着时间轴又沿着频率轴执行波段扩展的方法中,如图5C所示,使用划分滤波器单元91从音频数据提取低范围分量,并且将低范围分量转换为频率信息。使用通过转换所获得的频率信息来生成高范围分量。然后,使用时间转换将所生成的高范围分量和低范围分量转换为音频数据,并且组合所得到的两份音频数据。因此,获得具有时间波形的波段扩展音频数据。
具体地,划分滤波器单元91使用划分滤波器将解码音频数据划分为多个频带,并且从音频数据提取音频的低范围分量。频率转换单元92执行频率转换,以将所提取的低范围分量的音频数据转换为频率信息。副本生成单元93使用频率信息,并且生成待添加到音频的高范围分量。形状调整单元94调整所生成的高范围分量的形状。
时间转换单元95执行时间转换,以将形状调整后的高范围分量转换为指示处于不同时间的音频的幅度的音频数据。时间转换单元96执行时间转换,以将从频率转换单元92提供的频率信息转换为音频数据。组合滤波器单元97使用组合滤波器对从时间转换单元95提供的音频数据的频带和从时间转换单元96提供的音频数据的频带进行组合,并且将所得到的音频数据输出作为波段扩展音频数据。既沿着时间轴又沿着频率轴、或既在时域又在频域中执行波段扩展的方法在下文中被称为“使用基于时间/频率的波段扩展方案的波段扩展”。
发明内容
在具有波段扩展功能的相关技术的音乐回放装置中,音频数据受到使用预定波段扩展方案的波段扩展,并且音频被回放。然而,取决于要受到波段扩展的音频数据,声音质量的改进不一定是可实现的。
波段扩展技术是这样一种技术:基于音频数据估计音频中损失的高范围分量(高频分量),以伪方式生成估计的高范围分量,并且将所生成的高范围分量添加到原始音频。由于该技术的特性,所以不一定能获得音频中原始包含的高范围分量。反而,作为波段扩展的结果,可能将不想要的噪声添加到音频。
因此,在相关技术的波段扩展方法中,取决于基于音频数据的音频的特征,可能获得或者可能无法获得改进音频的质量的效果。因此,难以与音频数据的特征无关地可靠地改进音频的质量。
因此,期望更可靠地改进音频的质量。
根据本发明实施例,一种信息处理设备,包括:波段扩展装置,用于执行波段扩展处理,以生成特定频带中的分量,并且将所述分量添加到音频数据;以及控制装置,用于控制波段扩展装置使用在多种不同波段扩展方法之中确定的波段扩展方法来执行波段扩展处理,波段扩展方法是针对使用音频数据的特征所确定的音乐类而预先定义的。
波段扩展装置可以执行波段扩展处理,以基于通过对已编码的音频数据进行解码所获得的音频数据来生成特定频带中的分量,并且将分量添加到音频数据。
多种不同波段扩展方法可以至少包括用于沿着时间轴执行波段扩展处理的波段扩展方法、用于沿着频率轴执行波段扩展处理的波段扩展方法、以及用于沿着时间轴和频率轴执行波段扩展处理的波段扩展方法。
音频数据可以是用于回放乐曲的数据,并且信息处理设备可以还包括:分类装置,用于基于乐曲的音频数据将乐曲分类为多种音乐类之一,多种音乐类是使用乐曲的特征预先确定的。
波段扩展装置可以包括:生成装置,用于使用音频数据生成特定频带中的分量,以及调整装置,用于增加或者减少特定频带中的各个频率分量。控制装置可以控制调整装置使用在用于调整特定频带中的分量的多种调整方法之中确定的调整方法增加或者减少各个频率分量,调整方法是根据分类装置获得的分类结果而预先确定的。
控制装置可以控制生成装置使用在用于生成特定频带中的分量的多种生成方法之中确定的生成方法来生成特定频带中的分量,生成方法是根据分类结果而预先确定的。
信息处理设备可以还包括:记录装置,用于为多种音乐类中的每一个,记录指示在多种方法组合之中预先被分配最高评价的方法组合的信息,多种方法组合包括多种波段扩展方法、多种生成方法、以及多种调整方法。可以使用分类结果和记录的信息来选择波段扩展方法、生成方法和调整方法,并且控制装置可以控制波段扩展装置使用所选择的波段扩展方法、生成方法和调整方法来执行波段扩展处理。
可以通过统计地处理客观评价结果和主观评价结果来获得评价,客观评价结果是通过对使用波段扩展处理所获得的音频数据进行分析而获得的。
根据本发明实施例,一种用于信息处理设备的信息处理方法,包括以下步骤:执行波段扩展处理,以生成特定频带中的分量,并且将分量添加到音频数据;以及执行控制以使用在多种不同波段扩展方法之中确定的波段扩展方法来执行波段扩展处理,波段扩展方法是针对使用音频数据的特征所确定的音乐类而预先定义的。根据本发明实施例,一种用于使得信息处理设备的计算机执行处理的程序包括上述步骤。
根据本发明实施例,可以由波段扩展装置使用在多种不同波段扩展方法之中确定的波段扩展方法来执行波段扩展处理。可以对于使用音频数据的特征确定的音乐类预先定义波段扩展方法。
在本发明实施例中,可以对音频数据执行波段扩展。更具体地,在本发明实施例中,可以更可靠地改进音频的质量。
附图说明
图1是示出相关技术的编码器和解码器的结构的示图;
图2是描述相关技术中在编码期间发生的缺少高范围分量的示图;
图3是描述相关技术的波段扩展的示图;
图4是描述相关技术的波段扩展的示图;
图5A至图5C是示出用于执行波段扩展的相关技术的波段扩展单元的结构的示图;
图6是示出对于波段扩展方法、高范围分量生成方法和形状调整方法的组合而给出的评价的示图;
图7是示出根据本发明实施例的音频回放装置的示例结构的框图;
图8是示出校正单元的示例结构的示图;
图9是描述回放处理的流程图;
图10是描述对受到了在基于频率的波段扩展方案的基础上的波段扩展处理的乐曲进行回放处理的流程图;
图11是描述对受到了在基于时间的波段扩展方案的基础上的波段扩展处理的乐曲进行回放处理的流程图;
图12是描述对受到了在基于时间/频率的波段扩展方案的基础上的波段扩展处理的乐曲进行回放处理的流程图;
图13是示出校正单元的另一示例结构的示图;
图14是描述回放处理的流程图;
图15是示出计算机的示例结构的示图。
具体实施方式
下文中将参照附图描述本发明实施例。
根据本发明实施例的音频回放装置被配置为:根据音频的特征对要受到波段扩展的音频进行分类,根据分类结果选择期望的波段扩展方案,并且使用所选择的波段扩展方案对音频数据执行波段扩展处理。
例如,如果要受到波段扩展的音频是乐曲,则通过以下操作来执行音频的分类:预先准备多种音乐类,并且根据音频的特征将要受到波段扩展的音频分类为多个所准备的音乐类之一,所述多种音乐类中的每一种是具有特定特征的乐曲所属的组。
音频回放装置可以被配置为:不仅根据音频的分类结果来改变波段扩展方案,而且还根据分类结果来改变用于生成待添加到音频数据的高范围分量的方法(在下文中被称为“高范围分量生成方法”)和调整高范围分量的形状的方法(在下文中被称为“高范围分量形状调整方法”或“形状调整方法”)。术语“高范围分量形状调整方法”指的是充当高范围分量的频率分量的量值按其增加或者减少的规则,即改变频率分量的方法。
高范围分量生成方法的示例包括以下方法:其中基于音频数据的音频的特定频带中的分量沿着频率轴折回(fold back),然后被移位(平移)以产生高范围分量的方法(下文中被称为“折回方案”)、其中音频的特定频带中的分量按原样沿着频率轴被移位以产生高范围分量的方法(下文中被称为“平移(translating)方案”)。
具体地,例如,假设使用折回方案或平移方案获得包括频率为0kHz至20kHz的频率分量的音频信号。将频率分量相等地划分为两个部分:被称为“低范围分量”的0kHz至10kHz的频率分量、以及被称为“高范围分量”的10kHz至20kHz的频率分量。在以下描述中,频率为0kHz至10kHz的分量(下文中称为“低范围分量”)用于生成频率为10kHz至20kHz的分量作为高范围分量。
在此情况下,在折回方案中,作为音频的低范围分量的0kHz至10kHz的各个频率分量被用作待生成的高范围分量中的20kHz至10kHz的各个频率分量。具体地,低范围分量是沿着频率轴而轴对称地折回的,使得具有低范围分量中的低频的分量的量值变为等于具有高范围分量中的高频的分量的量值。
此外,在平移方案中,作为音频的低范围分量的0kHz至10kHz的各个频率分量被用作待生成的高范围分量中的10kHz至20kHz的各个频率分量。具体地,低范围分量被沿着频率轴直接平移到高频范围,以产生高范围分量,使得具有低范围分量中的低频的分量的量值变为等于具有高范围分量中的低频的分量的量值。
取决于例如音频的频率范围内的哪个频带将要用于生成高范围分量而使用不同的高范围分量生成方法。
此外,高范围分量形状调整方法的示例包括以下方法:其中根据基于音频数据的音频的频率信息中的梯度,即根据音频的谱形状,将高范围分量外插到音频的方法(下文中称为“外插方案”)、以及其中根据音频的低范围分量的特征,将高范围分量修改为预定形状并且将其***音频的方法(下文中称为“学习方案”)。
在外插方案中,调整高范围分量的形状,从而满足要受到波段扩展的音频的各个频率与频率的功率之间的关系,即功率梯度轮廓(profile)关于频率信息中的频率的形状。具体地,例如,当音频的频率的功率,即频率分量的量值(量)随着频率增加而减少时,调整待添加的高范围分量的形状,使得功率可以随着频率增加而减小。
在学***均谱形状。
在使用学习方案进行形状调整期间,使用模式匹配来选择具有最接近于要受到波段扩展的音频的谱形状的谱形状的音频模型。此外,其形状待调整的高范围分量受到形状调整,使得其形状待调整的高范围分量的谱形状,即充当高范围分量的各个频率的功率的相对量值,与对于所选择的模型而预先定义的高范围分量的预定谱形状相一致。
以下,为了简化描述,假设要受到波段扩展的音频数据是用于回放乐曲的音频数据。
音频回放装置被配置成使得根据基于音频数据的乐曲(音频)的音乐类来选择对于改进声音质量最有效的波段扩展方法、高范围分量生成方法和形状调整方法,并且使用所选择的方法对乐曲执行波段扩展。在此情况下,例如,如图6所示,对于每一音乐类预先评价上述方法的各种组合。
在图6中,对于乐曲(音频)的音乐类α、β和γ中的每一个给出针对波段扩展方法、高范围分量生成方法和形状调整方法的组合的评价值。这里,采用四个级别的评价用于评价所述组合,这四个级别的评价从评价的最高级别按照降序由以下符号来指示:双圆圈、圆圈(圆形)、三角以及叉。也就是说,符号双圆圈表示最高级别的评价。
此外,“框架”列包含波段扩展方法,字符“频率”、“时间”和“时间+频率”分别表示基于频率的波段扩展方案、基于时间的波段扩展方案和基于时间/频率的波段扩展方案。此外,“副本”列包含高范围分量生成方法,字符“折回”和“平移”分别表示折回方案和平移方案。此外,“形状”列包含高范围分量形状调整方法,字符“外插”和“学习”分别表示外插方案和学习方案。
例如,对于属于音乐类α的乐曲的音频数据,使用基于时间的波段扩展方案、折回方案和学习方案的组合的波段扩展对于改进声音质量是最有效的。类似地,例如,对于属于音乐类β的乐曲的音频数据,使用基于频率的波段扩展方案、折回方案和学习方案的组合的波段扩展对于改进声音质量是最有效的。
当对针对每一音乐类的上述方法的组合进行评价时,例如,首先,使用某种方法将要受到波段扩展的每个乐曲分类为多种预定音乐类之一。然后,对于每一音乐类选择波段扩展方法、高范围分量生成方法和形状调整方法的多种组合,并且使用所述组合对属于每一音乐类的乐曲执行波段扩展。由此,对各种方法的组合进行评价。
例如,对通过使用分析器或计算器对音频数据执行分析以客观地(定量地)评价各种方法的组合所获得的评价结果以及通过由实际收听波段扩展乐曲的人主观地评价各种方法的组合所获得的评价结果进行统计地处理,以确定各种方法的组合的最终评价值。
因此,在图6所示的示例中,对于改进声音质量最有效的各种方法的最合适的组合,即波段扩展方法、高范围分量生成方法和形状调整方法的组合,根据音乐类的不同而不同。因为波段扩展方法、高范围分量生成方法和形状调整方法中的每种方法(方案)具有不同的优点和缺点,所以被分类为各个音乐类的波段扩展乐曲的评价取决于波段扩展方法、高范围分量生成方法和形状调整方法的组合而不同。
例如,在基于频率的波段扩展方案中,使用频率转换,有可能详细地研究每一乐曲中包含哪些频率分量,并且优点在于,提供了高范围分量的高预测精确度。换句话说,基于频率的波段扩展方案具有高频率分辨率。
然而,基于频率的波段扩展方案具有缺点。具体地,在基于频率的波段扩展方案中,并非直接使用具有时间波形的音频,而是通过将音频数据转换为频率信息来生成高范围分量。因此,所生成的高范围分量没有关于时间的信息。甚至当将充当高范围分量的频率信息被转换为具有时间波形的音频数据时,例如,以获得的高范围分量回放音频的时间波形可能与原始乐曲的高范围分量的时间波形不匹配。也就是说,可能不正确地再现高范围分量的音频的幅度的时间改变。换句话说,基于频率的波段扩展方案具有高范围分量的低时间分辨率。
与之对照,在基于时间的波段扩展方案中,通过直接使用具有时间波形的音频数据来生成高范围分量。由此,可以生成其时间改变与乐曲的低范围分量中的时间改变相匹配的高范围分量,并且有利的是,时间分辨率较高。然而,基于时间的波段扩展方案不允许详细研究每一乐曲中包含哪些频率分量,并且提供了高范围分量的低预测精确度。换句话说,频率分辨率较低。
同时,基于时间/频率的波段扩展方案可以同时实现基于频率的波段扩展方案和基于时间的波段扩展方案二者的优点。然而,反之,基于时间/频率的波段扩展方案可能同时遭遇这两种方案的缺点。换句话说,基于时间/频率的波段扩展方案在某种程度上具有高频率分辨率和时间分辨率。频率分辨率和时间分辨率的级别取决于要受到波段扩展的乐曲。
音频回放装置预先记录波段扩展匹配数据库,该波段扩展匹配数据库包括按上述方式预先确定的音乐类和信息。所述信息指示针对每个音乐类对于改进声音质量最有效的波段扩展方法、高范围分量生成方法和形状调整方法的组合。音频回放装置基于记录的波段扩展匹配数据库对音频数据执行波段扩展。
接下来,将描述音频回放装置根据乐曲的分类结果选择期望的波段扩展方案并且使用所选择的波段扩展方案执行波段扩展的示例。
图7是示出根据本发明实施例的音频回放装置的示例结构的框图。音频回放装置131包括捕获单元141、解码器142、校正单元143和输出单元144。
捕获单元141从音频回放装置131中放置的光盘,例如致密盘(CD),或连接到音频回放装置131的设备捕获乐曲的音频数据,并且记录所捕获的音频数据。音频数据可以是使用例如ATRAC或MP3的编码方法进行编码的数据。此外,捕获单元141将记录的音频数据提供给解码器142。
解码器142从捕获单元141接收待回放的乐曲的音频数据,并且对其进行解码。解码器142包括解码单元151、解量化单元152和时间转换单元153。
解码单元151对从捕获单元141接收到的音频数据进行解码,以将形成音频数据的码串转换为量化信息,并且将量化信息提供给解量化单元152。解量化单元152将从解码单元151提供的量化信息解量化为频率信息,并且将频率信息提供给时间转换单元153。时间转换单元153对从解量化单元152提供的频率信息执行时间转换,以将频率信息转换为指示处于不同时间的乐曲的幅度的音频数据。然后,时间转换单元153将通过时间转换所获得的音频数据提供给校正单元143作为解码音频数据。
校正单元143对从时间转换单元153提供的音频数据执行波段扩展,并且将波段扩展音频数据提供给输出单元144。输出单元144包括例如扬声器,并且基于从校正单元143提供的音频数据来回放乐曲。
图7所示的校正单元143具有例如图8所示的结构。具体地,校正单元143包括分类单元181、切换控制单元182、切换单元183、节点184至187、基于频率的波段扩展单元188、基于时间的波段扩展单元189和基于时间/频率的波段扩展单元190。从时间转换单元153提供的音频数据被提供给分类单元181和切换单元183。
分类单元181基于从时间转换单元153提供的音频数据对基于音频数据的乐曲执行分类。例如,分类单元181执行12级别声音分析,以从音频数据提取指示乐曲的特征的音乐特征值。然后,分类单元181使用提取出的音乐特征值以及音乐分类数据库保存单元211中保存的音乐分类数据库来对乐曲进行分类。音乐分类数据库保存单元211被提供在分类单元181中。
例如,音乐分类数据库保存单元211记录音乐分类数据库,音乐分类数据库包括多条分类信息以及与该多条分类信息相关联的音乐特征值。多条分类信息指示表示乐曲类型(类别)(例如摇滚乐、流行音乐、古典乐、爵士乐以及声乐)的音乐类。音乐分类数据库中所包括的音乐特征值是从属于关联音乐类的乐曲所提取出的平均音乐特征值。
分类单元181参照音乐分类数据库保存单元211中记录的音乐分类数据库,并且将与和从音频数据提取出的音乐特征值最接近的音乐特征值相关联的分类信息提供给切换控制单元182。
乐曲的分类可以不一定是基于类别的。可替换地,乐曲的分类可以是基于乐曲的情绪,例如快乐和忧伤,或乐曲的节拍,例如快速和慢速。任何种类的指示乐曲的特征的信息可以用于乐曲的分类。
切换控制单元182基于从分类单元181提供的分类信息选择波段扩展方案,并且控制切换单元183的操作,从而使用所选择的波段扩展方案执行波段扩展。
切换控制单元182包括波段扩展匹配数据库保存单元212,并且波段扩展匹配数据库保存单元212记录波段扩展匹配数据库。波段扩展匹配数据库包括指示音乐类的分类信息以及指示与分类信息相关联的波段扩展方法、高范围分量生成方法和形状调整方法的组合的信息。切换控制单元182参照波段扩展匹配数据库来选择与从分类单元181提供的分类信息相关联的波段扩展方案。
切换单元183包括例如切换器。切换单元183在切换控制单元182的控制下切换来自时间转换单元153的音频数据的输出。具体地,切换单元183连接到节点184至187之一,以将音频数据输出到基于频率的波段扩展单元188、基于时间的波段扩展单元189、基于时间/频率的波段扩展单元190或输出单元144。
基于频率的波段扩展单元188使用基于频率的波段扩展方案对从切换单元183经由节点184提供的音频数据执行波段扩展。基于频率的波段扩展单元188包括频率转换单元213、波段扩展单元214和时间转换单元215。
频率转换单元213对从切换单元183提供的音频数据执行频率转换,以产生频率信息,并且将频率信息提供给波段扩展单元214。
波段扩展单元214使用从频率转换单元213提供的频率信息生成波段扩展频率信息。波段扩展单元214包括副本生成单元231、形状调整单元232和高范围附加单元233。
副本生成单元231使用预定高范围分量生成方法、采用从频率转换单元213提供的频率信息生成待添加到乐曲的伪高范围分量,更具体地,高频分量的频率信息,并且将所生成的高范围分量和从频率转换单元213提供的频率信息提供给形状调整单元232。
形状调整单元232使用预定形状调整方法修改从副本生成单元231提供的高范围分量以调整高范围分量的形状,并且将形状调整后的高范围分量以及关于从副本生成单元231提供的乐曲的频率信息提供给高范围附加单元233。在从形状调整单元232接收到频率信息和高范围分量时,高范围附加单元233将高范围分量添加到频率信息,并且将所得到的频率信息提供给时间转换单元215。时间转换单元215执行时间转换,以将从高范围附加单元233提供的频率信息转换为音频数据,并且将所得到的音频数据提供给输出单元144。
此外,基于时间的波段扩展单元189使用基于时间的波段扩展方案对从切换单元183经由节点185提供的音频数据执行波段扩展。基于时间的波段扩展单元189包括划分滤波器单元216、波段扩展单元217和组合滤波器单元218。
划分滤波器单元216使用划分滤波器将从切换单元183提供的音频数据划分为多个频带,并且从音频数据提取乐曲的低范围分量,例如乐曲的0kHz至10kHz分量的音频数据。划分滤波器单元216将提取出的音频数据提供给波段扩展单元217和组合滤波器单元218。
波段扩展单元217使用从划分滤波器单元216提供的音频数据生成待添加到乐曲的伪高范围分量。波段扩展单元217包括副本生成单元234和形状调整单元235。
副本生成单元234使用预定高范围分量生成方法、采用从划分滤波器单元216提供的音频数据生成乐曲的伪高范围分量,更具体地,高范围分量的音频数据,并且将所生成的高范围分量提供给形状调整单元235。形状调整单元235使用预定形状调整方法修改从副本生成单元234提供的高范围分量以调整高范围分量的形状,并且将形状调整后的高范围分量提供给组合滤波器单元218。
组合滤波器单元218使用组合滤波器对从划分滤波器单元216提供的音频数据的频带和从形状调整单元235提供的高范围分量的音频数据的频带进行组合,并且将所得到的音频数据提供给输出单元144。
此外,基于时间/频率的波段扩展单元190使用基于时间/频率的波段扩展方案对从切换单元183经由节点186提供的音频数据执行波段扩展。基于时间/频率的波段扩展单元190包括划分滤波器单元219、频率转换单元220、波段扩展单元221、时间转换单元222和223以及组合滤波器单元224。
划分滤波器单元219使用划分滤波器将从切换单元183提供的音频数据划分为多个频带以从音频数据提取乐曲的低范围分量的音频数据,并且将提取出的音频数据提供给频率转换单元220。频率转换单元220对从划分滤波器单元219提供的低范围分量的音频数据执行频率转换以产生频率信息,并且将该频率信息提供给波段扩展单元221和时间转换单元223。
波段扩展单元221使用从频率转换单元220提供的频率信息生成待添加到乐曲的高范围分量。波段扩展单元221包括副本生成单元236和形状调整单元237。
副本生成单元236使用预定高范围分量生成方法、采用从频率转换单元220提供的频率信息生成待添加到乐曲的伪高范围分量,更具体地,高频分量的频率信息,并且将所生成的高范围分量提供给形状调整单元237。形状调整单元237使用预定形状调整方法修改从副本生成单元236提供的高范围分量以调整高范围分量的形状,并且将形状调整后的高范围分量提供给时间转换单元222。
时间转换单元222执行时间转换以将从形状调整单元237提供的频率信息转换为音频数据,并且将音频数据提供给组合滤波器单元224。此外,时间转换单元223执行时间转换以将从频率转换单元220提供的频率信息转换为音频数据,并且将音频数据提供给组合滤波器单元224。组合滤波器单元224使用组合滤波器对从时间转换单元222提供的音频数据的频带与从时间转换单元223提供的音频数据的频带进行组合,并且将所得到的音频数据提供给输出单元144。
当打开音频回放装置131的电源并且由用户指定待回放的乐曲时,音频回放装置131执行捕获音频数据并且回放音频数据的回放处理,以用于回放由用户指定的乐曲。
现将参照图9所示的流程图描述由音频回放装置131执行的回放处理。
在步骤S11中,捕获单元141根据由用户执行的操作来捕获待回放的某些乐曲的音频数据,并将所述音频数据记录在捕获单元141中。例如,捕获单元141从音频回放装置131中放置的光盘、音频回放装置131中提供的硬盘、连接到音频回放装置131的设备等捕获音频数据。也可以在音频回放装置131中提供的非易失性存储器,例如硬盘中记录由捕获单元141捕获的音频数据。
在步骤S12,解码器142从捕获单元141获得由用户指定的乐曲的音频数据,并且对该音频数据进行解码。
具体地,解码单元151从捕获单元141获得音频数据,并且将该音频数据解码为量化信息。然后,解码单元151将量化信息提供给解量化单元152。解量化单元152将从解码单元151提供的量化信息解量化为频率信息,并且将频率信息提供给时间转换单元153。时间转换单元153执行时间转换,以将从解量化单元152提供的、指示乐曲的各个频率的功率的频率信息转换为指示处于不同时间的乐曲的幅度的音频数据。将该音频数据作为解码音频数据从时间转换单元153提供给分类单元181和切换单元183。
在步骤S13,校正单元143确定是否将要执行波段扩展。例如,当使用者执行用于命令音频回放装置131执行波段扩展的操作时,确定将要执行波段扩展。
当关闭音频回放装置131的电源时,音频回放装置131可以在其中记录指示用户是否已经命令音频回放装置131执行波段扩展的信息。因此,下一次打开音频回放装置131的电源时,音频回放装置131可以基于记录的信息立即确定是否要执行波段扩展。
如果在步骤S13中确定将不执行波段扩展,则校正单元143命令切换控制单元182将音频数据输出到节点187。然后,切换控制单元182根据校正单元143的命令来控制切换单元183的操作,使得切换单元183连接到节点187。然后,切换单元183将音频数据的输出切换到节点187。此后,处理进入到步骤S14。
在步骤S14,输出单元144回放乐曲。具体地,切换单元183经由节点187将从时间转换单元153提供的音频数据提供给输出单元144。输出单元144基于从切换单元183提供的音频数据回放乐曲。因此,对还没有受到波段扩展的乐曲进行回放。当在步骤S14中回放乐曲时,处理进入到步骤S22。
另一方面,如果在步骤S13中确定要执行波段扩展,则在步骤S15中,分类单元181基于从时间转换单元153提供的乐曲的音频数据对乐曲进行分类,并且将分类结果提供给切换控制单元182。
例如,在分类单元181被配置为通过执行12级别声音分析来对乐曲进行分类的情况下,分类单元181将一个乐曲的音频数据划分为多个八度音阶信号,对八度音阶信号中的每一个执行滤波处理,并且对于每个八度音阶提取12个音程信号。然后,分类单元181使用从音频数据获得的12个音程信号确定音乐特征值。音乐特征值表示乐曲的特征,例如节拍结构以及和和弦进行(chord progression)。
分类单元181进一步参照音乐分类数据库保存单元211中的音乐分类数据库来找寻与和从音频数据提取出的音乐特征值最接近(最相似)的音乐特征值相关联的分类信息,并且将找到的分类信息作为乐曲的分类结果提供给切换控制单元182。该分类信息指示乐曲所分类为的音乐类。
以此方式,使用一个乐曲的整个音频数据来对该乐曲进行分类。这样提供了比在仅使用一部分音频数据来对与该部分对应的音乐片段进行分类的情况下更可靠的分类。
代替对乐曲进行分类,分类单元181可以从经由通信网络,例如互联网连接到音频回放装置131的设备获得分类信息,或者可以通过解码器142和捕获单元141从放置在音频回放装置131中的光盘获得分类信息。例如,在支持CD-文本标准的光盘中,在光盘的导入区中记录了分类信息。
可替换地,当捕获单元141捕获乐曲的音频数据时,可以对乐曲进行分类,并且可以记录分类结果。通过预先记录乐曲的分类结果,可以更快地启动乐曲的回放。
在步骤S16中,切换单元183在切换控制单元182的控制下切换从时间转换单元153提供的音频数据的输出。
具体地,切换控制单元182参照波段扩展匹配数据库保存单元212中的波段扩展匹配数据库来选择与从分类单元181提供的分类信息相关联的波段扩展方法。然后,切换控制单元182根据所选择的波段扩展方法控制切换单元183,使得可以将音频数据提供给节点184至186之一。例如,当选择基于频率的波段扩展方案作为波段扩展方法时,切换控制单元182控制切换单元183连接到节点184,使得可以使用基于频率的波段扩展方案执行波段扩展。
在步骤S17中,切换控制单元182确定是否要使用基于频率的波段扩展方案来执行波段扩展。例如,当切换单元183连接到节点184并且音频数据从切换单元183被提供给基于频率的波段扩展单元188时,确定将要使用基于频率的波段扩展方案来执行波段扩展。
如果在步骤S17中确定将要使用基于频率的波段扩展方案来执行波段扩展,则在步骤S18中,音频回放装置131执行对受到了在基于频率的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理。在对受到了在基于频率的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理中,使用基于频率的波段扩展方案对乐曲执行波段扩展,并且回放乐曲。也就是说,执行频域中的波段扩展。以下将详细描述对受到了在基于频率的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理。
在执行对受到了在基于频率的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理之后,处理进入到步骤S22。
另一方面,如果在步骤S17中确定将不使用基于频率的波段扩展方案执行波段扩展,则在步骤S19中,切换控制单元182确定是否将要使用基于时间的波段扩展方案来执行波段扩展。例如,当切换单元183连接到节点185并且音频数据从切换单元183被提供给基于时间的波段扩展单元189时,确定将要使用基于时间的波段扩展方案来执行波段扩展。
如果在步骤S19中确定将要使用基于时间的波段扩展方案来执行波段扩展,则在步骤S20中,音频回放装置131执行对受到了在基于时间的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理。在对受到了在基于时间的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理中,使用基于时间的波段扩展方案对乐曲执行波段扩展,并且回放乐曲。也就是说,执行时域中的波段扩展。以下将详细描述对受到了在基于时间的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理。
在执行对受到了在基于时间的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理之后,处理进入到步骤S22。
如果在步骤S19中确定将不使用基于时间的波段扩展方案来执行波段扩展,则在步骤S21中,音频回放装置131执行对受到了在基于时间/频率的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理。在对受到了在基于时间/频率的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理中,使用基于时间/频率的波段扩展方案对乐曲执行波段扩展,并且回放乐曲。也就是说,执行时域和频域二者之中的波段扩展。以下将详细描述对受到了在基于时间/频率的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理。
在执行对受到了在基于时间/频率的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理之后,处理进入到步骤S22。
当在步骤S14、S18、S20或S21中回放一个乐曲时,然后在步骤S22中,音频回放装置131确定是否将要终止乐曲的回放。例如,当已经完成了由用户指定的所有乐曲的回放时,确定将要终止回放。
如果在步骤S22中确定将不终止回放,则处理返回到步骤S12,并且重复上述处理,以回放下一乐曲。
另一方面,如果在步骤S22确定将要终止回放,则音频回放装置131的各个部分终止处于进行中的处理。然后,回放处理结束。
以此方式,音频回放装置131对乐曲进行分类,并且根据分类结果改变波段扩展方法。然后,音频回放装置131使用同一波段扩展方法对一个乐曲的音频数据执行波段扩展。
以此方式,根据乐曲的分类结果改变波段扩展方法。因此,可以使用最适合于乐曲的音乐类的波段扩展方法来执行波段扩展。换句话说,可以使用针对待回放的乐曲对于改进声音质量最有效的波段扩展方法来对音频数据执行波段扩展。这可以比相关技术更可靠地改进乐曲(音频)的质量。
接下来,将参照图10的流程图描述对受到了在基于频率的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理,该处理与图9所示的步骤S18的处理相对应。
在步骤S51中,频率转换单元213对从切换单元183提供的音频数据执行频率转换以产生频率信息,并且将频率信息提供给副本生成单元231。频率转换单元213执行频率转换,例如正交变换,如离散傅立叶变换或修正离散余弦变换。相应地,可以获得指示乐曲中所包含的各个频率分量的量值,即各个频率的功率的频率信息。
在步骤S52中,副本生成单元231使用预定高范围分量生成方法,例如折回方案,采用从频率转换单元213提供的频率信息生成待添加到乐曲的伪高范围分量,例如,如10kHz至20kHz范围的特定频带中的分量。更具体地,高范围分量(高频分量)是指示特定频带中的各个频率的功率的频率信息,即关于特定频率的音频的频率信息,该频率信息是使用关于乐曲的频率信息中所包括的某些或所有频带中的分量而生成的。
在生成高范围分量之后,副本生成单元231将所生成的高范围分量和从频率转换单元213提供的频率信息提供给形状调整单元232。
在步骤S53中,形状调整单元232使用预定形状调整方法,例如外插方案,调整从副本生成单元231提供的高范围分量的形状。具体地,形状调整单元232增加或者减少高范围分量的各个频率的功率,以调整高范围分量的形状。然后,形状调整单元232将形状调整后的高范围分量和从副本生成单元231提供的关于乐曲的频率信息提供给高范围附加单元233。
在步骤S54中,在从形状调整单元232接收到频率信息和高范围分量时,高范围附加单元233将高范围分量附加到频率信息,并且将所得到的频率信息提供给时间转换单元215。具体地,将频率信息中所不包括的、高频范围中的频率的功率添加到包括低频范围中的频率的功率的、关于乐曲的频率信息,并且生成指示从低频范围到高频范围的范围中的各个频率的功率的频率信息。
在步骤S55中,时间转换单元215执行时间转换以将从高范围附加单元233提供的频率信息转换为音频数据,并且将所获得的音频数据提供给输出单元144。时间转换单元215执行时间转换,例如离散傅立叶逆变换或修正离散余弦逆变换,以将频率信息转换为具有时间波形的音频数据,即指示处于不同时间的乐曲的幅度的音频数据。
在步骤S56中,输出单元144基于从时间转换单元215提供的音频数据回放乐曲。当通过上述方式回放受到了使用基于频率的波段扩展方案的波段扩展的乐曲时,对受到了在基于频率的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理结束。然后,处理进入到图9所示的步骤S22。
从而,音频回放装置131对频域中的乐曲(音频数据)执行波段扩展,并且回放所得到的乐曲。按上述方式在频域中进行波段扩展允许对乐曲中原始地包含的高范围分量的更高精确度的估计,并且允许乐曲的质量更可靠的改进。
接下来,将参照图11的流程图描述对受到了在基于时间的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理,该处理与图9所示的步骤S20的处理相对应。
在步骤S91中,划分滤波器单元216使用划分滤波器将从切换单元183提供的音频数据划分为多个频带,并且从音频数据提取乐曲的低范围分量。划分滤波器单元216将包括提取出的低范围分量的音频数据提供给副本生成单元234和组合滤波器单元218。
在步骤S92中,副本生成单元234使用预定高范围分量生成方法,例如折回方案,采用从划分滤波器单元216提供的音频数据生成待添加到乐曲的高范围分量,并且将高范围分量提供给形状调整单元235。
具体地,例如,副本生成单元234对具有时间波形的音频数据执行频率调制,以生成包括特定频带中的分量的音频的音频数据作为高范围分量。作为频率调制的具体示例,如图4所示,由划分滤波器所获得的低范围分量可以简单地用作本该由相同划分滤波器所获得的高范围分量。也可以根据期望而选择其它各种方法。在此,由副本生成单元234生成的高范围分量可以是指示待添加到乐曲的音频的处于不同时间的幅度的音频数据。
甚至当使用同一高范围分量生成方法生成高范围分量时,例如,副本生成单元231使用频率信息生成高范围分量(关于高频分量的频率信息),而副本生成单元234使用音频数据生成高范围分量(高频分量的音频数据)。也就是说,待处理的数据类型取决于波段扩展方案而不同。
在步骤S93中,形状调整单元235使用预定形状调整方法,如学习方案,调整从副本生成单元234提供的高范围分量的形状,并且将形状调整后的高范围分量提供给组合滤波器单元218。具体地,形状调整单元235适当地改变充当所提供的高范围分量的音频数据的音频的处于不同时间的幅度,以调整高范围分量的形状。更具体地,例如,通过执行具有预定形状(频率特性)的滤波器,例如有限冲激响应(FIR)滤波器或无限冲激响应(IIR)滤波器的滤波器系数与高范围分量的时间信号之间的卷积来调整高范围分量的形状(频率特性)。
在步骤S94中,组合滤波器单元218使用组合滤波器对从划分滤波器单元216提供的音频数据的频带和从形状调整单元235提供作为高范围分量的音频数据的频带进行组合,并且将所得到的音频数据提供给输出单元144。也就是说,组合滤波器单元218将高范围分量的音频数据添加到低范围分量的音频数据,以生成包含从低频到高频范围中的各个频率分量的乐曲的音频数据。
在步骤S95中,输出单元144基于从组合滤波器单元218提供的音频数据回放乐曲。当按上述方式对受到了使用基于时间的波段扩展方案的波段扩展的乐曲进行回放时,对受到了在基于时间的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理结束。然后,处理进入到图9所示的步骤S22。
从而,音频回放装置131对时域中的乐曲(音频数据)执行波段扩展,并且回放所得到的乐曲。按上述方式在时域中进行波段扩展允许生成其时间改变与原始低范围分量的时间改变相匹配的高范围分量,并且允许乐曲的质量更可靠的改进。
此外,将参照图12的流程图描述对受到了在基于时间/频率的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理,该处理与图9所示的步骤S21的处理相对应。
在步骤S121中,划分滤波器单元219使用划分滤波器将从切换单元183提供的音频数据划分为多个频带,并且从音频数据提取乐曲的低范围分量。划分滤波器单元219将包括提取出的低范围分量的音频数据提供给频率转换单元220。
在步骤S122中,频率转换单元220对从划分滤波器单元219提供的音频数据执行频率转换以产生频率信息,并且将该频率信息提供给副本生成单元236和时间转换单元223。频率转换单元220执行频率转换,例如正交变换,如离散傅立叶变换或修正离散余弦变换。因而,可以获得指示乐曲中所包括的各个频率的功率的频率信息。
在步骤S123中,副本生成单元236使用预定高范围分量生成方法,例如折回方案,采用从频率转换单元220提供的频率信息生成乐曲的高范围分量,例如,如10kHz至20kHz范围的特定频带中的分量。更具体地,高范围分量(高频分量)是指示特定频带中的各个频率的功率的频率信息,该频率信息是使用关于乐曲的频率信息中所包括的某些或所有频带中的分量而生成的。
在步骤S124中,形状调整单元237使用预定形状调整方法,如外插方案,调整从副本生成单元236提供的高范围分量的形状,并且将形状调整后的高范围分量提供给时间转换单元222。具体地,形状调整单元237增加或者减少高范围分量的各个频率的功率,以调整高范围分量的形状。
在步骤S125中,时间转换单元222和223分别对从形状调整单元237提供的高范围分量和从频率转换单元220提供的频率信息执行时间转换以产生音频数据,并且将音频数据提供给组合滤波器单元224。时间转换单元222和223执行时间转换,例如离散傅立叶逆变换或修正离散余弦逆变换,以将频率信息转换为具有时间波形的音频数据,即指示处于不同时间的音频的幅度的音频数据。
在步骤S126中,组合滤波器单元224使用组合滤波器对从时间转换单元222提供作为高范围分量的音频数据的频带与从时间转换单元223提供的音频数据的频带进行组合,并且将所得到的音频数据提供给输出单元144。因此,可以获得包含从低频到高频范围中的各个分量的乐曲的音频数据。
在步骤S127中,输出单元144基于从组合滤波器单元224提供的音频数据回放乐曲。当按上述方式对受到了使用基于时间/频率的波段扩展方案的波段扩展的乐曲进行回放时,对受到了在基于时间/频率的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理结束。然后,处理进入到图9所示的步骤S22。
因而,音频回放装置131既在时域中又在频域中对乐曲的音频数据执行波段扩展处理,以回放波段扩展乐曲。按上述方式既在时域中又在频域中进行波段扩展允许生成具有基于时间的波段扩展方案和基于频率的波段扩展方案二者的特征的高范围分量,并且允许乐曲的质量的改进。
此外,在执行波段划分之后,音频数据被转换为频率信息。因此,可以仅将处理所必须的低范围分量确定为频率转换的目标。这样可以减少频率转换中涉及的处理量,并且可以提供更高效并且快速的高范围分量的生成。此外,使用基于时间/频率的波段扩展方案的波段扩展可以减少频率转换中涉及的处理量,因此确保可以通过更小的硬件配置来生成高范围分量。
切换控制单元182可以参照波段扩展匹配数据库以基于分类信息来确定高范围分量生成方法,并且可以使得副本生成单元231、234或236使用确定的高范围分量生成方法来生成高范围分量。可替换地,可以根据从用户给定的指令来改变高范围分量生成方法。
类似地,切换控制单元182可以参照波段扩展匹配数据库以基于分类信息来确定形状调整方法,并且可以使得形状调整单元232、235或237使用确定的形状调整方法来调整形状。可替换地,可以根据从用户给定的指令来改变形状调整方法。
此外,可以根据从用户给定的指令切换来自切换单元183的音频数据的输出。也就是说,可以根据从用户给定的指令改变切换单元183连接到节点184至186中的哪一个。
在以上描述中,通过示例的方式,根据乐曲的分类结果仅改变波段扩展方法。除了波段扩展方法之外,也可以根据乐曲的音乐类改变高范围分量生成方法和形状调整方法。
在此情况下,校正单元143可以具有例如图13所示的结构。在图13中,对于与图8所示的部分相对应部分分配相同的附图标记,并且在不需要的情况下省略其描述。
在图13所示的校正单元143中,节点184、185和186分别连接到频率转换单元213、划分滤波器单元216和划分滤波器单元219,划分滤波器单元219连接到频率转换单元220。
此外,频率转换单元213、划分滤波器单元216和频率转换单元220经由切换单元271连接到节点272至277。
切换单元271被提供有切换器321至323。切换器321适用于将从频率转换单元213提供的频率信息的输出切换到节点272或273。切换器322适用于将从划分滤波器单元216提供的音频数据的输出切换到节点274或275。切换器323适用于将从频率转换单元220提供的频率信息的输出切换到节点276或277。切换单元271在切换控制单元182的控制下对切换器321至323的连接进行切换。
节点272至277分别连接到副本生成单元278至283。
副本生成单元278、280和282分别使用从频率转换单元213提供的频率信息、从划分滤波器单元216提供的音频数据和从频率转换单元220提供的频率信息,采用折回方案生成待添加到乐曲的伪高范围分量。
副本生成单元279、281和283分别使用从频率转换单元213提供的频率信息、从划分滤波器单元216提供的音频数据和从频率转换单元220提供的频率信息,采用平移方案生成待添加到乐曲的伪高范围分量。
由副本生成单元278至283所生成的高范围分量经由切换单元284被提供给节点285至296。切换单元284被提供有切换器324至329。
切换器324适用于将从副本生成单元278提供的高范围分量的输出切换到节点285或286。切换器325适用于将从副本生成单元279提供的高范围分量的输出切换到节点287或288。
切换器326适用于将从副本生成单元280提供的高范围分量的输出切换到节点289或290。切换器327适用于将从副本生成单元281提供的高范围分量的输出切换到节点291或292。切换器328适用于将从副本生成单元282提供的高范围分量的输出切换到节点293或294。切换器329适用于将从副本生成单元283提供的高范围分量的输出切换到节点295或296。
切换单元284在切换控制单元182的控制下对切换器324至329的连接进行切换。
节点285至296分别进一步连接到形状调整单元297至308。
形状调整单元297、299、301、303、305和307使用外插方案分别调整从副本生成单元278、279、280、281、282和283提供的高范围分量的形状。
形状调整单元298、300、302、304、306和308使用学习方案分别调整从副本生成单元278、279、280、281、282和283提供的高范围分量的形状。
其形状已由形状调整单元297至300所调整的高范围分量被提供给高范围附加单元233。其形状已由形状调整单元301至304所调整的高范围分量被提供给组合滤波器单元218。其形状已由形状调整单元305至308所调整的高范围分量被提供给时间转换单元222。
因此,在图13所示的校正单元143中,切换单元183、271和284根据在组合中使用波段扩展方法、高范围分量生成方法和形状调整方法中的哪些方法而切换数据的输出。
在图13所示的校正单元143中,包括频率转换单元213、副本生成单元278和279、形状调整单元297至300、高范围附加单元233和时间转换单元215的部分与图8所示的基于频率的波段扩展单元188相对应。
类似地,在图13所示的校正单元143中,包括划分滤波器单元216、副本生成单元280和281、形状调整单元301至304和组合滤波器单元218的部分与图8所示的基于时间的波段扩展单元189相对应。此外,在图13所示的校正单元143中,包括划分滤波器单元219、频率转换单元220、副本生成单元282和283、形状调整单元305至308、时间转换单元222和223和组合滤波器单元224的部分与图8所示的基于时间/频率的波段扩展单元190相对应。
接下来,将参照图14所示的流程图描述由包括具有图13所示结构的校正单元143的音频回放装置执行的回放处理。在图14中,步骤S151至S155的处理与图9所示的步骤S11至S15的处理相似,并且省略其描述。
在步骤S155中,分类单元181对乐曲进行分类,并且将关于乐曲的分类信息提供给切换控制单元182。然后,在步骤S156中,切换单元183在切换控制单元182的控制下切换从时间转换单元153提供的音频数据的输出。
具体地,切换控制单元182参照波段扩展匹配数据库保存单元212中的波段扩展匹配数据库来选择与从分类单元181提供的分类信息相关联的波段扩展方案、高范围分量生成方法和形状调整方法。
然后,切换控制单元182根据所选择的波段扩展方案控制切换单元183,使得可以将音频数据提供给节点184至186之一。因此,当选择基于频率的波段扩展方案时,经由节点184将从切换单元183提供的音频数据提供给频率转换单元213,当选择基于时间的波段扩展方案时,经由节点185将从切换单元183提供的音频数据提供给划分滤波器单元216,而当选择基于时间/频率的波段扩展方案时,经由节点186将从切换单元183提供的音频数据提供给划分滤波器单元219。
在步骤S157中,切换单元271在切换控制单元182的控制下切换频率信息或音频数据的输出。具体地,切换控制单元182根据在步骤S156的处理中所选择的波段扩展方案和高范围分量生成方法控制切换单元271的操作。
例如,当选择基于频率的波段扩展方案和折回方案时,切换控制单元182使得切换单元271中的切换器321连接到节点272。当选择基于频率的波段扩展方案和平移方案时,切换控制单元182使得切换单元271中的切换器321连接到节点273。
当选择基于时间的波段扩展方案和折回方案时,切换控制单元182使得切换单元271中的切换器322连接到节点274。当选择基于时间的波段扩展方案和平移方案时,切换控制单元182使得切换单元271中的切换器322连接到节点275。当选择基于时间/频率的波段扩展方案和折回方案时,切换控制单元182使得切换单元271中的切换器323连接到节点276。当选择基于时间/频率的波段扩展方案和平移方案时,切换控制单元182使得切换单元271中的切换器323连接到节点277。
在步骤S158中,切换单元284在切换控制单元182的控制下切换高范围分量的输出。具体地,切换控制单元182根据在步骤S156的处理中所选择的波段扩展方案、高范围分量生成方法和形状调整方法控制切换单元284的操作。
例如,在选择基于频率的波段扩展方案和折回方案的情况下,当选择外插方案时,切换控制单元182使得切换单元284中的切换器324连接到节点285,而当选择学***移方案的情况下,当选择外插方案时,切换控制单元182使得切换单元284中的切换器325连接到节点287,而当选择学习方案时,使得切换单元284中的切换器325连接到节点288。
类似地,在选择基于时间的波段扩展方案和折回方案的情况下,当选择外插方案时,切换控制单元182使得切换单元284中的切换器326连接到节点289,而当选择学***移方案的情况下,当选择外插方案时,切换控制单元182使得切换单元284中的切换器327连接到节点291,而当选择学习方案时,使得切换单元284中的切换器327连接到节点292。
在选择基于时间/频率的波段扩展方案和折回方案的情况下,当选择外插方案时,切换控制单元182使得切换单元284中的切换器328连接到节点293,而当选择学***移方案的情况下,当选择外插方案时,切换控制单元182使得切换单元284中的切换器329连接到节点295,而当选择学习方案时,使得切换单元284中的切换器329连接到节点296。
以此方式,切换控制单元182使得切换单元183切换音频数据的输出,使得可以使用指定的波段扩展方法来执行波段扩展。切换控制单元182进一步使得切换单元271切换频率信息或音频数据的输出,使得可以使用指定的高范围分量生成方法生成高范围分量。此外,切换控制单元182还使得切换单元284切换高范围分量的输出,使得可以使用指定的形状调整方法调整高范围分量的形状。
当按上述方式控制切换单元183、271和284的操作时,然后执行步骤S159至S164的处理。然后,回放处理结束。步骤S159至S164的处理与图9所示的步骤S17至S22的处理相似,并且省略其描述。
在步骤S160、S162和S163中,分别(执行)与已经参照图10至图12所描述的以下处理相似的处理:对受到了在基于频率的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理、对受到了在基于时间的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理、以及对受到了在基于时间/频率的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理。
注意,由已经从切换单元271向其提供频率信息或音频数据的副本生成单元278至283之中的副本生成单元执行用于生成高范围分量的处理。类似地,由已经从切换单元284向其提供高范围分量的形状调整单元297至308之中的形状调整单元执行用于调整高范围分量的形状的处理。
例如,假设在步骤S156中,切换控制单元182选择基于频率的波段扩展方案、折回方案和外插方案。在此情况下,在步骤S160中对受到了在基于频率的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理中,副本生成单元278生成高范围分量,并且形状调整单元297调整高范围分量的形状。
具体地,在与图10所示的步骤S51的处理相对应的处理中,频率转换单元213将音频数据转换为频率信息,并且频率信息经由切换器321和节点272被提供给副本生成单元278。然后,在与步骤S52的处理相对应的处理中,副本生成单元278生成高范围分量,并且高范围分量和频率信息经由切换器324和节点285被提供给形状调整单元297。在与步骤S53的处理相对应的处理中,形状调整单元297调整高范围分量的形状。
此后,将形状调整后的高范围分量和频率信息从形状调整单元297提供给高范围附加单元233。在与步骤S54和S55的处理相对应的处理中,高范围附加单元233将高范围分量附加到频率信息,并且时间转换单元215将所得到的频率信息转换为音频数据。此外,在与步骤S56的处理相对应的处理中,输出单元144回放乐曲。
可替换地,例如,假设在步骤S156中,切换控制单元182选择基于时间的波段扩展方案、折回方案和外插方案。在此情况下,在步骤S162中对受到了在基于时间的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理中,副本生成单元280生成高范围分量,并且形状调整单元301调整高范围分量的形状。
具体地,从切换单元183提供的音频数据被提供给划分滤波器单元216,并且使用划分滤波器单元216对该音频数据进行波段划分。将所得到的音频数据提供给组合滤波器单元218,并且还经由切换器322和节点274提供给副本生成单元280。然后,副本生成单元280使用从划分滤波器单元216提供的音频数据、采用折回方案生成高范围分量,并且经由切换器326和节点289将所生成的高范围分量提供给形状调整单元301。
形状调整单元301使用外插方案调整从副本生成单元280提供的高范围分量的形状,并且将所得到的高范围分量提供给组合滤波器单元218。组合滤波器单元218对从形状调整单元301提供的高范围分量的频带和从划分滤波器单元216提供的音频数据的频带进行组合,并且将所得到的音频数据提供给输出单元144。
可替换地,例如,假设在步骤S156中,切换控制单元182选择基于时间/频率的波段扩展方案、折回方案和外插方案。在此情况下,在步骤S163中对受到了在基于时间/频率的波段扩展方案的基础上的波段扩展处理的乐曲进行回放的处理中,副本生成单元282生成高范围分量,并且形状调整单元305调整高范围分量的形状。
具体地,从切换单元183提供的音频数据被提供给划分滤波器单元219,并且受到波段划分。将所得到的音频数据提供给频率转换单元220。频率转换单元220将从划分滤波器单元219提供的音频数据转换为频率信息,并且将频率信息提供给时间转换单元223,并且还经由切换器323和节点276提供给副本生成单元282。
然后,副本生成单元282使用从频率转换单元220提供的频率信息、采用折回方案生成高范围分量,并且经由切换器328和节点293将高范围分量提供给形状调整单元305。形状调整单元305使用外插方案调整从副本生成单元282提供的高范围分量的形状,并且将形状调整后的高范围分量提供给时间转换单元222。
此外,时间转换单元222将从形状调整单元305提供的高范围分量转换为音频数据,并且将音频数据提供给组合滤波器单元224。时间转换单元223还将从频率转换单元220提供的频率信息转换为音频数据,并且将音频数据提供给组合滤波器单元224。然后,组合滤波器单元224对从时间转换单元222提供的音频数据的频带和从时间转换单元223提供的音频数据的频带进行组合,并且将所得到的音频数据提供给输出单元144。
相应地,除了波段扩展方法之外,可以根据乐曲的分类结果将高范围分量生成方法和形状调整方法中的每一个改变为最有效的方法。改变后的方法用于生成高范围分量并且调整高范围分量的形状,这导致了乐曲(音频)的质量更可靠的改进。
例如,当将乐曲分类为多种类型的乐曲,即表示比如爵士乐或古典乐的类别的音乐类时,针对每一音乐类改变高范围分量生成方法或形状调整方法。因此,声音质量得到改进。
具体地,表示古典乐的音乐类中的乐曲,即被分类为古典乐的乐曲,具有包括大量低范围分量但基本上不包括高范围分量的特征。在此情况下,例如,选择用于使用乐曲中的中间范围分量生成待添加到乐曲的高范围分量的高范围分量生成方法和用于执行形状调整使得可以将所生成的高范围分量的水平保持为低的形状调整方法,并且执行波段扩展。因此,可以实现与原始乐曲的质量相似的质量。
此外,表示摇滚乐的音乐类中的乐曲通常具有频率分量或频谱广泛存在于人类可听见范围上的特征。在此情况下,例如,选择用于使用乐曲的中间范围分量生成高范围分量的高范围分量生成方法和用于执行形状调整使得可以沿着频域中的低范围分量和中间范围分量的功率轮廓的分布而形成所生成的高范围分量的功率轮廓的形状调整方法,并且执行波段扩展。因此,可以实现与原始乐曲的质量相似的质量。
因而,由于乐曲的特征对于每种音乐类而不同,因此对于每一音乐类记录对于改进声音质量最有效的波段扩展方法、高范围分量生成方法和形状调整方法的组合。根据音乐类使用合适的方法组合来执行波段扩展。这样对乐曲的质量提供了更可靠的改进。
在前面的描述中,根据乐曲的分类结果波段扩展方法、高范围分量生成方法和形状调整方法是可选择的。可替换地,可以由用户分别地指定这些方法。
在此情况下,例如,当用户通过操作音频回放装置131指定波段扩展方法时,对应于由用户执行的操作的操作信号被提供给切换单元183。然后,切换单元183优先地响应于根据用户执行的操作而提供的操作信号而不是从切换控制单元182发送的指令,根据由操作信号指定的波段扩展方法,将音频数据的输出切换到节点184至186之一。
当用户还指定高范围分量生成方法时,切换单元271优先地响应于根据用户执行的操作所提供的操作信号而不是从切换控制单元182发送的指令,根据由操作信号指定的高范围分量生成方法以及已经选择的波段扩展方法,将输出切换到切换器321至323之一。
当用户进一步指定用于调整高范围分量的形状的方法时,切换单元284优先地响应于根据用户执行的操作而提供的操作信号而不是从切换控制单元182发送的指令,根据由操作信号指定的形状调整方法以及已经选择的波段扩展方法和高范围分量生成方法,将输出切换到切换器324至329之一。
以此方式,通过允许用户按照期望选择波段扩展方法、高范围分量生成方法和形状调整方法,可以使用对于用户最有效的波段扩展方法、高范围分量生成方法和形状调整方法的组合来执行波段扩展。
如上所述,通过统计地处理客观评价结果和主观评价结果,获得对于波段扩展匹配数据库上的每一音乐类而记录的波段扩展方法、高范围分量生成方法和形状调整方法的组合。这样不确保用于各个音乐类的方法的这样的组合在改进声音质量方面一定对于所有用户最有效。
此外,用户并不会感觉同样的方法组合对于改进声音质量总是最有效的。在某些情况下,用户可能希望改变他/她的情绪并且收听不同的声音。
为了满足这种要求,可以实现允许用户单独指定波段扩展方法、高范围分量生成方法和形状调整方法的灵活配置。这样促进了每次都采用对于用户是最适宜的、使用波段扩展方法、高范围分量生成方法或形状调整方法的波段扩展。这种配置也可以满足用户的个人情感要求,例如改变他/她的情绪,并且使用与平常不同的波段扩展方法执行波段扩展。
此外,在图13所示的校正单元143中,对于各个波段扩展方法提供被配置为使用同一高范围分量生成方法生成高范围分量的副本生成单元。可替换地,可以对于各个波段扩展方法提供被配置为使用不同方法生成高范围分量的副本生成单元。
具体地,在校正单元143中,对于基于频率的波段扩展方案提供分别被配置为使用折回方案和平移方案生成高范围分量的副本生成单元278和279。此外,对于基于时间的波段扩展方案提供分别被配置为使用折回方案和平移方案生成高范围分量的副本生成单元280和281。例如,副本生成单元280和281可以被配置为使用与折回方案和平移方案不同的方案来生成高范围分量。
在校正单元143中,类似地,对于各个波段扩展方法和高范围分量生成方法提供被配置为使用同一形状调整方法执行形状调整的形状调整单元。可替换地,对于波段扩展方法和高范围分量生成方法的各个组合可以提供被配置为使用不同形状调整方法执行形状调整的形状调整单元。
此外,图13所示的校正单元143包括:多个形状调整单元,其被配置为使用同一方法执行形状调整;和多个副本生成单元,其被配置为使用同一方法生成高范围分量。可替换地,可以共享某些形状调整单元和某些副本生成单元。
具体地,例如,切换器325被配置为连接到形状调整单元299或形状调整单元300。可替换地,切换器325可以连接到形状调整单元297或形状调整单元298,形状调整单元297或形状调整单元298使用与形状调整单元299或形状调整单元300相同的方法执行形状调整。在此情况下,校正单元143中的形状调整单元299和形状调整单元300不再是必须的,并且可以减小校正单元143的大小。
在这种配置中,高范围分量并非同时从切换器324和325输出。因此,多种类型的高范围分量并非同时输入到一个形状调整单元。共享某些形状调整单元或副本生成单元使得能够有效构建校正单元143的整个结构。还可以实现校正单元143的大小的减少。
可以通过硬件和软件来执行上述一系列处理。当由软件执行这一系列处理时,将构成软件的程序从网络或程序记录介质安装到合并到专用硬件的计算机或者能够通过在其中安装各种程序而实现各种功能的设备,例如通用个人计算机。
图15是示出根据程序执行上述一系列处理的计算机的示例硬件配置的框图。
在计算机中,中央处理单元(CPU)501、只读存储器(ROM)502和随机存取存储器(RAM)503经由总线504彼此连接。
输入/输出接口505也连接到总线504。输入/输出接口505连接到包括键盘、鼠标和麦克风的输入单元506、包括显示器和扬声器的输出单元507、包括硬盘和非易失性存储器的记录单元508、包括网络接口的通信单元509、以及用于驱动可移动介质511,例如磁盘、光盘、磁光盘或半导体存储器的驱动器510。
在具有上述配置的计算机中,CPU 501经由输入/输出接口505和总线504将记录在例如记录单元508中的程序加载到RAM 503,并且执行程序。相应地,执行上述一系列处理。
可以将由计算机(CPU 501)执行的程序记录在可移动介质511上,可移动介质511是封装介质,例如磁盘(包括软盘)、光盘(例如致密盘-只读存储器(CD-ROM)或数字多功能盘(DVD))、磁光盘、或半导体存储器),或者可以通过有线或无线传输介质,例如局域网、互联网或数字卫星广播来提供所述程序。
可以通过将可移动卸介质511放置在驱动器510中而通过输入/输出接口505来将程序安装到记录单元508上。可替换地,程序可以由通信单元509经由有线或无线传输介质来接收,并且被安装到记录单元508上。此外,也可以在ROM 502或记录单元508中预先安装程序。
由计算机执行的程序可以是用于允许根据在此所描述的次序按时间顺序方式执行处理的程序,或者可以是用于允许并行地或在期望的时间、例如当调用程序时执行处理的程序。
本发明实施例不限于前述实施例,并且在不脱离本发明范围的情况下,可以进行各种修改。
本申请包含涉及在2008年6月13日提交到日本专利局的日本优先权专利申请JP 2008-154837的公开主题,其完整内容通过引用合并于此。
本领域技术人员应该理解,根据设计需求以及其它因素可以在所附权利要求或其等同物的范围内出现各种修改、组合、子组合和改动。
Claims (11)
1.一种信息处理设备,包括:
波段扩展装置,用于执行波段扩展处理,以生成特定频带中的分量,并且将所述分量添加到音频数据;以及
控制装置,用于控制所述波段扩展装置使用在多种不同波段扩展方法之中确定的波段扩展方法来执行所述波段扩展处理,所述波段扩展方法是针对使用所述音频数据的特征所确定的音乐类而预先定义的。
2.根据权利要求1的信息处理设备,其中,所述波段扩展装置执行波段扩展处理,以基于通过对已编码的音频数据进行解码所获得的音频数据来生成所述特定频带中的分量,并且将所述分量添加到所述音频数据。
3.根据权利要求2的信息处理设备,其中,所述多种不同波段扩展方法至少包括:用于沿着时间轴执行所述波段扩展处理的波段扩展方法、用于沿着频率轴执行所述波段扩展处理的波段扩展方法、以及用于沿着所述时间轴和所述频率轴执行所述波段扩展处理的波段扩展方法。
4.根据权利要求3的信息处理设备,其中,所述音频数据是用于回放乐曲的数据,
其中,所述信息处理设备还包括:分类装置,用于基于所述乐曲的音频数据将所述乐曲分类为多种音乐类之一,所述多种音乐类是使用乐曲的特征预先确定的。
5.根据权利要求4的信息处理设备,其中,所述波段扩展装置包括:
生成装置,用于使用所述音频数据生成所述特定频带中的分量,以及
调整装置,用于增加或者减少所述特定频带中的各个频率分量,
其中,所述控制装置控制所述调整装置使用在用于调整所述特定频带中的分量的多种调整方法之中确定的调整方法增加或者减少所述各个频率分量,所述调整方法是根据所述分类装置获得的分类结果而预先确定的。
6.根据权利要求5的信息处理设备,其中,所述控制装置控制所述生成装置使用在用于生成所述特定频带中的分量的多种生成方法之中所确定的生成方法来生成所述特定频带中的分量,所述生成方法是根据所述分类结果而预先确定的。
7.根据权利要求6的信息处理设备,还包括:记录装置,用于为所述多种音乐类中的每一个,记录指示在多种方法组合之中预先被分配最高评价的方法组合的信息,所述多种方法组合包括所述多种波段扩展方法、所述多种生成方法、以及所述多种调整方法,
其中,使用所述分类结果和记录的所述信息来选择所述波段扩展方法、所述生成方法和所述调整方法,
其中,所述控制装置控制所述波段扩展装置使用所选择的波段扩展方法、生成方法和调整方法来执行所述波段扩展处理。
8.根据权利要求7的信息处理设备,其中,通过统计地处理客观评价结果和主观评价结果来获得所述评价,所述客观评价结果是通过对使用所述波段扩展处理所获得的音频数据进行分析而获得的。
9.一种用于信息处理设备的信息处理方法,包括以下步骤:
执行波段扩展处理,以生成特定频带中的分量,并且将所述分量添加到音频数据;以及
执行控制以使用在多种不同波段扩展方法之中确定的波段扩展方法来执行所述波段扩展处理,所述波段扩展方法是针对使用所述音频数据的特征所确定的音乐类而预先定义的。
10.一种用于使得信息处理设备的计算机执行处理的程序,所述处理包括以下步骤:
执行波段扩展处理,以生成特定频带中的分量,并且将所述分量添加到音频数据;以及
执行控制以使用在多种不同波段扩展方法之中确定的波段扩展方法来执行所述波段扩展处理,所述波段扩展方法是针对使用所述音频数据的特征所确定的音乐类而预先定义的。
11.一种信息处理设备,包括:
波段扩展单元,被配置为执行波段扩展处理,以生成特定频带中的分量,并且将所述分量添加到音频数据;以及
控制单元,被配置为:控制所述波段扩展单元使用在多种不同波段扩展方法之中确定的波段扩展方法来执行所述波段扩展处理,所述波段扩展方法是对于使用所述音频数据的特征所确定的音乐类而预先定义的。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008154837A JP2009300707A (ja) | 2008-06-13 | 2008-06-13 | 情報処理装置および方法、並びにプログラム |
JP2008-154837 | 2008-06-13 | ||
JP2008154837 | 2008-06-13 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101604528A true CN101604528A (zh) | 2009-12-16 |
CN101604528B CN101604528B (zh) | 2013-08-28 |
Family
ID=40845984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009101458232A Expired - Fee Related CN101604528B (zh) | 2008-06-13 | 2009-06-15 | 信息处理设备和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20090310799A1 (zh) |
EP (1) | EP2133873B1 (zh) |
JP (1) | JP2009300707A (zh) |
CN (1) | CN101604528B (zh) |
AT (1) | ATE542218T1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112133319A (zh) * | 2020-08-31 | 2020-12-25 | 腾讯音乐娱乐科技(深圳)有限公司 | 音频生成的方法、装置、设备及存储介质 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011099085A1 (ja) * | 2010-02-15 | 2011-08-18 | 三菱電機株式会社 | Fmラジオ受信装置 |
KR101897455B1 (ko) | 2012-04-16 | 2018-10-04 | 삼성전자주식회사 | 음질 향상 장치 및 방법 |
US8737602B2 (en) * | 2012-10-02 | 2014-05-27 | Nvoq Incorporated | Passive, non-amplified audio splitter for use with computer telephony integration |
JP6163785B2 (ja) * | 2013-02-28 | 2017-07-19 | 沖電気工業株式会社 | 音声帯域拡張装置及びプログラム |
DK201300471A1 (en) * | 2013-08-20 | 2015-03-02 | Bang & Olufsen As | System for dynamically modifying car audio system tuning parameters |
EP3280162A1 (en) | 2013-08-20 | 2018-02-07 | Harman Becker Gépkocsirendszer Gyártó Korlátolt Felelösségü Társaság | A system for and a method of generating sound |
US10847170B2 (en) | 2015-06-18 | 2020-11-24 | Qualcomm Incorporated | Device and method for generating a high-band signal from non-linearly processed sub-ranges |
US9837089B2 (en) * | 2015-06-18 | 2017-12-05 | Qualcomm Incorporated | High-band signal generation |
CN112086102B (zh) * | 2020-08-31 | 2024-04-16 | 腾讯音乐娱乐科技(深圳)有限公司 | 扩展音频频带的方法、装置、设备以及存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69616139T2 (de) * | 1995-04-25 | 2002-03-14 | Matsushita Electric Industrial Co., Ltd. | System zum Einstellen der Tonqualität |
SE512719C2 (sv) * | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
US7003120B1 (en) * | 1998-10-29 | 2006-02-21 | Paul Reed Smith Guitars, Inc. | Method of modifying harmonic content of a complex waveform |
JP2001084000A (ja) * | 1999-09-08 | 2001-03-30 | Roland Corp | 波形再生装置 |
WO2001035395A1 (en) * | 1999-11-10 | 2001-05-17 | Koninklijke Philips Electronics N.V. | Wide band speech synthesis by means of a mapping matrix |
SE0001926D0 (sv) * | 2000-05-23 | 2000-05-23 | Lars Liljeryd | Improved spectral translation/folding in the subband domain |
SE0004818D0 (sv) * | 2000-12-22 | 2000-12-22 | Coding Technologies Sweden Ab | Enhancing source coding systems by adaptive transposition |
JP2003216199A (ja) * | 2001-11-15 | 2003-07-30 | Matsushita Electric Ind Co Ltd | 復号装置、復号方法及びプログラム供給媒体 |
JP3879922B2 (ja) * | 2002-09-12 | 2007-02-14 | ソニー株式会社 | 信号処理システム、信号処理装置および方法、記録媒体、並びにプログラム |
US20050004691A1 (en) * | 2003-07-03 | 2005-01-06 | Edwards Christoper A. | Versatile system for processing digital audio signals |
KR20050104976A (ko) * | 2004-04-30 | 2005-11-03 | 삼성전자주식회사 | 자동 음질 평가 방법 및 그 시스템 |
RU2404506C2 (ru) * | 2004-11-05 | 2010-11-20 | Панасоник Корпорэйшн | Устройство масштабируемого декодирования и устройство масштабируемого кодирования |
JP4882383B2 (ja) * | 2006-01-18 | 2012-02-22 | ヤマハ株式会社 | オーディオ信号の帯域拡張装置 |
JP4766559B2 (ja) * | 2006-06-09 | 2011-09-07 | Kddi株式会社 | 音楽信号の帯域拡張方式 |
-
2008
- 2008-06-13 JP JP2008154837A patent/JP2009300707A/ja active Pending
-
2009
- 2009-06-01 AT AT09251449T patent/ATE542218T1/de active
- 2009-06-01 EP EP09251449A patent/EP2133873B1/en not_active Not-in-force
- 2009-06-08 US US12/480,324 patent/US20090310799A1/en not_active Abandoned
- 2009-06-15 CN CN2009101458232A patent/CN101604528B/zh not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112133319A (zh) * | 2020-08-31 | 2020-12-25 | 腾讯音乐娱乐科技(深圳)有限公司 | 音频生成的方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20090310799A1 (en) | 2009-12-17 |
JP2009300707A (ja) | 2009-12-24 |
EP2133873B1 (en) | 2012-01-18 |
CN101604528B (zh) | 2013-08-28 |
ATE542218T1 (de) | 2012-02-15 |
EP2133873A1 (en) | 2009-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101604528B (zh) | 信息处理设备和方法 | |
JP6178456B2 (ja) | デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法 | |
US8793123B2 (en) | Apparatus and method for converting an audio signal into a parameterized representation using band pass filters, apparatus and method for modifying a parameterized representation using band pass filter, apparatus and method for synthesizing a parameterized of an audio signal using band pass filters | |
US10008218B2 (en) | Blind bandwidth extension using K-means and a support vector machine | |
KR102477001B1 (ko) | 오디오 특성의 분석을 기반으로 오디오 재생 설정을 조정하는 방법 및 장치 | |
JP6026678B2 (ja) | 高度なスペクトラム拡張を使用して量子化ノイズを低減するための圧縮伸張装置および方法 | |
CN103854651B (zh) | Sbr比特流参数缩混 | |
US20110128132A1 (en) | System and method for automatically producing haptic events from a digital audio signal | |
US20080160943A1 (en) | Method and apparatus to post-process an audio signal | |
CN102761312A (zh) | 信号处理装置及其方法、程序以及数据记录介质 | |
CN1639770A (zh) | 根据频率变换重建具有不完全频谱的音频信号的频谱 | |
JP4272897B2 (ja) | 符号化装置、復号化装置およびその方法 | |
WO2011035626A1 (zh) | 音频播放方法及音频播放装置 | |
Hill et al. | A hybrid virtual bass system for optimized steady-state and transient performance | |
CN110853606A (zh) | 一种音效配置方法、装置及计算机可读存储介质 | |
Koo et al. | End-to-end music remastering system using self-supervised and adversarial training | |
Moliner et al. | Virtual bass system with fuzzy separation of tones and transients | |
US20220350839A1 (en) | Methods and apparatus to identify media that has been pitch shifted, time shifted, and/or resampled | |
WO2020179472A1 (ja) | 信号処理装置および方法、並びにプログラム | |
Hanna et al. | Time scale modification of noises using a spectral and statistical model | |
JP2021535426A (ja) | コンパンディングによる密過渡イベントの符号化 | |
KR101333162B1 (ko) | Imdct 입력신호를 이용한 오디오 신호의 음정 및 속도 가변 장치 및 방법 | |
CN113542983B (zh) | 一种音频信号处理方法、装置、设备及存储介质 | |
JP5392057B2 (ja) | 音声処理装置、音声処理方法および音声処理プログラム | |
Lee et al. | Distortion Recovery: A Two-Stage Method for Guitar Effect Removal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130828 Termination date: 20150615 |
|
EXPY | Termination of patent right or utility model |