CN102473417B

CN102473417B - 频带扩展方法、频带扩展装置、集成电路及音频解码装置

Info

Publication number: CN102473417B
Application number: CN201180003213.4A
Authority: CN
Inventors: 石川智一; 则松武志; 周欢; 张国成; 钟海珊
Original assignee: Panasonic Intellectual Property Corp of America
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 2010-06-09
Filing date: 2011-06-06
Publication date: 2015-04-08
Anticipated expiration: 2031-06-06
Also published as: AU2011263191A1; ZA201200919B; US20120136670A1; US10566001B2; US9093080B2; HUE028738T2; RU2012104234A; JP5750464B2; EP2581905A4; BR112012002839B1; EP3001419B1; US20220246159A1; MX2012001696A; BR112012002839A2; MY176904A; TWI545557B; BR112012002839A8; RU2582061C2; CA2770287A1; KR101773631B1

Abstract

提供一种能够减少频带扩展的运算量、并且抑制扩展的频带的品质下降的频带扩展方法。在该频带扩展方法中，通过将低频带信号变换到QMF域，生成第1低频QMF频谱(S11)，通过对低频带信号适用互不相同的移位系数，生成变调后的多个信号(S12)，通过在QMF域进行时间伸展，生成高频QMF频谱(S13)，对该高频QMF频谱进行修正(S14)，对修正后的高频QMF频谱与第1低频QMF频谱进行组合(S15)。

Description

频带扩展方法、频带扩展装置、集成电路及音频解码装置

技术领域

本发明涉及将音频信号的频带扩展的频带扩展方法等。

背景技术

音频频带扩展(BWE)技术是为了将宽频带的音频信号以低位速率高效率地编码而在近年来的音频编解码器中普遍使用的技术。其原理是使用原来的高频(HF)内容的参量(parametric)表现、从低频(LF)数据合成高频(HF)的近似。

图1是表示基于这样的BWE技术的音频编解码器的图。在该音频编解码器的编码器中，将宽频带音频信号首先分离为LF部分和HF部分(101及103)，将该LF部分以保持波形的方式编码(104)。另一方面，(一般在频率域中)分析LF部分与HF部分的关系(102)，用1组HF参数表示。通过将HF部分用参数表示，能够将多路复用的(105)波形数据及HF参数以低位速率向解码器发送。

在解码器中，首先将LF部分解码(107)。为了将原来的HF部分近似，将解码后的LF部分变换为频率域(108)，将得到的LF频谱按照解码后的一部分HF参数修正(109)，生成HF频谱。将HF频谱还按照解码后的一部分HF参数再通过后处理而精细化(110)。将精细化后的HF频谱变换为时间域(111)，组合到延迟后的(112)LF部分中。结果，输出重构的最终的宽频带音频信号。

另外，在BWE技术中，重要的步骤之一是从LF频谱生成HF频谱(109)。用来实现它的方法有几种，例如有将LF部分复制到HF位置的方法、非线性处理、或上采样(upsampling)等。

使用这样的BWE技术的最周知的音频编解码器是MPEG-4 HE-AAC，所以，BWE技术被作为SBR(频谱频带复制)或SBR技术规定。在SBR中，HF部分通过简单地将QMF(正交镜像滤波器)显示内的LF 部分复制到HF频谱位置上而生成。

这样的频谱复制处理也被称作修补(patching)，该处理简单，并且在多数情况下被证明是有效率的。但是，只有很少的LF部分频带能够执行的、非常低的位速率(例如，＜20kbits/s mono)下的SBR技术有可能带来粗糙或不愉快的音质等那样的不希望的听感的现象(例如，参照非专利文献1)。

因而，为了避免在以低位速率编码的情况下举出的、起因于镜像或复制处理的现象，将标准的SBR技术改良，通过以下的主要的变更进行扩展(例如，参照非专利文献2)。

(1)将修补算法从复制方式变更为相位声码器驱动的修补方式。

(2)将适应性时间分辨率提高到后处理参数用。

进行第1变更(上述(1))的结果，用多个整数系数使LF频谱扩散，由此在本质上确保HF的谐波的连续性。特别是，因为拍音的影响而引起的不希望的粗糙感在低频与高频的边界、以及不同的高频部分间的边界处不发生(例如，参照非专利文献1)。

此外，通过第2变更(上述(2))，能够容易地使精细化的HF频谱对再现的频带中的信号的摇摆更加适应。

因为新的修补保持了谐波关系，所以将其称作谐波频带扩展(HBE)。关于超过标准的SBR的先行技术的HBE的效果，还通过低位速率下的音频编码的实验进行了确认(例如，参照非专利文献1)。

另外，上述两个变更仅对HF频谱发生器产生影响(109)，HBE中的其他方法与SBR完全相同。

图2是表示先行技术的HBE中的HF频谱发生器的图。另外，HF频谱发生器由图1的T-F变换108及HF重构109构成。输入某信号的LF部分，假设其HF频谱由从第2次(具有最低频率的HF补丁(patch))到第T次(具有最高频率的HF补丁)的(T-1)个HF谐波补丁(在各修补工程中制作1个HF补丁)构成。在先行技术的HBE中，这些HF补丁都从相位声码器并行地独立生成。

如图2所示，具有不同的伸展系数(2到k)的(T-1)个相位声码器(201～203)用于将输入的LF部分伸展。伸展后的输出具有不同的长度，对于这些输出，使其通过带通滤波器(204～206)，并且进行再采样(207～ 209)，将时间扩展变换为频率扩展，从而生成HF补丁。通过将伸展系数设定为再采样系数的2倍，HF补丁维持信号的谐波构造，具有LF部分的2倍的长度。并且，HF补丁全部被延迟调整(210～212)，将再采样处理为一个原因的、各种潜在的延迟进行补偿。在最后的步骤中，将延迟调整后的全部的HF补丁合计，并且变换到QMF域(213)，制作成HF频谱。

上述HF频谱发生器具有非常多的运算量。带来运算量的主要是因为时间扩展处理，该时间扩展处理通过在相位声码器中采用的一系列的短时间傅立叶变换(STFT)及逆短时间傅立叶变换(ISTFT)、以及对时间伸展后的HF部分采用的、后续的QMF处理来实现。

以下介绍相位声码器及QMF变换的概况。

相位声码器是通过使用频率域变换而实现时间伸展效果的周知的技术。即，是将局部性的频谱特征维持而不变更、并且将信号的经时变化修正的技术。其基本的原理如下。

图3A及图3B是表示由相位声码器进行的时间伸展的原理的图。

如图3A所示，将音频划分为重叠的块，调整跳距(hop size)(连续的块间的时间间隔)在输入时及输出时不相同的块间的间隔。这里，由于输入跳距R_a比输出跳距R_s小，结果，原来的信号被以以下的(式1)所示的比r扩展。

[数式1]

r = \frac{R_{a}}{R_{s}}

…(式1)

如图3B所示，将调整间隔后的块以需要频率域变换的相干方式叠加。一般，将输入块变换为频率，将相位适当修正后，将新的块变换为原来的输出块。

按照上述原理，几乎全部的典型的相位声码器采用短时间傅立叶变换(STFT)作为频率域变换，需要分析的明示的顺序、以及用于时间伸展的修正及再合成。

QMF组将时间域显示变换为时间—频率域结合显示(反之也同样)，它在频谱频带复制(SBR)、参量立体声编码(PS)、及空间音频编码(SAC)等的基于参量的编码方式中被普遍使用。这些滤波器组的特征是，复数频率(子带)域信号通过系数2高效率地被过采样。由此，能够不产生因混叠(aliasing)带来的畸变地进行子带域信号的后处理。

更详细地讲，如果设实数值的离散时间信号为x(n)，则通过QMF组的分析，用以下的(式2)求出复数子带域信号s_k(n)。

[数式2]

s_{k} (n) = Σ_{l = 0}^{L - 1} x (M \cdot n - l) p (l) e^{j \frac{π}{M} (k + 0.5) (l + α)}

…(式2)

在(式2)中，p(n)表示第L-1次的低通原型滤波器的脉冲响应，α是相位参数，M表示频带的数量，k表示子带索引，是k＝0、1、…、M-1。

另外，与STFT同样，QMF变换也是时间—频率结合变换。即，由此既能够求出信号的频率内容，也能够求出频率内容中的因时间经过带来的变化，这里，频率内容由频率子带表示，时间轴由时隙表示。

图4是表示QMF分析及合成方式的图。

具体而言，如图4所示，某个实际的声音输入被划分为长度是L、并且跳距是M的、连续叠加的块(图4的(a))，通过QMF分析处理，各块变换为1个时隙，时隙分别由M个复数子带信号构成。通过该方法，L时间域输入样本被变换为L个复数QMF系数，由L/M时隙及M个子带构成(图4的(b))。各时隙与之前的(L/M-1)时隙组合，通过QMF合成处理合成，从而M个实时域样本(图4的(c))被大致完善地重构。

先行技术文献

非专利文献

非专利文献1：Frederik Nagel and Sascha Disch，“A harmonic bandwidth extension method for audio codecs”，IEEE Int.Conf.on Acoustics，Speech and Signal Proc.，2009年

非专利文献2：Max Neuendorf，etal，“A novel scheme for low bitrate unified speech and audio coding-MPEG RM0”，126th AES Convention，Munich，Germany，2009年5月

发明概要

发明要解决的问题

作为先行技术的HBE技术所附带的问题是运算量多。为了将信号伸展，由HBE采用的以往的相位声码器由于使用连续的STFT及ISTFT、即连续的FFT(高速傅立叶变换)及IFFT(逆高速傅立叶变换)，所以运算量多，后续的QMF变换由于用于时间伸展信号，所以运算量增加。此外，一般而言，如果想要减少运算量，则有可能导致品质下降。

发明内容

所以，本发明是鉴于这样的问题而做出的，目的是提供一种能够减少频带扩展的运算量、并且能够抑制扩展的频带的品质下降的频带扩展方法。

用于解决问题的手段

为了达到上述目的，有关本发明的一技术方案的频带扩展方法是从低频带信号生成全频带信号的频带扩展方法，包括：第1变换步骤，将上述低频带信号变换到正交镜像滤波器组即QMF域，由此生成第1低频QMF频谱；变调步骤，对上述低频带信号适用互不相同的移位系数，由此生成变调后的多个信号；高频生成步骤，将变调后的上述多个信号在QMF域进行时间伸展，由此生成高频QMF频谱；频谱修正步骤，对上述高频QMF频谱进行修正，以满足高频能量及音调的条件；以及全频带生成步骤，将修正后的上述高频QMF频谱和上述第1低频QMF频谱进行组合，由此生成上述全频带信号。

由此，通过将变调后的多个信号在QMF域进行时间伸展，生成高频QMF频谱。因而，为了生成高频QMF频谱，能够避免以往那样的复杂的处理(连续重复的FFT及IFFT、和后续的QMF变换)，能够减少频带扩展的运算量。另外，与STFT同样，QMF变换本身由于提供时间—频率结合分辨率，所以QMF变换成为一系列的STFT及ISTFT的代替。进而，在有关本发明的一技术方案的频带扩展方法中，不仅通过1个移位系数、而使用相互不同的移位系数来生成变调后的多个信号，并对此进行时间伸展，所以能够抑制高频QMF频谱的品质的下降。

此外，上述高频生成步骤包括：第2变换步骤，将变调后的上述多个信号变换到QMF域，由此生成多个QMF频谱；谐波补丁生成步骤，将上述多个QMF频谱以互不相同的多个伸展系数在时间维度方向上伸展，由此生成多个谐波补丁；调整步骤，对上述多个谐波补丁进行时间调整；以及合计步骤，将时间调整后的上述谐波补丁合计。

此外，上述谐波补丁生成步骤包括：计算步骤，计算上述QMF频谱的振幅及相位；相位操作步骤，操作上述相位，由此生成新的相位；以及QMF系数生成步骤，将上述振幅和上述新的相位进行组合，由此生成新的QMF系数的组。

此外，在上述相位操作步骤中，基于QMF系数的组整体的原来的相位生成上述新的相位。

此外，在上述相位操作步骤中，对QMF系数的组反复进行操作；在上述QMF系数生成步骤中，生成多个上述新的QMF系数的组。

此外，在上述相位操作步骤中，依赖于QMF子带指标而进行不同的操作。

此外，在上述QMF系数生成步骤中，通过将多个上述新的QMF系数的组交叠相加，生成与时间伸展后的音频信号对应的QMF系数。

即，在有关本发明的一技术方案的频带扩展方法的时间伸展中，将输入的QMF块的相位修正，将修正后的QMF块以不同的跳距交叠相加，由此模拟基于STFT的伸展方法。从运算量的观点看，如果将这样的时间伸展与基于STFT的方法的连续的FFT及IFFT比较，则在该时间伸展中，由于仅进行1次QMF分析变换，所以运算量少。因而，能够进一步减少频带扩展的运算量。

此外，为了达到上述目的，有关本发明的另一技术方案的频带扩展方法，是从低频带信号生成全频带信号的频带扩展方法，包括：第1变换步骤，将上述低频带信号变换到正交镜像滤波器组即QMF域，由此生成第1低频QMF频谱；低次谐波补丁生成步骤，在上述QMF域对上述低频带信号进行时间伸展，由此生成低次谐波补丁；高频生成步骤，对上述低次谐波补丁适用互不相同的移位系数，由此生成变调后的多个信号，从上述多个信号生成高频QMF频谱；频谱修正步骤，对上述高频QMF频谱进行修正，以满足上述高频能量及音调的条件；以及全频带生成步骤，将修正后的上述高频QMF频谱和上述第1低频QMF频谱进行组合，由此生成上述全频带信号。

由此，将低频带信号在QMF域中时间伸展而变调，由此生成高频QMF频谱。因而，为了生成高频QMF频谱，能够避免以往那样的复杂的处理(连续重复的FFT及IFFT、和后续的QMF变换)，能够减少运算量。进而，不仅通过1个移位系数，通过使用互不相同的移位系数，生成变调的多个信号，从这些信号生成高频QMF频谱，所以能够抑制高频QMF频谱的品质的下降。此外，由于从低次谐波补丁生成高频QMF频谱，所以能够进一步抑制其品质的下降。

另外，在有关本发明的另一技术方案的频带扩展方法中，将变调也在QMF域中进行。这是为了将低次的补丁的LFQMF子带为了较高的频率分辨率而分解为多个次子带，然后，将这些次子带映射到高次的QMF子带，生成高次的补丁频谱。

此外，上述低次谐波补丁生成步骤包括：第2变换步骤，将上述低频带信号变换为第2低频QMF频谱；带通步骤，对上述第2低频QMF频谱进行带通处理；以及伸展步骤，将带通后的上述第2低频QMF频谱在时间维度方向上伸展。

此外，上述第2低频QMF频谱具有比上述第1低频QMF频谱高的频率分辨率。

此外，上述高频生成步骤包括：补丁生成步骤，通过对上述低次谐波补丁进行带通处理，生成多个带通后的补丁；高次生成步骤，将带通后的上述多个补丁分别映射到高频而生成多个高次谐波补丁；以及合计步骤，将上述多个高次谐波补丁与上述低次谐波补丁合计。

此外，上述高次生成步骤包括：分解步骤，将带通后的补丁的各QMF子带分为多个次子带；映射步骤，使上述多个次子带映射到多个高频QMF子带；以及组合步骤，将上述多个次子带的映射结果组合。

此外，上述映射步骤包括：划分步骤，将QMF子带的上述多个次子带划分为阻带部分和通带部分；频率计算步骤，用基于补丁的次数的系数计算上述通带部分上的多个次子带的变位后的中心频率；第1映射步骤，将上述通带部分上的多个次子带根据上述中心频率而映射到多个高频QMF子带；第2映射步骤，与上述通带部分上的多个次子带相应地将上述阻带部分上的多个次子带映射到高频QMF子带。

另外，在有关本发明的频带扩展方法中，将上述处理动作(步骤)怎样组合都可以。

这样的有关本发明的频带扩展方法是使用减少了运算量的HF频谱发生器的低运算量的HBE技术。HF频谱发生器成为造成HBE技术的运算量的最大的要因。为了减少该运算量，在有关本发明的一技术方案的频带扩展方法中，使用以低运算量进行QMF域中的时间伸展的、新的基于QMF的相位声码器。此外，在有关本发明的另一技术方案的频带扩展方法中，为了避免有可能伴随该解决对策的品质的问题，使用在QMF域中从低次的补丁生成高次的谐波补丁的、新的变调算法。

本发明的目的是设计将时间伸展、或时间伸展及频率扩展都能够在QMF域中执行的、基于QMF的补丁，并且是由此开发由基于QMF的相位声码器驱动的低运算量HBE技术。

另外，本发明不仅能够作为这样的频带扩展方法实现，还能够作为通过该频带扩展方法扩展音频信号的频带的频带扩展装置、集成电路、用来使计算机通过该频带扩展方法扩展频带的程序、保存该程序的存储媒体实现。

发明效果

本发明的频带扩展方法是设计新的谐波频带扩展(HBE)技术的方法。本技术的核心是，将时间伸展、或者时间伸展及变调双方不是在以往的FFT域或时间域进行，而是在QMF域中进行。与先行技术的HBE技术相比，通过本发明的频带扩展方法，能够得到良好的音质，并且能够使运算量大幅减少。

附图说明

图1是表示使用通常的BWE技术的音频编解码器方式的图。

图2是表示保持谐波构造的HF频谱发生器的图。

图3A是表示通过调整音频块的间隔来进行的时间伸展的原理的图。

图3B是表示通过调整音频块的间隔来进行的时间伸展的原理的图。

图4是表示QMF分析及合成方式的图。

图5是表示本发明的实施方式1的频带扩展方法的流程图。

图6是表示本发明的实施方式1的HF频谱发生器的图。

图7是表示本发明的实施方式1的音频解码器的图。

图8是表示本发明的实施方式1的基于QMF变换的信号的时间尺度变更方式的图。

图9是表示本发明的实施方式1的QMF域的时间伸展方法的图。

图10是表示使用不同的伸展系数的正弦波音调信号的伸展效果的比较的图。

图11是表示HBE方式的配置偏差和能量扩散效果的图。

图12是表示本发明的实施方式2的频带扩展方法的流程图。

图13是表示本发明的实施方式2的HF频谱发生器的图。

图14是表示本发明的实施方式2的音频解码器的图。

图15是表示本发明的实施方式2的QMF域的频率扩展方法的图。

图16是表示本发明的实施方式2的次子带频谱分布的图。

图17是表示本发明的实施方式2的复数QMF域的、用于正弦波的通带成分与阻带成分之间的关系的图。

具体实施方式

以下的形态是单纯说明各种发明步骤的原理的。这里说明的具体例的各种变形例对于本领域的技术人员是显而易见的。

(实施方式1)

以下，关于本发明的HBE方式(谐波频带扩展方法)及使用它的解码器(音频解码器或音频解码装置)进行说明。

图5是表示本实施方式的频带扩展方法的流程图。

该频带扩展方法是从低频带信号生成全频带信号的频带扩展方法，包括：第1变换步骤(S11)，通过将上述低频带信号变换到正交镜像滤波器组(QMF)域，生成第1低频QMF频谱；变调(pitch shift)步骤(S12)，通过对上述低频带信号使用相互不同的移位系数，生成变调后的多个信号；高频生成步骤(S13)，通过将变调后的上述多个信号在QMF域进行时间伸展，生成高频QMF频谱；频谱修正步骤(S14)，将上述高频QMF频谱修正，以满足高频能量及音调的条件；以及全频带生成步骤(S15)，通过将修正后的上述高频QMF频谱与上述第1低频QMF频谱组合，生成上述全频带信号。

另外，第1变换步骤(S11)由后述的T-F变换部1406进行，变调步骤(S12)由后述的采样部504～506及时间再采样部1403进行。此外，高频生成步骤(S13)由后述的QMF变换部507～509、相位声码器510～512、QMF变换部1404及时间伸展部1405进行。此外，频谱修正步骤(S14)由后述的HF处理部1408进行，全频带生成步骤(S15)由后述的加法部1410进行。

此外，上述高频生成步骤包括：第2变换步骤，通过将变调后的上述多个信号变换到QMF域，生成多个QMF频谱；谐波补丁生成步骤，通过将上述多个QMF频谱用互不相同的多个伸展系数在时间维度方向上伸展，生成多个谐波补丁；调整步骤，将上述多个谐波补丁进行时间调整；以及合计步骤，将时间调整后的上述谐波补丁合计。

另外，第2变换步骤由QMF变换部507～509及QMF变换部1404进行，谐波补丁生成步骤由相位声码器510～512及时间伸展部1405进行。此外，调整步骤由后述的延迟调整部513～515进行，合计步骤由后述的加法部516进行。

在本实施方式的HBE方式中，HBE技术中的HF频谱发生器被使用时间域中的变调处理、以及后续的QMF域中的声码器驱动的时间伸展处理而设计。

图6是表示在本实施方式的HBE方式中使用的HF频谱发生器的图。HF频谱发生器具备带通部501、502、…、503、采样部504、505、…、506、QMF变换部507、508、…、509、相位声码器510、511、…、512、延迟调整部513、514、…、515、和加法部516。

给出的LF频带的输入首先被带通(501～503)，并被再采样(504～506)，由此生成该HF频带部分。这些HF频带部分变换到QMF域(507～509)，所得到的QMF输出被使用对应于它的再采样系数的2倍的伸展系数进行时间伸展(510～512)。伸展后的HF频谱被延迟调整(513～515)，将从频谱变换处理带来的各种潜在的延迟补偿，将它们合计(516)而生成最终的HF频谱。另外，上述括号内的数字501-516分别表示HF频谱发生器的构成要素。

如果将本实施方式的方式与先行技术的方式(图2)比较，则主要的差异如下。1)使用更多的QMF变换，2)时间伸展处理不是在FFT域、而是在QMF域进行。QMF域中的时间伸展处理的更详细情况在后面叙述。

图7是表示采用本实施方式的HF频谱发生器的解码器的图。该解码器(音频解码装置)具备逆多路复用部1401、解码部1402、时间再采样部1403、QMF变换部1404、时间伸展部1405、T-F变换部1406、延迟调整部1407、HF后处理部1408、加法部1410、和逆T-F变换部1409。HF频谱发生器由时间再采样部1403、QMF变换部1404、及时间伸展部1405构成。另外，在本实施方式中，逆多路复用部1401相当于从编码信息(比特流)分离编码的低频带信号的分离部。此外，逆T-F变换部1409相当于将全频带信号从正交镜像滤波器组(QMF)域的信号变换为时间域的信号的逆变换部。

在该解码器中，首先将比特流逆多路复用(1401)，接着将信号的LF部分解码(1402)。为了近似原来的HF部分，通过将解码后的LF部分(低频带信号)在时间域再采样(1403)，生成HF部分，将得到的HF部分变换到QMF域(1404)。将所得到的HFQMF频谱在时间方向上伸展(1405)，将伸展后的HF频谱按照解码后的一部分HF参数，通过后处理进一步精细化(1408)。另一方面，将解码后的LF部分也变换到QMF域(1406)。最后，将精细化的HF频谱与延迟后的(1407)LF频谱组合(1410)，制作全频带的QMF频谱。将得到的全频带的QMF频谱变换到原来的时间域(1409)，输出解码后的宽频带音频信号。另外，上述括号内的数字1401-1410分别表示解码器的构成要素。

时间伸展方法

本实施方式的HBE方式的时间伸展处理以音频信号为对象，其时间伸展信号可以通过QMF变换、相位操作、及逆QMF变换生成。即，上述谐波补丁生成步骤包括：计算步骤，计算上述QMF频谱的振幅及相位；相位操作步骤，通过操作上述相位而生成新的相位；QMF系数生成步骤，通过将上述振幅与上述新的相位组合，生成新的QMF系数的组。另外，计算步骤、相位操作步骤及QMF系数生成步骤分别通过后述的模块702进行。

图8是表示由QMF变换部1404及时间伸展部1405进行的基于QMF的时间伸展处理的图。首先，将音频信号通过QMF分析变换(701)变换为1组QMF系数、例如X(m，n)。将这些QMF系数在模块702中修正。这里，计算各QMF系数的振幅r及相位a。例如，设为X(m，n)＝r(m，n)·exp(j·a(m，n))。该相位a(m，n)修正(操作)为a～(m，n)。修正后的相位a～和原来的振幅r构建新的1组QMF系数。例如，将新的1组QMF系数通过以下的(式3)表示。

[数式3]

\tilde{X} (m, n) = r (m, n) \cdot \exp (j \cdot \tilde{a} (m, n))

…(式3)

最后，将该新的1组QMF系数变换为对应于修正了时间尺度后的原来的音频信号的、新的音频信号(703)。

本实施方式的HBE方式的基于QMF的时间伸展算法模拟基于STFT的伸展算法。即，1)在该修正阶段中，使用瞬时频率概念进行相位的修正，并且，2)为了减少运算量，使用QMF变换的加法特性在QMF域中进行交叠相加(overlap add)。

以下叙述本实施方式的HBE方式的时间伸展算法的详细情况。

如果假设存在用伸展系数s伸展的2L个实数值时间域信号x(n)，则在QMF分析阶段后，存在由2L/M的时隙及M个子带构成的2L个QMF复数系数。

另外，与基于STFT的伸展方法同样，变换后的QMF系数根据需要也可以在相位操作前作为解析窗处理的对象。在本发明中，上述在时间域或QMF域中都能够实现。

在时间域中，将时间域信号通常如以下的(式4)那样进行窗处理。

[数式4]

x(n)＝x(n)·h(mod(n，L))…(式4)

(式4)中的mod(.)表示调制(modulation operation)处理。

在QMF域中，将同样的动作能够如以下这样实现。

1)将解析窗h(n)(具有长度L)变换为QMF域，得到具有L/M的时隙及M个子带的H(v、k)。

2)将窗的QMF显示如以下的(式5)那样简略化。

[数式5]

H_{0} (v) = Σ_{k = 0}^{M - 1} H (v, k)

…(式5)

这里，设v＝0、…、L/M-1。

3)将解析窗处理在QMF域中通过X(m，k)＝X(m，k)·H₀(w)进行，在该式中，w＝mod(m，L/M)(另外，mod(.)表示调制处理)。

此外，在本实施方式的HBE方式中，在上述相位操作步骤中，基于QMF系数的组整体的原来的相位生成上述新的相位。即，在本实施方式中，作为关于时间伸展的实现的详细情况，基于QMF块进行相位操作。

图9是表示QMF域中的时间伸展方法的图。

如图9的(a)所示，原来的QMF系数可以作为L+1个叠加的QMF块处理，其跳距是1时隙，块的长度是L/M时隙。

为了将因相位跳跃带来的影响可靠地消除，将原来的各QMF块修正，生成具有修正后的相位的新的QMF块。该新的QMF块的相位应当相对于叠加的第(μ)个及第(μ+1)个新的QMF块在μ·s的点处连续，这与在时间域的μ·M·s(μ∈N)的接合点处连续是等同的。

此外，在本实施方式的HBE方式中，也可以是，在上述相位操作步骤中，对QMF系数的组反复进行操作，在上述QMF系数生成步骤中，生成多个上述新的QMF系数的组。在此情况下，将相位按照以下的基准以块单位修正。

假设给出的QMF系数X(u、k)的原来的相位是设为u＝0、…、2L/M-1及k＝0、1、…、M-1。原来的QMF块分别如图9的(b)所示，被依次修正为新的QMF块，在该图中，新的QMF块用不同的填充图案表示。

以下，ψ_u ⁽ⁿ⁾(k)表示新的QMF块的第n个相位信息，其中n＝1、…、L/M、u＝0、…L/M-1及k＝0、1、…、M-1。这些新的相位依赖于新的块的间隔是否被调整而如以下这样设计。

假定作为第1新的QMF块的X⁽¹⁾(u，k)(u＝0、…L/M-1)的间隔没有被调整。这样，新的相位信息ψ_u ⁽¹⁾(k)与相同。即，其中u＝0、…L/M-1及k＝0、1、…、M-1。

第2新的QMF块、X⁽²⁾(u，k)(u＝0、…L/M-1)以s时隙(例如，如图9所示，是2时隙)的跳距被调整间隔。在此情况下，块的起始的瞬时频率应该与第1新的QMF块X⁽¹⁾(u，k)的第s个时隙的瞬时频率一致。因此，X⁽²⁾(u，k)的第1个时隙的瞬时频率应该与原来的QMF块的第2个时隙的瞬时频率相同。即，是

此外，由于第1个时隙的相位被变更，所以剩余的相位被适当调整以保持原来的瞬时频率。即，是其中u＝1、…L/M-1。在式中，表示原来的QMF块的原来的瞬时频率。

对于后续的合成块使用相同的相位修正规则。即，对于第m个新的QMF块(m＝3、…L/M)，通过以下的式子决定其相位ψ_u ^(m)(k)。

其中u＝1、…、L/M-1。

与原来的块振幅信息组合，上述新的相位为新的L/M块。

这里，在本实施方式的HBE方式中，在上述相位操作步骤中，也可以依存于QMF子带指标而进行不同的操作。即，也可以将上述相位修正方法设计为，在QMF的奇数的子带、和偶数的子带中分别不同。

这基于音调信号的QMF域中的瞬时频率通过不同的方法与相位差建立了关联。

更详细地讲，瞬时频率ω(n，k)通过以下的(式6)求出。

[数式6]

...(式6)

在(式6)中，princarg(α)是指主角α，通过以下的(式7)定义。

[数式7]

princarg(α)＝mod(α+π，-2π)+π…(式7)

式中，mod(a，b)表示a相对于b的调制。

结果，例如在上述相位修正方法中，将相位差用以下的(式8)详细地表示。

[数式8]

...(式8)

此外，在本实施方式的HBE方式中，在上述QMF系数生成步骤中，通过将多个上述新的QMF系数的组交叠相加，生成与时间伸展后的音频信号对应的QMF系数。即，为了降低运算量，QMF合成处理不直接对各单独的新的QMF块直接采用，而对这些新的QMF块的交叠相加的结果使用。

另外，与基于STFT的扩展方法同样，新的QMF系数根据需要而在进行交叠相加之前作为合成窗处理的对象。在本实施方式中，合成窗处理可以如解析窗处理那样通过以下来实现。

X⁽ⁿ⁺¹⁾(u，k)＝X⁽ⁿ⁺¹⁾(u，k)·H₀(w)，在式中，w＝mod(u，L/M)。

并且，由于QMF变换是加法性，所以能够将新的L/M块在QMF合成前以s时隙的跳距全部交叠相加。作为交叠相加的结果的Y(u，k)通过以下的式子求出。

[数式9]

Y(ns+u，k)＝Y(ns+u，k)+X⁽ⁿ⁺¹⁾(u，k)…(式9)

n＝0、…、L/M-1、u＝1、…L/M、及k＝0、1、…、M-1。

最终的声音信号可以通过对与修正后的时间尺度对应的Y(u，k)采用QMF合成而生成。

如果将本实施方式的HBE方式的基于QMF的伸展方法、与先行技术的基于STFT的伸展方法比较，则应关注的是，QMF变换的本质性的时间分辨率对于运算量的大幅的降低发挥作用。这在先行技术的基于STFT的伸展方法中仅能够通过进行一系列的STFT变换而得到。

以下的运算量的分析表示运算量的大致的比较结果，这里仅考虑通过变换带来的运算量。

如果假设尺寸L的STFT的运算量是log₂(L)·L、并且QMF分析变换的运算量是FFT变换的约2倍，则伴随着先行技术的HF频谱发生器的变换运算量如近似如下。

[数式10]

L/R_a·2·L·log₂(L)·(T-1)+(2L)log₂(2L)≈2(L/R_a·(T-1)+1)·L·log₂(L)…(式10)

如果比较，则伴随着本实施方式的HF频谱发生器的变换运算量如以下的(式11)所示那样近似。

[数式11]

2 Σ_{t = 2}^{T} (2 L / t) \cdot \log_{2} (2 L / t) \approx 4 Σ_{t = 2}^{T} 1 / t \cdot L \cdot \log_{2} (L)

…(式11)

例如，如果假设L＝1024、且Ra＝128，则上述运算量的比较在表1中具体地表示。

[表1]

表1先行技术HBE与采用了本实施方式的基于QMF的时间伸展的HBE的运算量比较

(实施方式2)

以下，关于HBE方式(谐波频带扩展方法)的第2实施方式及使用它的解码器(音频解码器或音频解码装置)详细地说明。

如果采用基于QMF的时间伸展方法，则基于QMF的时间伸展方法中的HBE技术的运算量大幅变低。但是，另一方面，通过采用基于QMF的时间伸展方法，也有可能使音质下降，有可能发生两个问题。

第一，在高次的补丁中，有音质下降的问题。假设HF频谱由(T-1)个补丁构成，且对应的伸展系数是2、3、…、T。基于QMF的时间伸展是基于块的，所以在高次的补丁中，如果交叠相加处理的次数变少，则伸展效果下降。

图10是表示正弦波音调信号的伸展效果的图。上框(a)表示纯粹的正弦波音调信号的第2次补丁的伸展效果。伸展后的输出基本上是干净的，只是在较小的振幅中稍稍存在其他频率成分。另一方面，下框(b)表示相同的正弦波音调信号的第4次补丁的伸展效果。

如果与(a)比较，则在(b)中，虽然中心频率被正确地移位，但得到的输出也包含一些具有不能忽视的振幅的其他的频率成分。由此，有可能在伸展后的输出中发生不希望的噪声。

第二，在过渡信号中有可能发生品质下降的问题。在这样的品质下降的问题中，可以想到3个潜在性的造成原因。

第1造成原因是过渡成分有可能在再采样的过程中丢失。如果假定具有位于偶数的样本的狄拉克脉冲的过渡信号，则在进行了系数2的抽取(Decimation)的第4次补丁中，狄拉克脉冲在再采样后的信号中消失。结果，得到的HF频谱具有不完全的过渡成分。

第2造成原因是不同的补丁中没有被调整的过渡成分。这些补丁由于具有不同的再采样系数，所以有位于特定的位置的狄拉克脉冲在QMF域中具有位于不同的时隙中的一些成分的情况。

图11是作为品质下降的问题而表示配置偏差和能量扩散效果的图。在对具有狄拉克脉冲的输入(例如，在图11中，图示为灰色的第3样本)用不同的系数进行再采样后，其位置变更为不同的位置。结果，在伸展后的输出中，过渡效果被有感知地衰减。

第3造成原因在于过渡成分在能量不同的补丁中被不均地扩散。如图11所示，在第2次补丁中，建立了关联的过渡成分扩散到了第5及第6样本。在第3次补丁中，扩散到了第4～第6样本，在第4次补丁中，扩散到了第5～第8样本。结果，伸展后的输出的过渡效果在较高的频率中变弱。关于一部分临界性的过渡信号，在伸展后的输出中，甚至还出现不愉快的前回波现象及后回波现象。

为了克服上述品质下降问题，希望有高度的HBE技术。但是，过于复杂的解决对策也使运算量增加。在本实施方式中，为了避免预想的品质下降的问题、并且维持低运算量的效果，使用基于QMF的变调方法。

本实施方式的HBE方式(谐波频带扩展方法)如以下详细说明那样，本实施方式的HBE技术的HF频谱发生器使用QMF域中的时间伸展及变调处理的两者设计。此外，关于使用本实施方式的HBE方式的解码器(音频解码器或音频解码装置)也在以下说明。

图12是表示本实施方式的低运算频带扩展方法的流程图。

该频带扩展方法是从低频带信号生成全频带信号的频带扩展方法，包括：第1变换步骤(S21)，通过将上述低频带信号变换到正交镜像滤波器组(QMF)域，生成第1低频QMF频谱；低次谐波补丁生成步骤(S22)，通过在上述QMF域中将上述低频带信号进行时间伸展，生成低次谐波补丁；高频生成步骤(S23)，通过对上述低次谐波补丁采用相互不同的移位系数，生成变调后的多个信号，从上述多个信号生成高频QMF频谱；频谱修正步骤(S24)，将上述高频QMF频谱修正，以满足上述高频能量及音调的条件；以及全频带生成步骤(S25)，通过将修正后的上述高频QMF频谱、与上述第1低频QMF频谱组合，生成上述全频带信号。

另外，第1变换步骤由后述的T-F变换部1508进行，低次谐波补丁生成步骤由后述的QMF变换部1503、时间伸展部1504、QMF变换部601及相位声码器603进行。此外，高频生成步骤由后述的变调部1506、带通部604、605、频率扩展部606、607、及延迟调整部608～610进行。此外，频谱修正步骤由后述的HF后处理部1507进行，全频带生成步骤由后述的加法部1512进行。

此外，上述低次谐波补丁生成步骤包括：第2变换步骤，将上述低频带信号变换为第2低频QMF频谱；带通步骤，使上述第2低频QMF频谱带通；以及伸展步骤，将带通后的上述第2低频QMF频谱在时间维度方向上伸展。

另外，第2变换步骤由QMF变换部601及QMF变换部1503进行，带通步骤由后述的带通部602进行，伸展步骤由相位声码器603及时间伸展部1504进行。

此外，上述高频生成步骤包括：补丁生成步骤，通过使上述低次谐波补丁带通，生成多个带通后的补丁；高次生成步骤，将带通后的上述多个补丁分别映射到高频而生成多个高次谐波补丁；以及合计步骤，将上述多个高次谐波补丁与上述低次谐波补丁合计。

另外，补丁生成步骤由带通部604、605进行，高次生成步骤由频率扩展部606、607进行，合计步骤由后述的加法部611进行。

图13是表示在本实施方式的HBE方式中使用的HF频谱发生器的图。HF频谱发生器具备QMF变换部601、带通部602、604、…、605、相位声码器603、频率扩展部606、…、607、延迟调整部608、609、…、610、和加法部611。

将给出的LF频带的输入首先变换到QMF域(601)，将该带通后的(602)QMF频谱时间伸展为2倍的长度(603)。将伸展后的QMF频谱进行带通(604～605)而制作频带被限制的(T-2)个频谱。将其结果得到的多个频带限制频谱变换为更高的频带的频谱(606～607)。将这些HF频谱进行延迟调整(608～610)，补偿由频谱变换处理造成的各种潜在的延迟，将它们合计(611)，生成最终的HF频谱。另外，上述括号内的数字601-611分别表示HF频谱发生器的构成要素。

另外，如果与QMF变换(图1中的108)比较，则本实施方式的HBE方式的QMF变换(QMF变换部601)具有更高的频率分辨率，对于下降的时间分辨率，通过后续的伸展处理进行补偿。

如果将本实施方式的HBE方式与先行技术的方式(图2)比较，则主要的差异是以下的点。1)如实施方式1那样，将时间伸展处理不是在FFT域、而在QMF域进行。2)将高次的补丁基于第2次补丁生成。3)将变调处理也不是在时间域、而在QMF域进行。

图14是表示采用了本实施方式的HBE方式的HF频谱发生器的解码器的图。该解码器(音频解码装置)具备逆多路复用部1501、解码部1502、QMF变换部1503、时间伸展部1504、延迟调整部1505、变调部1506、HF后处理部1507、T-F变换部1508、延迟调整部1509、逆T-F变换部1510、和加法部1511及1512。HF频谱发生器由QMF变换部1503、时间伸展部1504、延迟调整部1505、变调部1506、及加法部1511构成。另外，在本实施方式中，逆多路复用部1501相当于从编码信息(比特流)分离编码的低频带信号的分离部。此外，逆T-F变换部1510相当于将全频带信号从正交镜像滤波器组(QMF)域的信号变换为时间域的信号的逆变换部。

在该解码器中，首先，将比特流进行逆多路复用(1501)，接着将信号的LF部分解码(1502)。为了近似原来的HF部分，将解码后的LF部分(低频带信号)在QMF域中变换(1503)而生成LFQMF频谱。将由此得到的LFQMF频谱沿着时间方向伸展(1504)而生成低次的HF补丁。将该低次的HF补丁进行变调(1506)而生成高次的补丁。将由此得到的高次的补丁与延迟后的(1505)低次的HF补丁组合而生成HF频谱。将该HF频谱按照解码后的一部分HF参数，通过后处理进一步精细化(1507)。另一方面，将解码后的LF部分也变换到QMF域(1508)。最后，将精细化的HF频谱与延迟后的(1509)LF频谱组合而制作成全频带的QMF频谱(1512)。将得到的全频带的QMF频谱变换到原来的时间域(1510)，输出解码后的宽频带音频信号。另外，上述括号内的数字1501-1512分别表示解码器的构成单元。

变调方法

本实施方式的HBE方式的变调部1506的基于QMF的变调算法(QMF域的频率扩展方法)将LFQMF子带分解为多个次子带，将这些次子带变位到HF子带，将所得到的HF子带组合而生成HF频谱。即，上述高次生成步骤包括：分解步骤，将带通后的补丁的各QMF子带分为多个次子带；映射步骤，将上述多个次子带映射到多个高频QMF子带；以及组合步骤，将上述多个次子带的映射结果组合。

另外，分解步骤对应于后述的步骤1(901～903)，映射步骤对应于后述的步骤2及3(904～909)，组合步骤对应于后述的步骤4(910)。

图15是表示这样的基于QMF的变调算法的图。如果给出第2次补丁的带通后的频谱，则第t次(t＞2)补丁的HF频谱能够通过以下的次序重构。1)将该LF频谱、即LF频谱内的各QMF子带分解为多个QMF次子带(步骤1：901～903)，2)将这些次子带的中心频率用系数t/2缩放(步骤2：904～906)，3)将这些次子带映射到HF子带(步骤3：907～909)，4)将全部的映射后的次子带合计而形成HF子带(步骤4：910)。

关于步骤1，为了得到更好的频率分辨率，有一些能够用于将QMF子带分解为多个次子带的方法。例如，有在MPEG环绕声的编解码器中采用的、所谓的Mth带滤波器等。在本发明的优选的实施方式中，子带的分解通过使用由以下的(式12)定义的、追加的1组的指数调制滤波器组来实现。

[数式12]

g_{q} (n) = \exp {j \frac{π}{Q} \cdot (q + 0.5) (n - n_{0})}

…(式12)

这里，q＝-Q、-Q+1、…、0、1、…、Q-1，n＝0、1、…N。(式中，n₀是整数常数，N是滤波器组的次数。)

通过采用上述滤波器组，将某个子带信号、例如第k个子带信号x(n，k)如以下的(式13)所示那样分解为2Q个次子带信号。

[数式13]

y_{q}^{k} (n) = conv (x (n, k), g_{q} (n))

…(式13)

这里，q＝-Q、-Q+1、…、0、1、…、Q-1。在(式13)中，“conv(.)”表示卷积函数。

如果进行这样的追加的复数变换，则1个子带的频率频谱再划分为2Q个子频率频谱。从频率分辨率的观点看，在QMF变换中存在M个频带的情况下，与其建立了关联的子带频率分辨率是π/M，该次子带频率分辨率被精细化为π/(2Q·M)。此外，以下的(式14)所示的整体的***是时间不变，即，即使使用下采样及上采样，也不会发生混叠。

[数式14]

Σ_{q = - Q}^{Q - 1} g_{q} (p)

…(式14)

另外，上述追加的滤波器组被以奇数堆叠(stack)(系数q+0.5)，这意味着没有以直流值为中心的次子带。更正确地讲，在Q是偶数的情况下，次子带的中心频率以零为中心对称地分布。

图16是表示次子带频谱分布的图。具体而言，该图16表示Q＝6的情况下的上述滤波器组的频谱分布。以奇数堆叠的目的是使之后的次子带的组合变得容易。

关于步骤2，中心频率的缩放通过考虑复数QMF变换的过采样的特征而能够简略化。

另外，在复数QMF域，由于相邻的子带的通带相互重合，所以重合的范围中的频率成分出现在两者的子带中(参照专利文献：WO2006048814)。

结果，频率缩放通过仅对存在于这些通带中的次子带计算频率，能够使运算量减半。即，对偶数的子带仅计算正的频率部分，或者对奇数的子带仅计算负的频率部分。

更详细地讲，将第k_LF个子带分为2Q个次子带。即，x(n，k_LF)分为以下的(式15)。

[数式15]

y_{q}^{k_{LF}} (n)

…(式15)

然后，为了生成第t次的补丁，将这些次子带的中心频率通过以下的(式16)缩放。

[数式16]

f_{q, scale}^{k_{LF}} = (k_{LF} + 0.5 + \frac{q + 0.5}{2 Q}) \cdot (\frac{t}{2}) \cdot \frac{π}{M}

…(式16)

在k_LF是奇数的情况下，q＝-Q、-Q+1、…、-1，在k_LF是偶数的情况下，q＝0、1、…、Q-1。

关于步骤3，为了将次子带映射到HF子带，还需要考虑复数QMF变换的特征。在本实施方式中，将这样的映射处理通过两个步骤进行。第1步骤将通带上的全部的次子带单纯地映射到HF子带，第2步骤基于上述映射结果，将阻带上的全部的次子带映射到HF子带。即，上述映射步骤包括：划分步骤，将QMF子带的上述多个次子带划分为阻带部分和通带部分；频率计算步骤，通过依存于补丁的次数的系数计算上述通带部分上的多个次子带的变位后的中心频率；第1映射步骤，将上述通带部分上的多个次子带根据上述中心频率映射到多个高频QMF子带；第2映射步骤，将上述阻带部分上的多个次子带根据上述通带部分上的多个次子带映射到高频QMF子带。

为了理解上述内容，研究在相同的信号成分的一对正频率与负频率之间存在怎样的关系、以及与它们建立了关联的子带指数是有益的。

如上所述，在复数QMF域中，正弦波频谱既具有正频率也具有负频率。即，正弦波频谱在1个QMF子带的通带中具有它们中的一方频率，在相邻的子带的阻带中具有另一方频率。如果考虑QMF变换是奇数堆叠变换，则能够将这样的信号成分对表示在图17中。

图17是表示复数QMF域中的、用于正弦波的通带成分与阻带成分之间的关系的图。

这里，灰色的区域表示子带的阻带。关于子带的通带上的任意的正弦波信号(用实线表示)，该混叠部分(用虚线表示)位于相邻的子带的阻带(成对的两个频率成分通过双头箭头建立了关联)。

正弦波信号具有以下的(式17)所示的频率f₀。

[数式17]

\frac{π}{(2 M)} \leq f_{0} \leq (1 - \frac{1}{(2 M)}) \cdot π

…(式17)

关于具有上述频率f₀的正弦波信号，该通带成分在满足以下的(式18)的情况下，存在于第k个子带中。

[数式18]

\frac{k \cdot π}{M} \leq f_{0} < \frac{(k + 1) \cdot π}{M}

…(式18)

进而，其阻带成分存在于满足以下的(式19)的第k^～个子带中。

[数式19]

\tilde{k} = \{\begin{matrix} k - 1 & if \frac{k \cdot π}{M} \leq f_{0} < \frac{(k + 0.5) \cdot π}{M} \\ k + 1 & if \frac{(k + 0.5) \cdot π}{M} \leq f_{0} < \frac{(k + 1) \cdot π}{M} \end{matrix}

…(式19)

在子带被分解为2Q个次子带的情况下，上述关系使用更高的频率分辨率，如以下的(式20)所示那样详细地表示。

[数式20]

…(式20)

因而，在本实施方式中，为了将阻带上的次子带映射到HF子带，需要与通带上的次子带的映射结果建立关联。对于这样的处理的动机是，即使在HF成分中被向上方向移位的情况下，也将LF成分的频率对维持为对的原状。

因此，首先将通带上的次子带映射到HF子带是显而易见的。如果考虑缩放后的次子带的频率的中心频率和QMF变换的频率分辨率，则映射函数通过m(k，q)如以下的(式21)那样表示。

[数式21]

在k_LF是奇数的情况下，q＝-Q、-Q+1、…、-1，在k_LF是偶数的情况下，q＝0、1、…、Q-1。这里，以下的(式22)所示的函数表示用来求出与负的无限大最接近的x的整数的舍入处理。

[数式22]

…(式22)

此外，通过上方向缩放(t/2＞1)，1个HF子带能够具有多个次子带映射源。即，能够使m(k，q₁)＝m(k，q₂)、或m(k₁，q₁)＝m(k₂，q₂)。因而，HF子带如以下的(式23)所示，能够设为将LF子带的多个次子带进行组合的。

[数式23]

x_{pass} (n, k_{HF}) = \underset{allm (k_{LF}, q) = k_{HF}}{Σ y_{q}^{k_{LF}}} (n)

…(式23)

接着，接受频率对以及与子带指数的上述关系，阻带上的次子带的映射函数可以如以下这样建立。

如果考虑LF子带k_LF，则次子带的通带上的映射函数如以下这样已经通过第1步骤决定。在k_LF是奇数的情况下，m(k_LF，-Q)、m(k_LF，-Q+1)、…、m(k_LF，-1)，并且在k_LF是偶数的情况下，m(k_LF，0)、m(k_LF，1)、…、m(k_LF，Q-1)，与阻带部分建立了关联的通带可以通过以下的(式24)映射。

[数式24]

…(式24)

“条件a”表示k_LF是偶数、并且以下的(式25)是偶数的情况、或者k_LF是奇数、并且以下的(式26)是偶数的情况中的某一个。

[数式25]

…(式25)

[数式26]

…(式26)

此外，如上所述，以下的(式27)表示用来求出与负的无限大最接近的x的整数的舍入处理。

[数式27]

…(式27)

得到的HF子带如以下的(式28)所示，是建立了关联的全部的LF次子带的组合。

[数式28]

x_{stop} (n, k_{HF}) = \underset{all \tilde{m} ({\tilde{k}}_{LF, q}, q) = k_{HF}}{Σ y_{q}^{{\tilde{k}}_{LF, q}}} (n)

…(式28)

在k_LF是偶数的情况下，q＝-Q、-Q+1、…、-1，在k_LF是奇数的情况下，q＝0、1、…、Q-1。

最后，通过将通带及阻带的全部的映射结果组合，如以下的(式29)所示，形成HF子带。

[数式29]

x(n，k_HF)＝x_pass(n，k_HF)+x_stop(n，k_HF)…(式29)

另外，QMF域中的上述的变调方法对于高频的品质下降及在处理过程中可能发生的问题都是有益的。

首先，全部的补丁会具有相同的最小的伸展系数，由此，降低(由在时间伸展时生成的错误信号成分产生的)高频的噪声。接着，瞬态的劣化的造成原因全部被消除。即，不进行时间域的再采样处理。即，将相同的伸展系数用于全部的补丁，由此在本质上排除发生对位偏差的可能性。

进而，还应留意的是在本实施方式中、在频率分辨率方面存在一些缺点。通过采用次子带的滤波，将频率分辨率从π/M提高到了π/(2Q·M)，但与时间域再采样的较高的频率分辨率(π/L)相比依然低。但是，如果考虑到人的耳朵对于高频信号成分不敏感，则可以证明通过本实施方式得到的变调结果与通过再采样方法得到的结果在感知上没有任何变化。

与上述另外地，与实施方式1的HBE方式相比，本实施方式的HBE方式中只有1个低次补丁需要时间伸展处理，所以还能够得到使运算量减少的追加的优点。

在此情况下也通过仅考虑从变换造成的运算量而能够大致地分析运算量的减少。

接受上述运算量的分析中的假设，将伴随着本实施方式的HF频谱发生器的变换运算量如以下这样概算。

[数式30]

2·(2L/2)·log₂(2L/2)＝2·L·log₂(L)…(式30)

因而，将表1如以下这样更新。

[表2]

表2 本实施方式的HBE与实施方式1的HBE方式的运算量的比较

本发明是用于低位速率的音频编码的新的HBE技术。如果使用该技术，则通过在QMF域中进行LF部分的时间伸展及频率扩展来生成宽频带信号的HF部分，由此能够将宽频带信号基于低频带信号重构。与先行技术的HBE技术比较，通过本发明能够得到同样的音质、并且使运算量大幅减少。这样的技术能够导入到便携电话或电视会议等的、音频编解码器以低运算量且低位速率动作的应用等中。

另外，框图(图6、7、13、14等)的各功能块典型地可以作为集成电路即LSI实现。它们既可以单独地1芯片化，也可以包括一部分或全部而1芯片化。

这里，设为LSI，但根据集成度的差异，也有称作IC、***LSI、超级LSI、超大规模LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以通过专用电路或通用处理器实现。也可以使用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够再构成LSI内部的电路单元的连接及设定的可重构处理器。

进而，如果因半导体技术的进步或派生的其他技术出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能块的集成化。

此外，也可以仅将各功能块中的、保存作为编码或解码的对象的数据的单元不进行1芯片化而另外地构成。

工业实用性

本发明涉及用于低位速率音频编码的新的谐波频带扩展(HBE)技术。如果使用该技术，则通过在QMF域中进行低频(LF)部分的时间伸展及频率扩展而生成宽频带信号的高频(HF)部分，由此能够将宽频带信号基于低频频带信号重构。与先行技术的HBE技术比较，通过本发明能够得到同样的音质，并且使运算量大幅减少。这样的技术能够导入到便携电话或电视会议等的、音频编解码器以低运算量且低位速率动作的应用等中。

标号说明

501～503、602、604、605 带通部

504～506 采样部

507～509、601、1404、1503 QMF变换部

510～512、603 相位声码器

513～515、608～610、1407、1505、1509 延迟调整部

516、611、1410、1511、1512 加法部

606、607 频率扩展部

1401、1501 逆多路复用部

1402、1502 解码部

1403 时间再采样部

1405、1504 时间伸展部

1406、1508 T-F变换部

1408、1507 HF后处理部

1409、1510 逆T-F变换部

1506 变调部

Claims

1.一种频带扩展方法，从低频带信号生成全频带信号，包括：

第1变换步骤，将上述低频带信号变换到正交镜像滤波器组即QMF域，由此生成第1低频QMF频谱；

低次谐波补丁生成步骤，在上述QMF域对上述低频带信号进行时间伸展，由此生成低次谐波补丁；

高频生成步骤，对上述低次谐波补丁适用互不相同的移位系数，由此生成变调后的多个信号，从上述多个信号生成高频QMF频谱；

频谱修正步骤，对上述高频QMF频谱进行修正，以满足高频能量及音调的条件；以及

全频带生成步骤，对修正后的上述高频QMF频谱和上述第1低频QMF频谱进行组合，由此生成上述全频带信号。

2.如权利要求1所述的频带扩展方法，

上述低次谐波补丁生成步骤包括：

第2变换步骤，将上述低频带信号变换为第2低频QMF频谱；

上述第2低频QMF频谱具有比上述第1低频QMF频谱高的频率分辨率。

3.如权利要求1所述的频带扩展方法，

上述高频生成步骤包括：

补丁生成步骤，对上述低次谐波补丁进行带通处理，由此生成多个带通后的补丁；

高次生成步骤，将带通后的上述多个补丁分别映射到高频而生成多个高次谐波补丁；以及

合计步骤，将上述多个高次谐波补丁和上述低次谐波补丁合计。

4.如权利要求3所述的频带扩展方法，

上述高次生成步骤包括：

分解步骤，将带通后的补丁中的各QMF子带分为多个次子带；

映射步骤，将上述多个次子带映射到多个高频QMF子带；以及

组合步骤，将上述多个次子带的映射结果进行组合。

5.如权利要求4所述的频带扩展方法，

上述映射步骤包括：

划分步骤，将QMF子带的上述多个次子带划分为阻带部分和通带部分；

频率计算步骤，利用基于补丁的次数的系数，计算上述通带部分上的多个次子带的变位后的中心频率；

第1映射步骤，将上述通带部分上的多个次子带根据上述中心频率映射到多个高频QMF子带；以及

第2映射步骤，与上述通带部分上的多个次子带相应地将上述阻带部分上的多个次子带映射到高频QMF子带。

6.一种频带扩展装置，从低频带信号生成全频带信号，具备：

第1变换部，将上述低频带信号变换到正交镜像滤波器组即QMF域，由此生成第1低频QMF频谱；

低次谐波补丁生成部，在上述QMF域对上述低频带信号进行时间伸展，由此生成低次谐波补丁；

高频生成部，对上述低次谐波补丁适用互不相同的移位系数，由此生成变调后的多个信号，从上述多个信号生成高频QMF频谱；

频谱修正部，对上述高频QMF频谱进行修正，以满足高频能量及音调的条件；以及

全频带生成部，对修正后的上述高频QMF频谱和上述第1低频QMF频谱进行组合，由此生成上述全频带信号。

7.一种集成电路，从低频带信号生成全频带信号，具备：

8.一种音频解码装置，具备：

分离部，从编码信息分离被编码的低频带信号；

解码部，对上述被编码的低频带信号进行解码；

变换部，将通过上述解码部的解码生成的低频带信号变换到正交镜像滤波器组即QMF域，由此生成低频QMF频谱；

频谱修正部，对上述高频QMF频谱进行修正，以满足高频能量及音调的条件；

全频带生成部，对修正后的上述高频QMF频谱和上述低频QMF频谱进行组合，由此生成全频带信号；以及

逆变换部，将上述全频带信号从正交镜像滤波器组即QMF域的信号变换为时间域的信号。