JP4769673B2

JP4769673B2 - オーディオ信号補間方法及びオーディオ信号補間装置

Info

Publication number: JP4769673B2
Application number: JP2006254425A
Authority: JP
Inventors: 正清田中; 政直鈴木; 美由紀白川; 孝志牧内
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2006-09-20
Filing date: 2006-09-20
Publication date: 2011-09-07
Anticipated expiration: 2026-09-20
Also published as: EP1903558B1; CN101149926A; KR20080026481A; EP1903558A2; US20080071541A1; CN101149926B; DE602007002352D1; JP2008076636A; KR100912587B1; EP1903558A3; US7957973B2

Description

本発明は、オーディオ信号補間方法及びオーディオ信号補間装置に関し、特に、一部のスペクトル成分が間引かれたオーディオ信号に対し、間引かれたスペクトル成分を補間することにより音質を改善するオーディオ信号補間方法及びオーディオ信号補間装置に関する。

近年、インターネットを通じた音楽配信サービスが急速に普及しつつある。これら、音楽配信サービスでは、楽曲をＡＡＣ（ＡｄｖａｎｃｅｄＡｕｄｉｏＣｏｄｉｎｇ）や、ＭＰ３（ＭＰＥＧ１ＡｕｄｉｏＬａｙｅｒ３）といったオーディオ符号化技術によって圧縮されて配信されることが一般的である。

先述のＡＡＣやＭＰ３では、人間の主観に基づき、聴覚的に重要でないスペクトル成分を間引くことにより、情報を圧縮することを特徴としている。図１（Ａ）に符号化前の周波数スペクトルを示し、図１（Ｂ）に符号化後の周波数スペクトルを示す。図１（Ｂ）の破線で囲んだスペクトル成分を間引いている。

なお、本明細書では図１に示すようにオーディオ信号を周波数毎の振幅レベルで表した全体を周波数スペクトルと呼び、各周波数の振幅レベルをスペクトル成分と呼ぶ。

このスペクトル成分の間引きは、楽曲データを複数サンプル毎にまとめたフレーム単位で行われ、どのスペクトル成分が間引かれるかはフレーム毎に独立して決定される。つまり、図２（Ａ）に示す時刻ｔのフレームでは間引かれなかったスペクトル成分が、図２（Ｂ）に示す時刻（ｔ＋１）のフレームでは破線で囲んだスペクトル成分が間引かれるといった現象が生じ、スペクトル成分が激しく変動することがある。

人間の聴覚はスペクトル成分の変動に敏感であるため、このようなスペクトル成分の変動は聴覚的な違和感を生み、音質が劣化する原因となる。このようなスペクトル成分の間引きによる音質劣化を防ぐため、間引かれたスペクトル成分を適切に補間する技術が求められている。

間引かれたスペクトル成分を補間する技術として、例えば特許文献１に記載された技術がある。この技術では、第１に、スペクトル成分が存在しない帯域を被補間帯域として特定する。第２に、特定した被補間帯域を過去あるいは未来のフレームにおける被補間帯域と同一の帯域、あるいは被補間帯域の低域側に隣接する帯域のスペクトル成分を用いて補間する。図３（Ａ）に補間前の周波数スペクトルを示し、図３（Ｂ）に被補間帯域の低域側に隣接する帯域のスペクトル成分を用いて補間する様子を示す。
特許３５７６９３６号公報

従来技術では、スペクトル成分が存在しない帯域を被補間帯域として特定して補間を行っている。ここで、スペクトル成分が存在しない帯域には、符号化によって間引かれた帯域と、スペクトル成分がそもそも存在しない（もしくは小さい）帯域との２通りが考えられる。間引かれた帯域は補間が必要な帯域であるが、スペクトル成分がそもそも存在しない帯域は補間を行ってはならない帯域である。

しかし、従来技術では、そのどちらの帯域に対しても補間を行ってしまうため、スペクトル成分がそもそも存在しない帯域に対する不要な補間が行われる影響で、音質が劣化するという問題があった。

本発明は、上記の点に鑑みなされたものであり、補間すべき周波数帯域を正確に特定して不要な補間を行わず、音質劣化を防止することができるオーディオ信号補間方法及びオーディオ信号補間装置を提供することを目的とする。

本発明の一実施態様によるオーディオ信号補間方法は、
入力されるオーディオ信号の現フレームの周波数スペクトルとスペクトル格納手段に格納されている過去のフレームの周波数スペクトルの各スペクトル成分の変動であるスペクトル変動を求め、
前記現フレームの周波数スペクトルと前記スペクトル変動を用いて被補間帯域を決定し、
前記現フレームの周波数スペクトル又は過去のフレームの周波数スペクトルを用いて前記現フレームの被補間帯域のスペクトル成分の補間を行い、
前記スペクトル変動は、過去のフレームから現フレームまでのスペクトル成分の変化量であり、
前記被補間帯域は、スペクトル成分の大きさが第１の閾値以下で、かつ、前記スペクトル変動が第２の閾値以上の減衰であるときの当該スペクトル成分であることにより、補間すべき周波数帯域を正確に特定して不要な補間を行わず、音質劣化を防止することができる。

本発明の一実施態様によるオーディオ信号補間装置は、
入力されるオーディオ信号の現フレームの周波数スペクトルとスペクトル格納手段に格納されている過去のフレームの周波数スペクトルの各スペクトル成分の変動であるスペクトル変動を求めるスペクトル変動算出手段と、
前記現フレームの周波数スペクトルと前記スペクトル変動を用いて被補間帯域を決定する補間帯域決定手段と、
前記現フレームの周波数スペクトル又は過去のフレームの周波数スペクトルを用いて前記現フレームの被補間帯域のスペクトル成分の補間を行うスペクトル補間手段と、
を有し、
前記スペクトル変動算出手段は、過去のフレームから現フレームまでのスペクトル成分の変化量を前記スペクトル変動として求め、
前記補間帯域決定手段は、スペクトル成分の大きさが第１の閾値以下で、かつ、前記スペクトル変動が第２の閾値以上の減衰であるとき当該スペクトル成分を被補間帯域として決定することにより、補間すべき周波数帯域を正確に特定して不要な補間を行わず、音質劣化を防止することができる。

本発明の一実施態様によるオーディオ信号補間装置は、
入力されるオーディオ信号の現フレームの周波数スペクトルとスペクトル格納手段に格納されている過去のフレームの周波数スペクトルの各スペクトル成分の変動であるスペクトル変動を求めるスペクトル変動算出手段と、
前記現フレームの周波数スペクトルと前記スペクトル変動を用いて被補間帯域を決定する補間帯域決定手段と、
前記現フレームの周波数スペクトル又は過去のフレームの周波数スペクトルを用いて前記現フレームの被補間帯域のスペクトル成分の補間を行うスペクトル補間手段と、
を有し、
前記スペクトル変動算出手段は、過去のフレームでのスペクトル成分の変化量から現フレームでのスペクトル成分の変化量の差を前記スペクトル変動として求め、
前記補間帯域決定手段は、スペクトル成分の大きさが第１の閾値以下で、かつ、前記スペクトル変動が第３の閾値以上であるとき当該スペクトル成分を被補間帯域として決定する構成としても良い。

本発明の一実施態様によるオーディオ信号補間装置は、
入力されるオーディオ信号の現フレームの周波数スペクトルとスペクトル格納手段に格納されている過去のフレームの周波数スペクトルの各スペクトル成分の変動であるスペクトル変動を求めるスペクトル変動算出手段と、
前記現フレームの周波数スペクトルと前記スペクトル変動を用いて被補間帯域を決定する補間帯域決定手段と、
前記現フレームの周波数スペクトル又は過去のフレームの周波数スペクトルを用いて前記現フレームの被補間帯域のスペクトル成分の補間を行うスペクトル補間手段と、
を有し、
前記スペクトル変動算出手段は、過去のフレームでの当該スペクトル成分と隣接スペクトル成分の変化量から現フレームでの当該スペクトル成分と隣接スペクトル成分の変化量の差を前記スペクトル変動として求め、
前記補間帯域決定手段は、スペクトル成分の大きさが第１の閾値以下で、かつ、前記スペクトル変動が第４の閾値以上であるとき当該スペクトル成分を被補間帯域として決定する構成としても良い。

前記オーディオ信号補間装置において、
前記スペクトル補間手段は、前記被補間帯域として決定された現フレームの周波数スペクトルを、過去のフレームの前記被補間帯域と同一の帯域のスペクトル成分を用いて補間する構成としても良い。

前記オーディオ信号補間装置において、
前記スペクトル補間手段は、前記被補間帯域として決定された現フレームの周波数スペクトルを、現フレームの記被補間帯域の低域側に隣接するスペクトル成分を用いて補間する構成としても良い。

前記オーディオ信号補間装置において、
入力される時間領域のオーディオ信号を周波数領域のオーディオ信号に変換し現フレームの周波数スペクトルとして前記スペクトル変動算出手段に供給する変換手段を有する構成としても良い。

前記オーディオ信号補間装置において、
入力される符号化オーディオ情報を復号し現フレームの周波数スペクトルとして前記スペクトル変動算出手段に供給する復号手段を有する構成としても良い。

前記オーディオ信号補間装置において、
前記第１の閾値は、高域側の周波数スペクトルに対しては低く、低域側の周波数スペクトルに対しては高く設定した構成としても良い。

本発明によれば、補間すべき周波数帯域を正確に特定して不要な補間を行わず、音質劣化を防止することができる。

以下、図面に基づいて本発明の実施形態について説明する。

<本発明の原理>
本発明は、符号化されていないオーディオ信号（すなわち、原音）は各周波数の振幅レベルがなだらかに減衰するのに対し、符号化によってスペクトル成分が間引かれたオーディオ信号は、スペクトル成分が急激に減衰することを利用し、スペクトル成分の大きさに加えてスペクトル成分の振幅変動であるスペクトル変動の大きさを被補間帯域の特定に用いることにより、符号化によりスペクトル成分が間引かれた帯域を正確に特定し、補間を行うことを特徴とする。

<第１実施形態>
図４は本発明のオーディオ信号補間装置の第１実施形態の構成例のブロック図を示す。同図中、端子１１には符号化オーディオ情報を復号及び伸張した時間領域のオーディオ信号が楽曲データを複数サンプル毎にまとめたフレーム単位で入力され、時間−周波数変換部１２に供給される。

時間−周波数変換部１２では、フレーム毎に時間領域のオーディオ信号を周波数領域のオーディオ信号に変換する。なお、時間−周波数変換は、例えば、高速フーリエ変換（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ：ＦＦＴ）や変形離散コサイン変換（ＭｏｄｉｆｉｅｄＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ：ＭＤＣＴ）等の任意の変換方法を用いる。変換された周波数領域のオーディオ信号、すなわち周波数スペクトルは、スペクトル変動算出部１３、補間帯域決定部１５、スペクトル補間部１６それぞれに供給される。

スペクトル変動算出部１３は、時間−周波数変換部１２からの周波数スペクトルと、スペクトル格納部１４から読み出した前フレームの周波数スペクトルを用いてスペクトル変動を求め、補間帯域決定部１５に供給する。スペクトル変動としては、過去のフレームから現フレームまでのスペクトル成分の変化量、過去のフレームでのスペクトル成分の変化量（前々フレームから前フレームまでのスペクトル成分変動量）から現フレームでのスペクトル成分の変化量（前フレームから現フレームまでのスペクトル成分変動量）の差、過去のフレームでの当該スペクトル成分と隣接スペクトル成分の変化量（前フレームにおける当該スペクトル成分と隣接スペクトル成分との大きさの差分）から現フレームでの当該スペクトル成分と隣接スペクトル成分の変化量（現フレームにおける当該スペクトル成分と隣接スペクトル成分との大きさの差分）の差などである。

また、スペクトル変動算出部１３はスペクトル変動算出後、次のフレームでのスペクトル変動算出のために、スペクトル格納部１４に現フレームの周波数スペクトルを保存する。なお、スペクトル変動は、隣接する複数のスペクトル成分をまとめた周波数帯域毎に求めても良い。

補間帯域決定部１５では、時間−周波数変換部１２からの周波数スペクトル、及びスペクトル変動算出部１３からのスペクトル変動から、スペクトル成分を補間すべき被補間周波数を決定する。被補間周波数の決定方法としては、例えば、以下に示すような決定方法がある。

図５は、補間帯域決定部１５における被補間周波数決定方法の一形態のフローチャートを示す。ステップＳ１でスペクトル成分の大きさ（振幅レベル）が所定の閾値Ｘ［ｄＢｏｖ］以下あるか否かを判別し、ステップＳ２でスペクトル変動としての過去のフレームから現フレームまでのスペクトル成分の変化量が所定の閾値Ｙ［ｄＢ］以上減衰しているか否かを判別する。スペクトル成分の大きさがＸ［ｄＢｏｖ］以下、かつ、前フレームからＹ［ｄＢ］以上減衰している場合にステップＳ３で被補間周波数として特定する。スペクトル成分の大きさがＸ［ｄＢｏｖ］を超える場合、又は、スペクトル成分の減衰が前フレームからＹ［ｄＢ］未満の場合にはステップＳ４で補間不要帯域として特定する。なお、例えばＸ＝−６０，Ｙ＝２０とする。

図６は、補間帯域決定部１５における被補間周波数決定方法の他形態のフローチャートを示す。ステップＳ１１でスペクトル成分の大きさがＸ［ｄＢｏｖ］以下あるか否かを判別し、ステップＳ１２で前々フレームから前フレームまでのスペクトル成分変動量Ｙ１［ｄＢ］と、前フレームから現フレームまでのスペクトル成分変動量Ｙ２［ｄＢ］の差（Ｙ１−Ｙ２）［ｄＢ］が所定の閾値α以上であるか否かを判別する。スペクトル成分の大きさがＸ［ｄＢｏｖ］以下、かつ、差（Ｙ１−Ｙ２）［ｄＢ］が所定の閾値α以上の場合にステップＳ１３で被補間周波数として特定する。スペクトル成分の大きさがＸ［ｄＢｏｖ］を超える場合、又は、差（Ｙ１−Ｙ２）［ｄＢ］が所定の閾値α未満の場合にはステップＳ１４で補間不要帯域として特定する。ここで、閾値αは例えば数［ｄＢ］とする。なお、前々フレームより更に前のフレームでの変動量との差を用いても良い。

図７は、補間帯域決定部１５における被補間周波数決定方法の別形態のフローチャートを示す。ステップＳ２１でスペクトル成分の大きさがＸ［ｄＢｏｖ］以下あるか否かを判別し、ステップＳ２２で前フレームにおける当該スペクトル成分と隣接スペクトル成分との大きさの差分Ｚ１［ｄＢ］と、現フレームにおける当該スペクトル成分と隣接スペクトル成分との大きさの差分Ｚ２［ｄＢ］の差（Ｚ１−Ｚ２）［ｄＢ］が閾値β以上であるか否かを判別する。スペクトル成分の大きさがＸ［ｄＢｏｖ］以下、かつ、差（Ｚ１−Ｚ２）［ｄＢ］が閾値β以上である場合にステップＳ２３で被補間周波数として特定する。スペクトル成分の大きさがＸ［ｄＢｏｖ］を超える場合、又は、差（Ｚ１−Ｚ２）［ｄＢ］が閾値β未満の場合にはステップＳ２４で補間不要帯域として特定する。ここで、閾値βは例えば数［ｄＢ］とする。

上記図５〜図７では、閾値Ｘ，Ｙそれぞれは固定の値としているが、周波数帯域によって異なる閾値を用いても良い。例えばオーディオ信号の高周波数帯域ではＸ＝−５０とし、低周波数帯域ではＸ＝−６０とし、高周波数帯域ではＹ＝２０とし、低周波数帯域ではＹ＝１５とする等である。また、α，βについても高周波数帯域での値に対し、低周波数帯域での値を小さくしても良い。

更に、現フレームの周波数スペクトルの全帯域におけるオーディオ信号の平均パワーに所定の係数を乗算して閾値Ｘ，Ｙ，α，βを生成する等、閾値を動的に変動させても良いし、ＡＡＣ，ＭＰ３等のオーディオ符号化方式によって異なる閾値を用いても良い。更に、ユーザが閾値Ｘ，Ｙ，α，βを任意に変動できるようにしても良い。

図４に戻って説明するに、スペクトル補間部１６は、補間帯域決定部１５で補間帯域と決定されたスペクトル成分の補間を行う。補間の方法としては、例えば従来技術と同様に、被補間帯域として決定された現フレームの周波数スペクトルを前フレームの被補間帯域と同一の帯域のスペクトル成分を用いて補間する方法や、現フレームの低域側に隣接するスペクトル成分をコピーして補間する方法を用いる。周波数−時間変換部１７では、フレーム毎に補間後の周波数スペクトルの周波数−時間変換を行って、時間領域のオーディオ信号に戻し、端子１８から出力する。

本実施形態では、スペクトル成分の大きさに加えて、前フレームからのスペクトル成分の変動を用いて被補間周波数を特定して補間を行うため、補間してはならない帯域を補間することを防止でき、誤った補間による音質劣化が生じることがなく、符号化により間引かれた周波数帯域を適切に補間して符号化前のスペクトルに近い形に復元し、音質を改善することができる。

<第２実施形態>
図８は本発明のオーディオ信号補間装置の第２実施形態の構成例のブロック図を示す。同図中、図４と同一部分には同一符号を付す。図８において、端子１１には符号化オーディオ情報を復号及び伸張した時間領域のオーディオ信号が楽曲データを複数サンプル毎にまとめたフレーム単位で入力され、時間−周波数変換部１２に供給される。

時間−周波数変換部１２では、フレーム毎に時間領域のオーディオ信号を周波数領域のオーディオ信号に変換する。なお、時間−周波数変換は、例えば、高速フーリエ変換や変形離散コサイン変換等の任意の変換方法を用いる。変換された周波数領域のオーディオ信号、すなわち周波数スペクトルは、スペクトル変動算出部１３、補間帯域決定部１５、スペクトル補間部１６それぞれに供給される。

スペクトル変動算出部１３は、時間−周波数変換部１２からの周波数スペクトルと、スペクトル格納部２０から読み出した前フレームの周波数スペクトルを用いてスペクトル変動を求め、補間帯域決定部１５に供給する。スペクトル変動としては、過去のフレームから現フレームまでのスペクトル成分の変化量、過去のフレームでのスペクトル成分の変化量（前々フレームから前フレームまでのスペクトル成分変動量）から現フレームでのスペクトル成分の変化量（前フレームから現フレームまでのスペクトル成分変動量）の差、過去のフレームでの当該スペクトル成分と隣接スペクトル成分の変化量（前フレームにおける当該スペクトル成分と隣接スペクトル成分との大きさの差分）から現フレームでの当該スペクトル成分と隣接スペクトル成分の変化量（現フレームにおける当該スペクトル成分と隣接スペクトル成分との大きさの差分）の差などである。

なお、スペクトル変動算出部１３はスペクトル変動算出後、スペクトル格納部２０に現フレームの周波数スペクトルを保存しない。なお、スペクトル変動は、隣接する複数のスペクトル成分をまとめた周波数帯域毎に求めても良い。

補間帯域決定部１５では、時間−周波数変換部１２からの周波数スペクトル、及びスペクトル変動算出部１３からのスペクトル変動から、スペクトルを補間すべき被補間周波数を決定する。被補間周波数の決定方法としては、図５〜図７に示す方法を用いる。

スペクトル補間部１６は、補間帯域決定部１５で補間帯域と決定されたスペクトル成分の補間を行う。補間の方法としては、例えば従来技術と同様に、前フレームの同一帯域のスペクトル成分をコピーして補間する方法や、現フレームの低域側に隣接するスペクトル成分をコピーして補間する方法を用いる。スペクトル補間部１６は補間後の周波数スペクトルをスペクトル格納部２０に格納する。周波数−時間変換部１７では、フレーム毎に補間後の周波数スペクトルの周波数−時間変換を行って、時間領域のオーディオ信号に戻し、端子１８から出力する。

本実施形態では、スペクトル格納部に、補間後の周波数スペクトルをスペクトル格納部２０に格納し、スペクトル変動の算出を、前フレームの補間後の周波数スペクトルを用いて行うことにより、連続する複数フレームで同一帯域のスペクトル成分が間引かれた時にも、適切にスペクトル成分を補間することができ、第１実施形態より更に精度良く、符号化前のスペクトルを復元して音質を改善することができる。

<第３実施形態>
図９は本発明のオーディオ信号補間装置の第３実施形態の構成例のブロック図を示す。同図中、図４と同一部分には同一符号を付す。ここで、ＡＡＣやＭＰ３等のオーディオ符号化においては時間領域のオーディオ信号（原音）を周波数領域のオーディオ信号に変換してスペクトル成分の間引きを行った後、符号化を行って符号化オーディオ情報としている。

図９において、端子２１にはＡＡＣやＭＰ３等のオーディオ符号化を用いて圧縮された符号化オーディオ情報が入力され、スペクトル復号部２２に供給される。スペクトル復号部２２では符号化オーディオ情報を復号して周波数領域のオーディオ信号つまり周波数スペクトルとし、フレーム単位でスペクトル変動算出部１３、補間帯域決定部１５、スペクトル補間部１６それぞれに供給される。

スペクトル補間部１６は、補間帯域決定部１５で補間帯域と決定されたスペクトル成分の補間を行う。補間の方法としては、例えば従来技術と同様に、前フレームの同一帯域のスペクトル成分をコピーして補間する方法や、現フレームの低域側に隣接するスペクトル成分をコピーして補間する方法を用いる。周波数−時間変換部１７では、フレーム毎に補間後の周波数スペクトルの周波数−時間変換を行って、時間領域のオーディオ信号に戻し、端子１８から出力する。

この実施形態では、周波数領域で符号化された符号化オーディオ情報に対して、時間領域のオーディオ信号に戻す前の周波数領域のオーディオ信号に対して補間を行う。これにより、時間−周波数変換を行うコストが削減できると共に、時間領域のオーディオ信号から周波数スペクトルを分析する際の分析誤差が生じないため、第１実施形態より更に精度良く、符号化前の周波数スペクトルを復元し、音質を改善することができる。

<第４実施形態>
図１０は本発明のオーディオ信号補間装置の第３実施形態の構成例のブロック図を示す。同図中、図４と同一部分には同一符号を付す。

図１０において、端子２１にはＡＡＣやＭＰ３等のオーディオ符号化を用いて圧縮された符号化オーディオ情報が入力され、スペクトル復号部２２に供給される。スペクトル復号部２２では符号化オーディオ情報を復号して周波数領域のオーディオ信号つまり周波数スペクトルとし、フレーム単位でスペクトル変動算出部１３、補間帯域決定部１５、スペクトル補間部１６それぞれに供給される。

本実施形態では、スペクトル格納部に、補間後の周波数スペクトルをスペクトル格納部２０に格納し、スペクトル変動の算出を、前フレームの補間後の周波数スペクトルを用いて行うことにより、連続する複数フレームで同一帯域のスペクトル成分が間引かれた時にも、適切にスペクトル成分を補間することができ、第３実施形態より更に精度良く、符号化前のスペクトルを復元して音質を改善することができる。

なお、スペクトル格納部１４，２０が請求項又は付記に記載のスペクトル格納手段に相当し、スペクトル変動算出部１３がスペクトル変動算出手段に相当し、補間帯域決定部１５が補間帯域決定手段に相当し、スペクトル補間部１６がスペクトル補間手段に相当し、時間−周波数変換部１２が変換手段に相当し、スペクトル復号部２２が復号手段に相当する。
（付記１）
入力されるオーディオ信号の現フレームの周波数スペクトルとスペクトル格納手段に格納されている過去のフレームの周波数スペクトルの各スペクトル成分の変動であるスペクトル変動を求め、
前記周波数スペクトルと前記スペクトル変動を用いて被補間帯域を決定し、
前記現フレームの周波数スペクトル又は過去のフレームの周波数スペクトルを用いて前記現フレームの被補間帯域のスペクトル成分の補間を行うことを特徴とするオーディオ信号補間方法。
（付記２）
入力されるオーディオ信号の現フレームの周波数スペクトルとスペクトル格納手段に格納されている過去のフレームの周波数スペクトルの各スペクトル成分の変動であるスペクトル変動を求めるスペクトル変動算出手段と、
前記周波数スペクトルと前記スペクトル変動を用いて被補間帯域を決定する補間帯域決定手段と、
前記現フレームの周波数スペクトル又は過去のフレームの周波数スペクトルを用いて前記現フレームの被補間帯域のスペクトル成分の補間を行うスペクトル補間手段と、
を有することを特徴とするオーディオ信号補間装置。
（付記３）
付記２記載のオーディオ信号補間装置において、
前記スペクトル変動算出手段は、過去のフレームから現フレームまでのスペクトル成分の変化量を前記スペクトル変動として求め、
前記補間帯域決定手段は、スペクトル成分の大きさが第１の閾値以下で、かつ、前記スペクトル変動が第２の閾値以上の減衰であるとき当該スペクトル成分を被補間帯域として決定することを特徴とするオーディオ信号補間装置。
（付記４）
付記２記載のオーディオ信号補間装置において、
前記スペクトル変動算出手段は、過去のフレームでのスペクトル成分の変化量から現フレームでのスペクトル成分の変化量の差を前記スペクトル変動として求め、
前記補間帯域決定手段は、スペクトル成分の大きさが第１の閾値以下で、かつ、前記スペクトル変動が第３の閾値以上であるとき当該スペクトル成分を被補間帯域として決定することを特徴とするオーディオ信号補間装置。
（付記５）
付記２記載のオーディオ信号補間装置において、
前記スペクトル変動算出手段は、過去のフレームでの当該スペクトル成分と隣接スペクトル成分の変化量から現フレームでの当該スペクトル成分と隣接スペクトル成分の変化量の差を前記スペクトル変動として求め、
前記補間帯域決定手段は、スペクトル成分の大きさが第１の閾値以下で、かつ、前記スペクトル変動が第４の閾値以上であるとき当該スペクトル成分を被補間帯域として決定することを特徴とするオーディオ信号補間装置。
（付記６）
付記２乃至５のいずれか１項記載のオーディオ信号補間装置において、
前記スペクトル補間手段は、前記被補間帯域として決定された現フレームの周波数スペクトルを、過去のフレームの前記被補間帯域と同一の帯域のスペクトル成分を用いて補間することを特徴とするオーディオ信号補間装置。
（付記７）
付記２乃至５のいずれか１項記載のオーディオ信号補間装置において、
前記スペクトル補間手段は、前記被補間帯域として決定された現フレームの周波数スペクトルを、現フレームの記被補間帯域の低域側に隣接するスペクトル成分を用いて補間することを特徴とするオーディオ信号補間装置。
（付記８）
付記２記載のオーディオ信号補間装置において、
入力される時間領域のオーディオ信号を周波数領域のオーディオ信号に変換し現フレームの周波数スペクトルとして前記スペクトル変動算出手段に供給する変換手段を
有することを特徴とするオーディオ信号補間装置。
（付記９）
付記２記載のオーディオ信号補間装置において、
入力される符号化オーディオ情報を復号し現フレームの周波数スペクトルとして前記スペクトル変動算出手段に供給する復号手段を
有することを特徴とするオーディオ信号補間装置。
（付記１０）
付記３乃至５のいずれか１項記載のオーディオ信号補間装置において、
前記第１の閾値は、高域側の周波数スペクトルに対して小さく、低域側の周波数スペクトルに対して大きく設定したことを特徴とするオーディオ信号補間装置。
（付記１１）
付記２記載のオーディオ信号補間装置において、
前記スペクトル変動算出手段でスペクトル変動を求めたのち前記現フレームの周波数スペクトルを前記スペクトル格納手段に格納することを特徴とするオーディオ信号補間装置。
（付記１２）
付記２記載のオーディオ信号補間装置において、
前記スペクトル補間手段で補間を行った現フレームの周波数スペクトルを前記スペクトル格納手段に格納することを特徴とするオーディオ信号補間装置。
（付記１３）
付記３記載のオーディオ信号補間装置において、
前記第２の閾値は、高域側の周波数スペクトルに対して大きく、低域側の周波数スペクトルに対して小さく設定したことを特徴とするオーディオ信号補間装置。
（付記１４）
付記４記載のオーディオ信号補間装置において、
前記第３の閾値は、高域側の周波数スペクトルに対して大きく、低域側の周波数スペクトルに対して小さく設定したことを特徴とするオーディオ信号補間装置。
（付記１５）
付記５記載のオーディオ信号補間装置において、
前記第４の閾値は、高域側の周波数スペクトルに対して大きく、低域側の周波数スペクトルに対して小さく設定したことを特徴とするオーディオ信号補間装置。
（付記１６）
付記５記載のオーディオ信号補間装置において、
前記第１乃至第４の閾値を、現フレームの周波数スペクトルの全帯域におけるオーディオ信号の平均パワーに応じて可変することを特徴とするオーディオ信号補間装置。

スペクトル成分の間引きを説明するための図である。スペクトル成分の間引きを説明するための図である。スペクトル成分の補間を説明するための図である。本発明のオーディオ信号補間装置の第１実施形態の構成例のブロック図である。被補間周波数決定方法の一形態のフローチャートである。被補間周波数決定方法の他形態のフローチャーである。被補間周波数決定方法の別形態のフローチャーである。本発明のオーディオ信号補間装置の第２実施形態の構成例のブロック図である。本発明のオーディオ信号補間装置の第３実施形態の構成例のブロック図である。本発明のオーディオ信号補間装置の第４実施形態の構成例のブロック図である。

符号の説明

１２時間−周波数変換部
１３スペクトル変動算出部
１４，２０スペクトル格納部
１５補間帯域決定部
１６スペクトル補間部
１７周波数−時間変換部
２２スペクトル復号部

Claims

入力されるオーディオ信号の現フレームの周波数スペクトルとスペクトル格納手段に格納されている過去のフレームの周波数スペクトルの各スペクトル成分の変動であるスペクトル変動を求め、
前記現フレームの周波数スペクトルと前記スペクトル変動を用いて被補間帯域を決定し、
前記現フレームの周波数スペクトル又は過去のフレームの周波数スペクトルを用いて前記現フレームの被補間帯域のスペクトル成分の補間を行い、
前記スペクトル変動は、過去のフレームから現フレームまでのスペクトル成分の変化量であり、
前記被補間帯域は、スペクトル成分の大きさが第１の閾値以下で、かつ、前記スペクトル変動が第２の閾値以上の減衰であるときの当該スペクトル成分であることを特徴とするオーディオ信号補間方法。
入力されるオーディオ信号の現フレームの周波数スペクトルとスペクトル格納手段に格納されている過去のフレームの周波数スペクトルの各スペクトル成分の変動であるスペクトル変動を求めるスペクトル変動算出手段と、
前記現フレームの周波数スペクトルと前記スペクトル変動を用いて被補間帯域を決定する補間帯域決定手段と、
前記現フレームの周波数スペクトル又は過去のフレームの周波数スペクトルを用いて前記現フレームの被補間帯域のスペクトル成分の補間を行うスペクトル補間手段と、
を有し、
前記スペクトル変動算出手段は、過去のフレームから現フレームまでのスペクトル成分の変化量を前記スペクトル変動として求め、
前記補間帯域決定手段は、スペクトル成分の大きさが第１の閾値以下で、かつ、前記スペクトル変動が第２の閾値以上の減衰であるとき当該スペクトル成分を被補間帯域として決定することを特徴とするオーディオ信号補間装置。
入力されるオーディオ信号の現フレームの周波数スペクトルとスペクトル格納手段に格納されている過去のフレームの周波数スペクトルの各スペクトル成分の変動であるスペクトル変動を求めるスペクトル変動算出手段と、
前記現フレームの周波数スペクトルと前記スペクトル変動を用いて被補間帯域を決定する補間帯域決定手段と、
前記現フレームの周波数スペクトル又は過去のフレームの周波数スペクトルを用いて前記現フレームの被補間帯域のスペクトル成分の補間を行うスペクトル補間手段と、
を有し、
前記スペクトル変動算出手段は、過去のフレームでのスペクトル成分の変化量から現フレームでのスペクトル成分の変化量の差を前記スペクトル変動として求め、
前記補間帯域決定手段は、スペクトル成分の大きさが第１の閾値以下で、かつ、前記スペクトル変動が第３の閾値以上であるとき当該スペクトル成分を被補間帯域として決定することを特徴とするオーディオ信号補間装置。
入力されるオーディオ信号の現フレームの周波数スペクトルとスペクトル格納手段に格納されている過去のフレームの周波数スペクトルの各スペクトル成分の変動であるスペクトル変動を求めるスペクトル変動算出手段と、
前記現フレームの周波数スペクトルと前記スペクトル変動を用いて被補間帯域を決定する補間帯域決定手段と、
前記現フレームの周波数スペクトル又は過去のフレームの周波数スペクトルを用いて前記現フレームの被補間帯域のスペクトル成分の補間を行うスペクトル補間手段と、
を有し、
前記スペクトル変動算出手段は、過去のフレームでの当該スペクトル成分と隣接スペクトル成分の変化量から現フレームでの当該スペクトル成分と隣接スペクトル成分の変化量の差を前記スペクトル変動として求め、
前記補間帯域決定手段は、スペクトル成分の大きさが第１の閾値以下で、かつ、前記スペクトル変動が第４の閾値以上であるとき当該スペクトル成分を被補間帯域として決定することを特徴とするオーディオ信号補間装置。
請求項２乃至４のいずれか１項記載のオーディオ信号補間装置において、
前記スペクトル補間手段は、前記被補間帯域として決定された現フレームの周波数スペクトルを、過去のフレームの前記被補間帯域と同一の帯域のスペクトル成分を用いて補間することを特徴とするオーディオ信号補間装置。
請求項２乃至４のいずれか１項記載のオーディオ信号補間装置において、
前記スペクトル補間手段は、前記被補間帯域として決定された現フレームの周波数スペクトルを、現フレームの記被補間帯域の低域側に隣接するスペクトル成分を用いて補間することを特徴とするオーディオ信号補間装置。
請求項２記載のオーディオ信号補間装置において、
入力される時間領域のオーディオ信号を周波数領域のオーディオ信号に変換し現フレームの周波数スペクトルとして前記スペクトル変動算出手段に供給する変換手段を
有することを特徴とするオーディオ信号補間装置。
請求項２記載のオーディオ信号補間装置において、
入力される符号化オーディオ情報を復号し現フレームの周波数スペクトルとして前記スペクトル変動算出手段に供給する復号手段を
有することを特徴とするオーディオ信号補間装置。
請求項３乃至４のいずれか１項記載のオーディオ信号補間装置において、
前記第１の閾値は、高域側の周波数スペクトルに対しては低く、低域側の周波数スペクトルに対しては高く設定したことを特徴とするオーディオ信号補間装置。