JP3588937B2

JP3588937B2 - オーディオデータ伝送方式

Info

Publication number: JP3588937B2
Application number: JP27379296A
Authority: JP
Inventors: 真二肥塚
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1996-10-16
Filing date: 1996-10-16
Publication date: 2004-11-17
Anticipated expiration: 2016-10-16
Also published as: JPH10126272A

Description

【０００１】
【発明の属する技術分野】
この発明は、伝送帯域が逐次変動する伝送路を介してオーディオデータをリアルタイム伝送するのに好適なオーディオデータ伝送方式に関する。
【０００２】
【従来の技術】
近年、インターネットに代表される通信ネットワークの進歩に伴い、通信ネットワークを介して画像やオーディオデータの伝送が頻繁に行われるようになってきた。特にオーディオデータの場合、音楽や音声をリアルタイムで伝送することが重要であり、従来は、伝送路の平均的な伝送帯域を考慮して、必要なデータ圧縮を行って調整された固定のデータレートでオーディオデータを伝送している。
【０００３】
【発明が解決しようとする課題】
しかしながら、インターネットの場合、回線のトラフィックの状況によって伝送帯域が大きく変動するという問題がある。従って、平均的には伝送帯域が送出したいオーディオデータのデータレートを満たしていても、一時的な伝送帯域の減少によって、リアルタイム性が損なわれ、音楽演奏の途中で音切れが発生するといった事態が生じ、著しく聴感品質を低下させるという問題がある。
【０００４】
この発明は、このような問題点に鑑みなされたもので、伝送帯域が逐次変動する伝送路においても、常にリアルタイム性を損なわずにオーディオデータを伝送することができるオーディオデータ伝送方式を提供することを目的とする。
【０００５】
【課題を解決するための手段】
この発明に係るオーディオデータ伝送方式は、送信側で伝送路の伝送帯域を逐次モニタして、このモニタされた伝送帯域の状況に応じて伝送すべきオーディオデータの高域成分のうち奇数番目の周波数成分と、前記高域成分のうち偶数番目の周波数成分とを交互に伝送することにより前記高域成分の伝送を制限すると共に、前記高域成分の制限状態を特定する制限情報を前記オーディオデータに付加して前記伝送路に送出し、受信側で前記奇数番目の周波数と偶数番目の周波数とに基づいて前記オーディオデータの高域成分を補償して前記伝送すべきオーディオデータを再構成するようにしたことを特徴とする。
【０００６】
この発明によれば、送信側で伝送路の伝送帯域を逐次モニタし、このモニタされた伝送帯域の状況に基づいて、オーディオデータの伝送を制限するので、伝送帯域に応じてデータレートが適応的に変化し、これにより常にリアルタイムでの伝送が保証され、音切れなどの発生を防止することができる。しかも、この発明によれば、制限する情報は、聴感上影響の少ないオーディオデータの高域成分のみであり、且つ受信側で高域成分が前後の周波数成分や前後の伝送データ等に基づいて補償されるので、データレートが下がった場合でも、聴感品質の低下は殆どない。
また、送信側でオーディオデータの高域成分のうち奇数番目の周波数成分と、高域成分のうち偶数番目の周波数成分とを交互に伝送することにより高域成分の伝送を制限し、受信側で奇数番目の周波数成分と偶数番目の周波数成分とに基づいて高域成分を補償している。通常、オーディオデータの場合、隣接フレーム間の相関は非常に高いので、高域成分をこのように偶数番目と奇数番目とで交互に間引いても、前後のフレームから殆どもとのデータを再現することができる。
【０００７】
なお、より具体的には、例えば送信側でオーディオデータの高域成分を特定の周波数間隔で間引くことにより高域成分の伝送を制限することが考えられる。この場合には、受信側でオーディオデータの高域成分の間引いた部分を前後の周波数成分に基づいて、例えば直線補間等により高域成分を補償することができる。
【００１０】
【発明の実施の形態】
以下、図面を参照して、この発明の好ましい実施の形態について説明する。
図１は、この発明の実施例に係るオーディオデータ送信装置のブロック図である。
オーディオデータ等の入力データは直交変換部１に入力され、ここで例えばＦＦＴ（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ），ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）等のアルゴリズムに基づいて時間−周波数直交変換されて周波数スペクトラムデータとなる。このデータは、高域成分制限部２に入力される。高域成分制限部２は、後述する状態選択部３からの状態情報に基づいて周波数スペクトラムデータの高域成分を制限する。制限情報付加部４は、高域成分制限部２からの高域成分が制限されたデータに、データサイズや状態選択部３から供給される制限状態等を制限情報として付加する。制限情報が付加されたデータは、送信部５を介して送信データとして図示しない伝送路を介して受信装置へ送出される。送信部５は、また、受信装置側から返送されたＡＣＫデータを受信する。伝送帯域モニタ部６は、送信部５からのデータ送信開始からＡＣＫデータ受信終了までの時間に基づいて、伝送路の伝送帯域をモニタする。そして、このモニタ結果に基づいて状態選択部３が次のデータの伝送の制限状態を選択する。
【００１１】
次に、このように構成されたオーディオデータ送信装置の動作について説明する。
この送信装置では、伝送帯域モニタ部６によって伝送路の伝送帯域が常時モニタされる。
図２は、このモニタ処理の手順を示すフローチャートである。
まず、時間カウント値ＴＣを０に初期化する（Ｓ１）。次に、送信部５がデータの送信を開始したら（Ｓ２）、時間カウント値ＴＣのカウントアップを開始し（Ｓ３）、送信部５が受信装置からＡＣＫデータを受信するまでＴＣのカウントを続行する（Ｓ４）。ＡＣＫデータの受信が完了したら、現在のＢＰＳ（ＢｉｔｐｅｒＳｅｃｏｎｄ）を下記数１のように算出する（Ｓ５）。
【００１２】
【数１】

【００１３】
但し、ＴＦはタイムファクタで、カウント値ＴＣを実時間に換算するための係数である。以上の処理により、伝送路の伝送帯域を現在のＢＰＳによって把握することができる。
【００１４】
状態選択部３は、求められた伝送路の伝送帯域に応じて次の４つの制限状態のいずれか１つを選択して高域成分制限部２を制御する。図３は、この４つの制限状態の一例を示す図である。図は、入力データの周波数成分（チャネル）が１からＮチャネルまである場合で、チャネルＭ以上がここでの制限対象である高域成分となっている。
同図（ａ）の状態Ａは何も制限を加えない状態であり、伝送帯域に余裕がある場合に選択される。
同図（ｂ）の状態Ｂは、チャネルＭ以上の高域成分のうち、チャネルＭから数えて偶数番目のチャネルを削除して、チャネルＭから数えて奇数番目のチャネルのみを出力する制限状態である。伝送帯域が一時的に狭くなった場合にこの状態が選択される。
同図（ｃ）の状態Ｃは、チャネルＭ以上の高域成分のうち、チャネルＭから数えて奇数番目のチャネルを削除して、チャネルＭから数えて偶数番目のチャネルのみを出力する制限状態である。状態Ｂが続くような場合に選択される。
同図（ｄ）の状態Ｄは、Ｍ以上のチャネルを全て削除する制限状態であり、状態Ｂ，Ｃによっても伝送データが伝送帯域の中に収まらなくなってきたときに選択される。
【００１５】
これら４つの状態のいずれを選択するかを決定するのが状態選択部３であり、その状態遷移を示したのが図４である。
図中、黒の太矢印はＢＰＳが増加（伝送帯域が拡大）した場合の遷移、白の太矢印はＢＰＳが低下（伝送帯域が縮小）した場合の遷移、実線矢印はＢＰＳが変化しない場合の遷移をそれぞれ示している。
状態ＤのときにＢＰＳが増加した場合には状態Ｂへ、状態Ｂ又はＣのときにＢＰＳが増加した場合には状態Ａへそれぞれ遷移する。状態ＡのときにＢＰＳが低下した場合には状態Ｂへ、状態Ｂ，ＣのときにＢＰＳが低下した場合には状態Ｄへそれぞれ遷移する。更に、状態Ａ，ＤのときにＢＰＳが変動しない場合には、そのままの状態を維持するが、状態Ｂ，ＣのときにＢＰＳが変動しない場合には、それぞれ状態Ｃ，Ｂに遷移する。このように、状態ＢとＣを交互に挿入するのは、各々の状態において制限されたチャネルを連続させないためであり、このように制御することにより、受信側での補間精度を上げることができる。また、この過程で帯域に余裕が出てきた場合には、適当なタイミングで状態Ａが挿入されることになり、これりより更に補間精度は向上する。なお、状態Ａ，ＤからＢへ遷移するか、Ｃへ遷移するかは任意に設定可能である。
【００１６】
図５は、このような状態遷移を実現するための状態遷移部３の処理を示すフローチャートである。
まず、ＣＲ（今回のビットレート）に現在のＢＰＳを格納する（Ｓ１１）。次にＣＲとＰＲ（前回のビットレート）とを比較し（Ｓ１２）、その比較結果に応じて次のように処理する。
（１）ＣＲ＞ＰＲ（ＢＰＳが増加した場合）
ＰＳ（前回の状態）が状態Ｄのとき（Ｓ１３）ＣＳ（現在の状態）を状態Ｂとし（Ｓ１４）、それ以外のときはＣＳを状態Ａとする（Ｓ１５）。
（２）ＣＲ＜ＰＲ（ＢＰＳが減少した場合）
ＰＳが状態Ａのとき（Ｓ１６）ＣＳを状態Ｂとし（Ｓ１７）、それ以外のときはＣＳを状態Ｄとする（Ｓ１８）。
（３）ＣＲ＝ＰＲ（ＢＰＳが不変の場合）
ＰＳが状態Ｂのとき（Ｓ１９）ＣＳを状態Ｃとし（Ｓ２０）、ＰＳが状態Ｃのとき（Ｓ２１）ＣＳを状態Ｂとし（Ｓ２２）、それ以外のときはＣＳ＝ＰＳとする（Ｓ２３）。ＣＳが決定されたら、ＰＲ，ＰＳをそれぞれＣＲ，ＣＳに更新して終了する（Ｓ２４）。
【００１７】
このようにして状態が決定されたら、高域成分制限部２では、入力データから制限済みデータを生成する。
図６及び図７は、制限済みデータを生成するための高域成分制限部２の処理を示すフローチャートである。
（１）ＣＳ＝Ａのとき［図６（ａ）］
入力データのチャネル番号を示すループカウンタｉを１からＮまで１ずつ変化させながら（Ｓ３１，Ｓ３３，Ｓ３４）、入力データＩｎＤａｔａ（ｉ）を出力データＯｕｔＤａｔａ（ｉ）とする処理を繰り返す（Ｓ３２）。これにより、入力データがそのまま出力データとして出力される。
（２）ＣＳ＝Ｂのとき［図６（ｂ）］
ループカウンタｉを１からＭまで１ずつ変化させながら（Ｓ４１，Ｓ４３，Ｓ４４）、入力データＩｎＤａｔａ（ｉ）を出力データＯｕｔＤａｔａ（ｉ）とする処理を繰り返す（Ｓ４２）。ｉがＭ以上になったら（Ｓ４４）、ｉを１だけカウントアップして（Ｓ４５）、ｉをＭ＋１からＮまで２ずつ変化させながら（Ｓ４７，Ｓ４８）、入力データＩｎＤａｔａ（ｉ）を出力データＯｕｔＤａｔａ（ｉ）とする処理を繰り返す（Ｓ４６）。これにより、入力データの高域成分のうちＭ番地から数えて偶数番目のチャネルのみが制限されたデータが出力データとして出力される。
【００１８】
（３）ＣＳ＝Ｃのとき［図７（ａ）］
ループカウンタｉを１からＭまで１ずつ変化させながら（Ｓ５１，Ｓ５３，Ｓ５４）、入力データＩｎＤａｔａ（ｉ）を出力データＯｕｔＤａｔａ（ｉ）とする処理を繰り返す（Ｓ５２）。ｉがＭ以上になったら（Ｓ５４）、ｉをＭからＮまで２ずつ変化させながら（Ｓ５６，Ｓ５７）、入力データＩｎＤａｔａ（ｉ）を出力データＯｕｔＤａｔａ（ｉ）とする処理を繰り返す（Ｓ５５）。これにより、入力データの高域成分のうちＭ番地から数えて奇数番目のチャネルのみが制限されたデータが出力データとして出力される。
（４）ＣＳ＝Ｄのとき［図７（ｂ）］
ループカウンタｉを１からＭまで１ずつ変化させながら（Ｓ６１，Ｓ６３，Ｓ６４）、入力データＩｎＤａｔａ（ｉ）を出力データＯｕｔＤａｔａ（ｉ）とする処理を繰り返す（Ｓ６２）。これにより、入力データの高域成分が全て制限されたデータが出力データとして出力される。
【００１９】
以上の処理で制限済みデータが生成されたら、制限情報付加部４では、図８に示すように、制限済みデータの先頭に制限情報を付加して送信データを生成する。制限情報は、Ａ〜Ｄのいずれの制限状態であるかを示す状態情報（例えば２ビット）と、データのサイズの情報からなる。
【００２０】
この送信データを受信するオーディオ受信装置は、例えば図９に示すように構成することができる。
受信データは受信部１１で受信され、制限情報分離部１２で受信データのうちの制限情報のみが分離される。制限済みデータはデータ補償部１３に供給され、ここで制限情報に基づく補償処理が実行される。即ち、状態Ａのときはデータがスルー状態で出力され、状態Ｂ，Ｃ，Ｄのときは、データバッファ１４に保存されている前回送信されたデータに基づいて補償処理が実行される。状態Ｂ，Ｃの場合には、前回受信されたデータと今回受信されたデータとで高域成分の奇数チャネルと偶数チャネルとを交互に埋める処理であり、状態Ｄの場合には、前回の補償済みデータを用いた補償処理を実行すればよい。補償済みデータは、図示しない直交逆変換部によって周波数−時間変換されてオーディオデータが再生される。
【００２１】
いま、サンプリング周波数が４４．１ＫＨｚ、１フレーム５１２サンプルとすれば、１フレームの周期は約１１ｍｓであり、オーディオデータの性質を考えると、この程度のフレーム周期であればフレーム間の相関がかなり高いことが明らかである。従って、上述したようなデータの制限を行っても、前後のフレームから再生されたデータはもとのデータと殆ど変わらない。このため、この装置によれば、再生品質を殆ど落とさずにデータレートを伝送路に合わせて柔軟に制御することができ、リアルタイムでの伝送が可能になる。
【００２２】
なお、この発明は、上述した実施例に限定されるものではない。
上記実施例では、高域成分のチャネルを固定としたが、伝送帯域に応じて更にＭの値を可変にして、より多くの制限状態から適切な状態を選択するようにしても良い。
また、受信側での補間方法としては、状態Ｂ，Ｃの場合にフレーム内の隣接チャネル間の直線補間を行う方法も考えられるし、多少の遅延が許容されるシステムでは、データバッファ１４に複数のフレーム分のデータを保存しておいて、前後フレームの同一チャネルのデータから補間を行うことも考えられる。また、状態Ｄについても、前フレームの補償済みデータから補償する他、複数フレームのデータの同一チャネルから推定可能である。
【００２３】
【発明の効果】
以上述べたように、この発明によれば、送信側で伝送路の伝送帯域を逐次モニタし、このモニタされた伝送帯域の状況に基づいて、オーディオデータの高域成分の伝送を制限するようにしているので、聴感品質を殆ど下げることなく、伝送帯域に応じたデータレートの適応制御が可能になり、常にリアルタイムでの伝送が保証され、音切れなどの発生を防止することができるという効果を奏する。
【図面の簡単な説明】
【図１】この発明の一実施例に係るオーディオ送信装置のブロック図である。
【図２】同装置における伝送帯域モニタの処理を示すフローチャートである。
【図３】同装置における高域成分制限の態様を示す図である。
【図４】同装置における状態選択部での状態選択遷移図である。
【図５】同状態選択遷移を実現する処理の内容を示すフローチャートである。
【図６】同装置における高域成分制限部での各選択状態に対応した制限済みデータの生成方法を示すフローチャートである。
【図７】同装置における高域成分制限部での各選択状態に対応した制限済みデータの生成方法を示すフローチャートである。
【図８】同装置における制限情報付加部４で生成される送信データのフォーマットを示す図である。
【図９】同実施例に係るオーディオ受信装置のブロック図である。
【符号の説明】
１…直交変換部、２…高域成分制限部、３…状態選択部、４…制限情報付加部、５…送信部、６…伝送帯域モニタ部、１１…受信部、１２…制限情報分離部、１３…データ補償部、１４…データバッファ。

Claims

送信側で伝送路の伝送帯域を逐次モニタして、このモニタされた伝送帯域の状況に応じて伝送すべきオーディオデータの高域成分のうち奇数番目の周波数成分と、前記高域成分のうち偶数番目の周波数成分とを交互に伝送することにより前記高域成分の伝送を制限すると共に、前記高域成分の制限状態を特定する制限情報を前記オーディオデータに付加して前記伝送路に送出し、
受信側で前記奇数番目の周波数と偶数番目の周波数とに基づいて前記オーディオデータの高域成分を補償して前記伝送すべきオーディオデータを再構成するようにしたことを特徴とするオーディオデータ伝送方式。