JP4838273B2 - メディア内同期化のための適応型メディア再生方法および装置 - Google Patents

Description

本発明は、ネットワークメディアストリーミングシステムの受信側におけるメディア再生方法に関し、より詳しくは、ネットワークメディアストリーミングシステムの受信側におけるバッファ基盤適応型メディア内同期化技法を適用したメディア再生方法に関するものである。

最新のＩＰネットワークにおけるメディアストリーミングサービスでは、受信側において空間および時間の側面における再生品質が最終ユーザにとって満足できることが重要である。しかし、ネットワークが混雑した状況における再生品質はパケットの損失／遅延／ジッターなどによって深刻に損傷し得る。１つの例として、１つのビデオフレームの部分的なパケット損失は空間的な品質を測定する単位であるピーク信号対雑音比（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ；ＰＮＳＲ）を落とす。その一方、パケットの遅延およびジッターなどによって発生する再生途切れ（ｐａｕｓｅ）とスキップ（ｓｋｉｐ）のような時間的側面における再生品質の減少もまた全体的な再生品質を落とす。

空間的な再生品質の減少は自動再送要求（Ａｕｔｏｍａｔｉｃ Ｒｅｐｅａｔ ｒｅＱｕｅｓｔ；ＡＲＱ）や順方向エラー訂正（Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ）のようなエラー制御技法によって取り扱われる反面、時間的な再生品質の減少問題はメディア同期化技法によって取り扱われる。一般的にメディア同期化問題は、メディア内同期化（ｉｎｔｒａ−ｍｅｄｉａ ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ）、メディア間同期化（ｉｎｔｅｒ−ｍｅｄｉａ ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ）、クライアント間同期化（ｉｎｔｅｒ−ｃｌｉｅｎｔ ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ）に分けることができる。

メディア内同期化は１つの単一ストリーム内におけるメディアユニット（Ｍｅｄｉａ Ｕｎｉｔ；ＭＵ）間に時間的な関係を保存する技法である。その一方、メディア間同期化はオーディオとビデオ間のリップシンク（Ｌｉｐ Ｓｙｎｃ）のように、ストリーム間の時間的な関係を保存する技法である。最後に、クライアント間同期化は、スポーツ生放送やテレビ会議のようにマルチキャストメディアストリーミング応用においてクライアント間の再生時点を同一に合わせる技法である。

一般的なストリーミングシステムはメディア内同期化のための基本的な機能を含んでいる。第１の基本的機能として、送信者は、受信側でメディアユニットの再生時間を復元するために、メディアストリーム内にタイムスタンプ（ｔｉｍｅｓｔａｍｐ）を生成して挿入する。例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）標準はＳＣＲ（Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）、ＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）のようなタイムスタンプを提供し、システム階層で同期化モデルを定義している。第２の機能として、受信側においてパケット遅延とジッターなどを緩衝させるための再生バッファを設ける。ここで、再生バッファの大きさに応じてパケット遅延とジッター（ｊｉｔｔｅｒ）の緩衝量と再生遅延間の相反関係が存在する。よって、再生バッファの大きさはストリーミング応用の類型に応じて慎重に決定しなければならない。

しかし、上記のような基本的な機能だけでは益々混雑化するネットワークにおけるメディア内同期化を保障することができない。例えば、時間的に可変するネットワーク状況に応じて受信側におけるバッファアンダーフローやバッファオーバーフローが生じ得る。その結果、再生途切れや再生スキップのような再生不連続さが発生する。

適応型メディア再生（Ａｄａｐｔｉｖｅ Ｍｅｄｉａ Ｐｌａｙｏｕｔ：以下、ＡＭＰ）技法はメディアユニット間の再生時間を調節することによってメディア内同期化品質を向上させる。つまり、ＡＭＰ技法は受信側においてネットワーク状況に応じてメディアユニットの再生時間をスケジューリングする。このようなＡＭＰ技法の基本動作は、メディア再生品質において、視聴者にとっては非予測的で長い再生不連続さよりはよく調節された短い不連続さを良い品質であると感じることに基づく。非公式的な実験によれば、ＡＭＰによる２５％までの再生速度調節は視聴者にとってはそれほど大きく感じられず、メディアコンテンツの特性によっては５０％まで受け入れることができる。

今まで提案されたＡＭＰ技法は時間基盤モデルとバッファ基盤モデルに分類することができる。時間基盤モデルを用いた技法は、送信側と受信側における時間情報とタイムスタンプを用いてネットワーク遅延とジッターを明示的に測定する。その一方、バッファ基盤モデルを用いた技法は受信側の再生バッファに溜まっているパケット量を用いてネットワークジッターや遅延などの量を暗示的に判断する。

前記時間基盤モデルとバッファ基盤モデルは二つとも再生不連続さを避けるために測定されたパラメータ（明示的なネットワーク遅延およびジッター、またはバッファ量）に基づいてメディアユニットの再生時間を調節する。しかし、時間基盤モデル技法の性能は送信者と受信者間の同期化した時間の存在有無によって左右される制約を有している。その理由は、測定されるネットワーク遅延とジッターの正確度が送信側と受信測間の時間誤差によって落ちるためである。それを解決するために近接時間測定技法と時間を用いない同期化技法が提案されている。バッファ基盤技法はこのような送信側と受信測間の同期化した時間が要求されないという側面で長所がある。

初期にＡＭＰ技法の適用応用対象はＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）のようなパケットオーディオ応用であった。Ｒａｍｊｅｅ、Ｊ．Ｋｕｒｏｓｅ、Ｄ．ＴｏｗｓｌｅｙおよびＨ．Ｓｃｈｕｌｚｒｉｎｎｅの論文（“Ａｄａｐｔｉｖｅ ｐｌａｙｏｕｔ ｍｅｃｈａｎｉｓｍｓ ｆｏｒ ｐａｃｋｅｔｉｚｅｄ ａｕｄｉｏ ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ ｗｉｄｅ−ａｒｅａ ｎｅｔｗｏｒｋｓ、”ｉｎ Ｐｒｏｃ．ＩＥＥＥ ＩＮＦＯＣＯＭ’９４、ｖｏｌ．２、ｐｐ．６８０−６８８、Ｊｕｎｅ １９９４）では可変するネットワーク遅延によるオーディオパケットの再生遅延を調節するＡＭＰアルゴリズムが提案された。ここで提案されたアルゴリズムは時間基盤のモデルを用いて全体的に同期化した時間があると仮定している。Ｙ．ＩｓｈｉｂａｓｈｉおよびＳ．Ｔａｓａｋａの論文（“Ａ ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ ｍｅｃｈａｎｉｓｍ ｆｏｒ ｃｏｎｔｉｎｕｏｕｓ ｍｅｄｉａ ｉｎ ｍｕｌｔｉｍｅｄｉａ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ、”ｉｎ Ｐｒｏｃ．ＩＥＥＥ ＩＮＦＯＣＯＭ’９５、ｐｐ．１０１０−１０１９、Ａｐｒｉｌ １９９５）では時間概念を導入したメディア同期化アルゴリズムが開示されている。上記論文ではネットワークの遅延時間が一定時間量に制限されると仮定する。Ｓ．Ｂ．Ｍｏｏｎ、Ｊ．ＫｕｒｏｓｅおよびＤ．Ｔｏｗｓｌｅｙの論文（“Ｐａｃｋｅｔ ａｕｄｉｏ ｐｌａｙｏｕｔ ｄｅｌａｙ ａｄｊｕｓｔｍｅｎｔ：Ｐｅｒｆｏｒｍａｎｃｅ ｂｏｕｎｄｓ ａｎｄ ａｌｇｏｒｉｔｈｍｓ、”ＡＣＭ／Ｓｐｒｉｎｇｅｒ Ｍｕｌｔｉｍｅｄｉａ Ｓｙｓｔｅｍｓ、ｖｏｌ．５、ｎｏ．１、ｐｐ．１７−２８、Ｊａｎ．１９９８）では時間基盤モデルにおけるパケットオーディオ応用のために最適な平均再生遅延計算技法を提案し、その性能を比較している。

Ｋ．ＲｏｔｈｅｒｍｅｌおよびＴ．Ｈｅｌｂｉｇの論文（“Ａｎ ａｄａｐｔｉｖｅ ｓｔｒｅａｍ ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ ｐｒｏｔｏｃｏｌ、”ｉｎ Ｐｒｏｃ．ＮＯＳＳＤＡＶ’９５、ｖｏｌ ＬＮＣＳ １０１８、ｐｐ．１８９−２０２、Ａｐｒｉｌ １９９５）ではＡＳＰ（Ａｄａｐｔｉｖｅ Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）と呼ばれる１つのＡＭＰプロトコルが開示されている。上記論文ではネットワークビデオ応用のために受信側再生バッファを調節する技法が開示されている。上記論文では下位バッファ閾値ＬＷＭ （ｌｏｗ ｗａｔｅｒ ｍａｒｋ）と上位バッファ閾値ＨＷＭ （ｈｉｇｈ ｗａｔｅｒ ｍａｒｋ）のようなバッファ閾値を定義している。上記論文において、再生速度は現在のバッファレベルがＬＷＭより小さいかＨＷＭより大きい場合に適応的に調節される。Ｍ．Ｋａｔｏ、Ｎ．ＵｓｕｉおよびＳ．Ｔａｓａｋａの論文（“Ｓｔｏｒｅｄ ｍｅｄｉａ ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ ｂａｓｅｄ ｏｎ ｂｕｆｆｅｒ ｏｃｃｕｐａｎｃｙ ｉｎ ＰＨＳ”、ｉｎ Ｐｒｏｃ．ＩＥＥＥ ＰＩＭＲＣ’９７、ｖｏｌ．３、ｐｐ．１０４９−１０５３、Ｓｅｐｔ．１９９７）ではまた他のバッファ基盤のスライド制御プロトコルと呼ばれるＡＭＰ技法が開示されている。上記論文ではＡＭＰ制御の重要なガイドラインとなるバッファ閾値を適切に決定する方法が提示されている。

Ｍ．Ｃ．Ｙｕａｎｇ、Ｐ．Ｌ．ＴｉｅｎおよびＳ．Ｔ．Ｌｉａｎｇの論文（“Ｉｎｔｅｌｌｉｇｅｎｔ ｖｉｄｅｏ ｓｍｏｏｔｈｅｒ ｆｏｒ ｍｕｌｔｉｍｅｄｉａ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ、”ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｎ Ｓｅｌｅｃｔｅｄ Ａｒｅａｓ ｉｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ、ｖｏｌ．１５、ｎｏ．２、ｐｐ．１３６−１４６、Ｆｅｂ．１９９７）では１つのバッファ基盤のＡＭＰ技法が開示されている。上記論文では神経ネットワークトラフィック予測器を用いた適切なバッファ閾値を決める技法について開示しており、メディア内同期化品質尺度としてＶｏＤ（Ｖａｒｉａｎｃｅ ｏｆ Ｄｉｓｃｏｎｔｉｎｕｉｔｙ）を定義している。しかし、上記論文の技法を適用するためには複雑なトラフィック予測器が要るため、その実現が複雑である短所を有する。Ｎ．ＬａｏｕａｒｉｓおよびＩ．Ｓｔａｖｒａｋａｋｉｓの論文“Ａｄａｐｔｉｖｅ ｐｌａｙｏｕｔ ｓｔｒａｔｅｇｉｅｓ ｆｏｒ ｐａｃｋｅｔ ｖｉｄｅｏ ｒｅｃｅｉｖｅｒｓ ｗｉｔｈ ｆｉｎｉｔｅ ｂｕｆｆｅｒ ｃａｐａｃｉｔｙ”、ｉｎ Ｐｒｏｃ．ＩＥＥＥ ＩＣＣ’０１、ｖｏｌ．３、ｐｐ．１６６０−１６７２、Ｓｅｐ．１９９９）では新しいメディア内同期化品質尺度であるＶＤｏＰ（Ｖａｒｉａｎｃｅ ｏｆ Ｄｉｓｔｏｒｔｉｏｎ ｏｆ Ｐｌａｙｏｕｔ）を定義している。ＶＤｏＰはＶｏＤにバッファアンダーフローによるフレーム損失の効果を測定できる要素を追加したものである。Ｈ．ＬｉｕおよびＭ．Ｅ．Ｚａｒｋｉの論文（“Ａ ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ ｃｏｎｔｒｏｌ ｓｃｈｅｍｅ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｓｔｒｅａｍｉｎｇ ｍｕｌｔｉｍｅｄｉａ ａｐｐｌｉｃａｔｉｏｎｓ”、ｉｎ Ｐｒｏｃ．Ｐａｃｋｅｔ Ｖｉｄｅｏ Ｗｏｒｋｓｈｏｐ ２００３、Ａｐｒｉｌ ２００３）では過去の再生不連続のＲＭＳＥ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）に基づいて適応的に再生速度を決定する品質基盤の適応型メディア同期化技法が開示されている。

既存の再生不連続モデルを用いるＡＭＰ技法は、入力パラメータとして現在のバッファレベルと予め定義されたバッファ閾値、過去の再生不連続のＲＭＳＥ値、または複雑なトラフィック分析器を用いて再生速度を決定してメディア内同期化を行うため、メディア内同期化品質を向上させるのに限界があった。

本発明はメディア内同期化品質を向上させるためのバッファ基盤の適応型メディア再生方法を提供することを第１目的とする。
本発明はメディア内同期化品質を向上させるための適応型メディア再生装置を提供することを第２目的とする。

上述した本発明の第１目的を達成するための本発明の一態様に係るネットワークメディアストリーミングシステムの受信側におけるバッファ基盤適応型メディア再生方法は、受信したメディアストリームの現在のｊ番目フレーム（ここで、ｊは自然数）を再生するための再生間隔を算出するステップ；および前記現在のｊ番目フレームを受信してから前記算出した再生間隔だけ待機した後に前記現在のｊ番目フレームを再生するステップを含み、前記現在のｊ番目フレームを再生するための再生間隔を算出するステップは、（ｊ＋ｗ）番目フレーム（ここで、ｗは自然数）のバッファレベルを算出するステップ；前記算出したバッファレベルに基づいて再生途切れおよび再生スキップのうちの１つを予測するステップ；および前記予測した再生途切れおよび再生スキップのうちの１つの場合に対し、前記現在のｊ番目フレームを再生するための再生間隔を算出するステップを含む。前記（ｊ＋ｗ）番目フレームのバッファレベルを算出するステップは、前記ｊ番目フレームにおける所定の予測受信率を求めて算出することができる。前記（ｊ＋ｗ）番目フレームのバッファレベルを算出するステップは、前記メディアストリームの平均受信率と（ｊ−１）番目フレームの再生時間と（ｊ−２）番目フレームの再生時間との間の受信率に加重値を適用して前記予測受信率を算出することができる。前記算出したバッファレベルに基づいて前記ｊ番目フレームにおける再生途切れまたは再生スキップを予測するステップは、前記算出したバッファレベルにアンダーフローが発生する場合には前記再生途切れとして予測し、前記算出したバッファレベルにオーバーフローが発生する場合には前記再生スキップとして予測することができる。前記予測した再生途切れおよび再生スキップのうちの１つの場合に対して前記現在のｊ番目フレームを再生するための再生間隔を算出するステップは、前記予測した再生途切れおよび再生スキップのうちの１つの場合に対し、再生速度調節パラメータに基づいて前記現在のｊ番目フレームを再生するための再生間隔を算出することができる。前記予測した再生途切れまたは前記再生スキップ時の再生速度調節パラメータに基づいて前記現在のｊ番目フレームを再生するための再生間隔を算出するステップは、前記予測した再生途切れ時の再生速度調節パラメータの最大値と最小値または前記予測した再生スキップ時の再生速度調節パラメータの最大値と最小値に基づき、前記現在のｊ番目フレームを再生するための再生間隔を算出することができる。前記再生速度調節パラメータは、前記算出したバッファレベルに応じて求められた最大値と最小値の中間値で定められ得る。

また、本発明の第２目的を達成するための本発明の一態様に係る適応型メディア再生装置は、ネットワークから受信したメディアパケットを格納する再生バッファ；前記再生バッファに格納されたメディアパケットを復号化するビデオデコーダ；および前記復号化されたメディアパケットの（ｊ＋ｗ）番目フレーム（ここで、ｊおよびｗは自然数）のバッファレベルに基づいて再生途切れおよび再生スキップのうちの１つを予測し、前記予測した再生途切れおよび再生スキップのうちの１つの場合に対し、前記現在のｊ番目フレームを再生するための再生間隔を算出する適応型メディア再生制御部を含む。

本発明の一実施形態に係るバッファ基盤適応型メディア再生方法は、再生途切れと再生スキップのような再生不連続の場合を分析し、前記再生不連続の場合の分析に基づいて、再生途切れおよび再生スキップの場合の再生不連続または２つの場合ではない全ての場合に対して共通に適用できる１つの単一再生不連続モデルを定義する。また、前記定義された再生不連続モデルを用いて再生速度の最大値と最小値を求める。また、現在のｊ番目フレームから未来の（ｊ＋ｗ）番目フレームのバッファレベルを予測し、予測したバッファレベルから再生途切れと再生スキップが予測される場合、再生不連続モデルに基づいてＡＭＰ因子値を動的に調節して再生速度を制御する。

したがって、既存のバッファ閾値基盤のメディア再生技法に比べ、遅延またはジッターなどによる再生不連続のＲＭＳＥ値などのような時間的な歪み量を減らすことができる。

本発明は、様々な変更を加えることができるし、色々な実施形態を有することができるが、以下では特定の実施形態を図面に例示して詳細に説明する。
しかし、これは本発明を特定の実施形態に対して限定するものではなく、本発明の思想および技術範囲に含まれる全ての変更、均等物、および代替物を含むものとして理解しなければならない。

尚、第１、第２などの用語は多様な構成要素を説明するために用いられるが、前記構成要素は前記用語によって限定されるものではない。前記用語は１つの構成要素を他の構成要素から区別する目的のみで用いられる。例えば、本発明の権利範囲を逸脱しない限り、第１構成要素は第２構成要素として命名することができ、同じく第２構成要素も第１構成要素として命名することができる。「および／または」という用語は複数の関連した記載項目の組み合わせまたは複数の関連した記載項目のうちの１項目を含む。

以下、添付図面を参照して本発明の望ましい実施形態についてより詳細に説明する。以下、図面上の同一構成要素に対しては同一参照符号を用い、同一構成要素について重複する説明は省略する。
以下、メディア（ｍｅｄｉａ）とはビデオおよびオーディオのうちの１つを含む概念である。

１．１基本適応型メディア再生（ＡＭＰ）のフレームワーク
図１は一般的な適応型メディア再生（ＡＭＰ）方式を適用したネックワークシステム構造を示すブロック図である。図２は本発明の一実施形態に係る適応型メディア再生（ＡＭＰ）を行う受信側の適応型メディア再生装置の構成を示すブロック図であり、図３は本発明の一実施形態に係る適応型メディア再生装置において行われる適応型メディア再生（ＡＭＰ）過程を説明するための概念図である。

図１に示すように、適応型メディア再生（ＡＭＰ）方式を適用したネットワークシステムは、送信機１０、ＩＰネットワーク２０、および適応型メディア再生装置１００からなっている。ここで、適応型メディア再生装置１００は受信機を示す。図２に示すように、適応型メディア再生装置１００は、中央処理部１２０、メインメモリ、ＡＭＰ制御部１３０、ネットワークデバイス１４０、ビデオデコーダ１５０、およびビデオ出力部１６０を含む。中央処理部１２０、メインメモリ、およびＡＭＰ制御部１３０は、バス１７０によってネットワークデバイス１４０、ビデオデコーダ１５０、およびビデオ出力部１６０に連結される。メインメモリは再生バッファ１１５を含むことができる。図２において再生バッファ１１５はメインメモリの内部に含まれるものとして示されているが、メインメモリの外部に別途に備えることができる。以下、ビデオストリーミングを仮定して説明するが、本発明の実施形態はオーディオストリーミングにも適用することができる。

中央処理部１２０およびメインメモリは一般的な応用プログラムを遂行する。
再生バッファ１１５はネットワークデバイス１４０から受信するビデオパケットをバス１７０を介して受信して格納する。
ＡＭＰ制御部１３０は、中央処理部１２０およびメインメモリによって制御されるように連結され、バス１７０に接続している再生バッファ１１５、ビデオデコーダ１５０、ビデオ出力部１６０間のバス１７０を介したデータの伝送を制御し、ビデオ出力部１７０の出力時間を制御する。

図３に示すように、再生バッファ１１５はネットワークデバイス１４０から受信するビデオパケットをバス１７０を介して受信して格納し、ビデオデコーダ１５０は再生バッファ１１５に格納されたビデオパケットを復号化する。

ＡＭＰ制御部１３０は予測受信率を求めて未来のバッファレベルを予測し、前記予測した未来のバッファレベルに基づいて再生途切れまたは再生スキップのうちのいずれか１つの再生不連続モデルを決定する。また、ＡＭＰ制御部１３０は前記決定した再生不連続モデルに対して前記予測した未来のバッファレベルに応じて再生間隔を決めるためにＡＭＰ因子値の最大値と最小値を求める。また、ＡＭＰ制御部１３０は前記ＡＭＰ因子値の最大値と最小値を用いて再生間隔を求めることにより、ビデオデコーダ１５０を介して伝えられた現在のメディアユニットの再生時間を制御する。

図１に示すように、一般的なメディアユニットの再生タイムラインは生成時間＜ｇ＞、到着時間＜ａ＞、再生時間＜ｐ＞で構成される。ｋ番目メディアユニットの生成時間ｔｇ［ｋ］は、一般式１のように、ｋ−１番目メディアユニットの生成時間ｔｇ［ｋ−１］から求めることができる。

ここで、ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）は原本ビデオストリームのフレーム率（ｆｒａｍｅ ｒａｔｅ）を示す。
送信機１０においてタイムスタンプを有するメディアユニットは、図１に示すように、ＩＰネットワーク２０を介して適応型メディア再生装置１００の再生バッファ１１５に伝送される。適応型メディア再生装置１００におけるＡＭＰ制御部１３０はメディアユニットの再生時間をスケジュールする。

生成時間の場合と同じように、ｋ番目メディアユニットの再生時間ｔｐ［ｋ］は次の一般式２のようにｋ−１番目メディアユニットの再生時間ｔｐ［ｋ−１］から求めることができる。

ここで、△_ｐ［ｋ−１］はｋ−１番目メディアユニットのＡＭＰ因子を示し、ＡＭＰ因子は再生速度を調節するためのパラメータとして用いられる。△_ｐ［ｋ−１］はｋ番目とｋ−１番目メディアユニット間の再生間隔を決める。例えば、△_ｐ［ｋ−１］が正数値を有する場合には再生速度が減少して再生時間が遅れる。図１のｂ［ｋ］はｔ_ｐ［ｋ］におけるバッファレベルをビット単位で示す。

１．２再生不連続モデル
図５は再生途切れ時の再生不連続モデルを示す概念図であり、図６は再生スキップ時の再生不連続モデルを示す概念図であって、再生タイムラインにおける連続的なメディアユニット間の基本的な再生不連続モデルを示す。
一般式１と一般式２から、ｋ番目とｋ−１番目メディアユニット間の再生不連続量は次の一般式３のように求められる。

よって、ｋ番目とｋ−１番目メディアユニットが本来のスケジュールされた時間に再生されるとｄ［ｋ］は０になる。
さらに、ｔ_ｐ［ｋ］における遅延は次の一般式４のように定義することができる。

単一再生不連続モデルを定義するためには再生途切れとスキップのような場合を共に考慮する必要がある。先ず、図４のようにｔ_ｐ［ｋ］において再生途切れがある場合について調べてみる。ここでｎｐ［ｋ］は、ｔ_ｐ［ｋ］とｔ_ｐ［ｋ−１］間の再生途切れになったフレームスロットの個数を意味する。
再生途切れの場合の再生不連続モデルは次の一般式５のように定義することができる。

類似する方法によって再生スキップの場合の不連続モデルを次の一般式６のように定義することができる。

ここでｎ_ｓ［ｋ］は、ｔ_ｐ［ｋ］と最も最近再生したメディアユニット間にスキップされたメディアユニットの個数を示す（図５参照）。
最後に、一般式５と一般式６から、単一再生不連続モデルを次の一般式７のように定義することができる。

１．３メディア内同期化品質
再生において時間的な歪み量を測定するためには、視聴者が感じる再生品質の特性を考慮するときに、長い再生不連続さが短い再生不連続さよりさらに加重値を与えて計算される。つまり、メディア内同期化品質は再生不連続さの長さが線形的に増加するに伴って幾何級数的に減少する。時間的歪み量を測定するための尺度として、再生不連続さの平均二乗誤差（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ；以下、ＲＭＳＥ）を用いることができる。
ｊ番目からｋ番目メディアユニットまでのメディア内同期化品質は次の一般式８のように計算することができる。

ここで、

はｊ番目からｋ番目メディアユニットまでの再生不連続のＲＭＳＥを示す。
一般式７からメディア内同期化品質を増加させるためには、再生途切れと再生スキップのような長い再生不連続の場合を最小化することが重要である。ＡＭＰ技法は再生速度を調節することによって再生途切れとスキップの場合を減らすのに用いられ得る。ここで、ＡＭＰ技法による再生速度調節の変化範囲は人間の知覚特性を考慮して決定することができる。よって、次の一般式９のようにＡＭＰ技法の再生速度の調節範囲を定義することができる。

ここで、△_ｔｈは最大許容ＡＭＰ調節パラメータ（ｔｈｒｅｓｈｏｌｄ ｏｆ ＡＭＰ ｐａｒａｍｅｔｅｒ）を示す。例えば、△_ｔｈは０．２５を有することができ、この場合の再生速度の調節範囲は−２５％〜２５％までとなる。
一方、再生途切れおよび再生スキップによる再生不連続量がメディア内同期化品質の低下により大きく影響を及ぼすといっても、ＡＭＰ技法によって発生する再生不連続量もメディア内同期化品質の低下に影響を及ぼし得る。よって、再生不連続のＲＭＳＥを最小化する効率的なＡＭＰ制御技法が求められる。以下、本発明の一実施形態に係る再生不連続モデルに基づいたＡＭＰメディア再生方法について説明する。

２．再生不連続モデルに基づいたＡＭＰメディア再生方法
時間的な歪みを最小化するためには、ＡＭＰ技法は再生途切れと再生スキップを避けられるように設計されるべきであり、そのために再生途切れと再生スキップを防ぐための最大／最小ＡＭＰ因子（ｆａｃｔｏｒ）値を求める。先ず、単一メディアユニット（ＭＵ）途切れの場合を考慮する。ここでは、単一メディアユニット途切れの場合の時間的な歪みを最小化できるＡＭＰ因子値の効果的な範囲を求める。その後は複数のメディアユニット途切れの場合に広げることができる。また、再生スキップの場合にも再生途切れの場合と類似するように単一メディアユニット（ＭＵ）途切れおよび複数のメディアユニット途切れの場合を考慮することができる。

２．１再生途切れ
２．１．１単一メディアユニット途切れ
先ず、再生不連続モデルを用いて単一メディアユニット途切れの場合を分析する。ＡＭＰ技法を適用しない場合、ｔ_ｐ［ｋ］においてｎ_ｐ［ｋ］＝１であると仮定する。そうすると、再生不連続のＲＭＳＥは一般式７と一般式８を用いて次の一般式１０のように求めることができる。

ここで、ｗはウィンドウサイズ（ｗｉｎｄｏｗ ｓｉｚｅ）を示し、一般式９と一般式１０からｗの範囲を次の一般式１１のように決めることができる。

一方、ＡＭＰ技法を適用した時、ｎ_ｐ［ｋ］を０であると仮定すれば、ＡＭＰ技法を適用した時の再生不連続のＲＭＳＥは次の一般式１２のようになる。

ここで、△_ｔｈ／ｆｐｓはＡＭＰ技法の適用時の再生不連続のＲＭＳＥの最小値を示す。よって、一般式１０と一般式１２から、ＡＭＰフレームワーク（ｆｒａｍｅｗｏｒｋ）は次の一般式１３のようなＡＭＰ因子値の最大値の条件を満足する時に効率的であると言える。

一方、バッファレベルｂ［ｋ］に次の一般式１４のようにアンダーフローが発生した時、ｋ番目メディアユニットで再生途切れが発生する。

ここで、ｂ［ｋ］はｔ_ｐ［ｋ］におけるバッファレベルを意味し、次の一般式１５のように求めることができる。

ここでｒ［ｉ］は、ｔ_ｐ［ｉ］とｔ_ｐ［ｉ−１］間の受信率を示し、Ｓは固定伝送率（Ｃｏｎｓｔａｎｔ Ｂｉｔ Ｒａｔｅ、以下、ＣＢＲ）ビデオのビット率（ｂｉｔ ｒａｔｅ）を示す。
よって、一般式１４と一般式１５から、ｔ_ｐ［ｋ］において再生途切れを避けるためのＡＭＰ因子値の最小値は次の一般式１６のように決定することができる。

２．１．２複数のメディアユニット途切れ（Ｍｕｌｔｉｐｌｅ ＭＵｓ ｐａｕｓｅ）
単一メディアユニットの場合の分析は複数のメディアユニット途切れの場合を考慮することで一般的な場合に広げることができる。ｔ_ｐ［ｋ］後に連続的な（ｍ＋１）個のメディアユニット途切れがあると仮定すれば、一般式１６は次の一般式１７のように複数のメディアユニット途切れの場合の再生途切れを避けるためのＡＭＰ条件に広げることができる。

よって、複数のメディアユニット途切れの場合のＡＭＰ因子値の最小値は次の一般式１８のように定義することができる。

また、一般式１２と類似するようにＡＭＰ因子値の最小値は次の一般式１９のように決定することができる。

２．２再生スキップ
２．２．１複数のメディアユニットスキップ（Ｍｕｌｔｉｐｌｅ ＭＵｓ ｓｋｉｐ）
再生バッファのオーバーフローおよび再生スキップは、再生バッファ１１５のバッファレベルがｂ_ｓ−Ｓ／ｆｐｓより大きい時に発生する。
再生スキップのための分析は再生途切れの場合と類似する。よって、具体的な分析過程は省略する。
先ず、ｔ_ｐ［ｋ］において連続的な（ｍ＋１）個のメディアユニットがスキップしたと仮定すれば、ＡＭＰ因子値の最大値は次の一般式２０のように決定され、最小値は次の一般式２１のように決定される。

ここで、ｂ_ｓは適応型メディア再生装置１００の再生バッファ１１５の大きさを示す。

２．３再生速度決定アルゴリズム
上記では再生途切れと再生スキップを避けるためのＡＭＰ因子値の最大値および最小値を定義した。上記ＡＭＰ因子値の最大値および最小値の正義によって本発明の一実施形態に係る適応型メディア再生方法では、与えられた状況に伴うＡＭＰ因子値を動的に決定する。

本発明の一実施形態に係る適応型メディア再生方法は、１つの加重値式（一般式２４参照）を用いて、現在のｊ番目フレームから未来の（ｊ＋ｗ）番目フレームのバッファレベルを予測する。また、前記予測したバッファレベルから再生途切れと再生スキップが予測される場合に、再生不連続モデルに基づいて効果的なＡＭＰ因子値を動的に調節する。上記のようなアプローチ技法を適用することにより、本発明の一実施形態に係るＡＭＰ制御技法は、遅延またはジッターなどによる再生不連続のＲＭＳＥ値などのような時間的歪み量を既存のバッファ閾値基盤の技法と比較して減らすことができる。
以下、本発明の一実施形態に係る適応型メディア再生方法について説明する。

２．３．１ＡＭＰ制御アルゴリズムの説明
図７は本発明の一実施形態に係るネットワークメディアストリーミングシステムの適応型メディア再生装置におけるバッファ基盤適応型メディア再生方法を説明するフローチャートであり、図８は図７の現在フレームの再生間隔を計算するための過程を説明するフローチャートである。図９は図８の再生途切れ時の再生速度の最大値および最小値を求める過程を説明するフローチャートであり、図１０は図８の再生スキップ時の再生速度の最大値および最小値を求める過程を説明するフローチャートである。

図７に示すように、本発明の一実施形態に係るバッファ基盤適応型メディア再生方法は、ネットワーク２０を介して受信したメディアユニットの再生を開始するために、適応型メディア再生装置１００では初期化過程を行って初期バッファリングを行う（ステップ７１０）。最初に受信したビデオパケットはネットワークデバイス１４０を経て、バス１７０を介して再生バッファ１１５に格納される。ここで、初期フレームはｊ＝０に設定され、ｗは所定の初期値に設定される。ｗは一般式１１のように

より大きい値を有する。第１番目メディアユニットは再生バッファ１１５のバッファレベルが目標バッファレベルより大きい時に再生される。

ＡＭＰ制御部１３０では、受信した現在のｊ番目フレームを再生するための再生間隔を計算する（ステップ７２０）。再生間隔は、一般式２に示すように、ＡＭＰ因子値△_ｐ［ｊ］を用いて（１＋△_ｐ［ｊ］）／ｆｐｓで算出され得る。つまり、現在のｊ番目フレームは（１＋△_ｐ［ｊ］）／ｆｐｓだけ待機した後に再生される。上記現在のｊ番目フレームを再生するための再生間隔を計算する過程は図８〜図１０を参照して後述する。
１３０では、前記現在のｊ番目フレームを受信してから前記算出した再生間隔だけ待機した後に前記現在のｊ番目フレームを再生する（ステップ７３０）。

ＡＭＰ制御部１３０では、前記現在のｊ番目フレームを再生した後、次のフレームである（ｊ＋１）番目フレームに対してステップ７２０〜ステップ７３０の動作を行い、受信したメディアストリームの最後のフレームになるまでステップ７２０〜ステップ７４０の動作を繰り返し行った後（ステップ７５０）、メディアストリームの再生過程を終了する（ステップ７６０）。

以下、図８〜図１０を参照して現在のｊ番目フレームを再生するための再生間隔を計算する過程について説明する。
先ず、ＡＭＰ制御部１３０では現在のｊ番目フレームから未来の（ｊ＋ｗ）番目フレームのバッファレベルを予測する（ステップ７２１）。具体的には、先ずＡＭＰ制御部１３０ではｔ_ｐ［ｋ］からｔ_ｐ［ｊ＋ｗ］までの受信率を次の一般式２２の加重値式によって算出する。

ここで、ｒ_ｅｓｔ［ｉ］はｔ_ｐ［ｉ］からｔ_ｐ［ｉ−１］までの予測受信率を示し、Ｒはｒ_ｅｓｔの平均値として以前フレームまで求められたｒ_ｅｓｔ値の平均値を示す。αは加重値因子であり、例えば０．９にセッティングすることができる。
ＡＭＰ制御部１３０では一般式１５に前記予測した受信率ｒ_ｅｓｔ［ｉ］を適用して、未来の（ｊ＋ｗ）番目フレームのバッファレベルｂ_ｅｓｔ［ｊ＋ｗ］を予測することができる。

次に、再生不連続モデルを決めるために、前記予測したバッファレベルに基づいてバッファアンダーフロー（ｕｎｄｅｒｆｌｏｗ）であるかまたはバッファオーバーフロー（ｏｖｅｒｆｌｏｗ）であるかを予測して決める（ステップ７２３）。つまり、前記予測したバッファレベルに基づいて、現在のｊ番目フレームにおけるフレーム途切れまたはフレームスキップを予測する。バッファアンダーフローが予測された場合には再生途切れとして予測することができ、バッファオーバーフローが予測された場合にはフレームスキップとして予測することができる。

具体的には、予測された未来のバッファレベルｂ_ｅｓｔ［ｊ＋ｗ］を一般式１４のｂ［ｋ］といった時、バッファアンダーフローは現在バッファに再生できるフレームが１つもない状態であるため、一般式１４のようにｂ［ｋ］がＳ／ｆｐｓより小さい場合にアンダーフローとして判断し、再生途切れという不連続モデルを適用するように決定することができる。同じく、予測された未来のバッファレベルｂ_ｅｓｔ［ｊ＋ｗ］を一般式１４のｂ［ｋ］といった時、バッファオーバーフローは、バッファレベルがバッファ容量が溜っているにもかかわらず、再生側においてフレームデータをバッファから持って行かないことによってバッファ内でフレーム損失が生じた場合であるため、ｂ［ｋ］がｂｓ−Ｓ／ｆｐｓより大きい場合にオーバーフローとして判断し、再生途切れという不連続モデルを適用するように決定することができる。

バッファアンダーフローであると予測した場合、前記予測したバッファレベルに応じてフレーム再生途切れ時の再生速度調節パラメータであるＡＭＰ因子値の最大値ＡＭＰ_ｍａｘおよび最小値ＡＭＰ_ｍｉｎを算出する（ステップ７２４）。具体的には、フレーム再生途切れ時のＡＭＰ因子値の最大値は一般式１３を用いて求めることができ（ステップ７２４−１）、フレーム再生途切れ時のＡＭＰ因子値の最小値は予測されたバッファレベルｂ_ｅｓｔ［ｊ＋ｗ］をｂ［ｋ］といった時、一般式１６に前記予測したバッファレベルｂ_ｅｓｔ［ｊ＋ｗ］を代入して求めることができる（ステップ７２４−２）。前記求められたフレーム再生途切れ時のＡＭＰ因子値の最大値および最小値は返還される（ステップ７２４−３）。ここで、一般式２を用いてフレーム再生途切れ時のＡＭＰ因子値の最大値ＡＭＰ_ｍａｘおよび最小値ＡＭＰ_ｍｉｎを求めれば、フレーム再生途切れ時の再生速度の最大値および最小値を求めることができる。

バッファオーバーフローであると予測した場合、前記予測したバッファレベルに応じてフレーム再生スキップ時の再生速度調節パラメータであるＡＭＰ因子値の最大値ＡＭＰ_ｍａｘおよび最小値ＡＭＰ_ｍｉｎを算出する（ステップ７２５）。具体的には、フレーム再生スキップ時のＡＭＰ因子値の最大値は、予測したバッファレベルｂ_ｅｓｔ［ｊ＋ｗ］をｂ［ｉ］といった時、一般式２０に予測したバッファレベルｂ_ｅｓｔ［ｊ＋ｗ］を代入して求めることができ（ステップ７２５−１）、フレーム再生スキップ時のＡＭＰ因子値の最小値は一般式２１を用いて求めることができる（ステップ７２５−２）。前記求められたフレーム再生スキップ時のＡＭＰ因子値の最大値および最小値は返還される（ステップ７２５−３）。ここで、一般式２を用いてフレーム再生スキップ時のＡＭＰ因子値の最大値ＡＭＰ_ｍａｘおよび最小値ＡＭＰ_ｍｉｎを求めれば、フレーム再生スキップ時の再生速度の最大値および最小値を求めることができる。

前記求められたＡＭＰ因子値の最大値および最小値に基づいて、現在のｊ番目フレームの再生間隔を算出する（ステップ７２６）。すなわち、前記予測したフレーム途切れまたは前記フレームスキップ時の再生速度に基づいて、前記現在のｊ番目フレームを再生するための再生間隔を算出する。例えば、前記求められたＡＭＰ因子値の最大値および最小値の中間値をＡＭＰ因子値△_ｐ［ｊ］として決定し、一般式２０を用いて現在のｊ番目フレームの再生間隔を算出することができる。または、ＡＭＰ因子値の最大値および最小値に所定の加重値を適用してＡＭＰ因子値△_ｐ［ｊ］として決定して再生間隔を決めるなど、前記中間値以外の他の方式によっても再生間隔を決めることもできる。ここで、再生間隔が大きくなる場合は再生速度が減少し、再生間隔が小さくなる場合は再生速度が増加する。

バッファアンダーフローおよびバッファオーバーフローの何れも予測されない場合には、現在のｊ番目フレームの再生間隔を０に設定する（ステップ７２７）。その結果、前記求められた再生間隔を返還する（ステップ７２８）。

３．性能評価
３．１シミュレーション環境
図１１は、本発明の一実施形態に係るバッファ基盤適応型メディア再生方法の性能評価のためのシミュレーショントポロジーを示す概念図である。Ｎｏｄｅ ０と３４はビデオ送信機と受信機を示す。Ｎｏｄｅ ０はビデオソースをＮｏｄｅ ３４でストリームする。ここで、ソースビット率は４．８Ｍｂｐｓである。ネットワーク混雑を与えるためにＮｏｄｅ ７７はシミュレーションシナリオによってＮｏｄｅ ３３で３Ｍｂｐｓのパレートトラフィック（ｐａｒｅｔｏ ｔｒａｆｆｉｃ）を伝送する。このような設定により、Ｎｏｄｅ ２と１０でボトルネック（ｂｏｔｔｌｅ ｎｅｃｋ）地点が発生する。受信側のバッファ大きさであるｂ_ｓは４．８Ｍｂｉｔに設定される。また、ＡＭＰ因子値の閾値△_ｔｈは０．２５に設定される。

多様なネットワーク状況下で評価するために図１２のように３つの混雑シナリオを用いた。図１２は本発明の一実施形態に係るバッファ基盤適応型メディア再生方法を３つのシナリオに対してシミュレーションした場合の受信機で測定されたフレーム当たりパケット数を示すグラフである。

図１２において、ｙ軸は受信側で測定されるフレーム当たりパケット数（ｐｐｆ：ｐａｃｋｅｔｓ ｐｅｒ ｆｒａｍｅ）を示し、ｘ軸は再生タイムラインを示す。ソースビデオのフレーム率であるｆｐｓは２５にセッティングされた。よって、本来のフレーム当たりパケット数（ｐｐｆ_{ｏｒｉｇｉｎ}）は次の一般式２３によって１６になる。

ここで、１５００ｂｙｔｅｓはＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）パケットの大きさと同一である。
よって、一般式１５で用いられたｒ［ｉ］はｐｐｆ［ｉ］＊８＊１５００として計算され得る。ここでｐｐｆ［ｉ］はｔ_ｐ［ｉ］とｔ_ｐ［ｉ−１］との間の受信したパケット数を示す。図１２のようにｐｐｆはｐｐｆ_{ｏｒｉｇｉｎ}を中心に変わる。シナリオ１において、Ｎｏｄｅ ７７はパレートトラフィックを２秒間隔で開始と止めを繰り返すように設定した。それと同様にシナリオ２では５秒、シナリオ３では２０秒間隔で開始と止めを繰り返すように設定した。

以下では３つの技法の性能を比較した。第１番目技法（ｗｉｔｈｏｕｔ ＡＭＰ）はＡＭＰ技法を適用せず、第２番目技法（ＴＨ−ｂａｓｅｄ ＡＭＰ）は２つの閾値であるＬＷＭとＨＷＭが適用された既存のバッファ閾値基盤のＡＭＰ技法である。バッファレベルが閾値範囲から脱する時に最大閾値である△_ｔｈが適用される。閾値による性能比較を行うために多様なＬＷＭとＨＷＭ下においてシミュレーションを行った。第３番目技法は本発明のバッファ基盤適応型メディア再生方法（ｐｒｏｐｏｓｅｄ ＡＭＰ）であり、これもまたｗを多様に変化させながらシミュレーションを行った。

３．２シミュレーションの結果
図１３は、本発明の一実施形態に係るバッファ基盤適応型メディア再生方法を３つのシナリオに対してシミュレーションした場合の受信機で測定された再生不連続のＲＭＳＥ値を示すグラフである。シナリオ１は、第２番目技法（ＴＨ−ｂａｓｅｄ ＡＭＰ）の下位閾値ＬＷＭが０．３ｓｅｃであり、上位閾値ＨＷＭが０．７ｓｅｃであり、第３番目技法である本発明のバッファ基盤適応型メディア再生方法のｗが３７である場合を示す。シナリオ２は、第２番目技法（ＴＨ−ｂａｓｅｄ ＡＭＰ）の下位閾値ＬＷＭが０．１ｓｅｃであり、上位閾値ＨＷＭが０．９ｓｅｃであり、第３番目技法である本発明のバッファ基盤適応型メディア再生方法のｗが２５である場合を示す。シナリオ３は、第２番目技法（ＴＨ−ｂａｓｅｄ ＡＭＰ）の下位閾値ＬＷＭが０．２ｓｅｃであり、上位閾値ＨＷＭが０．８ｓｅｃであり、第３番目技法である本発明のバッファ基盤適応型メディア再生方法のｗが１２である場合を示す。図１３に示すように、３つのシナリオに対し、本発明のバッファ基盤適応型メディア再生方法が最も小さい再生不連続のＲＭＳＥを有することが分かる。

図１４〜図１６は本発明の一実施形態に係るバッファ基盤適応型メディア再生方法を各々のシナリオ１、シナリオ２、シナリオ３に対してシミュレーションした場合の受信機で測定されたバッファレベルとＡＭＰ因子値を示すグラフである。
図１４〜図１６に示すように、第２番目技法（ＴＨ−ｂａｓｅｄ ＡＭＰ）において、ＡＭＰ制御はバッファレベルに応じて動作し、ＡＭＰ因子値は０．２５、０、−０．２５の３つの値だけを有する。しかし、本発明のバッファ基盤適応型メディア再生方法は、上述したＡＭＰ制御アルゴリズムに応じて動作するため、ＡＭＰ因子値は動的に変わることが分かる。

図１７は従来のバッファ基盤適応型メディア再生方法と本発明の一実施形態に係るバッファ基盤適応型メディア再生方法を３つのシナリオに対してバッファ閾値とｗを可変させながらシミュレーションした場合の受信機で測定された再生不連続のＲＭＳＥ値を示すグラフである。図１７に示すように、シナリオ１において、ＴＨ−ｂａｓｅｄ ＡＭＰの再生不連続のＲＭＳＥはＬＷＭが１２０である時に最小値を有する。また、ＬＷＭが１６から１２０に増加するにつれて再生不連続のＲＭＳＥは徐々に減少する。しかし、ＬＷＭが１８０である時に再生不連続のＲＭＳＥは急激に大きくなる。また、シナリオ２と３における最も優れた値を有する閾値もまた異なる。図１７に示すように、本発明のバッファ基盤適応型メディア再生方法では、再生不連続のＲＭＳＥ値がｗ値によって変わり、ＴＨ−ｂａｓｅｄ ＡＭＰの再生不連続のＲＭＳＥ値より小さい値を有することが分かる。

図１８は従来のバッファ基盤適応型メディア再生方法と本発明の一実施形態に係るバッファ基盤適応型メディア再生方法を３つのシナリオに対してバッファ閾値とｗを可変させながらシミュレーションした場合の受信機で測定された平均再生率を示すグラフであり、図１９は従来のバッファ基盤適応型メディア再生方法と本発明の一実施形態に係るバッファ基盤適応型メディア再生方法を３つのシナリオに対してバッファ閾値とｗを可変させながらシミュレーションした場合の受信機で測定された遅延値を示すグラフである。

図１８に示すように、本発明の一実施形態に係るバッファ基盤適応型メディア再生方法を適用する場合、従来のＴＨ−ｂａｓｅｄ ＡＭＰ技法と比較して平均再生率がｗ値の変化に関わらず安定した値を有することが分かる。従来のＴＨ−ｂａｓｅｄ ＡＭＰ技法の適用時には、下位バッファ閾値（ＬＷＭ）によって本発明の一実施形態に係るバッファ基盤適応型メディア再生方法より高い平均再生率を有する場合もあるが、下位バッファ閾値の変化に応じて平均再生率の変化が激しいことを確認することができる。同じく、図１９に示すように、遅延値もまた本発明の一実施形態に係るバッファ基盤適応型メディア再生方法においてより安定した値を有することを確認することができる。

図２０は従来の再生方法と本発明の一実施形態に係るバッファ基盤適応型メディア再生方法を３つのシナリオに対してシミュレーションした場合の性能値を示す図表である。図２０はＴＨ−ｂａｓｅｄ ＡＭＰと本発明のバッファ基盤適応型メディア再生方法に対する図１７〜図１９までの結果の平均と標準偏差値を示す。従来のＴＨ−ｂａｓｅｄ ＡＭＰ技法の性能はＬＷＭとＨＷＭの値に依存的である。例えば、ＬＷＭとＨＷＭの値がｂ_ｓの１／２に設定されると仮定すれば、バッファオーバーフローとバッファアンダーフローを避けるために再生速度は頻繁に変わり、また頻繁なＡＭＰ制御による再生不連続さも増加する。一方、本発明のバッファ基盤適応型メディア再生方法の性能もｗに依存的であるため、適切なｗを選択する場合に性能を最大化することができる。図２０に示すように、本発明のバッファ基盤適応型メディア再生方法は３つの技法のうちで最小の再生不連続のＲＭＳＥ値を有する。また、本発明のバッファ基盤適応型メディア再生方法は再生不連続のＲＭＳＥの標準偏差も３つの技法のうちで最小値を有する。すなわち、本発明のバッファ基盤適応型メディア再生方法は、ｗに関わらず従来のＴＨ−ｂａｓｅｄ ＡＭＰ技法より良い性能を示すことが分かる。

本発明のバッファ基盤適応型メディア再生方法は、再生途切れと再生スキップのような再生不連続の場合を分析し、前記再生不連続の場合の分析に基づき、再生途切れおよび再生スキップの場合の再生不連続さまたは２つの場合がないすべての場合に対して共通に適用できる単一再生不連続モデルを定義する。上記単一再生不連続モデルを用いて、再生不連続のＲＭＳＥを用いた客観的メディア内同期化の品質尺度を定義する。

また、本発明のバッファ基盤適応型メディア再生方法は、上記で定義された再生不連続モデルを用いて再生速度の最大値と最小値を求めることができる。
また、本発明のバッファ基盤適応型メディア再生方法は、上記再生速度の最大値と最小値を求めるために現在のバッファレベルを用いず、ｗだけ以後の未来のバッファレベルを予測して用いる。

本発明のバッファ基盤適応型メディア再生方法はビデオストリームに対するメディア内同期化技法について説明したが、本発明のバッファ基盤適応型メディア再生方法はオーディオストリームにも適用可能である。オーディオストリームの再生速度調節は、時間変換技法（ｔｉｍｅ−ｓｃａｌｅ ｍｏｄｉｆｉｃａｔｉｏｎ ｏｆ ａｕｄｉｏ）によって行うことができる。

本発明のバッファ基盤適応型メディア再生方法は、マルチメディアストリームの再生速度変更時における変更速度のパラメータを動的に決定する技法を提案しているため、再生速度を変更可能な多様なマルチメディアストリームに対して共通に適用可能である。但し、ストリームおよびコンテンツの特性によって再生速度変更範囲に対する閾値が変わり得る。例えば、動きが殆どないビデオストリームの場合、動きの速いビデオストリームに比べて再生速度変更の許容範囲が増し得る。また、オーディオや音声（ｖｏｉｃｅ）ストリームの場合、黙音（ｓｉｌｅｎｔ）区域に応じて再生速度変更に対する閾値に差が出る。

一方、上述した本発明の実施形態はコンピュータで実行できるプログラムで作成可能であり、コンピュータ読み取り可能な記録媒体を用いて前記プログラムを動作させる汎用のディジタルコンピューターで具現できる。上記コンピュータ読み取り可能な記録媒体は、マグネチック貯蔵媒体（例えば、ＲＯＭ、フロッピーディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）、およびキャリアウェーブ（例えば、インターネットを通じて転送）などの貯蔵媒体を含む。

以上、実施形態を参照して説明したが、当該技術分野で熟練の当業者であれば、下記特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で本発明の様々な修正および変更ができると理解しなければならない。

一般的な適応型メディア再生（ＡＭＰ）方式を適用したネックワークシステム構造を示すブロック図である。 本発明の一実施形態に係る適応型メディア再生（ＡＭＰ）を行う適応型メディア再生装置の構成を示すブロック図である。 本発明の一実施形態に係る適応型メディア再生装置において行われる適応型メディア再生（ＡＭＰ）過程を説明するための概念図である。 再生時の連続的なメディアユニット間の基本的な再生不連続モデルを示す概念図である。 再生途切れ時の再生不連続モデルを示す概念図である。 再生スキップ時の再生不連続モデルを示す概念図である。 本発明の一実施形態に係るネットワークメディアストリーミングシステムの適応型メディア再生装置におけるバッファ基盤適応型メディア再生方法を説明するフローチャートである。 図７の現在フレームの再生間隔を計算するための過程を説明するフローチャートである。 図８の再生途切れ時の再生速度の最大値および最小値を求める過程を説明するフローチャートである。 図８の再生スキップ時の再生速度の最大値および最小値を求める過程を説明するフローチャートである。 本発明の一実施形態に係るバッファ基盤適応型メディア再生方法の性能評価のためのシミュレーショントポロジーを示す概念図である。 本発明の一実施形態に係るバッファ基盤適応型メディア再生方法を３つのシナリオに対してシミュレーションした場合の受信機で測定されたフレーム当たりパケット数を示すグラフである。 本発明の一実施形態に係るバッファ基盤適応型メディア再生方法を３つのシナリオに対してシミュレーションした場合の受信機で測定された再生不連続のＲＭＳＥ値を示すグラフである。 本発明の一実施形態に係るバッファ基盤適応型メディア再生方法をシナリオ１に対してシミュレーションした場合の受信機で測定されたバッファレベルとＡＭＰ因子値を示すグラフである。 本発明の一実施形態に係るバッファ基盤適応型メディア再生方法をシナリオ２に対してシミュレーションした場合の受信機で測定されたバッファレベルとＡＭＰ因子値を示すグラフである。 本発明の一実施形態に係るバッファ基盤適応型メディア再生方法をシナリオ３に対してシミュレーションした場合の受信機で各再生時間ごとに測定されたバッファレベルとＡＭＰ因子値を示すグラフである。 従来のバッファ基盤適応型メディア再生方法と本発明の一実施形態に係るバッファ基盤適応型メディア再生方法を３つのシナリオに対してバッファ閾値とｗを可変させながらシミュレーションした場合の受信機で測定された再生不連続のＲＭＳＥ値を示すグラフである。 従来のバッファ基盤適応型メディア再生方法と本発明の一実施形態に係るバッファ基盤適応型メディア再生方法を３つのシナリオに対してバッファ閾値とｗを可変させながらシミュレーションした場合の受信機で測定された平均再生率を示すグラフである。 従来のバッファ基盤適応型メディア再生方法と本発明の一実施形態に係るバッファ基盤適応型メディア再生方法を３つのシナリオに対してバッファ閾値とｗを可変させながらシミュレーションした場合の受信機で測定された遅延値を示すグラフである。 従来の再生方法と本発明の一実施形態に係るバッファ基盤適応型メディア再生方法を３つのシナリオに対してシミュレーションした場合の性能値を示す図表である。

符号の説明

１００：適応型メディア再生装置、受信機
１１５：再生バッファ
１３０：ＡＭＰ制御部

Claims (11)

1. ネットワークメディアストリーミングシステムの受信側におけるバッファ基盤適応型メディア再生方法は、
   受信したメディアストリームの現在のｊ番目フレーム（ここで、ｊは自然数）を再生するための再生間隔を算出するステップ；および
   前記現在のｊ番目フレームを受信してから前記算出した再生間隔だけ待機した後に前記現在のｊ番目フレームを再生するステップを含み、
   前記受信したメディアストリームの現在のｊ番目フレームを再生するための再生間隔を算出するステップは、
   前記メディアストリームの平均受信率と（ｊ−１）番目フレームの再生時間と（ｊ−２）番目フレームの再生時間との間の受信率に加重値を適用して前記 ｊ番目フレームにおける予測受信率を算出し、（ｊ−１）番目フレームのバッファレベルから前記予測受信率を利用して（ｊ＋ｗ）番目フレーム（ここで、ｗは自然数）のバッファレベルを算出するステップ；
   前記算出したバッファレベルに基づいて前記現在のｊ番目フレームにおける再生途切れおよび再生スキップのうちの１つを予測するステップ；および
   前記予測した再生途切れおよび再生スキップのうちの１つの場合に対し、再生速度調節パラメータに基づいて前記現在のｊ番目フレームを再生するための再生間隔を算出するステップを含むことを特徴とするメディア再生方法。
2. 前記算出したバッファレベルに基づいて前記現在のｊ番目フレームにおける再生途切れまたは再生スキップのうちの１つを予測するステップは、前記算出したバッファレベルにアンダーフローが発生する場合には前記再生途切れとして予測し、前記算出したバッファレベルにオーバーフローが発生する場合には前記再生スキップとして予測することを特徴とする、請求項１に記載のメディア再生方法。
3. 前記予測した再生途切れおよび再生スキップのうちの１つの場合に対し、再生速度調節パラメータに基づいて前記現在のｊ番目フレームを再生するための再生間隔を算出するステップは、前記予測した再生途切れ時の再生速度調節パラメータの最大値と最小値を算出するか、または前記予測した再生スキップ時の再生速度調節パラメータの最大値と最小値を算出し、前記算出した再生速度調節パラメータの最大値と最小値に基づき前記現在のｊ番目フレームを再生するための再生間隔を算出することを特徴とする、請求項1に記載のメディア再生方法。
4. 前記予測した再生途切れおよび再生スキップのうちの１つの場合に対し、再生速度調節パラメータに基づいて前記現在のｊ番目フレームを再生するための再生間隔を算出するステップは、 前記算出した再生速度調節パラメータの最大値と最小値の中間値に基づき前記現在のｊ番目フレームを再生するための再生間隔を算出すること特徴とする、請求項３に記載のメディア再生方法。
5. 前記算出したバッファレベルにアンダーフローまたはオーバーフローが発生しない場合には、前記現在のｊ番目フレームを再生するための再生間隔を０に設定することを特徴とする、請求項４に記載のメディア再生方法。
6. 前記現在のｊ番目フレームの次のフレームである（ｊ＋１）番目フレームから受信したメディアストリームの最後のフレームまで前記再生間隔を算出して再生するステップをさらに含むことを特徴とする、請求項１に記載のメディア再生方法。
7. 請求項１に記載されたネットワークメディアストリーミングシステムの受信側におけるバッファ基盤適応型メディア再生方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
8. ネットワークから受信したメディアパケットを格納する再生バッファ；
   前記再生バッファに格納されたメディアパケットを復号化するビデオデコーダ；および
   前記メディアストリームの平均受信率と（ｊ−１）番目フレームの再生時間と（ｊ−２）番目フレームの再生時間との間の受信率に加重値を適用して前記 ｊ番目フレームにおける予測受信率を算出し、（ｊ−１）番目フレームのバッファレベルから前記予測受信率を利用して前記復号化されたメディアパケットの（ｊ＋ｗ）番目フレーム（ここで、ｊおよびｗは自然数）のバッファレベルを算出し、前記算出したバッファレベルに基づいて前記現在のｊ番目フレームにおける再生途切れおよび再生スキップのうちの１つを予測し、前記予測した再生途切れおよび再生スキップのうちの１つの場合に対し、再生速度調節パラメータに基づいて前記現在のｊ番目フレームを再生するための再生間隔を算出する適応型メディア再生制御部を含む適応型メディア再生装置。
9. 前記適応型メディア再生制御部は、前記算出したバッファレベルにアンダーフローが発生する場合には前記再生途切れとして予測し、前記算出したバッファレベルにオーバーフローが発生する場合には前記再生スキップとして予測することを特徴とする、請求項８に記載の適応型メディア再生装置。
10. 前記適応型メディア再生制御部は、前記予測した再生途切れ時の再生速度調節パラメータの最大値と最小値を算出するか、または前記予測した再生スキップ時の再生速度調節パラメータの最大値と最小値を算出し、前記算出した再生速度調節パラメータの最大値と最小値に基づき前記現在のｊ番目フレームを再生するための再生間隔を算出することを特徴とする、請求項９に記載の適応型メディア再生装置。
11. 前記適応型メディア再生制御部は、 前記算出した再生速度調節パラメータの最大値と最小値の中間値に基づき前記現在のｊ番目フレームを再生するための再生間隔を算出することを特徴とする、請求項１０に記載の適応型メディア再生装置。

Images