JP5011308B2 - データストリームの分割 - Google Patents

Description

本発明は、ビデオユニットと非ビデオユニットとを有するデータストリームをパケットに分割する方法及び装置に関する。本発明はまた、前記方法を実行するためのコンピュータプログラム、前記コンピュータプログラムを有する記録担体、データストリームをパケットに分割するための装置を有する送信器、並びにデータストリームに含まれるビデオユニット及び非ビデオユニットを送信する方法に関する。

家庭用ネットワークは、パーソナルコンピュータ、電話及び消費者向け電子装置を接続する。ケーブル配線は通常望ましくないため、無線ネットワーク及び装置が、ますます人気を高めている。無線媒体の不利な点は、送信状態に対する感度である。ネットワークの帯域幅が減少され、ストリーム全体を送信するには不十分である場合には、パケットが失われ、例えば表示されるビデオ及びオーディオに対する影響が非常に有害なものとなり得る。これらの望ましくない影響を低減させる又は完全に除去するため、捨てられる部分を制御しようと試みる種々の手法が提案されてきた。ビデオストリームに対応する、これらの手法の１つは、Ｉフレーム遅延（ＩＦＤ）と呼ばれるネットワークスケジューリング手法である（S. Kozlov、P. van der Stok及びJ. Lukkienによる「Adaptive Scheduling of MPEG Video Frames during Real-Time Wireless Video Streaming」（Proceedings of WoWMoM、2005年6月13-16日）を参照されたい）。ＩＦＤは、利用可能な帯域幅がビデオストリーム全体を送信するのに不十分であることを検出すると、ビデオフレームを破棄する。該破棄は、最も重要でないフレームが最初に破棄されるように為され（Ｂフレーム）、かくして、より重要なフレーム（Ｉ及びＰフレーム）（の一部）を損失したときの影響である、受信器側におけるアーティファクトの出現を著しく減少させる。

しかしながら、消費者向け電子装置においては通常、ビデオストリームに関連したオーディオがある。簡単な方法は、オーディオストリームをビデオストリームとは別個に送信し、例えばＩＦＤをビデオストリームにのみ適用することである。人間はオーディオのアーティファクトに対してより敏感であるため、送信の間、ビデオストリームよりもオーディオが高い優先度を与えられる。しかしながら、例えばＤＶＢのような放送を介してマルチメディアコンテンツが家庭に入ってくる場合には、利用されるストリームは一般にＭＰＥＧ−２トランスポートストリームであり、オーディオユニットとビデオユニットとが、他の幾つかのシステムデータと共に多重化されている。家庭内ネットワークでのストリーミングの前に、放送されたトランスポートストリームをオーディオ及びビデオ基本ストリームへと多重分離することは、家庭用ゲートウェイにおいて処理能力をより必要とし、更に追加の情報（例えば字幕）が失われる。それ故、多重分離することなく、トランスポートストリームを家庭用ネットワークで直接にストリーミングすることが最良である。

本発明の目的はそれ故、上述の制限を克服することにある。

本目的は、前記データストリームを、ビデオユニットのみ又は非ビデオユニットのみを有するパケットに分割することにより達成される。

データストリームは、一般的な多重化されたストリーム構造においてインタリーブされた、オーディオユニット及びデータユニットのような、ビデオユニットと非ビデオユニットとを有する。データストリームがストリーミングされているときに、該データストリームを、ビデオユニットのみ又は非ビデオユニットのみを有するパケットへと分割することにより、それぞれのユニットを別個に処理することが可能となる。従って、表示されるビデオストリームは、オーディオストリームにおけるいずれのオーディオアーティファクトをも引き起こすことなく、ＩＦＤにより拡張され得る。本発明の実装は、データストリーム送信器における変化のみを要し、標準的な受信器が利用され得る。

本発明の要旨は、データストリームを、従来のものよりも小さなパケットへと分割するという洞察及びその実現である。かくして、ビデオユニットか又は非ビデオユニットかのいずれかを有するパケットを生成することが可能となり、これらパケットは別個に処理され得る。更に、異なるビデオフレームに関連する異なるビデオユニットもまた、ＩＦＤによる利用のために分離される。

上述の目的はまた、ビデオユニットと非ビデオユニットとを有するデータストリームを、パケットに分割する装置によって達成される。前記目的は更に、前記方法を実行するためのコンピュータプログラム、前記コンピュータプログラムを有する記録担体、前記データストリームをパケットに分割するための装置を有する送信器、並びにデータストリームに含まれるビデオユニット及び非ビデオユニットを送信する方法によって達成される。

本発明の好適な実施例においては、前記データストリームを分割する方法は、現在のユニット及び直前のユニットの一方のみがビデオユニットである場合に、現在のユニットを新たなパケットに割り当てるステップを有する。

多重化されたデータストリームは、ビデオユニット、オーディオユニット及びデータユニットのストリームで受信される。現在のユニット又は直前のユニットがビデオユニットである場合に現在のユニットを新たなパケットへと割り当てることによって当該新たなパケットを開始することより、ビデオユニットが非ビデオユニットから分割され、又は分離される。

本発明の他の好適な実施例においては、前記データストリームを分割する方法は、直前のパケットに既に割り当てられているユニットの数が予め設定された数と等しい場合に、現在のユニットを新たなパケットに割り当てるステップを有する。

パケット交換ネットワークにおいては、ネットワークインタフェースにより送信され得る最大のパケットサイズについての規則がある。Ethernet（登録商標）においては、最大パケットサイズは１５００バイトである。例えばＲＴＰ（Real-time Transport Protocol）プロトコルを用いてストリーミングする場合、等しく１８８バイトの大きさとされたトランスポートストリームユニットをＲＴＰユニットへとパケット化する方法が規定されている。従来の方法は、７個のトランスポートストリームを単一のＲＴＰパケットへと詰め、かくしてペイロードサイズを１３１６バイトとすることである。直前のパケットに既に割り当てられているユニットの数が予め設定された数と等しい場合に現在のユニットを新たなパケットに割り当てることにより、最大のパケットサイズは超過されることはない。

本発明の他の好適な実施例においては、前記データストリームを分割する方法は、現在のユニット及び前のユニットが共にビデオユニットであり且つ異なるビデオフレームに関するものである場合に、現在のユニットを新たなパケットに割り当てるステップを有する。

パケットは幾つかのフレームに属する複数のユニットを有しても良く、分割されたデータストリームに対して例えばＩＦＤが適用される場合には、複数のフレームの一部が同時に破棄され、潜在的なビデオアーティファクトを引き起こし得る。異なるフレームに属するビデオフレームを異なるパケットに割り当てることは、このリスクを減少させる。

本発明の更なる特徴及び利点は、読者がここで参照し、参照により明細書に組み込まれる、添付された請求項に記載されている。

本発明の好適な実施例が、単に例として、添付図面を参照しながら、以下に説明される。

本発明の種々の実施例が考えられ得る。第１に、ＲＴＰ（Real-time Transport Protocol）プロトコルを用いたストリーミングのための実施例が説明される。先行技術による一般的な方法は、データストリームを、ビデオユニット（Ｖ）、オーディオユニット（Ａ）及びデータユニット（Ｄ）（図１の１を参照されたい）のような７つのトランスポートストリームユニットを有するＲＴＰパケットに分割することである。この種の分割方式の問題点は、ＩＦＤが適用される場合には（ＩＦＤについては、S. Kozlov、P. van der Stok及びJ. Lukkienによる「Adaptive Scheduling of MPEG Video Frames during Real-Time Wireless Video Streaming」（Proceedings of WoWMoM、2005年6月13-16日）を参照されたい）、ＲＴＰパケット全体が破棄されることであり、オーディオパケットとビデオパケットとがインタリーブされた典型的な多重化トランスポートストリーム構造を仮定すると、ＲＴＰパケットを破棄することは、オーディオ及びデータをも破棄し得る。更に、複数のフレームの一部が１つのＲＴＰパケットに含まれ得るため、複数のフレーム（重要なもの及び重要でないもの）が同時に破棄され得る。図１においてビデオユニットＶ１乃至Ｖ４について利用されている名称は、これらユニットが異なるビデオフレーム１乃至４に属することを意味する点に留意されたい。

それ故、以下に説明するような、別の分割方式が必要とされる。分割の間、以下の条件のいずれかが満たされる場合には、現在のユニットが新たなパケットに割り当てられる（換言すれば、先行するＲＴＰパケットが終了させられる）：
１．現在のユニット及び直前のユニットの一方のみがビデオユニットである場合。
２．直前のパケットに既に割り当てられているユニットの数が、予め設定された数と等しい場合。
３．現在のユニット及び前のユニットが共にビデオユニットであり、且つこれらユニットが異なるビデオフレームに関連する場合。

図１におけるＲＴＰの場合においては、データストリームは、該分割方式に従って９個のＲＴＰパケットへと分割されている。為された分割のうち３つ（３、５及び７）が、該分割方式における条件のそれぞれを説明するために注釈付けされている。分割３において、現在のユニットはビデオユニットＶ１であり、直前のユニットはオーディオユニットＡである。従って、分割は第１の基準によって為されている。かくして、オーディオユニットＡは先行するパケット（この場合には１つのユニットのみを有する）を終了し、ビデオユニットＶ１が新たなパケットを開始する。トランスポートストリームユニットがビデオ、オーディオ又はデータのいずれのタイプのものであるかの決定は単に、ＰＩＤ（Packet Identifier）が保存されている、各ユニットのトランスポートストリームヘッダを読み取ることにより為される。

該データストリームにおいて後続する８個のユニットは全てビデオユニットＶ１であり、第２の基準が、直前のパケットに既に割り当てられているユニットの数が予め設定された数（この場合には８）と等しい場合に、分割（５）が為され、現在のユニットが新たなパケットへと割り当てられることを規定している。従って、先行するビデオユニットＶ１が先行するパケットを終了し、現在のビデオユニットＶ１が新たなパケット（この場合には１つのビデオユニットのみを有する）を開始する。従って、パケットは７個よりも多いユニットを有することはない。

分割７において、現在のユニットＶ４及び前のユニットＶ３は共にビデオユニットであり、且つこれらユニットは異なるビデオフレーム３及び４に関連するものであるから、第３の基準に従って分割が為されている。かくして、ビデオユニットＶ３は先行するパケットを終了し、ビデオユニットＶ４は新たなパケットを開始する。ビデオユニットが新たなフレームを開始するかの決定は、ビデオユニットのペイロード内のＭＰＥＧ画像ヘッダを走査することにより為される。該画像ヘッダは、フレーム（Ｉ、Ｐ又はＢフレーム）の重要度についての情報をも与える。

本発明による分割方式の結果は、非ビデオパケットか又はビデオパケットかのいずれかを有するＲＴＰパケットである。ビデオパケットの場合には、１つのフレームの一部のみが、１つのＲＴＰパケット内に含まれることとなる。このことはまた、７個のトランスポートストリームユニットよりも小さいサイズを平均して持つＲＴＰパケットが配信されることを意味している。このことは、より小さなパケットのため、ネットワークリソースのより効率的でない利用に帰着し、送信の間の幾分かのオーバヘッドを引き起こす。効率の理由のため、ＲＴＰパケットは可能か限り大きいものであるべきであり、通常はパケットをあまりに早く終了させる理由はない。本発明は、処理されるべきビデオユニットが非ビデオユニットから分離されなければならないＩＦＤの利用を提案する。

パケットの平均サイズを増大させ、かくしてオーバヘッドを減少させる１つの方法は、非ビデオユニットとＩフレームビデオユニットとを、これらユニットが互いに隣接する場合には、共にまとめることである。これらユニットは共に最高の優先度で処理されるため、斯かるパケットは破棄されない。ＲＴＰについての図１において、Ｖ１がＩフレームでありオーディオフレームＡに後続されている場合には、Ｖ１とＡとの間の分割は除去されても良い。

該分割方式に起因するＲＴＰパケットは次いで、タグ付けされ、ＩＦＤスケジューラに供給されても良い。ＲＴＰ送信器１８の実装は、図２に示されている。幾つかの部分が識別され得る：
１．ファイルから又は放送からトランスポートストリームを読み取る、ＴＳ（トランスポートストリーム）読み取り器１０。
２．上述した分割方式を利用してトランスポートストリームをＲＴＰパケットに分割し、ＲＴＰヘッダを構築する、ＴＳ ＲＴＰ分割器・タグ付け器１２。該ＴＳ ＲＴＰ分割器・タグ付け器１２はまた、非ビデオユニット又はビデオユニットを有する、結果のＲＴＰパケットを、非ビデオフレーム（オーディオ若しくはデータ）又はビデオフレーム（より具体的にはＢ、Ｐ又はＩフレーム）としてタグ付けする。
３．適切なタイミングでＲＴＰパケットをＩＦＤスケジューラ１６へと送信する、ＲＴＰ送信器１４。
４．無線ネットワークによりパケットを送信し、必要である場合にはＩＦＤアルゴリズムに従って破棄を実行する、ＩＦＤスケジューラ１６。ＩＦＤは、ネットワーク帯域幅が不十分である場合に、どのパケットを破棄するかを決定するため、パケットに付けられたタグを利用する。オーディオのアーティファクト及びシステムデータの損失を避けるため、非ビデオパケットは破棄されない。

ＩＦＤスケジューラ１６は実際には、ＴＣＰ送信器（以下を参照）の場合におけるように、ＲＴＰ送信器１４の前に配置されても良い。

本発明の他の実施例は、ストリーミングのためにＴＣＰプロトコルを利用する。ＴＣＰの利点は、ネットワークのトポロジ（有線／無線のホップ）にかかわらず、輻輳制御メカニズム、及び送信器と受信器との間のリンク帯域幅に対するエンド・ツー・エンドのフィードバックを提供する点である。ＴＣＰの上位には、ＨＴＴＰベースのストリーミングが実装されることができる。欠点は、リアルタイム要件が考慮に入れられない点である。パケットが損失された場合のＴＣＰの再送メカニズムのため、入力がストールし得る場合（例えばファイルから）にはストリームが低速となり、ストリームがストールし得ない場合（例えばライブ放送）にはバッファがオーバフローして損失が発生しアーティファクトに導く。提案されるＴＣＰ送信器２８は、図２に示されている。該ＴＣＰ送信器２８は、以下の構成要素から成る：
１．ＴＳ（トランスポートストリーム）読み取り器２０。
２．ＴＳ ＴＣＰ分割器・タグ付け器２２。該構成要素は図２におけるＴＳ ＲＴＰ分割器と類似するが、ＴＣＰは大きなまとまりをより小さなパケットへと自動的に分割するため、７個のトランスポートストリームユニット（図１におけるＴＣＰの場合を参照されたい）よりも大きなまとまりを生成し得るという大きな相違点を持つ。
３．ＩＦＤスケジューラ２４。該スケジューラは、適切なタイミングで、パケットを送信バッファに配置する。該スケジューラはまた、該バッファが一杯になり不十分なネットワーク帯域幅を示すと、該バッファからフレームを破棄することによりＩＦＤを適用する。
４．ＴＣＰ送信器。該構成要素は、送信バッファ中のパケットを、ＴＣＰを利用して可能な限り早くネットワークへと送信するように試みる。

ＲＴＰの方法とは異なるＩＦＤスケジューラ２４の位置に留意されたい。このことは、フレームがＴＣＰに（ＴＣＰ送信器２６に）入る前に破棄される必要があるためであり、そうでなければＴＣＰは破棄されたフレームの再送を要求し、破棄が役立たなくなる。ネットワークの輻輳が発生するとＴＣＰ送信器２６は低速となり、送信バッファを一杯にする。この時点で、ＩＦＤスケジューラ２４はこのことを検出し、フレームの破棄を実行しても良い。

ＲＴＰ分割器１２及びＴＣＰ分割器２２は、パーサ及びバッファ（図示されていない）を有する。分割器１２及び２２は、入力されるトランスポートユニットをパースして、該ユニットがビデオか非ビデオかを調べてビデオフレーム境界を見つけ出し、これらユニットをバッファに保存する。該バッファは、最大で７個のトランスポートストリームユニットを保持するため、十分に大きいものであるべきである。

基本的なＩＦＤスケジューリングアルゴリズムは不変のままであるから、ＩＦＤスケジューラの実装は、トランスポートストリームのストリーミングと基本ストリームのストリーミングとの両方をサポートするシステムにおいて利用されることができる点にも留意されたい。ＤＶＤコンテンツのストリーミング（ビデオ及びオーディオ基本ストリームへの多重分離の後）のためには、後者が特に有用である。

上述の実施例は本発明を限定するものではなく説明するものであって、当業者は添付する請求の範囲から逸脱することなく、多くの代替実施例を設計することが可能であろうことは、留意されるべきである。本発明はＩＦＤの利用に限定されるものではなく、例えばＩＦＤの他のネットワークスケジューリング手法を用いた、ビデオユニットが非ビデオユニットから分離されることを必要とする全てのアプリケーションにおいて、本発明は有用である。請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。「有する（comprising）」なる語は、請求項に列記されたもの以外の要素又はステップの存在を除外するものではない。要素に先行する「１つの（a又はan）」なる語は、複数の斯かる要素の存在を除外するものではない。

本発明による分割方法を適用した後の、データストリーム及びパケット境界の３つの例を示す。 それぞれＲＴＰ送信器及びＴＣＰ送信器を利用した送信方法を模式的に示す。

Claims (14)

1. データストリームをパケットに分割する方法であって、前記データストリームはビデオユニット及び非ビデオユニットを有し、前記方法は、
   ビデオユニットのみ又は非ビデオユニットのみを有するパケットに、前記データストリームを分割するステップと、
   非ビデオユニットとＩフレームビデオユニットとが互いに隣接する場合には、非ビデオユニットとＩフレームビデオユニットとを共にまとめることによって、前記パケットの平均サイズを増大させるステップと、
   を有する方法。
2. 前記データストリームを分割するステップは、現在のユニット及び直前のユニットの一方のみがビデオユニットである場合に、前記現在のユニットを新たなパケットに割り当てるステップを有する、請求項１に記載の方法。
3. 前記データストリームを分割するステップは、直前のパケットに既に割り当てられているユニットの数が予め設定された数と等しい場合に、現在のユニットを新たなパケットに割り当てるステップを有する、請求項１に記載の方法。
4. 前記データストリームを分割するステップは、現在のユニット及び前のユニットが共にビデオユニットであり且つ異なるビデオフレームに関するものである場合に、前記現在のユニットを新たなパケットに割り当てるステップを有する、請求項１に記載の方法。
5. 前記データストリームはＭＰＥＧトランスポートストリームを有する、請求項１に記載の方法。
6. 前記パケットはＲＴＰ又はＴＣＰ型のものである、請求項１に記載の方法。
7. 請求項１乃至６のいずれか一項に記載の方法を実行することを可能とするコンピュータプログラム。
8. 請求項７に記載のコンピュータプログラムを有する記録担体。
9. データストリームをパケットに分割するための装置であって、前記データストリームはビデオユニット及び非ビデオユニットを有し、前記装置は、ビデオユニットのみ又は非ビデオユニットのみを有するパケットに、前記データストリームを分割し、非ビデオユニットとＩフレームビデオユニットとが互いに隣接する場合には、非ビデオユニットとＩフレームビデオユニットとを共にまとめることによって、前記パケットの平均サイズを増大させるように構成された装置。
10. 前記データストリームの前記分割は、現在のユニット及び直前のユニットの一方のみがビデオユニットである場合に前記現在のユニットを新たなパケットに割り当てることを有する、請求項９に記載の装置。
11. 前記データストリームの前記分割は、直前のパケットに既に割り当てられているユニットの数が予め設定された数と等しい場合に、現在のユニットを新たなパケットに割り当てることを有する、請求項９に記載の装置。
12. 前記データストリームの前記分割は、現在のユニット及び前のユニットが共にビデオユニットであり且つ異なるビデオフレームに関するものである場合に、前記現在のユニットを新たなパケットに割り当てることを有する、請求項９に記載の装置。
13. 請求項９に記載のデータストリームをパケットに分割するための装置と、前記パケットを送信するための手段と、を有する送信器。
14. データストリームに含まれるビデオユニット及び非ビデオユニットを送信する方法であって、
    ビデオユニットのみ又は非ビデオユニットのみを有するパケットに、前記データストリームを分割するステップと、
    非ビデオユニットとＩフレームビデオユニットとが互いに隣接する場合には、非ビデオユニットとＩフレームビデオユニットとを共にまとめることによって、前記パケットの平均サイズを増大させるステップと、
    前記パケットを送信するステップと、
    を有する方法。

Images