JP2007318470A - サーバ装置、送信順序決定方法およびコンテンツ配信システム - Google Patents

Abstract

【課題】再生装置におけるバッファアンダーフローによる再生不良の発生頻度を低減する。
【解決手段】サーバ装置１００は、送信制御部１０２により、記憶装置１０１内の複数のストリームを、それぞれ、フラグメント毎に、時分割で、伝送路３００を介して、再生装置２００-1〜２００-Nに同時にリアルタイム送信する。スケジューリングアルゴリズムにより、時分割送信における各ストリームの送信順序を、各ストリームのフラグメント（分割単位）毎のトラフィック情報（データサイズ、再生時間を含む）に基づいて行う。このアルゴリズムでは、各フラグメントの送信開始時刻を順次求め、それぞれの送信開始時刻に対応して、ストリーム毎に次のフラグメントの送信猶予時間を、トラフィック情報に基づいて推定し、最も短いストリームを、当該送信開始時刻から送信すべきストリームに決定し、スケジューリングの最適化を図る。
【選択図】図１

Description

この発明は、例えばＬＡＮ(LocalArea Network)等の家庭内ネットワークを介してテレビ等の複数の再生装置に接続され、複数の再生装置で再生すべきコンテンツに係るストリームをこの複数の再生装置に同時にリアルタイム送信（ストリーミング）するサーバ装置、送信順序決定方法およびコンテンツ配信システムに関する。

詳しくは、この発明は、複数のストリームを、それぞれ、分割単位毎に、時分割で、単一の伝送路を介して複数の再生装置に送信するものにあって、各分割単位の送信開始時刻に対応して、ストリーム毎に次の分割単位の送信猶予時間を推定し、この送信猶予時間が最も短いストリームを送信すべきストリームに決定することによって、再生装置におけるバッファアンダーフローによる再生不良の発生頻度を低減するようにしたサーバ装置等に係るものである。

互いにネットワーク接続されたデジタル機器の間で複数のＡＶ(Audio and Visual)ストリームを同時にリアルタイム送信（ストリーミング）する場合、各ＡＶストリームの再生品質を維持するために必要な伝送帯域を確保するＱｏＳ(Quality of Service)技術が重要となる。

特に家庭内においては、インターネットのブロードバンド回線やデジタルＴＶの普及などによりＡＶストリームの高ビットレート化が進む一方で、デジタル機器間の接続にはIEEE 802.11規格など無線インタフェースの利用が進む傾向にあり、限られた通信帯域を効率良く利用するための技術が強く要求される。

現在、ＰＣ(PersonalComputer)やＡＶ家電など一般向けのデジタル機器製品におけるネットワーク伝送路についてはIEEE802.1QやIEEE 802.11e(EDCA方式)などに準拠する所謂タグベースのＱｏＳ技術が普及しつつあるが、これらは伝送するデータの種別に基づいて優先順位付けを行うため、通常のデータに対してＡＶストリームを優先して伝送することはできるが、複数のＡＶストリームの間で優先順位付けを行うことはできない。

一方、家庭向けのＱｏＳ対応ルータ製品にはポート毎に優先度の設定や帯域割り当てを行えるものがある。そのようなルータを利用すれば、異なる機器間での優先順位付けは可能であるが、１つのサーバ機器から送信される複数のＡＶストリームの間で優先順位付けを行うことはできない。IEEE 802.11e(HCCA方式)によるＱｏＳ制御についても同じことが言える。

より高度なＱｏＳの枠組みとしてIETFIntegrated Services （IETF-RFC2211,2212）に基づく方式がある。この方式を実現すれば、ストリーム（TCP/IPのコネクション）単位で平均帯域やパケット伝送遅延を制御することができるが、伝送処理を担う機器にはかなり高い性能が必要になるため、コストダウン要求の厳しいコンシューマ製品で実装するのは難しい。

また、上述の方式はいずれも極めて汎用の制御方式であり、伝送するデータのフォーマットや内容を一切考慮しない。しかし、例えばデジタルＴＶ放送等で用いられているMPEG2 TSなど、動画データを含むストリームは可変ビットレート（ＶＢＲ：VariableBit Rate）フォーマットで符号化されているのが一般的であり、特許文献１などで指摘されているように、送信処理のスケジューラはそのようなフォーマット情報を考慮して制御する方が、より優れたＱｏＳを提供できる。

ＶＢＲフォーマットで符号化されたストリームを予め解析して得られたトラフィック情報（伝送レートの時間変化情報）を利用してＱｏＳ制御を行う技術として、例えば特許文献２、特許文献３などが挙げられる。ここで、新しいストリーム伝送要求に対して伝送路の帯域が不足する場合に、特許文献２においてはそのストリームの伝送開始時間を遅延させる方法、特許文献３においては伝送要求を拒否する方法が採られている。

しかし、家庭内での試聴を想定した場合、通信路の帯域不足に対しては一部のストリームのビットレートを低減させることによって再生装置でのバッファアンダーフローを防ぎ、再生の可用性や連続性を維持する方が好ましいことも多い。
特開２００２−３２５０９４号公報 特開平９−１３０７９５号公報 特開平１０−１０７０８０４号公報

上述した特許文献２、特許文献３には、複数の再生装置で再生すべきコンテンツに係るストリームを、それぞれ、分割単位毎に、時分割で、単一の伝送路を介して複数の再生装置に同時にリアルタイム送信することについての記載はない。

ストリームが上述したように可変ビットレートフォーマットで符号化されている場合、それぞれの分割単位の送信に要する時間はそのデータ量によって変動する。そのため、上述したように複数の再生装置に各ストリームを単一の伝送路を介して時分割送信する場合、複数のストリームの送信順序が固定的であると、バッファアンダーフローによる再生不良の発生頻度が高くなる。

この発明の目的は、複数のストリームを、それぞれ、分割単位毎に、時分割で、単一の伝送路を介して複数の再生装置に送信するものにあって、再生装置におけるバッファアンダーフローによる再生不良の発生頻度を低減することにある。

この発明の概念は、
それぞれ再生装置で再生すべきコンテンツに係る複数のストリームを記憶するデータ記憶部と、
上記データ記憶部に記憶されている複数のストリームを、それぞれ、分割単位毎に、時分割で、単一の伝送路を介して複数の再生装置に送信するデータ送信部と、
上記データ記憶部に記憶されている複数のストリームのそれぞれにおける上記分割単位毎の、少なくともデータサイズおよび再生時間を含むトラフィック情報を取得するトラフィック情報取得部と、
上記データ送信部の時分割送信における各分割単位の送信開始時刻を順次求め、上記トラフィック情報取得部で取得された上記複数のストリームのトラフィック情報に基づいて、それぞれの送信開始時刻に対応して、ストリーム毎に次の上記分割単位の送信猶予時間を推定し、該送信猶予時間が最も短いストリームを送信すべきストリームに決定するスケジューリング部と
を備えることを特徴とするサーバ装置にある。

この発明においては、それぞれ再生装置で再生すべきコンテンツ（動画、音声）に係る複数のストリームがデータ記憶部に記憶されている。このデータ記憶部に記憶されている複数のストリームは、それぞれ、分割単位毎に、時分割で、単一伝送路を介して複数の再生装置に同時にリアルタイム送信（ストリーミング）される。

トラフィック情報取得部で、複数のストリームのそれぞれにおける分割単位毎のトラフィック情報が取得される。このトラフィック情報には、少なくともデータサイズおよび再生時間が含まれている。上述した分割送信における各ストリームの送信順序は、それぞれのストリームにおける分割単位毎のトラフィック情報に基づいて決定される（スケジューリング）。

すなわち、各分割単位の送信開始時刻が順次求められる。この場合、所定の送信開始時刻の次の送信開始時刻は、この所定の送信開始時刻から送信される所定の分割単位のデータサイズおよび伝送路の伝送帯域に基づいて求められる。

それぞれの送信開始時刻に対応して、ストリーム毎に、次の分割単位の送信猶予時間が推定される。ここで、送信猶予時間は、送信開始時刻からΔｔだけ経た時刻までに次の分割単位を再生装置に対して送信することを完了すれば、当該再生装置にバッファアンダーフローが起こらないと推定される場合に、上述のΔｔの最大値をいう。

各送信開始時刻に対応し、上述したように推定された送信猶予時間が最も短いストリームが送信すべきストリームに決定される。このように送信時間が最も短いストリームが送信すべきストリームに決定され、スケジューリングが最適化されるので、再生装置におけるバッファアンダーフローによる再生不良の発生頻度を低減することが可能となる。

上述したように各送信開始時刻に対応して送信すべきストリームが決定されていくが、所定の送信開始時刻に対応して送信すべきストリームに決定された所定のストリームの送信猶予時間が、この所定の送信開始時刻から送信すべき分割単位の送信に要する時間より短くなることがある。この場合、そのままでは、当該分割単位が送信される再生装置では、バッファアンダーフローによる再生不良が発生することになる。

そこでこの場合、例えば、データ圧縮処理部で、所定の送信開始時刻およびこの所定の送信開始時刻より前の送信開始時刻から送信するように決定された各分割単位のうち所定の分割単位に対してデータ圧縮処理が行われる。これにより、所定の送信開始時刻に対応して送信すべきストリームに決定された所定のストリームの送信猶予時間を長くでき、バッファアンダーフローによる再生不良の発生を防止可能となる。

例えば、データ圧縮処理を行う所定の分割単位は１個または複数個であり、ストリーム毎、あるいは分割単位毎に与えられる重要度情報に基づいて選択される。この場合、重要度情報は、例えば、ユーザ設定に基づいて、伝送路または再生装置の仕様に基づいて、あるいはストリームの特徴を記述するメタデータに基づいて、さらにはユーザの嗜好情報に基づいて、生成される。

この発明によれば、複数のストリームを、それぞれ、分割単位毎に、時分割で、単一の伝送路を介して複数の再生装置に送信するものにあって、各分割単位の送信開始時刻に対応して、ストリーム毎に次の分割単位の送信猶予時間を推定し、この送信猶予時間が最も短いストリームを送信すべきストリームに決定するものであり、再生装置におけるバッファアンダーフローによる再生不良の発生頻度を低減できる。

以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのコンテンツ配信システム１０の構成を示している。このコンテンツ配信システム１０は、サーバ装置１００と、複数のテレビ等の再生装置２００-1，２００-2，・・・，２００-Nと、これらサーバ装置１００と複数の再生装置２００-1，２００-2，・・・，２００-Nとを接続する単一の伝送路３００とで構成されている。

サーバ装置１００は、複数の再生装置２００-1，２００-2，・・・，２００-Nで再生すべき、動画、音声等のコンテンツに係る複数のストリームを、それぞれ、フラグメント毎に、時分割で、伝送路３００を介して、複数の再生装置２００-1，２００-2，・・・，２００-Nに送信する機能を持つ。伝送路３００は、例えば、IEEE 802.3やIEEE 802.11で構成される小規模なＬＡＮであって、ＴＣＰ／ＩＰベースの伝送を行う。

ここで、フラグメントはストリームの分割単位を構成している。本実施の形態において、フラグメントは、ストリームの再生時間軸上で分割される各時間部分であって、独立に再生かつ再圧縮（再符号化）できるデータ単位である。

このコンテンツ配信システム１０においては、サーバ装置１００から単一の伝送路３００を介して、複数の再生装置２００-1〜２００-Nに、それぞれで再生すべきコンテンツに係るストリームが、同時にリアルタイム送信（ストリーミング）される。

サーバ装置１００の詳細について説明する。このサーバ装置１００は、図１に示すように、内部に、記憶装置１０１と、送信制御部１０２と、再生符号化部１０３と、ストリーム解析部１０４と、状態管理部１０５とを有している。ただし、実際のサーバ装置１００は、複数の装置から構成される複合システムでもよい。

記憶装置１０１は、例えばＨＤＤあるいは半導体メモリなどからなり、ストリームのデータ本体と、ストリームに関連するメタデータと、ストリームのトラフィック情報と、ストリームの重要度情報と、サーバ装置１００が保持する状態情報等を蓄積する。トラフィック情報は、後述するように、フラグメント単位毎の情報であって、少なくともデータサイズおよび再生時間を含むものである。

ストリーム解析部１０４は、記憶装置１０１に蓄積された各ストリームをそれぞれ解析してフラグメント毎のトラフィック情報を生成し、それぞれのストリームに関連付けて記憶装置１０１に蓄積する機能を持つ。このストリーム解析部１０４は、トラフィック情報取得部を構成している。

トラフィック情報は、図２に示すように、ストリームを分割した各フラグメントのデータサイズＬ１，Ｌ２，Ｌ３，・・・と、このストリームに埋め込まれた再生時刻のタイムスタンプに基づく各フラグメントの再生時間Ｔ１，Ｔ２，Ｔ３，・・・からなる。等価な情報を容易に取得できれば、トラフィック情報の詳細な構成方法は任意である。

マルチメディアストリームの場合は、代表となるメディアを１つ選び、このメディアのタイムスタンプを参照する。例えばMPEG2 Videoのようにタイムスタンプとして復号時刻と表示時刻を持つ場合は表示時刻を用いるが、以下で説明する計算処理での補正のために両方とも保持してもよい。

各ストリームは、対応する再生時間範囲を単独で再生可能かつ再符号化可能となるように分割される必要がある。この条件を満たした上で、フラグメントのサイズがなるべく小さくなるように分割するのが望ましい。例えばMPEG2 Video ESを含むストリームの場合は、各フラグメントに１つのＧＯＰが含まれるようにストリームを分割する。

送信制御部１０２は、記憶装置１０１に蓄積されたストリームを伝送路３００に対して複数同時に送信する場合、送信処理の時分割制御（以後「スケジューリング」という）を行う。ここで、スケジューリング方法に対する伝送プロトコルによる制限は無いとする。例えばhttpプロトコルによる伝送はこの条件を満たす。この送信制御部１０２は、データ送信部およびスケジューリング部を構成している。

送信制御部１０２は、送信中の各ストリームについて、現時刻以降の任意の時刻ｔにおけるストリームの送信猶予時間Ｔｄを推定する。ただし、時刻ｔまでに送信完了するデータサイズは与えられるものとする。送信制御部１０２は、時刻ｔ＋Ｔｄまでに該ストリームの次のフラグメントを送信完了すれば、再生装置におけるバッファアンダーフローが発生しないと判断する。Ｔｄの値を推定する方法は特に限定しないが、以下で１つの計算方法を説明する。

送信制御部１０２は、送信猶予時間Ｔｄを計算するために、図３に示すように、送信中の各ストリームについて再生時刻Ｔｐと再生可能時刻Ｔｒを推定する。再生時刻Ｔｐは、サーバ装置１００のローカル時刻ｔにおいて、再生装置で現に再生されている各ストリームの再生時刻である。

あるストリームの時刻ｔにおける再生時刻Ｔｐは、Ｔｐ＝Ｒ＊（ｔ−ｔ_０）の計算式で推定できる。ここで、ｔ_０は、このストリームの最初のフラグメントを再生装置に対して送信完了した時刻である。ＴＣＰ／ＩＰで送信する場合は、フラグメントを構成する全てのパケットについて再生装置からのＡＣＫ(Acknowledgement)を確認した時点でのサーバ装置１００のローカル時刻を計測して保持すればよい。

定数Ｒは、サーバ装置１００と再生装置との間のクロックスキューを考慮した補正係数で、Ｔｐが再生装置における真の再生時刻よりも遅くならないように適当な値を選ぶ。あるいは、再生装置から別途必要な情報を受信してクロックスキューを統計的に測定することにより定数Ｒを調節してもよい。通常、Ｒ＝１＋αとして、αはずれの最大、例えば１０^−５程度である。

再生可能時刻Ｔｒは、同じくサーバ装置１００のローカル時刻ｔにおいて、各ストリームの送信済み部分により再生可能なこのストリームの最終時刻である。最終再生時刻は、時刻ｔまでに送信完了したこのストリームのトラフィック情報から容易に推定できる。
上述の方法で推定した再生時刻Ｔｐおよび再生可能時刻Ｔｒより、時刻ｔにおけるこのストリームの送信猶予時間は、Ｔｄ＝Ｔｒ−Ｔｐの計算式で求められる。

送信制御部１０２は、各フラグメントの送信に要する時間ｔｓを予め推定する。このフラグメントのデータサイズをＬ、伝送路３００の実効帯域をｖとして、ｔｓ＝Ｌ／ｖで求める。伝送路の実効帯域ｖは、ストリーム送信に利用可能な伝送路の帯域に関する予測値であり、例えば伝送済みのフラグメントに関する伝送時間の計測値などに基づいて適当に推定する。

送信制御部１０２のスケジューリングアルゴリズムを、図４のフローチャートを参照して、説明する。いま、複数のストリームを同時に送信しているとして、ストリームの番号をｉ（ｉ＝１，２，・・・）で表す。送信のスケジューリングは各ストリームのフラグメント単位で行うとして、その順序付けを、添字ｋ（ｋ＝１，２，・・・）で表す。

まず、ステップＳＴ１で、上述の伝送路３００の実効帯域ｖを推定する。そして、ステップＳＴ２で、１番目に送信するフラグメントの送信開始時刻（現在送信中のフラグメントの送信が完了する時刻）を推定し、それをｔ１とする。そして、ステップＳＴ３で、ｋ＝１、ｔ＝ｔ１とおく。

次に、ステップＳＴ４で、各ストリームｉについて、時刻ｔにおける送信猶予時間Ｔｄ（ｔ，ｉ）を計算する。ただし、既に送信確定したフラグメントは送信済みとみなして計算する。そして、ステップＳＴ５で、Ｔｄ（ｔ，ｉ）が最も少ないストリームを選び、ｉ＝ｉｋとおく。複数該当する場合は適当な方法で1つだけを選ぶ。

次に、ステップＳＴ６で、ストリームｉｋから送信待ちのフラグメントを選ぶ。そして、ステップＳＴ７で、当該フラグメントのデータサイズＬと伝送路３００の実効帯域ｖから当該フラグメントの送信に要する時間ｔｓを上述の方法で推定する。そして、ステップＳＴ８でｔｓとストリームｉｋに関する送信猶予時間Ｔｄ（ｔ，ｉｋ）とを比較する。

ここで、送信猶予時間Ｔｄ（ｔ，ｉｋ）が送信に要する時間ｔｓより短いとき、つまりｔｓ＞Ｔｄ（ｔ，ｉｋ）を満足するときは、当該フラグメントの送信が間に合わないことを意味しているので、ステップＳＴ９で、後述するデータ圧縮処理に移行する。一方、送信猶予時間Ｔｄ（ｔ，ｉｋ）が送信に要する時間ｔｓ以上であるとき、つまりｔｓ≦Ｔｄ（ｔ，ｉｋ）を満足するときは、当該フラグメントの送信が間に合うことを意味しているので、ステップＳＴ１０で、当該フラグメントの送信を確定し、ｔ＝ｔ＋ｔｓ、ｋ＝ｋ＋１とおいて、ステップＳＴ４に戻る。以下、上述したと同様の手順を繰り返すことにより、任意の順序ｋまでスケジューリングを行うことができる。

フラグメントの送信に要する時間の推定値ｔｓは実際の送信時間とは異なるため、理想的にはフラグメントを１つ送信完了するたびに改めてスケジューリングしなおすのが良い。

フラグメント単位での送信を便宜上仮定したが、送信途中で再生装置の受信バッファが一杯になると、実際はフラグメントの一部分を送信した時点で待ち時間が発生する場合がある。この問題に対しては適当なタイムアウト時間を設定することによって、当該フラグメントの送信を一時中断し、それ以外のストリームについて直ちにスケジューリングしなおして送信処理を続行する。

中断したフラグメントが属するストリームは、再生装置の受信バッファが空き次第，再度スケジューリング候補として復帰させる。Ｔｄの計算において、部分的に送信完了しているフラグメントは再生不可能とみなしても良いし、トラフィック情報としてフラグメント内部の詳細な情報を持つことにより、送信済みのデータ部分による正確な再生可能時刻を計算してもよい。

上述のスケジューリングアルゴリズムのステップＳＴ８において、ｔｓ＞Ｔｄ（ｔ，ｉｋ）が検出された場合、伝送路３００の帯域不足が予測される。本実施の形態では、送信予定のフラグメントの中から一部（所定のフラグメント）を再圧縮（再符号化）することによって帯域不足を解消する。

いま、例えば３つのストリームＡ，Ｂ，Ｃを同時に送信しており、ストリームＸのフラグメントをＸ１，Ｘ２，Ｘ３,・・・で表すとする。図５に示すように、現時刻においてフラグメントＡ１を送信中で、上述のスケジューリングアルゴリズムを実行することにより、以後の送信順序をＢ１，Ｃ１，Ａ２，Ｂ２，・・・と決めていったとする。

計算過程で、各フラグメントの送信完了期限時刻と送信完了予定時刻が決まる。上述のアルゴリズムでのステップＳＴ８において、前者はｔ＋Ｔｄ、後者はｔ＋ｔｓであり、Ｔｄとｔｓの比較は、期限時刻までに送信が完了するかどうかの判定に他ならない。

ここで、フラグメントＡ３の送信完了が期限時刻に間に合わないことが判明したとする。このとき、送信制御部１０２は、Ａ３以前に送信予定のフラグメント（図５では、Ｂ１，Ｃ１，Ａ２，Ｂ２，Ｃ２，Ａ３）の中から一部を選択し、再符号化部１０３に対して当該フラグメントの再圧縮処理を要求する。勿論、送信開始時刻よりも以前に再圧縮処理が終るフラグメントを選択する必要がある。再符号化部１０３は、データ圧縮部を構成している。

仮に、図５に示すように、フラグメントＣ１，Ｂ２が再圧縮対象として選択されたとする。再符号化部１０３は、フラグメントＣ１，Ｂ２に対応するストリームデータおよび再符号化処理に必要な関連データ（例えば、前回の圧縮など）を記憶装置１０１から入力して、復号化および再符号化の処理を順次行うことで再圧縮を行い、再圧縮されたフラグメントＣ１′，Ｂ２′および再圧縮後のそれぞれのデータサイズなど関連データを送信制御部１０２に引き渡す。再圧縮されたフラグメントおよび関連データは、再符号化部１０３から送信制御部１０２に対して直接転送してもよいし、記憶装置１０１を経由してもよい。

送信制御部１０２は、再圧縮されたフラグメントＣ１′，Ｂ２′のデータサイズについて上述のトラフィック情報を修正し、改めてスケジューリングを行うことにより、フラグメントＡ３が送信完了期限時刻までに送信完了できることを確認する。ここで、再圧縮処理を行っている間にも送信処理が進行していることに注意する必要がある。例えば、図５に示したように、フラグメントＡ１の送信が完了し、その送信完了時刻は前回スケジューリング時の推定時刻からずれているかもしれない。このような場合、再圧縮処理を行う前のスケジューリング処理での計算値を再利用するのは好ましくない。

上述の再圧縮処理において、再圧縮可能な候補の中から実際に再圧縮するフラグメントを選択する基準が重要である。本実施の形態では、その選択基準として以下で説明する重要度情報を利用する。

重要度情報としては、ストリーム全体に対して付与されるストリーム重要度と、ストリームの各フラグメントに対して付与されるフラグメント重要度の二種類を考える。ストリーム重要度は、再圧縮候補として複数のストリームのフラグメントが含まれる場合に、なるべく再圧縮せずに残すべきストリームの優先度を表す数値である。フラグメント重要度は、同じストリーム重要度を持つフラグメントの間でなるべく再圧縮せずに残すべきフラグメントの優先度を表す数値である。

したがって、ストリーム重要度が最も低いストリームに属しており、かつフラグメント重要度が最も低いフラグメントから順番に再圧縮対象として選ばれる。この条件に該当するフラグメントが複数ある場合には適当な基準で選ぶ。重要度情報は、このストリームの再生中に動的に変化してもよい。その場合，再圧縮するフラグメントの選択を行うたびに最新の重要度情報を評価する必要がある。

ストリーム解析部１０４は、サーバ装置１００が利用可能な任意の情報に基づいて重要度情報を生成できるが、以下では、特に記憶装置１０１に蓄積されたストリームデータ自体と、記憶装置１０１に蓄積されたこのストリームに関するメタデータと、状態管理部１０５が管理する状態情報を利用する場合について説明する。

状態管理部１０５は、サーバ装置１００の動作設定、サーバ装置１００が検出した伝送路３００上の接続機器構成、再生装置２００-1，２００-2，・・・，２００-Nとの通信によって取得した再生装置の状態情報などを管理しており、そのうち重要度情報を生成するために有用な情報をストリーム解析部１０４に提供する。特に有用な情報として、(a)ストリーム送信のＱｏＳに関するユーザ設定、(b)画面の大きさや解像度等の再生装置の仕様、(c)分岐先の再生装置２００-1，２００-2，・・・，２００-Nのそれぞれに対応した伝送路の仕様が挙げられる。

（ａ）のユーザ設定は、再生装置に対して静的な優先度が設定されている場合や、送信中のストリームに対して優先度が動的に設定される場合などが考えられる。(b)は再生装置のディスプレイが持つ解像度やフレームレートなど、該再生装置に対して送信するストリームの適切な品質（ビットレート）を判断するために有用な情報である。(c)は例えば理論上の最大伝送帯域や最小遅延時間など、当該伝送路に対して送信するストリームのビットレートを調節するために有用な伝送路の特性である。

ストリーム解析部１０４は、重要度情報を生成するために記憶装置１０１に蓄積されたこのストリームに関するメタデータを利用する。メタデータとはマルチメディアコンテンツの内容を特徴付けるデータであり、主にMPEG7規格が対象とするようなデータを想定するが、それに限定はしない。特に、メタデータとしてユーザの嗜好情報（サーバ装置１００を利用するユーザがどのような内容のコンテンツを好むかに関する情報）を保持する場合、送信中の各ストリームまたは各フラグメントの内容を表すメタデータと、ストリームまたはフラグメントを視聴しているユーザの嗜好情報の両方に基づいて重要度情報を生成する。

ユーザの嗜好情報は、例えばコンテンツの嗜好に関するユーザ設定およびユーザによる過去のコンテンツの操作履歴から生成される。コンテンツの操作とは、録画予約、再生、削除、リムーバブルディスクへのコピーなどを指す。

重要度情報を生成するためのメタデータとしては、コンテンツに付随して（ストリームに埋め込まれて）配信されるもの、放送やインターネットサーバなどで別途配信されるものの他に、サーバ装置１００の内部で生成されたものも利用する。特に、ストリーム解析部１０４は、いわゆるパターン認識（音声認識・画像認識・自然言語処理など）の技術を用いた特徴抽出機能を備えており、記憶装置１０１に蓄積されたストリームのメディアデータを解析することにより、このストリームに関するメタデータを自動生成する機能を持つ。例えばスポーツ番組のハイライトシーン検出などはこの機能に該当し、検出されたハイライトシーンに属するこのストリームのフラグメントには高い重要度を付加するなどの応用が考えられる。

図１に示すコンテンツ配信システム１０の動作を説明する。サーバ装置１００では、送信制御部１０２によって、記憶装置１０１に記憶されている複数のストリームが、それぞれ、フラグメント毎に、時分割で、単一の伝送路３００を介して、再生装置２００-1〜２００-Nに、同時にリアルタイム送信される。

この場合、送信制御部１０２では、各ストリームのフラグメント毎のトラフィック情報に基づいて、時分割送信における各ストリームの送信順序が、スケジューリングアルゴリズム（図４参照）により、決定される。ここで、トラフィック情報は、少なくともデータサイズおよび再生時間が含まれ、予めストリーム解析部１０４により取得される。

スケジューリングアルゴリズムでは、各フラグメントの送信開始時刻が順次求められる。この場合、所定の送信開始時刻の次の送信開始時刻は、この所定の送信開始時刻から送信されるフラグメントのデータサイズおよび伝送路３００の伝送帯域に基づいて求められる。そして、それぞれの送信開始時刻に対応して、ストリーム毎に、次のフラグメントの送信猶予時間が、トラフィック情報に基づいて推定され、最も短いストリームが、当該送信開始時刻から送信すべきストリームに決定される。

また、各送信開始時刻に対応して送信すべきストリームが決定されていくが、所定の送信開始時刻に対応して送信すべきストリームに決定された所定のストリームの送信猶予時間が、この所定の送信開始時刻から送信すべきフラグメントの送信に要する時間より短くなるときは、その所定の送信開始時刻およびこの所定の送信開始時刻より前の送信開始時刻から送信するように決定された各フラグメントのうち所定のフラグメントに対して、再符号化部１０３でデータ圧縮処理が行われてデータ量が低減される。

この場合、所定のフラグメントの選択は、ストリーム毎、あるいはフラグメント毎に付与される重要度情報に基づいて行われる。これにより、重要なコンテンツの画像、あるいは重要な箇所の画像がデータ圧縮によって、その画質が低下することを回避できる。

図１に示すコンテンツ配信システム１０によれば、複数のストリームを、それぞれ、フラグメント毎に、時分割で、単一の伝送路３００を介して複数の再生装置２００-1〜２００-Nに送信するものにあって、各フラグメントの送信開始時刻に対応して、ストリーム毎に次のフラグメントの送信猶予時間を推定し、この送信猶予時間が最も短いストリームを送信すべきストリームに決定するものであり、このスケジューリングの最適化により、再生装置におけるバッファアンダーフローによる再生不良の発生頻度を低減できる。

また、この図１に示すコンテンツ配信システム１０によれば、スケジューリングの最適化によっても解消できない伝送路３００の帯域不足を事前に検出し、ストリームの一部を直前に再圧縮して送信するものであり、帯域不足による再生不良の発生を防止できる。ただし、ストリーミングのＱｏＳに関するユーザ設定、再生装置や伝送路の仕様、ストリームの特徴を記述するメタデータ、ユーザの嗜好情報などに基づきサーバ装置１００の内部で予め生成されたストリームの重要度情報を利用して再圧縮するストリーム部分を選択するものであり、ユーザにとって重要なストリーム部分の再生品質を極力維持することができる。

なお、上述の実施の形態では説明していないが、ストリームを送信できるサーバ装置が同一の伝送路上に複数接続されており、それぞれのサーバ装置が同時にストリームの送信を行う状況が考えられる。この場合、上述のスケジューリングアルゴリズムにおいて、伝送路の実効帯域ｖの推定が難しくなる。

複数のサーバ装置の間で伝送路の帯域が分割利用されるが、あるサーバ装置が利用できる実効帯域ｖは、他のサーバ装置の動作状況（ストリームの送信状況）に依存して激しく変動する可能性があるためである。この問題を解決する１つの方法として、サーバ装置１００は、同一伝送路上に同種のサーバ装置が接続されていることを検出した場合、各サーバ装置の送信制御部が相互に通信することによって連携動作を行う機能を持つ。特に、上述のトラフィック情報および重要度情報を互いに共有することにより、各サーバ装置は、伝送路上で送信されている全てのストリームに関する制御情報を考慮して最適なスケジューリング処理と再圧縮処理を行うことができる。

この発明は、再生装置におけるバッファアンダーフローによる再生不良の発生頻度を低減でき、互いにネットワーク接続されたデジタル機器の間で複数のＡＶストリームを同時にリアルタイム送信（ストリーミング）するコンテンツ配信システム等に適用できる。

実施の形態としてのコンテンツ配信システムの構成を示すブロック図である。 ストリームの分割と、各フラグメントのトラフィック情報を説明するための図である。 各ストリームの送信猶予時間の推定計算例を示す図である。 スケジューリングアルゴリズムを示すフローチャートである。 所定フラグメントの再圧縮処理（再符号化処理）を説明するための図である。

符号の説明

１０・・・コンテンツ配信システム、１００・・・サーバ装置、１０１・・・記憶装置、１０２・・・送信制御部、１０３・・・再符号化部、１０４・・・ストリーム解析部、１０５・・・状態管理部、２００-1〜１００-N・・・再生装置、３００・・・伝送路

Claims (10)

1. それぞれ再生装置で再生すべきコンテンツに係る複数のストリームを記憶するデータ記憶部と、
   上記データ記憶部に記憶されている複数のストリームを、それぞれ、分割単位毎に、時分割で、単一の伝送路を介して複数の再生装置に送信するデータ送信部と、
   上記データ記憶部に記憶されている複数のストリームのそれぞれにおける上記分割単位毎の、少なくともデータサイズおよび再生時間を含むトラフィック情報を取得するトラフィック情報取得部と、
   上記データ送信部の時分割送信における各分割単位の送信開始時刻を順次求め、上記トラフィック情報取得部で取得された上記複数のストリームのトラフィック情報に基づいて、それぞれの送信開始時刻に対応して、ストリーム毎に次の上記分割単位の送信猶予時間を推定し、該送信猶予時間が最も短いストリームを送信すべきストリームに決定するスケジューリング部と
   を備えることを特徴とするサーバ装置。
2. 上記スケジューリング部は、
   所定の送信開始時刻の次の送信開始時刻を、該所定の送信開始時刻から送信される所定の分割単位のデータサイズおよび上記伝送路の伝送帯域に基づいて求める
   ことを特徴とする請求項１に記載のサーバ装置。
3. 上記スケジューリング部で所定の送信開始時刻に対応して送信すべきストリームに決定された所定のストリームの送信猶予時間が、該所定の送信開始時刻から送信すべき分割単位の送信に要する時間より短いとき、上記所定の送信開始時刻および該所定の送信開始時刻より前の送信開始時刻から送信するように決定された各分割単位のうち所定の分割単位に対してデータ圧縮処理を行うデータ圧縮部をさらに備える
   ことを特徴とする請求項１に記載のサーバ装置。
4. 上記データ圧縮部は、上記ストリーム毎、あるいは上記分割単位毎に与えられる重要度情報に基づいて、上記データ圧縮処理を行う所定の分割単位を選択する
   ことを特徴とする請求項３に記載のサーバ装置。
5. 上記重要度情報は、ユーザ設定に基づいて生成される
   ことを特徴とする請求項４に記載のサーバ装置。
6. 上記重要度情報は、上記伝送路または上記再生装置の仕様に基づいて生成される
   ことを特徴とする請求項４に記載のサーバ装置。
7. 上記重要度情報は、上記ストリームの特徴を記述するメタデータに基づいて生成される
   ことを特徴とする請求項４に記載のサーバ装置。
8. 上記重要度情報は、ユーザの嗜好情報に基づいて生成される
   ことを特徴とする請求項４に記載のサーバ装置。
9. データ記憶部に記憶されているそれぞれ再生装置で再生すべきコンテンツに係る複数のストリームを、それぞれ、分割単位毎に、時分割で、単一の伝送路を介して複数の再生装置に送信する際の上記複数のストリームの送信順序を決定する方法であって、
   上記データ記憶部に記憶されている複数のストリームのそれぞれにおける上記分割単位毎の、少なくともデータサイズおよび再生時間を含むトラフィック情報を取得するトラフィック情報取得ステップと、
   上記時分割送信における各分割単位の送信開始時刻を順次求め、上記トラフィック情報取得ステップで取得された上記複数のストリームのトラフィック情報に基づいて、それぞれの送信開始時刻に対応して、ストリーム毎に次の上記分割単位の送信猶予時間を推定し、該送信猶予時間が最も短いストリームを送信すべきストリームに決定する送信順序決定ステップと
   を備えることを特徴とする送信順序決定方法。
10. 複数の再生装置と、
    単一の伝送路と、
    上記複数の再生装置に、上記単一の伝送路を介して、それぞれ、再生コンテンツに係る複数のストリームを同時にリアルタイム送信するサーバ装置とを備えるコンテンツ配信システムであって、
    上記サーバ装置は、
    上記複数のストリームを記憶するデータ記憶部と、
    上記データ記憶部に記憶されている複数のストリームを、それぞれ、分割単位毎に、時分割で、上記単一の伝送路を介して複数の再生装置に送信するデータ送信部と、
    上記データ記憶部に記憶されている複数のストリームのそれぞれにおける上記分割単位毎の、少なくともデータサイズおよび再生時間を含むトラフィック情報を取得するトラフィック情報取得部と、
    上記データ送信部の時分割送信における各分割単位の送信開始時刻を順次求め、上記トラフィック情報取得部で取得された上記複数のストリームのトラフィック情報に基づいて、それぞれの送信開始時刻に対応して、ストリーム毎に次の上記分割単位の送信猶予時間を推定し、該送信猶予時間が最も短いストリームを送信すべきストリームに決定するスケジューリング部とを有する
    ことを特徴とするコンテンツ配信システム。