JP2007150755A - データ送信装置及び方法 - Google Patents

Abstract

【課題】 通信帯域を効率的に使用しながら、かつ低コストで、受信端末が迅速に再生を開始することができるように符号化動画データを送信可能なデータ送信装置を提供すること。
【解決手段】 動画像を符号化すると共に符号化された動画像データを記録し、複数の受信端末のうち、途中参加でない受信端末に対しては符号化した動画像データを即座に送信し、途中参加した受信端末に対しては記録された過去の動画像データから送信を開始する。
【選択図】 図１

Description

本発明は、動画像データを送信するためのデータ送信装置及び方法に関する。特に、符号化された動画像データを、複数の受信端末で迅速に再生を開始することができるように送信するための動画像データ送信装置及び方法に関する。

近年、ADSL(Asynchronous Digital Subscriber Line)やFTTH(Fiber To The Home)等の普及により、コンピュータネットワークのブロードバンド化が急速に進行している。さらに、パーソナルコンピュータ（ＰＣ）を始めとする様々なコンピューティングデバイスの処理能力も引き続き向上を続けている。

このような、通信環境並びにデータ処理環境の性能向上を背景として、動画像や音声といったマルチメディアデータを、ネットワークを通じてリアルタイムに配信するストリーミング技術が実用化されている。このストリーミング技術により、ユーザはライブメディアまたは記録済みメディアの放送を視聴したり、記録済みメディアをオンデマンドで視聴したりすることができる。

このような映像コンテンツの配信には、一般的にマルチキャストやユニキャストと呼ばれる通信方法が用いられる。マルチキャストとは、一つのパケットを特定多数の受信端末に送信するための技術であり、マルチキャストパケットは通信経路中の適切なルータによって複製され、各受信端末に送信される。一方ユニキャストとは、一対一の通信であり、複数の相手にパケットを送信する場合は、送信端末側でパケットを複製して個々の相手先を指定して送信する必要があるが、やはり特定多数を対象にデータを送信することが可能である。

また、動画像や音声といったマルチメディアデータをネットワークを介して配信するためのデータ伝送方式としては、ＲＴＰ(Real-time Transfer Protocol)が知られている。ＲＴＰは、ＩＥＴＦ(Internet Engineering Task Force)によりＲＦＣ１８８９及びＲＦＣ１８９０として定義された、オーディオやビデオなどをリアルタイムでデータ転送するためのプロトコルである。

マルチメディアデータ、特に動画像データは、そのまま伝送するにはデータ量が多いため、通常は配信前に圧縮符号化される。画質の劣化を抑制しながら高圧縮率を実現するために様々な検討が行われており、国際標準規格としてＩＳＯ（International Organization for Standardisation）によって規格化されたMPEG-2方式やMPEG-4方式などが代表的な符号化技術として知られている。

これらＭＰＥＧ圧縮符号化方式においては動画像を構成する各フレームに予測符号化技術を適用するが、適用される予測符号化の種類により、各フレームはＩフレーム，Ｐフレーム及びＢフレームの３種類のいずれかに分類される。Ｉフレームは、フレーム内符号化画像である。Ｐフレームは、符号化対象フレームより過去の画像フレームを用いたフレーム間順方向予測符号化画像、Ｂフレームは符号化対象フレームの過去と未来の画像フレームを用いたフレーム間双方向予測符号化画像である。これら３種の符号化フレームのうち、他の画像フレームの情報を用いずに復号できるのはＩフレームのみである。

このような予測符号化方式により符号化された動画像をネットワークを介して配信する場合、Ｉフレームからデータを受信しないと受信側で正常に復号、再生できない。そのため、受信端末へはＩフレームから送信を開始する必要がある。しかし、リアルタイム映像をストリーミング配信している場合などでは、受信端末からの配信要求を受信した時刻に送信可能な動画像フレームがＩフレームであるとは限らない。Ｉフレームを送信するタイミングで配信要求が来なかった場合には、次にＩフレームが符号化されるまで送信を開始することができない。或いは、送信しても受信側で復号化できない。結果として、受信端末で再生が始まるまでに遅延が発生する。

そこで、ユニキャストによりストリームデータを送信する装置において、新たに配信要求があった場合には、符号化形式をフレーム内符号化へ一時的に切り替えることが、特許文献１に開示されている。

また、特許文献２には、送信装置で常にフレーム内符号化とフレーム間符号化の両方を行い、送信中に新たに配信要求があった場合には、その要求元受信端末にのみＩフレームから送信を行うことが提案されている。

特開２００２−３０５７３３号公報 特開平０５−２５２５１１号公報

特許文献１に提案される方法では、既に配信を行っている最中に新たな受信端末（以後、このような受信端末を途中参加端末という）が加わった場合には、符号化形式がフレーム内符号化に切り替わる。これにより、途中参加端末では遅延無く再生が可能となるが、既存の受信端末に対してもＩフレームが送信される。一般にフレーム内符号化はフレーム間符号化よりも圧縮効率が低く、データ量が多くなるため、途中参加端末が加わると通信帯域を余分に消費してしまうという問題を有している。

また、特許文献２に提案される方式は、常にフレーム内符号化とフレーム間符号化の両方を行い、途中参加端末に対してのみＩフレームから送信を行う手法である。そのため、常に両方の符号化を行う特殊な符号化回路、あるいはフレーム内符号化を行う符号化回路とフレーム間符号化を行う符合化回路の２つの符号化回路が必要になり、非常にコストが高くなるといった問題を有している。

本発明は以上の問題に鑑みて成されたものであり、通信帯域を効率的に使用しながら、かつ低コストで、受信端末が迅速に再生を開始することができるように符号化動画データを送信可能なデータ送信装置及び方法を提供することを目的とする。

上述の目的は、動画像データを符号化し、ネットワークを介して接続された受信端末に対して送信するためのデータ送信装置であって、動画像データを、動画像データを構成するフレーム単位で、復号化時に他のフレームの情報が不要な第１の符号化方式と、復号化時に他のフレームの情報が必要な第２の符号化方式を併用して符号化する符号化手段と、符号化手段が符号化した動画像データを記憶する記憶手段と、受信端末へ送信するパケットを、符号化手段が符号化した動画像データ又は記憶手段に記憶された動画像データから生成するパケット生成手段と、パケット生成手段が生成したパケットを、受信端末に送信する送信手段とを有し、パケット生成手段が、受信端末に最初に送信するパケットが、第１の符号化方式で符号化されたフレームの動画像データから生成されるように、符号化手段が符号化した動画像データ又は記憶手段に記憶された動画像データからパケットを生成することを特徴とするデータ送信装置によって達成される。

また、上述の目的は、動画像データを符号化し、ネットワークを介して接続された受信端末に対して送信するためのデータ送信装置であって、動画像データを、動画像データを構成するフレーム単位で、復号化時に他のフレームの情報が不要な第１の符号化方式と、復号化時に他のフレームの情報が必要な第２の符号化方式を併用して符号化する符号化手段と、符号化手段が符号化した動画像データ又は、記憶手段に記憶された、過去に生成されたパケットのデータから、受信端末に送信するパケットを生成するパケット生成手段と、パケット生成手段が生成したパケットを、受信端末に送信する送信手段とを有し、パケット生成手段が、受信端末に最初に送信するパケットが、第１の符号化方式で符号化されたフレームの動画像データから生成されるように、符号化手段が符号化した動画像データ又は記憶手段に記憶されたパケットのデータからパケットを生成することを特徴とするデータ送信装置によっても達成される。

また、上述の目的は、動画像データを符号化し、ネットワークを介して接続された受信端末に対して送信するためのデータ送信方法であって、動画像データを、動画像データを構成するフレーム単位で、復号化時に他のフレームの情報が不要な第１の符号化方式と、復号化時に他のフレームの情報が必要な第２の符号化方式を併用して符号化する符号化ステップと、符号化手段が符号化した動画像データを記憶手段に記憶する記憶ステップと、受信端末へ送信するパケットを、符号化ステップで符号化した動画像データ又は記憶手段に記憶された動画像データから生成するパケット生成ステップと、パケット生成ステップが生成したパケットを、受信端末に送信する送信ステップとを有し、パケット生成ステップが、受信端末に最初に送信するパケットが、第１の符号化方式で符号化されたフレームの動画像データから生成されるように、符号化ステップが符号化した動画像データ又は記憶手段に記憶された動画像データからパケットを生成することを特徴とするデータ送信方法によっても達成される。

また、上述の目的は、動画像データを符号化し、ネットワークを介して接続された受信端末に対して送信するためのデータ送信方法であって、動画像データを、動画像データを構成するフレーム単位で、復号化時に他のフレームの情報が不要な第１の符号化方式と、復号化時に他のフレームの情報が必要な第２の符号化方式を併用して符号化する符号化ステップと、符号化ステップが符号化した動画像データ又は、記憶手段に記憶された、過去に生成されたパケットのデータから、受信端末に送信するパケットを生成するパケット生成ステップと、パケット生成ステップが生成したパケットを、受信端末に送信する送信ステップとを有し、パケット生成ステップが、受信端末に最初に送信するパケットが、第１の符号化方式で符号化されたフレームの動画像データから生成されるように、符号化ステップが符号化した動画像データ又は記憶手段に記憶されたパケットのデータからパケットを生成することを特徴とするデータ送信方法によっても達成される。

以上説明したように、本発明によれば、通信帯域を効率的に使用しながら、かつ低コストで、受信端末が迅速に再生を開始することができるように符号化動画像を送信することが可能となる。

以下、添付図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。 なお、以下では、動画像データの符号化方式としてＭＰＥＧ−４方式を、符号化動画像データの転送プロトコルとしてＲＴＰを用いる送信装置に本発明を適用した実施形態を説明する。しかし、動画像データの符号化方式としては、ＭＰＥＧ−４方式に限らず、例えばＭＰＥＧ−２方式やＨ．２６４方式など、フレーム内予測符号化方式とフレーム間予測符号化方式を併用する符号化方式を用いることができる。より広義には、復号化時に他のフレームの情報が不要な符号化方式と、復号化時に他のフレームの情報が必要な符号化方式とを併用してフレーム単位の符号化を行う動画像データの符号化方式を用いることができる。また、データ転送プロトコルについても、ＲＴＰに限らず、他のデータ転送プロトコルを用いることが可能である。

［第１の実施形態］
図１は、本発明の第１の実施形態に係るデータ送信装置の基本構成例を示すブロック図である。
データ送信装置１００は、動画像符号化回路１０１、動画像データ記録回路１０２、セッション管理回路１０３、パケット生成回路１０４、動画像データ記憶装置１０５、送受信回路１０６により構成されている。又、送受信回路１０６はさらに、制御情報受信回路１０７、パケット送信回路１０８により構成されている。図１において、１１０は各種ネットワークに代表される伝送路であり、本実施形態においては、動画像データを送信するネットワークである。

送受信回路１０６は、受信端末からの制御情報を伝送路１１０を介して制御情報受信回路１０７において受信する。制御情報は、動画像データの送信要求などの受信端末からの要求や、受信端末からの要求に対する送信端末からの応答である。制御情報は、例えばＲＴＳＰ(Real Time Streaming Protocol)やＨ．３２３、ＳＩＰ(Session Initiation Protocol)に代表される通信制御プロトコルに準拠したものとする。
このような制御情報はセッション管理回路１０３へ入力され、受信端末毎にセッションが管理される。

また、動画像符号化回路１０１は、ビデオカメラやＷｅｂカメラ等の映像入力装置１０９から入力された動画像をＭＰＥＧ−４方式により圧縮符号化する。動画像符号化回路１０１において符号化された動画像データは、パケット生成回路１０４へ入力されると共に、動画像データ記録回路１０２へと入力され、動画像データ記憶装置１０５へ記録される。動画像記録装置１０５はハードディスクドライブ等の磁気記録装置や、光ディスク等の光学記憶装置、或いは半導体記憶装置などで構成可能である。

図２は、動画像データ記録回路１０２の動作を説明するフローチャートである。
まず、動画像データ記録回路１０２は、動画像符号化回路１０１から符号化動画像データを受信する（ステップＳ２０１）。ここで受信する符号化動画像データは、通常、個々の動画像フレーム、時間的に連続する一連の動画像フレームといった単位である。本実施形態では簡単のため動画像の個々の符号化フレームを受信するものとして説明する。

ステップＳ２０１に続いて、受信した符号化フレームがＩフレームか否かを判断する（ステップＳ２０２）。そして、Ｉフレームであると判断された場合には、動画像データ記憶装置１０５に記録済みの過去のフレームを全て廃棄する（ステップＳ２０３）。

ステップＳ２０２においてＩフレームでないと判断された場合、或いはステップＳ２０３において過去のフレームを廃棄した後、ステップＳ２０４へ進む。そして、ステップＳ２０１で動画像符号化回路１１０から受信した符号化フレームを動画像データ記憶装置１０５へ記録する。

このようにして、動画像の個々の符号化フレームを記録すると、記録処理を終了するか否かを判断し（ステップＳ２０５）、記録処理を終了すると判断された場合にはそのまま処理を終了する。記録処理を継続すると判断された場合には、ステップＳ２０１へと処理を戻し、記録終了まで後続の動画像データの記録処理を行う。

記録処理は、セッション管理回路１０３により管理される受信端末のセッションが存在しなくなるか、送信装置が全ての受信端末に対する送信を終了する場合に、記録処理を終了するものとする。

このような処理により、動画像データ記憶装置１０５には、直前のＩフレームから現時刻のフレームまでのフレーム群が最大でＧＯＶ(Group of Video Object Plane)単位で記録され、過去のＧＯＶデータは廃棄される。ＧＯＶはＭＰＥＧ−４動画像のＩフレームから次のＩフレームの直前のフレームまでのフレーム群である。

図３は、動画像符号化回路１０１により符号化された動画像フレームと、動画像データ記録回路１０２により記録される動画像フレームの関係を時間経過と共に示した図である。

３０１から３０６は動画像符号化回路１０１によって符号化された動画像データの各フレーム（ＶＯＰ）を示している。また、Ｉ−ＶＯＰはＩフレーム、Ｐ−ＶＯＰはＰフレームを意味する。ここでは、符号化のフレームレートが１０ｆｐｓ（１秒間に１０フレームが符号化される）であるものとし、また、個々のフレームは１００ミリ秒間隔で符号化されるものとする。また、時刻０ミリ秒に符号化されたフレーム３０１と、時刻１０００ミリ秒に符号化されたフレーム３０５はＩフレームであり、それ以外の時刻に符号化されたフレーム３０２〜３０４と３０６はＰフレームである。

尚、時刻２００ミリ秒のフレーム３０３から時刻９００ミリ秒のフレーム３０４の間と、時刻１１００ミリ秒より後にもフレームが存在するが、図３ではこれらのフレームは図示しない。

動画像符号化回路１０１において符号化された動画像フレーム３０１〜３０６を動画像データ記録回路１０２が記録する場合、時刻０ミリ秒のＩフレーム３０１から記録を開始し、後続のＰフレーム（３０２〜３０４）を時間経過と共に順次記録する。このようにして、時刻９００ミリ秒までに記録された動画像フレームは、図に示すようにフレーム３０１〜３０４の各フレームとなる。

次に、時刻１０００ミリ秒に符号化されたフレーム３０５はＩフレームであるので、時刻０ミリ秒から時刻９００ミリ秒までに記録された動画像フレーム３０１〜３０４を廃棄し、再度Ｉフレーム３０５から記録を開始する。フレーム３０６以降の後続のＰフレームについては、時間経過と共に順次記録する。このようにして、時刻１１００ミリ秒までに記録された動画像フレームは、図に示すようにフレーム３０５と３０６となる。

このようにして動画像データ記録回路１０２により動画像データ記憶装置１０５へ記録された動画像データは、後述するように、必要に応じて受信端末へ送信される。その際には、パケット生成回路１０４においてパケット化され、セッション管理回路１０３により指定された受信端末に対し、パケット送信回路１０８を通じて送信される。

図４は、パケット生成回路１０４のパケット生成処理を説明するフローチャートである。
まずパケット生成回路１０４は、動画像符号化回路１０１から符号化動画像フレームを受信（ステップＳ４０１）し、Ｉフレームか否かを判断する（ステップＳ４０２）。

ステップＳ４０２において、Ｉフレームであると判断された場合には、ステップＳ４０１で動画像符号化回路１０１から受信した現時刻のフレームからパケットを生成するべくステップＳ４０５へと処理を移行する。

ステップＳ４０２において、Ｉフレームでないと判断された場合には、動画像データの送信対象となる受信端末が途中参加端末か否かを更に判断する（ステップＳ４０３）。ここでの判断は、セッション管理回路１０３から得られる各受信端末のセッション情報を利用することができる。例えば、動画像データを配信している他のセッションが既に存在している状態で、配信要求を受信したことによって発生したセッションの受信端末は途中参加端末であると判断できる。

ステップＳ４０３において、途中参加端末でないと判断された場合には、ステップＳ４０１で動画像符号化回路１０１から受信した現時刻のフレームからパケットを生成するべくステップＳ４０５へ進む。

ステップＳ４０３において、送信先が途中参加端末であると判断された場合には、動画像データ記憶装置１０５に記録されている過去のフレームを取得する（ステップＳ４０４）。このように、パケット生成回路１０４は、受信端末に最初に送信するパケットが、フレーム内符号化方式で符号化されたフレームの動画像データから生成されるよう、パケットを生成する動画像データを選択する。すなわち、動画像符号化回路１０１が符号化した動画像データか、動画像データ記憶装置１０５に記憶された動画像データからパケットを生成する。

ステップＳ４０５では、送信先の受信端末が途中参加端末か否かに応じて、ステップＳ４０１で動画像符号化回路１０１から受信した現時刻のフレーム、又はステップＳ４０４で動画像データ記憶装置１０５から取得した過去のフレームからパケットを生成する。上述の通り、本実施形態では、ＭＰＥＧ−４動画データをＲＴＰにより送信する場合を想定している。従って、ＲＦＣ１８８９及びＲＦＣ１８９０に従ってＲＴＰパケットヘッダを構成し、ＲＦＣ３０１６に規定されるＭＰＥＧ−４動画ペイロードフォーマットに従ってパケットのペイロードデータを生成する。尚、ＲＴＰパケットでは、パケットのペイロードデータの最初のオクテットのサンプリング時刻が、ヘッダのタイムスタンプフィールドにヘッダに含められる。そして、パケットヘッダの後にペイロードデータが格納される。

以上のようにしてパケット生成回路１０４において生成されたパケットは、パケット送信回路１０８において、伝送路１１０を介して送信対象となる受信端末へ送信される。

次に、パケット送信回路１０８のパケット送信処理について、図５のフローチャートを用いて説明する。
図５は、パケット送信回路１０８が、動画像データ記憶装置１０５から取得した過去の動画像フレームから生成されたパケットの送信タイミングを決定する処理を説明するフローチャートである。尚、動画像符号化回路１０１から取得した現時刻の動画像フレームから生成されたパケットは、即座に送信処理を行う。

まず、パケット送信回路１０８は、動画像符号化回路１０１により次のフレームが符号化される時刻を予測する（ステップＳ５０１）。この時刻は、後述する式（１）に従って、動画像の符号化フレームレート（ｆ[fps]）から予測することが可能である。例えばフレームレートが１０ｆｐｓ（単位秒当たりのフレーム数）であれば各フレームの時間間隔は１００ミリ秒であり、この時間間隔に直前のフレームが符号化された時刻（ｔ１）を加えた時刻が、次のフレームが符号化されると予想される時刻（ｔ２）である。
ｔ２＝ｔ１＋１０００／ｆ ・・・（１）

次に、動画像データ記憶装置１０５に記録済みのフレーム総数（ｅ）を取得し（ステップＳ５０２）、動画像データ記憶装置１０５から過去のフレームを取得して送信する場合の、各フレームの送信時間間隔（ｔ３）を計算する（ステップＳ５０３）。この計算方法は、後述する式（２）に従って、ステップＳ５０１で予測した次のフレームの符号化時刻（ｔ２）と現時刻（ｔ４）との差分を、ステップＳ５０２で抽出したフレーム総数（ｅ）で割った時間として計算される。
ｔ３＝（ｔ２−ｔ４）／ｅ ・・・（２）

最後に、各フレームの送信時刻（ｔ５）を計算する（ステップＳ５０４）。この計算方法は、後述する式（３）に従って、現時刻（ｔ４）に、ステップＳ５０３で計算した各フレームの送信時間間隔（ｔ３）の整数（ｎ−１）倍を加えた時刻として計算される。ここでｎは動画像データ記憶装置１０５から時間順に抽出したフレームの順序であり、ｎ＝１，２，・・・，ｅである。
ｔ５＝ｔ４＋ｔ３×（ｎ−１） ・・・（３）

つまり、動画像データ記憶装置１０５から抽出した最初のＩフレーム（ｎ＝１）は現時刻に即座に送信され、後続のＰフレームは上述した計算式で求められる送信時刻に従って順次送信されることになる。

図６は、本実施形態のデータ送信装置が、受信端末へ動画像データを送信するタイミングを時間経過と共に示した図である。
尚、図６において符号３０１から３０６に示すように、動画像符号化回路１０１においては図３と同じ時刻に同じフレームが符号化されるものとして、同じ符号を付与している。

まず、受信端末１から配信要求６０１を時刻０ミリ秒に受信すると、受信端末１へは動画像符号化回路１０１により符号化されたフレームを即座にフレーム３０１から順にパケット化して送信する。

このようにして、最初に配信要求が受信されたか、Ｉフレームを送信するタイミングで配信要求が受信された受信端末１へは、動画像符号化回路１０１で符号化した動画像フレームが即座に送信される。そして、受信端末１では、各パケットのペイロードデータがそのパケットヘッダのタイムスタンプフィールドに格納された時刻で復号され、動画像がリアルタイムに再生される。

一方、途中参加端末である受信端末２から配信要求６０２を時刻１２０ミリ秒に受信したとする。この場合、符号化動画像フレームはＩフレームでないので、パケット生成回路は式（１）により次フレームの符号化時刻を算出する。フレームレート１０ｆｐｓであれば、ｔ１＝１００ミリ秒であるから、ｔ２＝２００ミリ秒となる。また、時刻１２０ミリ秒において動画像データ記憶装置１０５に記憶されているフレームはフレーム３０１、３０２であるから、ｅ＝２である。

従って、式（２）から、ｔ３＝（２００−１２０）／２＝４０（ミリ秒）である。その結果、動画像記憶装置１０５から取得したＩフレーム３０１は直ちに送信が開始され、次のＰフレーム３０２は１２０＋４０＝１６０（ミリ秒）から送信が開始される。

これにより、動画像符号化回路１０１が次のフレーム３０３を符号化する時刻２００ミリ秒の時点では、フレーム３０３以前に受信端末２へ送信すべきフレームの送信が完了していることになる。

そのため、次の符号化動画像フレーム３０３については、動画像データ記憶装置１０５から取得した過去のフレームではなく、受信端末１への送信と同様に、動画像符号化回路１０１から受信した符号化動画像フレームを送信する。このように、本実施形態では、過去のフレームの送信間隔がリアルタイムで符号化されるフレームの送信間隔（各フレームの時間間隔＝１００ミリ秒）よりも短くなるようにしている。換言すれば、符号化フレームレートよりも早いフレームレートで過去のフレームの動画像データが送信されるようにしている。そのため、途中参加端末に対しても、最終的には既存の受信端末と同様にリアルタイムで符号化されたデータを送信可能となる。

つまり、上述の例では、途中参加した受信端末２へは、動画像符号化回路１０１によって次にフレームが符号化される時刻２００ミリ秒までは、動画像データ記憶装置１０５に記録された過去のフレームが送信される。その結果、受信端末２へは、動画像データの送信開始直後に、過去の動画像フレームが送信されることになるが、次にＩフレームが符号化されるまでの８８０ミリ秒を待たずに送信を開始することが可能になる。

なお、本実施形態では説明及び理解を容易にするため、次にリアルタイムで符号化されるフレームの時刻までに、全ての記憶済み過去フレームを送信し終わるように過去フレームの送信間隔を決定するものとした。つまり、次の（リアルタイムで符号化される）フレームで、既存の受信端末に対する送信データに追いつける（既存の受信端末と同じデータを送信できる）ようにするものとして説明した。しかし、場合によっては過去フレームの送信間隔が非常に短くなってしまうことも考えられる。

そのため、送信間隔を算出する式を
ｔ３＝（（ｔ２＋（各フレームの時間間隔）＊ｍ）−ｔ４）／（ｅ＋ｍ） （２’）
ただし、ｍは自然数
とし、現時刻から（ｍ＋１）フレーム目でリアルタイム符号化のデータ送信タイミングに追いつくようにしてもよい。この場合、（ｅ＋ｍ）フレーム分の過去のデータを送信することになる。

このように、本実施形態のデータ送信装置は、動画像データを、復号化時に他のフレームの情報が不要な第１の符号化方式と、復号化時に他のフレームの情報が必要な第２の符号化方式とを併用してフレーム単位の符号化して送信するデータ送信装置である。そして、少なくとも第１の符号化方式で符号化された直近のフレームを含む過去のフレームを記憶しておく。そして、途中参加端末に対しては、予め記憶した、第１の符号化方式で符号化された直近のフレームから送信を開始することにより、途中参加端末でも迅速に再生を開始することができる。また、途中参加端末でない既存の受信端末に対しては、現在のフレームを符号化したデータを送信するので、既存の受信端末に対する送信データ容量は増加せず、また符号化処理も変化させる必要がない。そのため、コストを大幅に上昇させることも、また通信資源の利用効率を大幅に低下させることもない。

［第２の実施形態］
図７は、本発明の第２の実施形態に係るデータ送信装置の基本構成例を示すブロック図である。
図７に示すように、本実施形態のデータ送信装置７００において、動画像データ記録回路７０１はパケット生成回路７０２から受信した動画像データを記録する。尚、図７において、図１と同じ機能のブロック（１０１、１０３、１０５〜１１０）には同じ符号を付与し、説明を省略する。

本実施形態のパケット生成回路７０２は、動画像符号化回路１０１から受信した符号化動画像データをパケット化し、パケット送信回路１０８へ入力する。さらに、パケット化した動画像データを、ペイロードデータ単位で動画像データ記録回路７０１へも入力する。すなわち、本実施形態では、動画像データ記憶装置１０５は、パケット生成回路７０２が過去に生成したパケットのデータを記憶する。

そして、パケット生成回路７０２は、途中参加端末に対しては、動画像データ記憶装置１０５から過去のフレームの動画像データを、パケットのペイロードデータ単位で取得してパケットを生成する。

本実施形態のデータ送信装置によれば、パケット生成回路７０２において生成されたパケットのペイロードデータを記録し、途中参加した受信端末への送信に利用する。そのため、動画像フレームのサイズが、通信路において一回の転送で送信可能な最大データサイズを超える際や、動画像フレーム中に再同期マーカが存在する際にも、動画像フレームを再パケット化することなく、第１の実施形態と同様の送信制御が可能である。

［第３の実施形態］
上述した第１の実施形態と第２の実施形態において、パケット生成回路１０４、７０２は、動画像データ記憶装置１０５に記憶されている全ての動画像データを取得してパケット化していた。しかし、必ずしも全フレームを送信する必要はなく、先頭のＩフレームのみを取得して、途中参加端末へ送信するようにしてもよい。

この場合、先頭のＩフレームを送信した後は、直ちに既存受信端末と同じデータを送信するようにしてもよいし、次のＩフレームまで待ってもよい。前者ではＰフレームの復号化結果が乱れる可能性があり、また後者では一瞬動きが止まったように見える可能性があるが、要求からすぐにＩフレームが再生されるので、再生までの待ち時間を短縮するという効果は達成される。

本実施形態のデータ送信装置によれば、途中参加した受信端末へ、まず直前のＩフレームのみを送信する。そのため、通信帯域の削減、受信端末における動画像の復号、再生に要する処理負荷の軽減を実現しつつ、第１の実施形態と同様に、動画像データを複数の受信端末で迅速に再生を開始することができるよう送信することができる。

［第４の実施形態］
上述した第３の実施形態で、Ｉフレームのみを送信する構成とした場合には、Ｉフレームのみを記録する処理を行っても良い。

第１の実施形態と第２の実施形態における送信装置では、動画像データ記憶装置１０５に、最大でＧＯＶ単位の動画像データを記憶するだけの容量が必要となる。そのため、半導体メモリを用いて動画像データ記憶装置１０５を実現する場合や、利用可能な記憶容量少ない場合、動画像のビットレートやフレームレートによっては記憶容量不足となる可能性がある。

一方、本実施形態のデータ送信装置によると、動画像データ記録回路１０２、７０１はＩフレームのみを記録し、その結果、途中参加した受信端末にはＩフレームのみが直ちに送信される。そのため、データ送信装置に必要な記憶容量を削減することができる。さらに、通信帯域の削減、受信端末における動画像の復号、再生に要する処理負荷の軽減を実現しつつ、第１の実施形態と同様に、動画像データを複数の受信端末で迅速に再生を開始することができるよう送信することができる。

［第５の実施形態］
上述した実施形態では、動画像符号化回路１０１はＭＰＥＧ−４方式により動画像を符号化し、パケット生成回路はＲＦＣ３０１６（ＭＰＥＧ−４動画ペイロードフォーマット）に従ってパケットのペイロードデータを生成する機能を有していた。しかし、ＭＰＥＧ−２やＨ．２６４の符号化形式による動画像符号化とパケットのペイロードデータの生成を行っても良い。

本実施形態のデータ送信装置では、動画像符号化回路１０１はＭＰＥＧ−２やＨ．２６４により動画像フレームを符号化する。そして、パケット生成回路１０４、７０２はＲＦＣ２２５０（ＭＰＥＧ−１、２動画ペイロードフォーマット）やＲＦＣ３９８４（Ｈ．２６４動画ペイロードフォーマット）に従ってパケットのペイロードデータを生成する。

このように、他の符号化方式を用いた場合であっても、複数の受信端末で迅速に再生を開始できるように符号化データを送信することができる。

［第６の実施形態］
上述の実施形態では、データ送信装置が動画像データの符号化処理を行う機能を有していたが、動画像符号化回路とデータ送信装置が別々の装置であっても良い。
また、上述の実施形態では、簡単のため２つの受信装置からの配信要求を受信するものとして説明したが、受信装置は２つ以上の複数の装置であっても良い。

また、上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるコンピュータプログラム自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

この場合、本発明の機能処理をコンピュータで実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）をサーバに記憶しておく。プログラムデータファイルとしては、実行形式のものであっても、ソースコードであっても良い。

そして、このサーバにアクセスしたクライアントコンピュータに、プログラムデータファイルをダウンロードすることによって供給する。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。

つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルをクライアントコンピュータに提供するサーバ装置も本発明に含む。

また、本発明のコンピュータプログラムを暗号化して格納した記憶媒体をユーザに配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを可能とすることも可能である。鍵情報は例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。

また、コンピュータにより実施形態の機能を実現するためのコンピュータプログラムが、実施形態の機能を、すでにコンピュータ上で稼働するＯＳの機能を利用して実現しても良い。

さらに、本発明を構成するコンピュータプログラムの少なくとも一部が、コンピュータに装着される拡張ボード等のファームウェアとして提供され、拡張ボード等が備えるＣＰＵを利用して上述の実施形態の機能を実現しても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明の第１の実施形態に係るデータ送信装置の基本構成例を示すブロック図である。 動画像データ記録回路１０２の動作を説明するフローチャートである。 動画像符号化回路１０１により符号化された動画像フレームと、動画像データ記録回路１０２により記録される動画像フレームの関係を時間経過と共に示した図である。 パケット生成回路１０４のパケット生成処理を説明するフローチャートである。 パケット送信回路１０８のパケット送信処理について説明するフローチャートである。 本実施形態のデータ送信装置が、受信端末へ動画像データを送信するタイミングを時間経過と共に示した図である。 本発明の第２の実施形態に係るデータ送信装置の基本構成例を示すブロック図である。

Claims (10)

1. 動画像データを符号化し、ネットワークを介して接続された受信端末に対して送信するためのデータ送信装置であって、
   動画像データを、前記動画像データを構成するフレーム単位で、復号化時に他のフレームの情報が不要な第１の符号化方式と、復号化時に他のフレームの情報が必要な第２の符号化方式を併用して符号化する符号化手段と、
   前記符号化手段が符号化した動画像データを記憶する記憶手段と、
   受信端末へ送信するパケットを、前記符号化手段が符号化した動画像データ又は前記記憶手段に記憶された動画像データから生成するパケット生成手段と、
   前記パケット生成手段が生成したパケットを、受信端末に送信する送信手段とを有し、 前記パケット生成手段が、前記受信端末に最初に送信するパケットが、前記第１の符号化方式で符号化されたフレームの動画像データから生成されるように、前記符号化手段が符号化した動画像データ又は前記記憶手段に記憶された動画像データから前記パケットを生成することを特徴とするデータ送信装置。
2. 前記パケット生成手段が、前記受信端末からの送信要求を受信した時点で前記符号化手段から受信した動画像データに適用された符号化方式の種類に基づいて、前記最初に送信するパケットを、前記符号化手段が符号化した動画像データ又は前記記憶手段に記憶された動画像データのどちらを用いて生成するかを決定することを特徴とする請求項１記載のデータ送信装置。
3. 前記パケット生成手段が、前記記憶手段に記憶された複数フレームの動画像データから前記パケットを生成する場合、前記複数フレームの動画像データが、前記符号化手段の符号化フレームレートよりも早いフレームレートで送信されるように前記パケットを生成することを特徴とする請求項１又は請求項２記載のデータ送信装置。
4. 前記パケット生成手段が、前記受信端末からの送信要求を受信した時点で前記記憶手段に記憶されていた動画像データに対して前記パケットの生成を終えた後は、前記符号化手段が符号化した動画像データから前記パケットを生成することを特徴とする請求項３記載のデータ送信装置。
5. 前記記憶手段が、前記符号化手段が前記第１の符号化方式を適用して符号化した直近のフレームの動画像データのみを記憶することを特徴とする請求項１乃至請求項４のいずれか１項に記載のデータ送信装置。
6. 動画像データを符号化し、ネットワークを介して接続された受信端末に対して送信するためのデータ送信装置であって、
   動画像データを、前記動画像データを構成するフレーム単位で、復号化時に他のフレームの情報が不要な第１の符号化方式と、復号化時に他のフレームの情報が必要な第２の符号化方式を併用して符号化する符号化手段と、
   前記符号化手段が符号化した動画像データ又は、記憶手段に記憶された、過去に生成されたパケットのデータから、前記受信端末に送信するパケットを生成するパケット生成手段と、
   前記パケット生成手段が生成したパケットを、受信端末に送信する送信手段とを有し、 前記パケット生成手段が、前記受信端末に最初に送信するパケットが、前記第１の符号化方式で符号化されたフレームの動画像データから生成されるように、前記符号化手段が符号化した動画像データ又は前記記憶手段に記憶されたパケットのデータから前記パケットを生成することを特徴とするデータ送信装置。
7. 動画像データを符号化し、ネットワークを介して接続された受信端末に対して送信するためのデータ送信方法であって、
   動画像データを、前記動画像データを構成するフレーム単位で、復号化時に他のフレームの情報が不要な第１の符号化方式と、復号化時に他のフレームの情報が必要な第２の符号化方式を併用して符号化する符号化ステップと、
   前記符号化手段が符号化した動画像データを記憶手段に記憶する記憶ステップと、
   受信端末へ送信するパケットを、前記符号化ステップで符号化した動画像データ又は前記記憶手段に記憶された動画像データから生成するパケット生成ステップと、
   前記パケット生成ステップが生成したパケットを、受信端末に送信する送信ステップとを有し、
   前記パケット生成ステップが、前記受信端末に最初に送信するパケットが、前記第１の符号化方式で符号化されたフレームの動画像データから生成されるように、前記符号化ステップが符号化した動画像データ又は前記記憶手段に記憶された動画像データから前記パケットを生成することを特徴とするデータ送信方法。
8. 動画像データを符号化し、ネットワークを介して接続された受信端末に対して送信するためのデータ送信方法であって、
   動画像データを、前記動画像データを構成するフレーム単位で、復号化時に他のフレームの情報が不要な第１の符号化方式と、復号化時に他のフレームの情報が必要な第２の符号化方式を併用して符号化する符号化ステップと、
   前記符号化ステップが符号化した動画像データ又は、記憶手段に記憶された、過去に生成されたパケットのデータから、前記受信端末に送信するパケットを生成するパケット生成ステップと、
   前記パケット生成ステップが生成したパケットを、受信端末に送信する送信ステップとを有し、
   前記パケット生成ステップが、前記受信端末に最初に送信するパケットが、前記第１の符号化方式で符号化されたフレームの動画像データから生成されるように、前記符号化ステップが符号化した動画像データ又は前記記憶手段に記憶されたパケットのデータから前記パケットを生成することを特徴とするデータ送信方法。
9. 請求項７又は請求項８記載のデータ送信方法をコンピュータに実行させるプログラム。
10. 請求項９記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images