JP2007028241A - 映像符号化・送信装置，映像符号化・送信方法，映像符号化・送信プログラムおよびその記録媒体 - Google Patents

Abstract

【課題】ＦＥＣによるパケットロス耐性機能を使用する映像通信システムにおいて映像伝送遅延を削減する。
【解決手段】映像符号化器２により符号化したストリームの構成から，パケット化予測器５２により，通信ネットワークへ送信する際のパケット分割位置を予測する。その予測したパケット分割位置に基づき，ＦＥＣ符号化器５４によって誤り訂正符号を演算し，ＦＥＣ符号バッファ５５に格納する。符号化したストリームからメディアパケットを構成する際に，ＦＥＣ符号バッファ５５に格納された誤り訂正符号をメディアパケットに対応づけてパケット化し，ネットワーク送信器６から通信ネットワークへ送出する。
【選択図】図１

Description

本発明は，動画像や音声あるいはその他のディジタル信号を，例えばＭＰＥＧ（Moving Picture Experts Group）方式に従って符号化し，パケット通信ネットワークを通じて送信する映像符号化・送信装置に関する。とりわけ，ＩＰネットワークを介して接続された遠隔地間でテレビ電話機能を提供する低遅延映像コミュニケーションシステムに関する。

ＢＳ／ＣＳ／地上ディジタル放送やＤＶＤの本格的な普及により，ディジタル映像の圧縮技術はその応用範囲を広げつつある。とりわけ，インターネットに代表されるディジタルパケット通信網の高速化と広帯域化に伴い，高品質なディジタル圧縮映像を用いたＴＶ電話アプリケーションや映像配信サービスなど，通信ネットワークを利用した映像伝送システムが普及しつつある。

図８は，従来の映像伝送システムの例を示す図である。映像伝送システムにおいて，圧縮装置（エンコーダ）１００と，復号装置（デコーダ）２００とは，一般的に図８に示すような形態で信号の授受を行う。

映像符号化器１０１は，入力された映像に対して符号化処理を行い，符号化ストリームを生成する。例として，符号化方式にＭＰＥＧ−２を使用する場合には，この符号化ストリームはＭＰＥＧ−２エレメンタリーストリーム（以降，ＥＳと表記）ないしパケッタイズドエレメンタリーストリーム（以降，ＰＥＳと表記）に相当し，符号化方式にＨ．２６４を使用する場合には，この符号化ストリームはＮＡＬユニットないしバイトストリームに相当する。

生成された映像符号化ストリームは，映像符号化ストリームバッファ１０２に一旦蓄積されたのち，符号出力器１０３から規定のタイミングで出力される。この出力タイミングは，後述の仮想バッファモデルに基づいて，バッファの破綻（オーバーランおよびアンダーラン）が発生しないように制御される。

復号装置（デコーダ）２００では，伝送路３００を介して符号入力器２０１が符号化ストリームを受信し，映像符号化ストリームバッファ２０２に格納する。映像復号化器２０３は，映像符号化ストリームバッファ２０２に蓄積された符号化ストリームを復号し出力する。

図９は，従来の他の映像伝送システムの例を示す図である。図９に示すように，符号化ストリーム出力部の位置に多重化器１０４を配置し，映像に付随する音声およびその他のデータを多重する機能を併せ持つ場合もある。

すなわち，多重化器１０４は，映像符号化ストリームバッファ１０２に格納された符号化ストリームと，音声符号化器１０５によって符号化された音声データを多重化し，伝送路３００へ介して復号装置（デコーダ）２００へ送信する。復号装置（デコーダ）２００では，多重分離器２０４によって映像符号と音声符号のデータを分離し，それぞれ映像復号化器２０３と音声復号化器２０５とによって復号する。

ここで，出力タイミングの規定について，図１０をもとに説明する。図１０は，エンコーダからデコーダへ一定のビットレートで映像符号を伝送するＣＢＲ（Constant Bit Rate ）の例を示す図である。図１０（Ａ）は符号化側のバッファの蓄積状態，図１０（Ｂ）は復号側のバッファの蓄積状態の例を示している。

符号化側では，各ピクチャは瞬時に符号化され，１ピクチャを構成する映像符号が瞬時に映像符号化ストリームバッファ１０２に蓄積される。符号化側の映像符号化ストリームバッファ１０２からは一定のビットレートで映像符号が読み出され，復号側に伝送される。

復号側では，到着した映像符号が逐次映像符号化ストリームバッファ２０２に蓄積され，各ピクチャの復号時刻において，１ピクチャを構成する映像符号が瞬時に映像符号化ストリームバッファ２０２から引き抜かれ復号される。圧縮装置１００は，復号側の映像符号化ストリームバッファ２０２の溢れ（オーバーラン）や枯渇（アンダーラン）が生じないように，各ピクチャの発生符号量を制御しなければならない。

実際の圧縮装置１００や復号装置２００は瞬時に符号化や復号を行うことができないため，上記のバッファ動作は，出力タイミングの規定を行うための仮想的なものである。実際の圧縮装置１００においては，出力されるストリームを上記の仮想バッファ動作に準拠させる必要があるため，符号化側バッファに相当量の符号情報を蓄積して出力タイミングの制御を行うことが多い。これに対し，実際の復号装置２００においては，到着した映像符号を，復号タイミングを待たずに復号装置２００に逐次入力し復号することが多いため，復号側バッファに蓄積される符号情報量は，上記の仮想的なバッファと比較するとはるかに小さいことが多い。

さて，インターネットに代表される通信ネットワークにおいては，伝送中にパケットロスが発生するため，受信側において復号映像の乱れやフリーズを生じることがある。これを防ぐため，送信側であらかじめ冗長なパケットを生成して伝送し，受信側において損失したパケットを回復できるようにするＦＥＣ（Forward Error Correction）技術が一般に知られている。損失パケットを回復するための誤り訂正符号としては主に，パリティ（ＸＯＲ）符号，ハミング符号，リードソロモン符号，畳み込み符号，ＬＤＰＣ符号などが使用される。

図１１，図１２は，ＦＥＣ処理の代表的な配置の例を示す図である。送信側では，圧縮装置１００の符号出力器１０３ないし多重化器１０４から出力される符号に対して，ＦＥＣ符号化器４０１によって冗長パケットを生成し，ネットワーク送信器４０３によって通信パケットとして通信ネットワーク３０１に送出する。インターネットに代表されるＩＰネットワークの場合，通信パケットとはＩＰパケットに相当し，リアルタイムメディア伝送に適したＲＴＰ／ＵＤＰ／ＩＰプロトコルが使用されることが多い。

受信側では，ネットワーク受信器４０４によって通信パケットを受け取った後，ＦＥＣ復号器４０５によって損失したパケットを回復して，復号装置２００の符号入力器２０１ないし多重分離器２０４へ伝達する。

このように，圧縮装置１００と復号装置２００の間に，通信ネットワーク３０１をはさんでＦＥＣ符号化処理と復号処理を行うことにより，通信ネットワーク３０１上でのパケットロスの影響を防ぐ効果がある。

図１３は，ＦＥＣによる損失パケット回復の方法を説明する図である。ここで使用する誤り訂正符号は，ｋ個の値の入力に対して（ｎ−ｋ）個の冗長な値を演算し，合計でｎ個の値を出力する（ｎ，ｋ）誤り訂正符号である。このような符号の例としては，（ｎ，ｋ）リードソロモン符号，（ｎ，ｋ）ハミング符号，インタリーブした（ｎ，ｋ）パリティ符号，（ｎ，ｋ）ＬＤＰＣ符号などが挙げられる。

ここでインタリーブした（ｎ，ｋ）パリティ符号とは，例えば１，ｋ＋１，２ｋ＋１，３ｋ＋１，... 番目の元信号のＸＯＲ値を１番目のＦＥＣ符号，２，ｋ＋２，２ｋ＋２，３ｋ＋２，... 番目の元信号のＸＯＲ値を２番目のＦＥＣ符号，というように，ｋ個ずつ離れた元信号の組からそれぞれＸＯＲ値を計算し，ＦＥＣ符号とするものである。

図１３において，まず送信側のＦＥＣ符号化バッファ４０２に，送信される符号情報が入力される。ＦＥＣ符号化バッファ４０２の横１行が，通信ネットワーク３０１に送信される１パケットのペイロードに相当し，送信される符号情報は一番上の行から順に，横方向に充填される。ペイロードサイズが横一行に満たない場合には，余りをあらかじめ定めたダミー値（０など）で埋める。

ｋ行の充填が完了したら，ＦＥＣ符号化器４０１が冗長符号の生成を開始する。ＦＥＣ符号化バッファ４０２の左端から順に，縦方向にｋ個の値を読み出し，ＦＥＣ符号化演算を行って，生成した（ｎ−ｋ）個の値を書き戻す。この演算を，ＦＥＣ符号化バッファ４０２の右端まで繰り返す。

ＦＥＣ符号化演算が終了したら，ＦＥＣ符号化バッファ４０２の各行をペイロードとする通信パケットを構成し，通信ネットワーク３０１へ送出する。図１３においては，符号情報のペイロードを格納した通信パケットをメディアパケット，ＦＥＣ符号を格納した冗長な通信パケットをＦＥＣパケットと称している。

受信側においては，到着したメディアパケットおよびＦＥＣパケットからペイロードを取り出し，送信側と同じ順序でＦＥＣ復号バッファ４０６に格納する。通信ネットワーク３０１での伝送中にパケットの損失があった場合には，対応する行が空欄となる。この場合，ＦＥＣ復号器４０５が損失したパケットの回復を行う。すなわち，ＦＥＣ復号バッファ４０６の左端から順に，縦方向にｎ個の値を読み出し，ＦＥＣ復号演算を行って，回復した損失パケットの値を空欄行に書き戻す。この演算を，ＦＥＣ復号バッファ４０６の右端まで繰り返す。演算が終了したら，回復したｋ行の符号情報を出力する。

ここで回復可能な最大損失パケット数は，使用した誤り訂正符号に依存するが，例えば（ｎ，ｋ）リードソロモン符号を使用した場合には，ｎパケット中最大ｋ個までのパケット損失に対して，損失をすべて回復することができる。

一般的なＩＰネットワークにおいては，パケットの到着順序は保障されず順不同となることがある。しかし，上記のＦＥＣ復号を行う際には，受信側においてメディアパケットとＦＥＣパケットの順序および対応関係を正しく認識する必要がある。そのため，一般的にメディアパケットおよびＦＥＣパケットには通し番号（シーケンスナンバ）を付与すると同時に，ＦＥＣパケットにはメディアパケットとの対応関係が記述される。

図１４は，ＲＦＣ２７３３で規定されるＦＥＣパケットのヘッダフォーマットの一部を模式的に表したものである。メディアパケットおよびＦＥＣパケットは，ＲＦＣ３５５０で規定されるＲＴＰパケットフォーマットに準拠するが，このＲＴＰヘッダに存在するシーケンス番号フィールド（１６ビット）に，それぞれのシーケンス番号を付与する。

さらに，ＦＥＣパケットのＦＥＣヘッダには，ベースフィールドとマスクフィールドがあり，ベースフィールドには，対応するメディアパケット群の中で，一番小さなシーケンス番号の値（この例ではＭ）が記述される。

マスクフィールドは，各々のＦＥＣパケットが何番目のメディアパケットをもとに演算生成されたものかを示すフィールドであり，例として第１のＦＥＣパケットが１，４，７番目のメディアパケットのＸＯＲ値を計算したものであるなら「１００１００１００」，第２のＦＥＣパケットが２，５，８番目のメディアパケットのＸＯＲ値を計算したものであるなら「０１００１００１０」，第３のＦＥＣパケットが３，６，９番目のメディアパケットのＸＯＲ値を計算したものであるなら「００１００１００１」のように，それぞれのＦＥＣパケットを演算する元となったメディアパケットの位置に「１」を立てることによって対応関係を記述する。

リードソロモン（ｎ，ｋ）符号化のように，ｎ−ｋ個のＦＥＣパケットがいずれも，ｋ個のメディアパケットすべてを使用して演算される場合には，ｋ個のビットすべてに１を立てるか，あるいはリードソロモン符号化においてはこの事実は自明であるため，マスクフィールドの規定を変更して，ｎ，ｋなどのリードソロモン符号化パラメータを伝送するようにした実装も存在する（非特許文献１参照）。

このように，メディアパケットとＦＥＣパケットの対応関係はパケット中に記述されているから，実際の送信順序としては図１３に示すようにメディアパケットに続いてＦＥＣパケットを送り出す順序でなくてもよく，ＦＥＣパケットを先に送り出しても，メディアパケットとＦＥＣパケットとを交互に送り出してもよい。

受信側では，これらのシーケンス番号や，メディアパケットとの対応関係を記すフィールドをもとに，パケット順序を元に戻した後，ＦＥＣ復号動作を行う。
相原玲二，西村浩二，前田香織，渡辺健次，「ＨＤＴＶ ＭＰＥＧ２ ｏｖｅｒ ＩＰｖ６システムの開発」，情報処理学会研究報告 高品質インターネット５−２，2002-QAI-5，pp.7-12 ，2002年10月10日発行，Vol.2002，No.93 ，ISSN 0919-6072

以上述べたように，映像符号化装置および復号装置に，ＦＥＣ符号を用いた誤り訂正処理を加えることにより，通信ネットワークにおけるパケット損失の影響を抑える効果を得ることができる。

しかしながら，ＦＥＣの符号化および復号については，それぞれｋ個およびｎ個の通信パケットをバッファに蓄積しなければ処理が開始できない。例として４Ｍビット／秒（＝５００ｋバイト／秒）の出力符号を，（ｎ，ｋ）＝（２５５，２３９）の誤り訂正符号でＦＥＣ処理し，１４００バイトのペイロード長を持つ通信パケットで伝送する場合には，送信側・受信側それぞれ１／（５０００００／１４００／２３９）＝０．６７（秒）のバッファリング遅延が発生することになる。これは，ＴＶ電話などに代表されるリアルタイム性の高いアプリケーションにおいては，コミュニケーション品質を低下させる大きな原因となる。とりわけ，インターネットに代表されるＩＰネットワークで発生するバースト的なパケット損失に耐えるためには，ｎおよびｋの値を大きくとる必要があり，遅延がさらに増大する。

このように，通信ネットワークを使用して符号化映像信号の伝送を行う際に，ＦＥＣ符号を用いた誤り訂正処理を導入すると，映像符号化ストリームバッファ１０２で一旦蓄積された後に出力される符号化ストリームを，再度ＦＥＣ符号化バッファ４０２に蓄積する必要があり，結果として伝送遅延が増大するという問題があった。

本発明は，上記の問題点の解決を図り，動画像を符号化したストリームをパケット化し，誤り訂正演算によってパケット損失を回復するための冗長なパケットを付加して，パケット通信ネットワークへ送信する映像通信システムにおいて，映像伝送遅延を削減することを目的とする。

前項で述べた課題を解決するために，本発明による映像符号化・送信装置では，符号化処理の終了した映像符号化ストリームが，上述の仮想バッファモデルの規定を満たすことを目的として符号化装置内部のバッファに蓄積されている特性に着目し，符号化装置からの出力を待たず，バッファに蓄積されている映像符号から，通信ネットワークへ送出する際のパケット分割位置を予測してＦＥＣ符号化を行い，ＦＥＣ符号バッファに蓄積する。そして，映像符号化ストリームがバッファから出力されてメディアパケットを構成する際，対応するＦＥＣ符号を事前にＦＥＣ符号バッファから読み出してＦＥＣパケットを構成し，ネットワークへ送出する。

以上のように，本発明によって，符号化ストリームがバッファから出力されるより前に，ＦＥＣ符号を演算しておくことにより，バッファから出力された符号化ストリームを改めてＦＥＣ符号バッファに蓄積する必要がなく，ＦＥＣパケットをネットワークに送出することができ，結果としてＦＥＣによるパケットロス耐性機能を使用する映像送受信装置の映像伝送遅延を削減することができる。

〔実施形態１〕
図１は，本発明の第１の実施形態による映像符号化・送信装置の構成例を示す図である。

圧縮装置（エンコーダ）１は，映像符号化器２と，映像符号化ストリームバッファ３と，符号出力器４とを備える。ＦＥＣ符号事前生成部５は，通信ネットワークへ送出する際のパケット分割位置を予測して事前にＦＥＣ符号化を行うものであり，符号情報バッファ５１と，パケット化予測器５２と，読出順序制御器５３と，ＦＥＣ符号化器５４と，ＦＥＣ符号バッファ５５とを備える。圧縮装置１およびＦＥＣ符号事前生成部５によって生成された符号は，ネットワーク送信器６を介して通信ネットワークへ送出される。

本装置の動作は，以下のとおりである。映像符号化器２によって符号化された映像符号２１は，映像符号化ストリームバッファ３へ格納されると同時に，ＦＥＣ符号事前生成部５にも分配され，符号情報バッファ５１に格納される。

パケット化予測器５２は，符号情報バッファ５１に格納された符号情報５１１を順次読み出し，通信ネットワークへ送出する際のペイロードの分割位置を推定して，パケット境界情報５２１を読出順序制御器５３へ出力する。

ここで，パケット化予測器５２が，パケット境界情報５２１を出力するための判定方法を図２に示す。ここでは例として，ペイロードが一定のサイズＰ１であるが，各ピクチャの境界とパケット境界とは一致しなければならないとの制約があるものとする。すなわち，ネットワークへ送信されるメディアパケットのペイロードサイズは普段Ｐ１であるが，符号化ストリームのピクチャ境界においてはペイロードをＰ１未満で終了し，続くメディアパケットのペイロードにおいて，次ピクチャの符号化ストリームが先頭から格納されるものとする。このように，ペイロードサイズが規定長未満であってもペイロードを終了するポイントを，以降アライメントポイントと呼称する。

図２に示すように，まずステップＳ１において，パケットペイロード量を示す値ｐをｐ＝０に初期化する。続いてステップＳ２において符号化ストリームを１バイト読み進めるとともに，ステップＳ３でｐを１加算する。

続くステップＳ４にて，符号化ストリームがアライメントポイントに到達したか否かを判定する。すなわち，この例では，ピクチャ境界に達したか否かを判定する。また，ステップＳ５にて，ｐ＝Ｐ１になったか否かを判定する。ステップＳ４とステップＳ５とがともに偽の場合にはステップＳ２に戻り，引き続きパケット境界の探索を続ける。

ステップＳ４またはステップＳ５のいずれかにおいて真であると判定された場合には，ステップＳ６でその位置をパケット境界と判定してマーキングし，ステップＳ１に戻って新たなパケット境界の判定を開始する。このようにして判定したパケット境界位置を，パケット境界情報５２１として出力する。

読出順序制御器５３は，このパケット境界情報５２１に基づいて符号情報バッファ５１から順次値を読み出し，ＦＥＣ符号化器５４に供給する。

ここで読出順序制御器５３の動作を図３に示す。読出順序制御器５３は，予測されたｋ個のパケット境界の直後からそれぞれｋ個の値を読み出してＦＥＣ符号化器５４によりＦＥＣ符号化演算を行い，演算結果であるｎ−ｋ個のＦＥＣ符号５５１をＦＥＣ符号バッファ５５の左端に格納する。この演算をパケット境界から順に右へ移動しつつ行い，演算結果であるＦＥＣ符号５５１をＦＥＣ符号バッファ５５に順に右へ移動しつつ書き込んでいく。この演算を，ＦＥＣ符号バッファ５５の行の長さ，すなわちペイロードサイズＰ１の長さ分行う。

前述のアライメントポイントにより，ペイロードサイズがＰ１に満たないペイロードについては，残る部分をあらかじめ定めたダミー値（０など）としてＦＥＣ符号化器５４に供給する。こうしてＦＥＣ符号バッファ５５には，予測されたｋ個のメディアパケットに対応するＦＥＣパケットのペイロードがｎ−ｋ個生成されることになる。

また，ＦＥＣ符号バッファ５５には，ＦＥＣ符号５５１に対応してＦＥＣ対象シーケンス番号５５２が記録される。ＦＥＣ対象シーケンス番号５５２は，符号情報バッファ５１内の符号化ストリームとＦＥＣ符号バッファ５５内のＦＥＣ符号５５１との対応関係を示すものであり，動作開始後最初のｋ個のメディアパケットに対して演算したＦＥＣには「０〜ｋ−１」が付与される。続くｋ個のメディアパケットに対して演算したＦＥＣには「ｋ〜２ｋ−１」，続くｋ個のメディアパケットに対して演算したＦＥＣには「２ｋ〜３ｋ−１」が付与される。

図１に戻り，符号出力器４が蓄積された符号化ストリームを映像符号化ストリームバッファ３から読み出し，出力符号４１として出力すると，ネットワーク送信器６はこれをメディアパケット化して通信ネットワークに送出するが，あわせて，対応するＦＥＣ符号をＦＥＣ符号バッファ５５から読み出してＦＥＣパケット化し，通信ネットワークに送出する。

この動作を図４によって説明する。図４は，ＦＥＣパケットとメディアパケットの送信を説明する図である。

符号出力器４は，映像符号化ストリームバッファ３に蓄積されている符号化ストリームを順に読み出し，仮想バッファモデルを満たすよう出力タイミングを制御しつつ，出力符号４１として出力する。

今，ネットワーク送信器６が，シーケンス番号Ｍ〜Ｍ＋ｋ−１のメディアパケットを生成するために，出力符号４１を読み込む状態にあるとする。このとき，ネットワーク送信器６は，ＦＥＣ対象シーケンス番号５５２として「Ｍ〜Ｍ＋ｋ−１」が付与されたＦＥＣ符号，すなわち，シーケンス番号Ｍ〜Ｍ＋ｋ−１のメディアパケットに対応するＦＥＣ符号を，ＦＥＣ符号バッファ５５から読み込み，ＦＥＣパケット６１１を生成して，シーケンス番号Ｍ〜Ｍ＋ｋ−１のメディアパケット６１２に先んじて通信ネットワークに送出する。

ＦＥＣパケット６１１のヘッダには，ＦＥＣパケット自身のシーケンス番号（先頭のＦＥＣパケットから順に，１ずつ増加する通し番号）と，ＦＥＣベース番号として，対応するメディアパケットの最小シーケンス番号（この例では，Ｍ）を記したフィールド，およびマスクフィールドが存在する。ＦＥＣパケットの生成と送信が完了したら，ネットワーク送信器６は，続いてシーケンス番号Ｍ〜Ｍ＋ｋ−１のメディアパケットを生成し，出力する。

ここで，シーケンス番号Ｍ〜Ｍ＋ｋ−１のメディアパケット６１２に先んじて，ＦＥＣパケットを送信するのは，受信側においてＦＥＣパケットが先着していれば，続くメディアパケットにパケットロスが発生した際に，すでに到着しているＦＥＣパケットを使用して直ちにＦＥＣ復号を行うことができ，伝送遅延をさらに減少させることができるからである。

なお，前記においてメディアパケットのシーケンス番号をＭ〜Ｍ＋ｋ−１としたが，ＲＦＣ３５５０に準拠したＲＴＰパケットのシーケンス番号は常に０から開始するのではなく，ランダムな値から開始しなければならないと規定されている。そのため，図４で示したメディアパケットのシーケンス番号，およびＦＥＣパケットのＦＥＣベース番号とＦＥＣ対象シーケンス番号については，実際には，送信開始時にランダムに決定した初期値Ｓ_i を加算した値を使用する。

以上述べたように，実施形態１に基づく映像符号化・送信装置によれば，映像符号化ストリームバッファ３に蓄積されている符号化ストリームに対して，ネットワークへ送出する際のパケット境界を予測して事前にＦＥＣ符号を生成し，符号化ストリームを送信する際には，対応する生成済みのＦＥＣ符号を読み出してＦＥＣパケットを構成し出力する。これにより，映像符号化ストリームバッファ３から出力された符号化ストリームを，再びＦＥＣ符号化を行うために蓄積する必要がなく，結果として映像の符号化から出力までに要する遅延を大幅に減少させることができる。

なお，実施形態１においては，映像符号化ストリームバッファ３と符号情報バッファ５１は別個のものとして記載したが，これら２つのバッファに格納されるストリームは同一のものであるから，これらを映像符号化ストリームバッファ３に統一することもできる。この場合，パケット化予測器５２および読出順序制御器５３は，映像符号化ストリームバッファ３から符号化ストリームを読み取り，パケット分割位置の予測およびＦＥＣ符号化器５４への符号供給を行う。

また，ＦＥＣ符号事前生成部５は，必ずしも圧縮装置１と独立して存在する必要はなく，ＦＥＣ符号事前生成部５が圧縮装置１の内部に存在する構成でもかまわない。

さらに，実施形態１においては，パケット化予測器５２が符号情報バッファ５１から符号情報を読み込み，映像符号の構成を解析するものとして記載したが，映像符号の構成情報は，映像符号化器２から直接パケット化予測器５２に供給される構成としてもよい。この場合，映像符号化器２からは，ピクチャ境界などアライメントポイントの情報が，例えば映像符号の累積バイト位置（符号化開始時点をゼロとした累積のバイトカウント）として供給される。

〔実施形態２〕
実施形態２では，ネットワークに送出するメディアパケットのペイロードのみならず，ヘッダ情報の一部もＦＥＣ符号化によって保護する場合について述べる。例えばＲＦＣ２７３３においては，ＲＴＰヘッダに位置するパディングビット（Ｐ），ヘッダ拡張ビット（Ｘ），ＣＳＲＣ数（ＣＣ），マーカビット（Ｍ），ペイロードタイプ（ＰＴ），タイムスタンプ，パケット長（ＬＥＮ），ＣＳＲＣリスト，ヘッダ拡張の各フィールドについてもＦＥＣ符号化を行い，パケットロスから保護することが規定されている。非特許文献１では，このうちＰ，Ｘ，ＣＣ，Ｍ，ＰＴ，およびタイムスタンプについて，ＦＥＣによる保護を行っている。

実施形態２による映像符号化・送信装置の構成を図５に示す。実施形態２において，パケット化予測器５２は，実施形態１と同様にパケット境界情報５２１を提供するだけでなく，ＦＥＣによる保護の対象となるＲＴＰヘッダフィールドの値であるヘッダ予測値５２２をあわせて生成し，ＦＥＣ符号化器５４へ供給する。

ヘッダ予測値５２２は，符号情報５１１，ならびにネットワーク送信器６から取得する送信パラメータ６２をもとに生成される。例としてＰ，Ｘ，ＣＣ，Ｍ，ＰＴ，タイムスタンプおよびパケット長をＦＥＣ保護の対象とし，パディングや拡張ヘッダ，ＣＳＲＣリストは使用しない場合の例を図６に示す。

パディングや拡張ヘッダ，ＣＳＲＣリストを使用しないから，Ｐ，Ｘ，ＣＣは常に０である。ＰＴ値は，ＲＦＣ１８９０の規定に従い，Ｈ．２６１なら３１，ＭＰＥＧビデオなら３２など，動画像ストリームの符号化方式によって決まる一定値である。

マーカビット（Ｍ）の定義は，動画像ストリームの符号化方式によって異なるが，例えばＭＰＥＧ−４ビジュアルの場合には，ＲＦＣ３０１６の規定により，ピクチャ境界でＭ＝１とすることが規定されているから，符号情報５１１に基づいて，アライメントポイントと同一のパケットに対してＭ＝１とすればよい。ＭＰＥＧ−１／２ビデオの場合には，ＲＦＣ２２５０の規定により，タイムスタンプが不連続となった場合にＭ＝１とすることが規定されているから，同一のタイムスタンプを使用している符号化中はＭ＝０のままでよい。

タイムスタンプについては，符号情報５１１として，符号化ストリームのビットレートを得ることにより，予測を行うことができる。例えば，Ｒ（ｂｉｔｓ／ｓｅｃ）の一定ビットレート（ＣＢＲ）で符号化出力されるストリームであり，通信ネットワークへの送出も一定ビットレートで行うとすると，
・符号化開始時点から，当該メディアパケットのペイロード先頭までの累積ビット量＝ｒ_a ，
・１秒あたりのタイムスタンプの増加値＝Ｃ（９０ＫＨｚクロックの場合にはＣ＝９００００），
・タイムスタンプの初期値＝Ｔ_base，
として，タイムスタンプ値Ｔは，
Ｔ＝Ｔ_base＋Ｃ＊ｒ_a ／Ｒ
と予測することができる。ただし，Ｔは１６ビットの値であるので，実際のＴはＴ÷２¹⁶の剰余値となる。また，予測値と実値が食い違うことを防ぐため，ネットワーク送信器６においても，上記と同一の式に基づいてタイムスタンプ値を導き出し，送出タイミングを決定するものとする。

パケット長（ＬＥＮ）はペイロードサイズに依存するので，パケット境界位置の予測によって得ることができる。

以上述べたように，符号情報５１１および送信パラメータ６２から，ＦＥＣ保護の対象となるＲＴＰヘッダの値を生成し，ＦＥＣ符号化器５４に供給する。

なお，ここではＰ，Ｘ，ＣＣ，Ｍ，ＰＴ，およびタイムスタンプを保護するだけの簡単な例を挙げたが，その他の場合においても，ヘッダ拡張の有無，ＣＳＲＣの数，ペイロードタイプなどのパラメータは，ネットワーク送信器６で既知であるから，これを送信パラメータ６２として取得し，Ｘ，ＣＣ，ＰＴ値を生成することができる。

また，特定の動画像ストリームの符号化方式（例えばＲＦＣ２２５０に規定されるＭＰＥＧ−１ビデオ）においては，拡張ヘッダに符号化パラメータの一部（テンポラルリファレンス，各種ヘッダの存在ビットなど）を格納することが要求されるが，これら拡張ヘッダの内容は符号化ストリームの解析によって得られるものであるから，符号情報５１１から生成可能である。

図６に戻り，ＦＥＣ演算対象となるｋ個のメディアパケットについて生成されたヘッダ予測値５２２が，ＦＥＣ符号化器５４へと供給されてＦＥＣ符号を生成し，ＦＥＣ符号バッファ５５のヘッダ保護ＦＥＣ符号５５３領域に格納される。続いて，実施形態１と同様に，予測されたパケット分割位置に基づいてパケットペイロードのＦＥＣ符号化が行われる。

その後，図５において，ネットワーク送信器６がＦＥＣ符号５５１を読み出す際には，あわせてヘッダ保護ＦＥＣ符号５５３が読み出され，ＦＥＣパケットのヘッダに存在するヘッダ保護用フィールドに格納される。

例えば図７に示すＲＦＣ２７３３に規定されるＦＥＣパケットの構成において，パケット長（ＬＥＮ）のＦＥＣ符号はｌｅｎｇｔｈ ｒｅｃｏｖｅｒｙに，ペイロードタイプ（ＰＴ）のＦＥＣ符号はＰＴ ｒｅｃｏｖｅｒｙに，タイムスタンプのＦＥＣ符号はＴＳ ｒｅｃｏｖｅｒｙにそれぞれ収容され，Ｐ，Ｘ，ＣＣ，ＭのＦＥＣ符号はそれぞれＰ，Ｘ，ＣＣ，Ｍフィールド自身に収容される。

以上述べたように，メディアパケットのペイロードだけでなく，ヘッダの一部についてもＦＥＣ演算が必要な場合においても，ＦＥＣ演算を行うヘッダ値を事前に予測してＦＥＣ符号化を行い，ＦＥＣパケットを生成する際には事前に演算したＦＥＣ符号を使用することによって，ＦＥＣ演算のために符号化ストリームを改めてバッファに蓄積する必要をなくし，伝送遅延を大幅に削減することができる。

本発明の第１の実施形態による映像符号化・送信装置の構成例を示す図である。 パケット化予測器によるパケット境界判定処理フローチャートである。 読出順序制御器の動作を説明する図である。 ＦＥＣパケットとメディアパケットの送信を説明する図である。 本発明の第２の実施形態による映像符号化・送信装置の構成例を示す図である。 ヘッダ情報の一部もＦＥＣ符号化によって保護する場合の例を示す図である。 ＦＥＣパケットの構成例を示す図である。 従来の一般的な映像伝送システムの例を示す図である。 従来の他の映像伝送システムの例を示す図である。 一定のビットレートで映像符号を伝送したときの符号化側と復号側のバッファの状態の例を示す図である。 ＦＥＣ処理の代表的な配置の例を示す図である。 ＦＥＣ処理の代表的な配置の例を示す図である。 ＦＥＣによる損失パケット回復の方法を説明する図である。 ＦＥＣパケットのヘッダフォーマットの一部を模式的に表した図である。

符号の説明

１ 圧縮装置（エンコーダ）
２ 映像符号化器
３ 映像符号化ストリームバッファ
４ 符号出力器
４１ 出力符号
５ ＦＥＣ符号事前生成部
５１ 符号情報バッファ
５１１ 符号情報
５２ パケット化予測器
５２１ パケット境界情報
５２２ ヘッダ予測値
５３ 読出順序制御器
５４ ＦＥＣ符号化器
５４１ ＦＥＣ符号
５５ ＦＥＣ符号バッファ
５５１ ＦＥＣ符号
５５２ ＦＥＣ対象シーケンス番号
５５３ ヘッダ保護ＦＥＣ符号
６ ネットワーク送信器
６１ 送信パケット
６１１ ＦＥＣパケット
６１２ メディアパケット
６２ 送信パラメータ

Claims (6)

1. 動画像を符号化したストリームをパケット化し，誤り訂正演算によってパケット損失を回復するための冗長なパケットを付加して，パケット通信ネットワークへ送信する映像符号化・送信装置において，
   符号化したストリームの構成から，パケット通信ネットワークへ送信する際のパケット分割位置を予測するパケット化予測手段と，
   予測されたパケット分割位置に基づいて，符号化したストリームを読み込み，誤り訂正符号を演算する誤り訂正符号演算手段と，
   符号化したストリームと，上記誤り訂正符号演算手段によって演算された誤り訂正符号とを対応づけてパケット化し，パケット通信ネットワークへ送出するネットワーク送信手段とを備える
   ことを特徴とする映像符号化・送信装置。
2. 請求項１記載の映像符号化・送信装置において，
   上記パケット化予測手段は，パケット通信ネットワークへ送信するパケットのペイロードサイズと，符号化したストリームにおいて映像伝送フォーマットの規定に従ってペイロードを終了することが要求される位置を検出した情報に基づいて，パケット分割位置の予測を行う
   ことを特徴とする映像符号化・送信装置。
3. 請求項１または請求項２記載の映像符号化・送信装置において，
   上記パケット化予測手段はさらに，符号化したストリームをパケット通信ネットワークへ送出する際に，ネットワークパケットのヘッダに付加する必要がある情報を予測して生成し，
   上記誤り訂正符号演算手段はさらに，上記パケット化予測手段が生成したヘッダ情報に対して誤り訂正符号演算を行い，
   上記ネットワーク送信手段はさらに，誤り訂正符号をパケット化する際に，上記のヘッダ情報に対して生成された誤り訂正符号を含めたパケットを生成する
   ことを特徴とする映像符号化・送信装置。
4. 動画像を符号化したストリームをパケット化し，誤り訂正演算によってパケット損失を回復するための冗長なパケットを付加して，パケット通信ネットワークへ送信する映像符号化・送信方法において，
   符号化したストリームの構成から，パケット通信ネットワークへ送信する際のパケット分割位置を予測するパケット化予測過程と，
   予測されたパケット分割位置に基づいて，符号化したストリームを読み込み，誤り訂正符号を演算する誤り訂正符号演算過程と，
   符号化したストリームと，上記誤り訂正符号演算過程によって演算された誤り訂正符号とを対応づけてパケット化し，パケット通信ネットワークへ送出するネットワーク送信過程とを有する
   ことを特徴とする映像符号化・送信方法。
5. 動画像を符号化したストリームをパケット化し，誤り訂正演算によってパケット損失を回復するための冗長なパケットを付加して，パケット通信ネットワークへ送信する映像符号化・送信装置が備えるコンピュータに実行させるための映像符号化・送信プログラムであって，
   上記コンピュータを，
   符号化したストリームの構成から，パケット通信ネットワークへ送信する際のパケット分割位置を予測するパケット化予測手段と，
   予測されたパケット分割位置に基づいて，符号化したストリームを読み込み，誤り訂正符号を演算する誤り訂正符号演算手段と，
   符号化したストリームと，上記誤り訂正符号演算手段によって演算された誤り訂正符号とを対応づけてパケット化し，パケット通信ネットワークへ送出するネットワーク送信手段として
   機能させるための映像符号化・送信プログラム。
6. 動画像を符号化したストリームをパケット化し，誤り訂正演算によってパケット損失を回復するための冗長なパケットを付加して，パケット通信ネットワークへ送信する映像符号化・送信装置が備えるコンピュータに実行させるための映像符号化・送信プログラムを記録したコンピュータ読み取り可能な記録媒体であって，
   上記コンピュータを，
   符号化したストリームの構成から，パケット通信ネットワークへ送信する際のパケット分割位置を予測するパケット化予測手段と，
   予測されたパケット分割位置に基づいて，符号化したストリームを読み込み，誤り訂正符号を演算する誤り訂正符号演算手段と，
   符号化したストリームと，上記誤り訂正符号演算手段によって演算された誤り訂正符号とを対応づけてパケット化し，パケット通信ネットワークへ送出するネットワーク送信手段として
   機能させるための映像符号化・送信プログラムを記録した記録媒体。

Images