JP4427912B2

JP4427912B2 - ビデオパケットの受信復号システムおよび送信システム

Info

Publication number: JP4427912B2
Application number: JP2001045762A
Authority: JP
Inventors: 義弘宮本
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2001-02-21
Filing date: 2001-02-21
Publication date: 2010-03-10
Anticipated expiration: 2021-02-21
Also published as: JP2002247578A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像符号化データをパケット化して送受信するシステムであって、伝送過程でパケットが欠落あるいは遅延して復号画像に画質劣化が生じることがある場合に、欠落したパケットの後の受信パケットを予め定めた一定期間だけ記憶することにより、欠落したパケットが再送あるいは遅延して到着した場合に、早期に画質劣化を回復する方法に関する。
【０００２】
【従来の技術】
一般に、動画像符号化データなどのデータを、インターネットなどを経由して伝送する場合、データをパケット化してＴＣＰ／ＩＰというプロトコルに従い伝送する方法が広く知られている。ＴＣＰ／ＩＰではパケットを受信するたびに送信側へ受信確認を送信する。
【０００３】
送信側では予め定めた一定期間にわたり受信確認が返されないと、該当するパケットは伝送過程で廃棄されたと考えて再送信を行う。こうすることで全てのパケットは欠落することなく確実に送受信することが可能となる。
【０００４】
しかしながら、ＴＣＰ／ＩＰによるパケット伝送では全てのパケット毎に受信確認を行うため、伝送制御が複雑となり伝送遅延も生じる。また欠落したパケットは再送されるものの、その到着時刻は保証されない。こうした理由からＴＣＰ／ＩＰは本質的に実時間伝送用途には不向きである。即ち、監視映像伝送やテレビ電話のようにできるだけ遅延を抑制しつつ連続的に伝送する必要がある用途では、別の方法を用いる必要がある。
【０００５】
ＲＴＰ／ＵＤＰ／ＩＰ（Real-time Processing/User Datagram Protocol/Internet Protocol）は実時間伝送用途に向いたデータ伝送のプロトコルとして知られている。これはＴＣＰ／ＩＰに較べてパケットのオーバーヘッドを少なくし、且つ、パケットの受信確認は行わないことで伝送効率と伝送遅延を大幅に改善できる方式である。このため動画像符号化データのインターネット伝送向けの方式として最近注目を集めている。
【０００６】
ＲＴＰ／ＵＤＰ／ＩＰでは受信確認は行わず、伝送途中で廃棄されたパケットの特定はできないので、パケット再送は一般的には行われない。インターネット伝送では伝送路の輻輳の程度に応じて一定比率でパケットが欠落するので、ＲＴＰ／ＵＤＰ／ＩＰはパケット欠落を許容する応用目的に供されるか、あるいは送信側で予想したパケット欠落率に応じたエラー訂正符号をパケットデータに重畳してから送信することがある。
【０００７】
ＲＴＰ／ＵＤＰ／ＩＰ伝送では伝送路が動的に変化することもあるので、順番に送信されたパケットが受信側では順番が入れ替わって到着したりあるいは、一部のパケットがかなり遅れて到着する可能性もある。また伝送路が込み合うと一部のパケットが途中で廃棄され、受信側ではパケットが欠落してしまうこともある。
【０００８】
上記のようにパケットの欠落や遅延がある場合、実時間で受信できたパケットだけを復号処理すると復号画像に画質劣化が生じる。なぜなら、動画像符号化データは連続したフレーム間で予測処理を行い、フレーム間の差分信号を符号化しているため、パケットの欠落により差分データの一部が欠損するとそれ以降のフレームは正しく復号できないためである。
【０００９】
【発明が解決しようとする課題】
ＲＴＰ／ＵＤＰ／ＩＰではエラー訂正符号をパケットに重畳することで、ある程度のパケット欠落に対応することが可能である。しかしエラー訂正能力を十分に高めようとすると、エラー訂正用の符号量が実際の動画像符号化データを圧迫し、符号化効率が著しく悪くなる。このため、多少のパケット欠落は許容せざるを得ない。
【００１０】
また、ＲＴＰ／ＵＤＰ／ＩＰは実時間伝送用途に向いてはいるものの、各パケットは様々な伝送経路に分かれて伝送されるため、パケットの到着順序が送信時の順序と大きく異なることがある。僅かな到着遅延であれば、パケット受信部のバッファで一旦蓄積し、順番を並び替えて後段の処理に供すればよい。しかし、動画像信号の実時間伝送用途ではバッファによる処理待ち時間を短くする必要があるため、大きく遅延して到着したパケットは廃棄せざるを得ない。
【００１１】
以上のように、ＲＴＰ／ＵＤＰ／ＩＰではパケットの欠落や遅延が避けがたい。動画像符号化ではフレーム間予測を用いているため、悪影響はそのパケットに留まらずフレーム間予測により時間的に伝搬し、深刻な画質劣化を引き起こすことがある。
【００１２】
これを解決する方法として、特開平１−１３７８９２号公報記載の「動画像信号復号化方式」では欠落したパケットにはダミーとしてゼロデータを挿入して復号しておき、後で欠落していたパケットが遅延到着したときにこれを単純に復号して加算すれば、画質劣化が解消できるとしている。
【００１３】
しかしこの方法が有効なのは、単純なフレーム間予測符号化を用いた場合に限られる。実際の動画像符号化では動き補償を用いたフレーム間予測処理を行うため、欠落パケットの位置で生じた画質劣化はフレーム間で周囲へと伝搬する。こうした場合は前記従来技術の方法では画質劣化を回復できないという課題がある。
【００１４】
本発明の目的は、ＲＴＰ／ＵＤＰ／ＩＰの枠組みによる実時間伝送を可能とする効果は維持しつつ、パケットの欠落や遅延による画質劣化を可能な限り速やかに軽減する方法を供することにある。
【００１５】
【課題を解決するための手段】
本発明の請求項１に係るビデオパケットの受信復号システムは、動画像符号化データをビデオパケットとして受信し、これを復号して復号画像を出力するシステムであって、ビデオパケットを受信して復号処理に供給するとともに、ビデオパケットの受信状況を監視してパケットの欠落や遅延到着があると制御信号を出力するパケット受信手段と、欠落パケットの後の受信パケットを前記制御信号に従い予め定めた一定期間以内の範囲で記憶し、且つ遅延到着したパケットがパケット受信手段から出力されると前記記憶したパケットを再出力するパケット蓄積手段と、パケット受信手段あるいはパケット蓄積手段から供給されたビデオパケットを復号して復号画像を出力する復号手段と、復号処理に必要な復号手段内部の参照データを前記制御信号に従い読み出して記憶し、遅延到着したパケットの復号処理に際して復号手段内部に書き込むことを行う復号参照データ蓄積手段とを有することを特徴とする。
【００１６】
本発明の請求項２に係るビデオパケットの受信復号システムは、動画像符号化データをビデオパケットとして受信し、これを復号して復号画像を出力するシステムであって、ビデオパケットを受信して復号処理に供給するとともに、ビデオパケットの受信状況を監視してパケットの欠落や遅延到着があると制御信号を出力し、且つ欠落したパケットの再送信をビデオパケットの送信側に要求する信号を出力するパケット受信手段と、欠落パケットの後の受信パケットを前記制御信号に従い予め定めた一定期間以内の範囲で記憶し、且つ遅延到着したパケットがパケット受信手段から出力されると前記記憶したパケットを再出力するパケット蓄積手段と、パケット受信手段あるいはパケット蓄積手段から供給されたビデオパケットを復号して復号画像を出力する復号手段と、復号処理に必要な復号手段内部の参照データを前記制御信号に従い読み出して記憶し、遅延到着したパケットの復号処理に際して復号手段内部に書き込むことを行う復号参照データ蓄積手段とを有することを特徴とする。
【００１７】
本発明の請求項３に係るビデオパケットの受信復号システムは、請求項１または請求項２のビデオパケットの受信復号システムであって、少なくとも遅延到着したパケットおよびパケット蓄積手段から供給されたビデオパケットを復号する際は、一連のビデオパケットを連続して高速に復号し、パケット受信部から次に供給されるビデオパケットの復号処理に繋ぐことを特徴とする。
【００１８】
本発明の請求項４に係るビデオパケットの受信復号システムは、請求項１または請求項２のビデオパケットの受信復号システムであって、復号参照データ蓄積手段が記憶する参照データは、少なくとも欠落したパケットの復号時のフレーム間予測処理に用いる参照画像データを含むことを特徴とする。
【００１９】
本発明の請求項５に係るビデオパケットの受信復号システムは、請求項１または請求項２のビデオパケットの受信復号システムであって、欠落したビデオパケットの後の受信パケットを記憶するに際し、そのパケットの復号画像がフレーム間予測処理の被参照フレームにはならないパケットは、パケット蓄積手段に記憶しないことを特徴とする。
【００２０】
本発明の請求項６に係るビデオパケットの受信復号システムは、請求項１または請求項２のビデオパケットの受信復号システムであって、画像全体がフレーム内符号化されたフレームのビデオパケットを受信するか、欠落したビデオパケットに関連する画像フレーム部分全体をフレーム内符号化したビデオパケットを受信した場合は、パケット蓄積手段に記憶したそれ以前のフレームのパケットを廃棄することを特徴とする。
【００２１】
本発明の請求項８に係るビデオパケットの送信システムは、ビデオパケットの再送要求を行うことができる受信復号システムに動画像符号化データをパケット化して送信するシステムであって、ビデオパケットを出力するとともに、出力パケットの符号化モードに応じた制御信号を出力するパケット送信手段と、送信したパケットを予め定めた一定期間だけ記憶し、受信側からの再送要求に従い指定されたパケットを読み出して再送信するパケット蓄積手段を有し、前記パケット蓄積手段は、蓄積しようとするパケットが画像全体をフレーム内符号化したフレームのパケットである場合はそれ以前のフレームの蓄積されたパケットを廃棄し、パケットの符号化モードが被参照フレームにならないフレームの符号化モードの場合は該パケットを蓄積しないことを特徴とする。
【００２２】
本発明は、動画像符号化データをビデオパケットとして送受信するシステムにおいて、受信したビデオパケットに欠落があると、欠落したパケットより後の受信パケットと欠落したパケットの復号に必要な参照データを一時的に記憶しておき、欠落したパケットが遅れて受信された時に前記記憶しておいた一連のデータを利用して復号処理を行うことで、パケットの欠落や到着遅延による画質劣化を可能な限り速やかに軽減する方法を提供するものである。
【００２３】
【発明の実施の形態】
図１は、本発明におけるパケット受信手段の第１の実施形態を示すブロック図である。
【００２４】
図１において、パケット受信部１１は、パケット化された動画像符号化データを受信してビデオパケット１０１として復号の順序に従い出力する。このときパケット受信部１１は、内部に一定数のパケットを保持できるバッファを持ってもよく、僅かの時間差で順番が入れ替わって到着したパケットを、復号処理の順序に並べ替えて出力してもよい。
【００２５】
またパケット受信部１１は、パケット受信状況を監視して、前記バッファの機能では吸収しきれないパケット到着の遅延やパケットの欠落があると、それらを外部に知らせる制御信号１０２を出力する。
【００２６】
パケット蓄積部１２は、パケット欠落を知らせる制御信号１０２に従い、欠落したパケットの後に受信したパケットを予め定めた一定期間だけ連続して記憶する。この一定期間は、リアルタイムシステムの場合には、復号部における復号再生画像が途切れない範囲の比較的短い期間に設定する必要があるが、リアルタイムを要求されないシステムではパケット蓄積部の容量の範囲内で適宜の長さに設定することが可能である。
【００２７】
また、パケット蓄積部１２は、過去に欠落していたパケットが遅延到着したことを知らせる制御信号１０２を受けると、それまでに蓄積されたパケットをこの遅延到着したパケットに続ける形で再出力する。
【００２８】
復号器１３は、パケット受信部１１から供給されたビデオパケット１０１を順次復号して復号画像を出力すると共に、遅延到着したパケットとそれに続いてパケット蓄積部１２から供給されたパケットを順次復号して復号画像を出力する。
【００２９】
また復号器１３は、パケット欠落を知らせる制御信号に従い、欠落したパケットの復号に必要となる復号器内部の参照データを復号参照データ蓄積部１４に一時的に記憶させる。
【００３０】
そして過去に欠落していたパケットが遅延到着したことを知らせる制御信号１０２に従い、遅延到着したパケットの復号処理に先立って、復号参照データ蓄積部１４に一時的に記憶しておいた参照データを復号器１３の内部に書き込む。
【００３１】
パケット蓄積部１２や復号参照データ蓄積部１４にそれぞれ記憶されたパケットや参照データは、予め定めた一定期間内に欠落パケットが遅延到着しなかった場合には、これらの蓄積パケット及び参照データは利用しないで廃棄する。
【００３２】
図４は、図１に示す本発明の第１の実施形態における基本的な処理の流れを示すフローチャートである。以下、図１及び図４を参照して本実施形態の動作について説明する。
【００３３】
まずパケット受信部１１は、ビデオパケットを受信すると、そのパケットが正規の順序で到着したかを判別する。一例として、ＲＴＰ／ＵＤＰ／ＩＰの枠組みではパケットのヘッダにパケットの送信順序を示す番号がついている。この番号が連続した昇順になっていれば、受信したパケットは正規順序で到着したと判別できる。正規順序で到着したビデオパケット１０１はそのまま復号器１３に供され、次の受信パケットの処理に戻る。
【００３４】
受信したビデオパケットが正規順序でなかった場合は、パケット受信部１１はビデオパケットが欠落しているか否かを判別する。この判別はパケットヘッダの番号が昇順ではあるが不連続に飛んでいるか否かでわかる。パケット受信部１１がパケットの欠落を判定すると、パケット受信部１１からパケット蓄積部１２及び復号参照データ蓄積部１４に対して制御信号１０２が出力される。
【００３５】
この制御信号１０２により、パケット蓄積部１２は、欠落パケット後の受信パケットの蓄積処理を開始して当該パケットをパケット蓄積部１２に一時的に蓄積する。この蓄積処理は後述の蓄積解除が行われるまで、全ての受信パケットに対して行う。
【００３６】
また復号参照データ蓄積部１４もこの制御信号１０２を受けて、欠落したパケットを復号するのに必要となる参照データを一時的に記憶する。記憶する参照データは、パケット欠落が判明した時点での復号器１３の内部に蓄積されているデータで、少なくともフレーム間予測処理に用いる参照画像データを含む。また復号処理において状態遷移処理や量子化係数間予測を用いている場合は、これらの処理の参照データも併せて記憶する。また図４に示すように、復号器１３は、欠落パケット後の受信パケットを復号して、復号画像を出力する。さらに、復号器１３は、パケット蓄積部１２がパケット蓄積中であって、かつ、欠落パケットが到着していない場合であっても、受信パケットを復号して、復号画像を出力する。
【００３７】
パケット蓄積部１２に対する後続パケットの蓄積を開始してから一定期間の間に上記欠落パケットが受信部１１に到達（遅延到着）しなかった場合には、当該パケットは欠落したものとはみなし、この蓄積パケットは廃棄され、復号器１３において復号された欠落パケットを除く欠落パケット以後の復号データが出力された後、次の受信パケットの処理に戻る。
【００３８】
この時、欠落したパケットの影響で復号画像に画質劣化が生じることがあるが、この画質劣化を補償するために架空のデータを挿入する等何らかの画質劣化隠蔽処理を行うことは可能である。その点は任意であり本発明では特に限定しない。
【００３９】
一方、パケット蓄積部１２に対する後続パケットの蓄積を開始してから一定期間経過前に、当該欠落パケットがパケット受信部１１により受信されると、パケット受信部１１はこの受信パケットを遅延パケットとして復号器１３に送出するとともに、パケット蓄積部１２及び復号参照データ蓄積部１４に対して、パケットの遅延到達を示す制御信号１０２を出力する。
【００４０】
この制御信号１０２により、先に記憶されていた参照データが復号参照データ蓄積部１４から復号器１３内部に書き戻され、遅延到着したビデオパケットの復号処理が行われる。次いで前記蓄積開始時点から遅延パケット到達時点までに蓄積されたビデオパケットがパケット蓄積部１２から読み出され、復号器１３で連続して復号処理された後、次の受信パケットの処理に戻る。
【００４１】
パケット蓄積部１２に蓄積されていたビデオパケットの復号に際しては、ビデオパケットのヘッダに記載された復号動作を行う時刻情報は無視して高速に復号することが可能である。特に、次の画像フレームに属する最初のビデオパケットの復号時刻前までに高速に復号完了できれば、次の画像フレームからは画質劣化がなく、本来の時刻情報に従った同期復号処理に復帰することができる。
【００４２】
また必ずしも十分高速に復号できなくても、画質劣化のない復号画像を回復することはできる。パケット蓄積部１２に蓄積されていたビデオパケットの復号処理が終れば蓄積解除され、次の受信パケットの処理に戻る。
【００４３】
なお、図４に示す動作説明では、一つのビデオパケットだけが欠落して遅延到着した場合を想定しているが、複数の連続したビデオパケットが欠落し、且つ連続して遅延到着した場合には、これら複数の遅延到着したパケットの処理をまとめて行うことができる。
【００４４】
さらに、不連続に複数のビデオパケットが欠落した場合や、該複数の欠落パケットの遅延到着順序が入れ替わった場合は、図５に示すような処理の流れにより実現することができる。
【００４５】
図５においては、遅延到着したビデオパケットを直ぐに復号するのではなく、一旦、既に蓄積しているビデオパケットの列の正規順序位置に挿入蓄積する。その後、欠落していたビデオパケットが全て到着して揃った時点で、先に記憶しておいた参照データを復号処理手段内部に書き戻し、蓄積されている一連のビデオパケットを順次連続して復号する。
【００４６】
ただし、図５に示す動作の場合、一定時間内に全ての欠落パケットが到達しなかったときには、図４の場合と同様に、パケット欠落として処理された後、次の受信パケットの処理に戻る。
【００４７】
図２は、本発明におけるパケット受信手段の第２の実施形態を示すブロック図である。
【００４８】
本実施の形態は、パケット受信部２１に、パケットの欠落を判別したときに、該欠落したパケットの再送信を送信側へ要求する信号を出力する手段を備えている点で、図１に示した第１の実施形態と異なるが、その他の構成は第１の実施形態と同様である。
【００４９】
図６は、図２に示す本発明の第２の実施形態における基本的な処理を示すフローチャートである。以下、図２及び図６を参照して本実施形態の動作について説明するが、第１の実施形態と共通する動作の詳細な説明は省略する。
【００５０】
パケット受信部２１は、受信パケットの欠落を判別すると、欠落したビデオパケットを再送信するように送信側へ要求１０４を送信するとともに、パケット蓄積部２２及び復号参照データ蓄積部２４に対して受信パケットの欠落が生じたことを示す制御信号１０２を出力して、欠落したビデオパケット以降の受信パケットの蓄積と欠落パケット発生時点の復号参照データの蓄積を指示する。
【００５１】
その後、送信側から欠落ビデオパケットが再送信されると、パケット受信部２１はこの受信パケットを遅延パケットとして復号器２３に送出し、復号器２３では、復号参照データ蓄積部２４から書き戻された参照データを用いて再送信されたビデオパケットの復号処理を行う。
【００５２】
次いで前記蓄積開始時点から再送信パケット到達時点までに蓄積されたビデオパケットがパケット蓄積部２２から読み出され、復号器２３で連続して復号処理された後、次の受信パケットの処理に戻る。
【００５３】
ビデオパケットが伝送の過程で完全に遺失し、ただ待っていても遅延パケットが到着しない場合には、このように再送要求することで欠落パケットの遅延到着を期待できるようになる。再送要求はパケット欠落の判別後の何時出してもよいが、早く出すほど画質劣化を早く回復できる。
【００５４】
本実施の形態においても、復号手段は、遅延到着した再送信パケットとそれに続けてパケット蓄積手段から供給されたビデオパケットを復号する際は、ビデオパケット内に記載された復号動作を行う時刻情報に依存せず一連のビデオパケットを連続して高速に復号することができる。
【００５５】
即ち、パケット蓄積手段から供給されるこれら一連のパケットは既に受信済みなので、復号手段の演算能力だけを高くすることで高速に復号することが可能となり、復号された一連の復号画像における最後の画像フレームを、未だ復号されていない次のフレームの復号処理に繋ぐことで、画質劣化の解消された画像をスムーズに再生することが可能となる。
【００５６】
なお、第１及び第２の実施形態において、復号手段は、パケット欠落を知らせる制御信号に従い、欠落したパケットの復号に必要となる復号手段内部の参照データを復号参照データ蓄積手段に一時的に記憶させるが、この時に少なくともフレーム間予測処理に用いる参照画像データが記憶される。この参照画像データは、欠落したパケットがフレーム間予測処理を用いて符号化されている場合には、そのパケットの復号処理に必要となるデータである。
【００５７】
また、第１及び第２の実施形態におけるパケット蓄積手段は、欠落したパケットの後に受信したパケットを記憶する際に、個々の受信パケットの符号化モードに応じて記憶するか否かを判別するように構成することができる。
【００５８】
即ち、フレーム間予測処理の被参照フレームにはなり得ないパケットは、蓄積しておいて後で復号しても本発明における画質劣化の回復には効果がないので、注目するパケットの復号画像がフレーム間予測処理の被参照フレームにはなり得ないパケットは記憶せず、それ以外のパケットを蓄積することにより、無駄なパケットの蓄積を省略して蓄積容量の低減を図ることができる。
【００５９】
図７は、図４で説明した一連の処理に加えて、欠落パケットが判別された後のパケット蓄積を継続している状態で、受信したビデオパケットが被参照フレームではなく、当該パケットの蓄積を行わない場合の一連の処理を示すフローチャートである。
【００６０】
例えばパケット化されている動画像符号化データがＭＰＥＧ方式で圧縮されたデータの場合、復号された受信ビデオパケットがＢピクチャのデータであれば被参照フレームにはなり得ないと判断できる。Ｂピクチャか否かはビデオパケット内部の符号化データに記載されたピクチャタイプによって判別できる。
【００６１】
被参照フレームとならないフレームのデータは後続のビデオパケットの復号処理には必要なく、且つこのフレームで生じた画質劣化も伝搬しない。従って本発明の目的である、パケットの欠落により生じた画質劣化を回復するためには必要ないので蓄積しない。
【００６２】
また、パケット欠落後の受信パケットが画像全体をフレーム内符号化した画像フレームのパケットであれば、パケット欠落により生じた画質劣化がフレーム間予測を通じて伝搬するのをリセットする効果がある。
【００６３】
従って、画像全体をフレーム内符号化した画像フレームのパケットを受信したあとは、もはや遅延到着したパケットや蓄積しておいたパケットを復号して画質劣化を回復する必要はない。また画像フレームの一部だけをフレーム内符号化したパケットを受信した場合も、当該パケットがパケット欠落により生じた画質劣化の伝搬範囲を網羅するならば、同様にパケット蓄積手段に記憶したパケットを廃棄することができる。
【００６４】
図８は、図４で説明した一連の処理に加えて、画像全体をフレーム内符号化した画像フレームのパケットが受信された場合の一連の処理を示すフローチャートである。
【００６５】
図１または図２のパケット蓄積手段は、欠落パケットが判別された後のパケット蓄積を継続している状態で、画像全体がフレーム内符号化された所謂イントラピクチャのビデオパケットを受信するか、欠落したビデオパケットに関連する画像フレーム部分全体をフレーム内符号化したビデオパケットを受信した場合に、パケット蓄積手段に蓄積されたパケットを廃棄する。
【００６６】
パケット欠落により画質劣化した画像の部分がイントラモードで符号化されると、フレーム間で伝搬していた画質劣化は解消される。このためビデオパケットを蓄積しておく必要はもはやない。このとき復号参照データ蓄積手段に記憶した参照データも必要ないので廃棄してもよい。
【００６７】
図３は、本発明におけるパケット送信手段の実施形態を示すブロック図である。
【００６８】
図３において、パケット送信部３１は、入力の動画像符号化データをパケット化し、ビデオパケット１０１として受信側に向けて出力する。また出力したパケットの符号化モードに応じた制御信号１０５を出力する。パケット蓄積部３２は、パケット送信部３１が出力したパケットを一定期間だけ記憶する。そして受信側からの再送要求１０４があると、記憶したパケットの中から再送要求で指定されたパケットを読み出して再送信する。
【００６９】
またパケット蓄積部３２では、前記制御信号１０５が、パケット送信部３１から出力されたパケットの符号化モードが画像全体をフレーム内符号化したことを示している場合には、それ以前に蓄積されたパケットを廃棄し、パケット送信部３１から出力されたパケットの符号化モードが被参照フレームになり得ないモードを示している場合には、当該パケットは蓄積しない。
【００７０】
次に、本発明におけるパケット送信手段の動作について、図３を参照して詳細に説明する。
【００７１】
本発明の送信システムでは、パケット送信部３１において動画像符号化データを復号処理の順番にパケット化し、受信側に向けて出力する。パケット化の一例として、ＲＴＰ／ＵＤＰ／ＩＰの枠組みではパケットのヘッダにパケットの送信順序を示す番号をつける。
【００７２】
また同時に、出力したパケット１０１の符号化モードに従う制御信号１０５を出力する。この符号化モードは画像フレーム単位でのピクチャモードでよい。例えば、ＭＰＥＧ方式で符号化された符号化データであれば、Ｉピクチャ（イントラピクチャ）やＰピクチャ、Ｂピクチャなどである。出力されたパケット１０１は予め定めた一定期間だけパケット蓄積部３２によって記憶される。
【００７３】
このときパケット１０１の符号化モードがイントラピクチャであれば、それ以前のフレームの蓄積されたパケット１０１は全て廃棄することができる。なぜならば、過去のフレームのパケットを再送信しなくても現在のイントラピクチャのパケットを送ることで、受信側でのパケット欠落に伴う画質劣化をリセットできるからである。
【００７４】
またパケット１０１の符号化モードが被参照フレームになり得ない場合、例えばＢピクチャであれば該パケットは蓄積する必要がない。以上のように、パケット毎にその符号化モードに合せてパケット蓄積時の制御を適応的に行う。
【００７５】
なお上記制御によらず、所定の期間が過ぎたパケットは廃棄される。この一定期間は前記説明した受信システムにおけるビデオパケットの蓄積期間と必ずしも一致させる必要はない。例えば伝送路のエラー発生率に応じた長さとしてもよく、動画像符号化データそのもののエラー強度に応じた値を設定してもよい。あるいは動画像符号化データの中でイントラピクチャやイントラモードが周期的に挿入されている場合には、その周期に比例した期間を設定することができる。
【００７６】
次に、受信側からあるビデオパケットの再送要求１０４があると、パケット蓄積部３２に蓄積したビデオパケットの中から指定されたビデオパケットを読み出して受信側へ出力する。再送要求のあったビデオパケットが既に廃棄された場合には要求に応えなくてよい。
【００７７】
以上のように、一旦送信したビデオパケットを一定期間蓄積しておくことで、受信側からの再送要求に即座に応答でき、且つ不必要に長い期間にわたりパケットのデータを取り置く必要がない。また符号化モードに応じたパケット蓄積状況を管理し、パケット再送による画質改善に効果があるパケットだけ蓄積することにより、蓄積効率のよいシステムを構築できる。
【００７８】
【発明の効果】
本発明によれば、動画像符号化データをビデオパケットとして送受信するシステムにおいて、受信したビデオパケットに欠落がある場合、該欠落したパケットより後の受信パケットと欠落したパケットの復号に必要な参照データを一時的に記憶しておき、欠落したパケットが遅れて受信された時に前記記憶しておいた一連のデータを利用して復号処理を行うことができるので、パケットの欠落や到着遅延による画質劣化を可能な限り速やかに軽減することが可能となる。
【図面の簡単な説明】
【図１】本発明におけるパケット受信手段の第１の実施形態を示すブロック図である。
【図２】本発明におけるパケット受信手段の第２の実施形態を示すブロック図である。
【図３】本発明におけるパケット送信手段の実施形態を示すブロック図である。
【図４】図１に示す実施形態における基本的な処理を示すフローチャートである。
【図５】図１に示す実施形態における他の処理を示すフローチャートである。
【図６】図２に示す実施形態における基本的な処理を示すフローチャートである。
【図７】本発明における更に他の処理例を示すフローチャートである。
【図８】本発明における更に他の処理例を示すフローチャートである。
【符号の説明】
１１，２１パケット受信部
１２，２２，３２パケット蓄積部
１３，２３復号器
１４，２４復号参照データ蓄積部
３１パケット送信部
１０１ビデオパケット
１０２制御信号
１０３参照データ
１０４再送要求信号
１０５制御信号

Claims

動画像符号化データをビデオパケットとして受信し、これを復号して復号画像を出力するシステムであって、
ビデオパケットを受信して復号処理に供給するとともに、前記ビデオパケットの受信状況を監視してパケットの欠落や遅延到着を検出して制御信号を出力するパケット受信手段と、
前記パケット受信手段から前記パケットの欠落を示す制御信号を受けたときに、該欠落パケット以後の受信パケットを予め定めた一定期間以内において記憶するとともに、前記欠落パケットが遅延到着したことを示す制御信号を受けたとき、前記記憶したパケットを再出力して復号処理に供給するとともにパケットの蓄積を解除するパケット蓄積手段と、
前記パケット受信手段あるいは前記パケット蓄積手段から供給されたビデオパケットを復号して復号画像を出力する復号手段と、
前記パケット受信手段から前記パケットの欠落を示す制御信号を受けたときに、前記欠落したパケットの復号処理に必要な前記復号手段内部の参照データを読み出して記憶し、前記欠落パケットが遅延到着したことを示す制御信号を受けたとき、前記記憶している参照データを前記復号手段内部に書き込む復号参照データ蓄積手段と、
を有し、
前記復号手段は、前記パケットの欠落を示す制御信号を受けたときに前記参照データと前記欠落パケット以後の受信パケットを用いて復号画像を出力し、前記欠落パケットが遅延到着したことを示す制御信号を受けたときに前記書込まれて記憶している参照データと前記遅延到着したパケットと前記欠落パケット以後の受信パケットを用いて復号画像を出力する
ことを特徴とするビデオパケットの受信復号システム。
動画像符号化データをビデオパケットとして受信し、これを復号して復号画像を出力するシステムであって、
ビデオパケットを受信して復号処理に供給するとともに、前記ビデオパケットの受信状況を監視してパケットの欠落や遅延到着を検出して制御信号を出力し、且つ欠落したパケットの再送信をビデオパケットの送信側に要求する信号を出力するパケット受信手段と、
前記パケット受信手段から前記パケットの欠落を示す制御信号を受けたときに、該欠落パケット以後の受信パケットを予め定めた一定期間以内において記憶するとともに、前記欠落パケットが遅延到着したことを示す制御信号を受けたとき、前記記憶したパケットを再出力して復号処理に供給するとともにパケットの蓄積を解除するパケット蓄積手段と、
前記パケット受信手段あるいは前記パケット蓄積手段から供給されたビデオパケットを復号して復号画像を出力する復号手段と、
前記パケット受信手段から前記パケットの欠落を示す制御信号を受けたときに、前記欠落したパケットの復号処理に必要な前記復号手段内部の参照データを読み出して記憶し、前記欠落パケットが遅延到着したことを示す制御信号を受けたとき、前記記憶している参照データを前記復号手段内部に書き込む復号参照データ蓄積手段と、
を有し、
前記復号手段は、前記パケットの欠落を示す制御信号を受けたときに前記参照データと前記欠落パケット以後の受信パケットを用いて復号画像を出力し、前記欠落パケットが遅延到着したことを示す制御信号を受けたときに前記書込まれて記憶している参照データと前記遅延到着したパケットと前記欠落パケット以後の受信パケットを用いて復号画像を出力する
ことを特徴とするビデオパケットの受信復号システム。
前記復号参照データ蓄積手段が記憶する参照データは、少なくとも欠落したパケットの復号時のフレーム間予測処理に用いる参照画像データを含むことを特徴とする請求項１または請求項２に記載のビデオパケットの受信復号システム。
前記パケット蓄積手段は、欠落したビデオパケットの後の受信パケットを記憶するに際し、そのパケットの復号画像がフレーム間予測処理の被参照フレームにはならないパケットを除外して記憶することを特徴とする請求項１または請求項２に記載のビデオパケットの受信復号システム。
前記パケット受信手段は、パケット欠落により生じる画質劣化の伝播をリセットするフレーム内符号化されたビデオパケットを受信した場合には、前記パケット蓄積手段に記憶したそれ以前のフレームのパケットを廃棄することを特徴とする請求項１または請求項２に記載のビデオパケットの受信復号システム。
前記一定期間内に、前記欠落したビデオパケットが受信されなかったときには、前記パケット蓄積手段に記憶したそれ以前のフレームのパケットを廃棄することを特徴とする請求項１または請求項２に記載のビデオパケットの受信復号システム。
動画像符号化データをパケット単位に受信し、前記パケットの受信状況を監視しながら受信したパケットを復号して復号画像を出力するビデオパケットの受信復号方法であって、
受信が正常の場合に正常処理として受信したパケットを復号して復号画像を出力し、受信に異常が検知された場合に異常時処理として後続する正常に受信したパケットを予め定めた一定期間以内において記憶し続けるとともに前記異常検知に対応しながら前記正常に受信したパケットを復号して復号画像を出力し続け、前記異常検知したパケットが前記一定期間以内に遅延到着した場合に異常回復処理として前記遅延到着したパケットと前記記憶したパケットとを正規の順序に並び替え、且つ前記記憶したパケット内に記載された復号動作を行う時刻情報に依存せずに復号して復号画像を生成し、該時刻情報に依存せずに生成した復号画像を用いて次に受信したパケットの復号画像を生成した時に、前記異常時処理と前記異常回復処理を中止して前記正常処理に復帰することを特徴とするビデオパケットの受信復号方法。
動画像符号化データをビデオパケットとして受信し、これを復号して復号画像を出力するビデオパケットの受信復号方法であって、
ビデオパケットを受信して復号処理に供給するとともに、前記ビデオパケットの受信状況を監視してパケットの欠落や遅延到着を検出して制御信号を出力するパケット受信処理と、
前記パケットの欠落を示す制御信号を受けたときに、該欠落パケット以後の受信パケットを予め定めた一定期間以内において記憶するとともに、前記欠落パケットが遅延到着したことを示す制御信号を受けたとき、前記記憶したパケットを再出力して復号処理に供給するとともにパケットの蓄積を解除するパケット蓄積処理と、
前記パケットの欠落を示す制御信号を受けたときに、前記欠落したパケットの復号処理に必要な前記復号処理内部の参照データを読み出して記憶し、前記欠落パケットが遅延到着したことを示す制御信号を受けたとき、前記記憶している参照データを前記復号処理内部に書き込む復号参照データ蓄積処理と、
前記供給されたビデオパケットを復号して復号画像を出力するとともに、前記パケットの欠落を示す制御信号を受けたときに前記参照データと前記欠落パケット以後の受信パケットを用いて復号画像を出力し、前記欠落パケットが遅延到着したことを示す制御信号を受けたときに前記書込まれて記憶している参照データと前記遅延到着したパケットと前記欠落パケット以後の受信パケットを用いて復号画像を出力する復号処理と、
を行うことを特徴とするビデオパケットの受信復号方法。
動画像符号化データをビデオパケットとして受信し、これを復号して復号画像を出力するビデオパケットの受信復号方法であって、
ビデオパケットを受信して復号処理に供給するとともに、前記ビデオパケットの受信状況を監視してパケットの欠落や遅延到着を検出して制御信号を出力し、且つ欠落したパケットの再送信をビデオパケットの送信側に要求する信号を出力するパケット受信処理と、
前記パケットの欠落を示す制御信号を受けたときに、該欠落パケット以後の受信パケットを予め定めた一定期間以内において記憶するとともに、前記欠落パケットが遅延到着したことを示す制御信号を受けたとき、前記記憶したパケットを再出力して復号処理に供給するとともにパケットの蓄積を解除するパケット蓄積処理と、
前記パケットの欠落を示す制御信号を受けたときに、前記欠落したパケットの復号処理に必要な前記復号処理内部の参照データを読み出して記憶し、前記欠落パケットが遅延到着したことを示す制御信号を受けたとき、前記記憶している参照データを前記復号処理内部に書き込む復号参照データ蓄積処理と、
前記供給されたビデオパケットを復号して復号画像を出力するとともに、前記パケットの欠落を示す制御信号を受けたときに前記参照データと前記欠落パケット以後の受信パケットを用いて復号画像を出力し、前記欠落パケットが遅延到着したことを示す制御信号を受けたときに前記書込まれて記憶している参照データと前記遅延到着したパケットと前記欠落パケット以後の受信パケットを用いて復号画像を出力する復号処理と、
を行うことを特徴とするビデオパケットの受信復号方法。
前記復号参照データ蓄積処理で記憶する参照データは、少なくとも欠落したパケットの復号時のフレーム間予測処理に用いる参照画像データを含むことを特徴とする請求項８または請求項９に記載のビデオパケットの受信復号方法。
前記パケット蓄積処理では、欠落したビデオパケットの後の受信パケットを記憶するに際し、そのパケットの復号画像がフレーム間予測処理の被参照フレームにはならないパケットを除外して記憶することを特徴とする請求項８または請求項９に記載のビデオパケットの受信復号方法。
前記パケット受信処理において、パケット欠落により生じる画質劣化の伝播をリセットするフレーム内符号化されたビデオパケットを受信した場合には、前記パケット蓄積処理で記憶されたそれ以前のフレームのパケットを廃棄することを特徴とする請求項８または請求項９に記載のビデオパケットの受信復号方法。
前記一定期間内に、前記欠落したビデオパケットが受信されなかったときには、前記パケット蓄積処理で記憶されたそれ以前のフレームのパケットを廃棄することを特徴とする請求項８または請求項９に記載のビデオパケットの受信復号方法。