JP2008219180A - 画像伝送システムおよびそれに用いられる画像送信装置、画像受信装置 - Google Patents

Abstract

【課題】 一部の重要な画像データに対して強い誤り耐性強度を与えることによりグレースフルデグラデーションを実現可能な画像伝送システムの提供。
【解決手段】画像データを複数の階層に分割し、その分割情報を分割前の画像データの拡張情報領域に付加し、分割された少なくとも一つの階層に属する画像データに対して誤り訂正のパリティ符号を生成し、分割情報が付加された画像データと、生成されたパリティ符号とを伝送路を介して送信する画像送信装置１００と、分割情報に基づいて受信した画像データを複数の階層に分割し、分割した階層の画像データの少なくとも一つに対するパリティ符号を受信した場合、それを用いて該画像データの誤りを訂正し、誤りを訂正後に分割した各階層の画像データを合成し、このデータ合成部により合成された画像データを復号する画像受信装置２００を有することを特徴とする画像伝送システム。
【選択図】 図１

Description

本発明は、ＭＰＥＧ（Moving Picture Experts Group）等の動画像符号化技術を用いて圧縮されたデータを、パケット損失等のバーストエラーが発生する可能性のある伝送路を介して伝送する画像伝送システム、およびそれに用いられる画像送信装置、画像受信装置に関する。

動画像処理技術の急速な発展により、動画像をデジタルデータとして扱い、蓄積／伝送することが広く行われている。近年、デジタルテレビ放送やＨＤＤ（Hard Disk Drive）／ＤＶＤ（Digital Versatile Disk）録再機で扱われる動画像は、主にＭＰＥＧ−２フォーマットで圧縮されている。

デジタル動画像が誤りの発生する可能性のある伝送路を介して送受信される場合、一般に誤り訂正符号が付与される。この場合、伝送路での誤りが誤り訂正能力を超えた場合、画質が極端に劣化する。一方、誤り率の増加に対して画像の品質を段階的に劣化させる機能であるグレースフルデグラデーション機能が知られている。一般に、グレースフルデグラデーション機能を実現するためには、データを重要度に応じて階層化して重要な階層データほど相対的に強い誤り訂正符号を付与する。これにより、各階層の誤り訂正が可能な範囲で、誤り率に応じて段階的に画質が劣化する。

但し、ＭＰＥＧ−２のような標準規格を対象とした場合、一般に利用されているのは非階層の符号化手段である。例えば、ＭＰＥＧ−２の規格には、階層符号化手段も含まれるが、市場に出回っているＬＳＩはメインプロファイルに対応したものであり、階層符号化には対応していない。

これに対して、非階層の符号化データを階層符号化データに変換することにより、グレースフルデグラデーションを実現する技術として、特許文献１に記載された発明がある（特許文献１の図２〜図４参照）。この発明では、送信側にて非階層の符号化データを階層符号化データへトランスコードする手段（図３）と、受信側にて階層符号化データを非階層の符号化データへトランスコードする手段（図４）が開示されている。
特開２０００−１１５０８５公報

上記した特許文献１に記載された発明では、非階層の符号化データを階層符号化データにトランスコードして、階層毎に誤り耐性の強さを変えることでグレースフルデグラデーションを実現している。しかし、この発明では、階層符号化データを非階層の符号化データにトランスコードできる受信装置でなければ、通常画質の画像を再生することができないという問題がある。

本発明は、上記に問題に鑑みてなされたものであり、送信側／受信側双方で同じ構成を有するデータ階層化手段により非階層の符号化データを分割することにより階層化することを可能とし、送信側では、分割されたデータに対して誤り訂正のパリティ符号を生成して非階層の符号化データと生成したパリティ符号を受信側へ送るとともに、受信側では、受信された非階層の符号化データを送信側と同様のデータ階層化手段により分割し、受信したパリティ符号を用いて訂正可能な誤りの範囲で分割データを復元することが可能な画像伝送システムおよびそれに用いられる画像送信装置、画像受信装置の提供を目的とする。

上記課題を解決するために、本発明では、画像送信装置において符号化された画像データを、伝送路を介して画像受信装置に伝送し、画像受信装置において受信した該画像データを復号化する画像伝送システムであって、前記画像送信装置は、前記画像データを複数の階層に分割する第１のデータ階層化部と、この第１のデータ階層化部における分割情報を、分割前の前記画像データの拡張情報領域に付加する分割情報付加部と、前記データ階層化部により分割された少なくとも一つの前記階層に属する画像データに対して誤り訂正のパリティ符号を生成するパリティ符号生成部と、前記分割情報が付加された前記画像データと、生成された前記パリティ符号とを前記伝送路を介して前記画像受信装置に送信する送信手段とを有し、前記画像受信装置は、前記分割情報に基づいて受信した前記画像データを複数の階層に分割する第２のデータ階層化部と、分割した前記階層の前記画像データの少なくとも一つに対する前記パリティ符号を受信した場合、それを用いて該画像データの誤りを訂正する誤り訂正部と、誤りを訂正後に分割した各階層の前記画像データを合成するデータ合成部と、このデータ合成部により合成された前記画像データを復号する復号化部とを有することを特徴とする画像伝送システムを提供する。

また、本発明では、伝送路を介して画像受信装置に符号化された画像データを送信する画像送信装置であって、前記画像データを複数の階層に分割するデータ階層化部と、このデータ階層化部における分割情報を、分割前の前記画像データの拡張情報領域に付加する分割情報付加部と、前記データ階層化部により分割された少なくとも一つの前記階層に属する画像データに対して誤り訂正のパリティ符号を生成するパリティ符号生成部と、前記分割情報が付加された前記画像データと、生成された前記パリティ符号とを前記伝送路を介して前記画像受信装置に送信する送信手段とを有することを特徴とする画像送信装置を併せて提供する。

更に、本発明では、伝送路を介して画像送信装置から符号化された画像データおよび該画像データの少なくとも一部に対する誤り訂正のパリティ符号を受信する画像受信装置において、前記画像送信装置にて前記画像データを複数の階層に分割した際の分割情報が分割前の該画像データの拡張情報領域に付加されている場合に、該分割情報に基づいて受信した該画像データを複数の階層に分割するデータ階層化部と、分割した前記階層の前記画像データの少なくとも一つに対する前記パリティ符号を受信した場合、それを用いて該画像データの誤りを訂正する誤り訂正部と、誤りを訂正後に、分割した各階層の前記画像データを合成するデータ合成部とを有することを特徴とする画像受信装置を併せて提供する。

本発明によれば、画像送信装置と画像受信装置の間で非階層の符号化データを送受信する場合でも、一部の重要な画像データに対して強い誤り耐性強度を与えることによるグレースフルデグラデーションを実現し、受信側で通常画質の画像を再生することが可能な画像伝送システムおよびそれに用いられる画像送信装置、画像受信装置を提供することができる。

以下、本発明の実施の形態について、図面を参照しつつ詳細に説明する。

本発明の実施の形態では、ＭＰＥＧ−２形式のビットストリームを対象とし、ＭＰＥＧ−２規格のデータパーティショニング（data partitioning ）により符号化された画像データを階層化する例について説明するが、実施段階ではその要旨を逸脱しない範囲で、他の動き補償予測（MC）と離散コサイン変換（DCT）を用いた符号化方式のビットストリームを対象とすることができる。更に、動き補償予測（MC）と離散コサイン変換（DCT）を用いた符号化方式以外でも、実施段階ではその要旨を逸脱しない範囲で、画像データの構成要素が重要度に応じて階層化できる場合には本発明の対象とすることが出来る。

本発明にかかる画像伝送システムの実施の形態を詳細に説明する。図１は、本発明にかかる画像伝送システムを示すブロック図である。

画像送信装置１００では、線１０１を介して非階層符号化部１１０にベースバンド画像が供給される。非階層符号化部１１０では、ＭＰＥＧ−２メインプロファイルのような非階層の符号化フォーマットで、ベースバンド画像を圧縮して線１０２を介してデータ階層化部１２０および分割情報付加部１４０に供給する。

データ階層化部１２０においては、非階層符号化部１１０から供給される非階層の符号化データを同期回復可能な単位で重要なデータと比較的重要でないデータとに分割し、前者は線１０３を介して階層０の符号化データとして出力され、後者は線１０４を介して階層１の符号化データとして出力される。

データ階層化部１２０の具体的な実施の形態について図２を参照しつつ説明する。図２は、本実施形態にかかるデータ階層化部１２０の構成を示すブロック図である。図２において、階層化制御部５０２から、符号化データの分割ポイント情報（priority break point）が与えられると、ＤＣＴ係数位置検出部５０４により分割位置が検出される。ここで、分割ポイント情報としては、分割された画像データの同期回復可能な単位の区切りが基点から何バイト目にあるかを示す情報などが用いられる。

データ分割部５０７は、検出された分割位置で符号化データ出力を切り替え、分割位置よりも先にあるＤＣＴ高次係数が階層１として出力される。

また、ヘッダー情報更新部５０６において、データパーティショニングに関する情報がシーケンス・スケーラブル・エクステンション（sequence scalable extension ）に記述されて追加され、分割ポイント情報がスライスヘッダ（slice header）に追記される。

バイトアラインメント処理部５０８および５０９では、スタートコードに対するバイトアラインメントを実施する。

次に、図２における信号の流れを説明する。線１０２を介して非階層の符号化データは、スタートコード検出部５０３と、ＤＣＴ係数位置検出部５０４と、ディレイ部５０５とに供給される。スタートコード検出部５０３およびＤＣＴ係数位置検出部５０４は、階層化制御部５０２の制御の下に、線１０２を介して供給される非階層の符号化データからスタートコードの検出およびＤＣＴ係数の位置の検出を行う。ディレイ部５０５は、線１０２を介して供給される非階層の符号化データを所定時間遅延させる。

また、図２において、ヘッダー情報更新部５０６は、スタートコード検出部５０３およびＤＣＴ係数位置検出部５０４からのデータにより、ディレイ部５０５で遅延された非階層の符号化データのヘッダーを更新する。

データ分割部５０７は、スタートコード検出部５０３およびＤＣＴ係数位置検出部５０４からのデータにより、ヘッダー情報更新部５０６にてヘッダー情報を更新された符号化データを階層０および階層１のデータに分割する。

そして、図２において、第１のバイトアラインメント処理部５０８は、スタートコード検出部５０３からのデータおよびデータ分割部５０７にて分割された階層１のデータをもとに、バイトアラインメントを施し、線１０４から階層１の符号化データを出力する。

第２のバイトアラインメント処理部５０９は、スタートコード検出部５０３からのデータおよびデータ分割部５０７にて分割された階層０のデータをもとに、バイトアラインメントを施し、線１０３から階層０の符号化データを出力する。

なお、階層化制御部５０２より供給される符号化データの分割ポイント情報（priority break point）が線１０５を介して出力される（図1参照）。なお、図２には階層化制御部５０２から分割ポイント情報が出力される線は明記していない。

図1の説明に戻って、符号量検出部１３０では、線１０３および線１０４を介して供給されるスライスごとにバイトアラインメントされた階層０および階層１の符号化データから、各階層のスライス終端を特定するための情報（ピクチャヘッダから各スライスの終端までのバイト数など）を検出して、線１０６を介して分割情報付加部１４０に供給する。

分割情報付加部１４０では、線１０５を介して供給される符号化データの分割ポイント情報と、線１０６を介して供給される各階層のスライス終端を特定するための情報を、線１０２を介して供給される非階層の符号化データのスライスヘッダの拡張情報領域（extra_infomation_slice）に付加する。なお、以下の説明では、各階層のスライス終端を特定するための情報として、ピクチャヘッダから各スライスの終端までのバイト数を用いることとする。

ここで、ピクチャヘッダから各スライスの終端までのバイト数は上限が１ピクチャの最大符号量であり、ＭＰＥＧ−２の規格上これはＶＢＶ（Video Buffering Verifier）バッファサイズが上限となる。そこで、非階層の符号化データがＭＰ＠ＨＬで符号化されている場合には、ＶＢＶバッファサイズが9,781,248bitであることから、各階層共にスライス当たり21bitで表現可能である。分割情報が付加された非階層の符号化データは、線１０７を介して伝送路へ供給される。

パリティ生成部１５０では、線１０３を介して供給される階層０の符号化データと線１０４を介して供給される階層１の符号化データに対し、それぞれ誤り訂正符号のパリティを生成し、階層０のパリティは線１０８を介し伝送路へ出力され、階層１のパリティは線１０９を介し伝送路へ出力される。なお、伝送路の状況によっては、特に重要でないデータに関してパリティ符号を生成しなくても良い。

本実施形態にかかる伝送路におけるデータ伝送手段の具体的な一例を、図３と図４を参照しつつ説明する。本実施形態では、ＩＰパケットによるデータ伝送とし、伝送路でのエラーはパケット損失を前提とする。

図３は、ＦＥＣ（Forward Error Correction）によるパケット損失保護の概念図である。符号化データを格納する情報パケットを、図３に示すようにｋパケットまとめてブロック化し、複数のパケットをまたぐ形のｋバイトのデータに対し、（ｎ−ｋ）バイトのパリティ符号を付与するＦＥＣ符号化を行い、図のように（ｎ−ｋ）個のＦＥＣパケットを生成する。ここで、ＦＥＣ符号化にＲＳ（Read-Solomon）符号化を用いた場合、情報パケットとＦＥＣパケットを合わせたｎ個のパケットの任意の（ｎ−ｋ）個までのパケット損失は完全に復元される。図の例では、４個のＦＥＣパケットを付加しているため、２個のパケット損失が発生しているが、情報パケットは完全に復元できる。

図４は、非階層の符号化データを情報パケットに格納し、階層０および階層１の符号化データから生成されたＦＥＣパケットを伝送する概念図である。送信側では、非階層の符号化データを格納するｋ個の情報パケットに対し、図１のデータ階層化部１２０にてデータ分割された階層０および階層１の符号化データで構成される仮の情報パケットがそれぞれ生成され、図４に示すように複数のパケットがブロック化される。ここで、各階層が何個のパケットでブロック化されるかは、データ階層化部１２０にてデータ分割された結果に依存するため、通常一定の値とはならない。次に、各階層の情報パケットのブロックに対し、ＦＥＣパケットをそれぞれ生成する。

伝送路には、非階層の符号化データで構成された情報パケットと、階層０と階層１に対して生成されたＦＥＣパケットが伝送される。受信側では、損失パケットを図３と同様の手段で検出し、損失パケットを含んだ形で情報パケットのブロック化を行う。次に、これらの情報パケットから送信側と同じデータ階層化部で、階層０および階層１に対応する情報パケットを生成し、それぞれブロック化する。各階層の情報パケットには、損失パケットに起因する誤りが含まれるが、これらの誤りは、各階層に対するＦＥＣパケットにより誤りが訂正される。

ここで、図４の例では、重要情報である階層０に対するＦＥＣパケットの数を階層１のそれに対して多くしている。階層０と階層１の情報パケット数が同じ場合は、相対的に階層０の誤り耐性が高まるが、一般には階層０と階層１の情報パケット数が異なる。この場合、パリティ符号の冗長度の比率を変えることにより、相対的に階層０の誤り耐性が高めることができる。例えば、情報パケット数に対するＦＥＣパケット数の比率が、階層１よりも階層０の方が大きくなるようにすれば、相対的に階層０の誤り耐性が高まることになる。

図1の説明に戻って、画像受信装置２００では、伝送路にて誤りを含んだあるいはデータの損失が生じた可能性のある非階層の符号化データが、線２０１を介して誤り検出部２１０およびデータ階層化部２２０に供給される。

誤り検出部２１０では、パケット損失により消失した非階層の符号化データの情報パケットを特定するとともに、非階層の符号化データを解析してエラーを検知し、非階層の符号化データにおける正常な復号が出来ないデータの範囲を特定する。そして、それらの情報（非階層の符号化データにおける正常な復号が出来ないデータの範囲に関する情報）は線２０４を介してデータ階層化部２２０に供給される。

データ階層化部２２０では、画像送信装置１００のデータ階層化部１２０と同様の手順で非階層の符号化データを分割し、階層０と階層１の符号化データとして線２０５および線２０６を介して誤り訂正部２３０に供給する。画像受信装置２００のデータ階層化部２２０が画像送信装置１００のデータ階層化部１２０と異なるのは、データの消失や誤りにより非階層の符号化データの一部が正常に復号できない場合の対策にある。

本実施形態のデータ階層化部２２０において、非階層の符号化データの一部が正常に復号できない場合の具体的な作用例を、図４、図５、図６を用いて説明する。

図４において、パケット損失により情報パケットＡのデータが消失した場合、本実施形態のように可変長符号化された圧縮データの場合は、次のユニークワードで同期が回復するまでは正常な復号が出来ない。そのため、送信側でのデータ分割により階層０と階層１に対して符号量が如何に割り振られたかが分からず、消失した情報パケットＡのデータによる影響の範囲Ｂおよび範囲Ｃを特定することが出来ない。

図５は、送信側の分割情報付加部１４０にてスライスごとに付加された符号化データの分割ポイント情報と、階層０および階層１それぞれのスライス終端を特定するための情報を利用することで、範囲Ｂと範囲Ｃを特定する具体例を示している。

図５において、ピクチャヘッダから各スライスの終端までのバイト数（N01、N02、N03、N11、N12、N13）が、非階層データのスライスヘッダ（SH1、SH2、SH3）の拡張情報領域(extra_information_slice)から取得される。

例えば、情報パケットＡの消失による影響でスライス２の全般に誤りがある場合、階層０および階層１双方のスライス２の終端が不明となる。そこで、スライス３の符号化データを階層０および階層１に分割した際の各階層のバイト数（Ｓ03、Ｓ13）を用いて、階層０では(N03-S03)=N02であるから、スライス３のデータ分割終了後にスライス２のバイト区切りが復元できる。階層１も同様に、(N13-S13)=N12であるからスライス２のバイト区切りが復元できる。これにより、階層０および階層１における範囲Ｂおよび範囲Ｃが特定される。

図６は、本実施形態にかかる受信側のデータ階層化部２２０の構成を示すブロック図である。図６において、線２０１を介して非階層の符号化データは、スタートコード検出部８０３と、ＤＣＴ係数位置検出部８０４と、ディレイ部８０５とに供給される。

スタートコード検出部８０３は、階層化制御部８０２の制御の下に、線２０１を介して供給される非階層の符号化データからスタートコードの検出を行う。ここでスライスヘッダが検出された場合、その拡張情報領域（extra_information_slice）に格納されている符号化データの分割ポイント情報とピクチャヘッダから各スライスの終端までのバイト数が取得され、階層化制御部８０２に供給される。

ＤＣＴ係数位置検出部８０４は、階層化制御部８０２の制御の下に、符号化データの分割ポイント情報に基づき線２０１を介して供給される非階層の符号化データからＤＣＴ係数の位置の検出を行う。

ディレイ部８０５は、線２０１を介して供給される非階層の符号化データを所定時間遅延させる。

また、図６において、ヘッダー情報更新部８０６は、スタートコード検出部８０３およびＤＣＴ係数位置検出部８０４からのデータにより、ディレイ部８０５で遅延された非階層の符号化データのヘッダーを更新する。

データ分割部８０７は、スタートコード検出部８０３およびＤＣＴ係数位置検出部８０４からのデータにより、ヘッダー情報更新部８０６にてヘッダー情報を更新された符号化データを階層０および階層１のデータに分割する。

そして、図６において、第１のバイトアラインメント処理部８０８は、スタートコード検出部８０３からのデータおよびデータ分割部８０７にて分割された階層１のデータをもとに、正常に分割されたスライスデータに対しバイトアラインメントを施し、第１のスライスバッファ８１３に１スライス分の符号化データを供給する。第１のスライスバッファ８１３からは、蓄積された１スライス分のバイト数を階層化制御部８０２に供給する。

第２のバイトアラインメント処理部８０９は、スタートコード検出部８０３からのデータおよびデータ分割部８０７にて分割された階層０のデータをもとに、正常に分割されたスライスデータに対しバイトアラインメントを施し、第２のスライスバッファ８１４に１スライス分の符号化データを供給する。第１のスライスバッファ８１４からは、蓄積された１スライス分のバイト数を階層化制御部８０２に供給する。

階層化制御部８０２では、線２０４を介して供給された非階層の符号化データにおける正常な復号が出来ないデータの範囲に関する情報に基づいて、階層０および階層１の誤りによる影響の範囲（図６の範囲Ｂと範囲Ｃ）を特定し、範囲Ｃのバイト数を第１のダミーデータ挿入部８１５へ、範囲Ｂのバイト数を第２のダミーデータ挿入部８１６へと供給する。また、階層０および階層１の誤りによる影響の範囲に関する情報は、線２０７を介して出力される。

第１のダミーデータ挿入部８１５では、第１のスライスバッファより正常に分割された１スライス分の符号化データを読み出し、階層化制御部８０２より供給された範囲Ｃのバイト数分のダミーデータを付加した後、線２０６から階層１の符号化データを出力する。

第２のダミーデータ挿入部８１６では、第２のスライスバッファより正常に分割された１スライス分の符号化データを読み出し、階層化制御部８０２より供給された範囲Ｂのバイト数分のダミーデータを付加した後、線２０５から階層０の符号化データを出力する。

図１の説明に戻って、画像受信装置２００における、残りの構成要素に関する具体例を説明する。

誤り訂正部２３０には、階層０の符号化データは線２０５、階層０のパリティ符号は線２０２、階層１の符号化データは線２０６、階層１のパリティ符号は線２０３を介して供給される。また、階層０および階層１の非階層の符号化データにおける正常な復号が出来ないデータの範囲に関する情報は、線２０７を介して供給される。

誤り訂正部２３０では、階層０、階層１の各階層においてパリティ符号を用いて符号化データの誤り訂正を行う。ここで、検出された訂正不能な誤り検出信号(復号エラー情報)は線２０８を介して、誤り訂正が施された階層０および階層１の符号化データはそれぞれ線２０９および線２０aを介して階層化データ合成部２４０に供給される。

階層化データ合成部２４０では、線２０９を介して供給される階層０の符号化データと線２０aを介して供給される階層１の符号化データを、線２０８を介して供給される復号エラー情報に応じて非階層の符号化データに合成して、線２０ｂを介して合成された非階層の符号化データを非階層復号化部２５０に供給する。

階層化データ合成部２４０の具体的な実施の形態について図７を参照しつつ説明する。図７は、階層化データ合成部２４０の構成を示すブロック図である。ここでは、ＭＰＥＧ−２規格のデータパーティショニング（data partitioning ）により階層化されたデータを非階層のＭＰＥＧ−２データに再構成する例について説明する。

図７の階層化データ合成部において、第１のデータ分離部６０４は、線２０ａを介して供給される階層１の入力ストリームからデータを分離する。第２のデータ分離部６０５は、線２０９を介して供給される階層０の入力ストリームからデータを分離する。ヘッダー分離部６０６は、線２０９を介して入力される階層０の入力ストリームからヘッダーを分離する。各階層の符号化データには、同じヘッダー部が存在するため、階層０のものを用い、階層１のものは使用しない。

また、データ再構成部６０９は、第１のデータ分離部６０４にて階層１の入力ストリームから分離されたデータ、および第２のデータ分離部６０５にて階層０の入力ストリームから分離されたデータをもとに、非階層のデータを再構成する。ヘッダー付加部６１０は、データ再構成部６０９で再構成されたデータに、ヘッダー分離部６０６で分離されたヘッダーを付加して線２０ｂを介して出力する。

そして、階層データ制御部６０８は、線２０８を介して供給される復号エラー情報および後述の階層情報に基づき、この階層化データ合成部の各部を制御し、非階層データである１つの符号化データに再構成する。前記の階層情報は、例えばＭＰＥＧ−２規格のトランスポートストリームにおいては、番組対応表（program map table; ＰＭＴ）に記述される階層記述子（hierarchy_descriptor）から得ることができる。また、ＩＰ（Internet Protocol）パケットにＱｏＳ優先度を付加できるDiffserveサービス機能を利用したＩＰパケット伝送の場合は、ＤＳＣＰ（DiffServe Code Point）情報から階層情報を得ることができる。

図1の説明に戻って、非階層符号化部２５０では、線２０ｂを介して供給される非階層の符号化データが供給され、復号画像データを生成した後、線２０ｃを介して画像がディスプレイ等に出力される。

以上説明した構成により、送信側／受信側双方で同じ構成を有するデータ階層化手段により非階層の符号化データを分割することにより階層化することを可能とし、送信側では、分割されたデータに対して誤り訂正のパリティ符号を生成して非階層の符号化データと生成したパリティ符号を受信側へ送るとともに、受信側では、受信された非階層の符号化データを送信側と同様のデータ階層化手段により分割し、受信したパリティ符号を用いて訂正可能な誤りの範囲で分割データを復元することが可能な画像伝送システムおよびそれに用いられる画像送信装置、画像受信装置を提供することが可能となる。これにより、画像送信装置と画像受信装置の間で非階層の符号化データを送受信する場合でも、一部の重要な画像データに対して強い誤り耐性強度を与えることによるグレースフルデグラデーションを実現し、受信側で通常画質の画像を再生することが可能となる。

次に、本発明にかかる画像伝送システムの変形例について説明する。

図８は、本発明にかかる画像伝送システムの第１の変形例を示すブロック図である。画像送信装置９００は、図１における画像送信装置１００を拡張したものであり、構成要素である、非階層符号化部１１０、データ階層化部１２０、符号量検出部１３０、分割情報付加部１４０および第１のパリティ生成部１５０は、画像送信装置１００の構成要素と同一である。ここで、前記構成要素に関わる線１０１、線１０２、線１０３、線１０４、線１０５、線１０６、線１０８および線１０９も、画像送信装置１００の信号線と同一である。

本変形例では、画像送信装置９００において、分割情報付加部１４０から線１０７を介して出力される分割情報が付加された非階層の符号化データは、第２のパリティ生成部９１０へも供給される。第２のパリティ生成部９１０では、非階層の符号化データに対して直接ＦＥＣのパリティ符号が生成され、線９０１を介して伝送路へ供給される。

図８における第１の画像受信装置２００は、図１における画像受信装置２００と同一である。また、図８における第1の画像受信装置２００に信号を供給する線２０１、線２０２および線２０３と信号を出力する線２０ｃは、図１における画像受信装置２００に信号を供給する線２０１、線２０２および線２０３と信号を出力する線２０ｃと同一である。

一方、図８における第２の画像受信装置７００は、非階層の符号化データと、第２のパリティ生成部９１０において非階層の符号化データ対して直接生成されたＦＥＣのパリティ符号を受信し、画像信号を再生するものである。第２の画像受信装置７００には、画像送信装置９００から線１０７を介して伝送路に供給された非階層の符号化データが、伝送路より線７０１を介して供給される。また、第２の画像受信装置７００には、画像送信装置９００から線９０１を介して伝送路に供給されたパリティ符号が、伝送路より線７０２を介して供給される。

第２の画像受信装置７００における誤り訂正部７１０には、線７０１と線７０２を介してそれぞれ非階層の符号化データとパリティ符号が供給され、誤り訂正処理が成された後、誤り訂正処理された非階層の符号化データが線７０３を介して非階層復号化部７２０に供給される。

非階層符号化部７２０では、線７０３を介して供給される非階層の符号化データが供給され、復号画像を生成した後、線７０４を介して画像データがディスプレイ等に出力される。

本変形例は、ＩＰマルチキャスト配信にて、非階層の符号化データ（線１０７）を格納した情報パケットと、非階層の符号化データに対するパリティ符号（線９０１）を格納した第１のＦＥＣパケット、階層０に対するパリティ符号（線１０８）を格納した第２のＦＥＣパケットおよび階層１に対するパリティ符号（線１０９）を格納した第３のＦＥＣパケットが基幹ネットワークに送出される。伝送路でのパケット損失の影響が比較的高い環境では、第１の画像受信装置にて情報パケットと第２のＦＥＣパケットおよび第３のＦＥＣパケットを受信することで、図１に示した画像伝送システムと同様に、グレースフルデグラデーション機能が有効な視聴環境が得られる。また、伝送路でのパケット損失の影響が比較的低い環境では、既存の画像受信装置である第２の画像受信装置にて情報パケットと第１のＦＥＣパケットを受信することで互換性を保つことが出来る。

次に、本発明にかかる画像伝送システムにおける画像受信装置の変形例を図９、図１０、図１１および図１２を用いて説明する。

図９は、非階層の符号化データを情報パケットに格納し、この情報パケットからＦＥＣパケットを生成して、それぞれ伝送すると共に、同時にデータ分割後の階層０の符号化データから生成されたＦＥＣパケットを併せて伝送する際の概念図である。これらのパケットに格納される情報は、図８の画像送信装置９００から送信される情報に含まれる（線１０７、線９０１、線１０８に相当する）。受信側では、損失パケットを図１に示した画像伝送システムと同じ手法で検出し、損失パケットを含んだ形で情報パケットのブロック化を行う。次に、これらの情報パケットから送信側と同じデータ分割手段で、階層０に対応する情報パケットを生成してブロック化する。階層０に対応する情報パケットには、損失した情報パケットに起因する誤りが含まれるが、この誤りは、階層０に対するＦＥＣパケットにより誤りが訂正されるようにする。

ここで、図９の例では、重要情報である階層０に対するＦＥＣパケットの数を非階層データに対するＦＥＣパケットの数よりも多くしている。すなわち、パケット損失率が小さい場合は、非階層データに対するＦＥＣパケットにより非階層データの損失が訂正可能である。そして、パケット損失率が大きくなるにつれ、訂正不能となったパケットＡに対応する階層０のデータ領域Ｂは、階層０に対するＦＥＣパケットにより誤りが訂正される。

以上のことから、非階層データが誤り無く受信できた場合および非階層データに対するＦＥＣパケットにより誤りが訂正可能な場合は非階層データを出力し、誤りの訂正が不可能な場合は階層０のデータを復元して出力する。したがって、非階層データに対するＦＥＣパケットにより誤りが訂正できない場合でも、重要情報である階層０のデータが階層０に対するＦＥＣパケットにより復元でき、グレースフルデグラデーション機能が実現される。

図１０は、本発明にかかる画像伝送システムにおける画像受信装置の変形例を示すブロック図である。画像送信装置９００は、図８における画像送信装置９００と同一であり、入出力の信号線である線１０１、線１０７、線１０８、線１０９および線９０１も、画像送信装置９００の信号線と同一である。

図１０の画像受信装置ａ００では、線ａ０１を介して伝送路にて損失が生じた可能性のある非階層の符号化データが、線ａ０２を介して非階層の符号化データに対するＦＥＣデータが、第１の誤り訂正部ａ１０に供給される。

第１の誤り訂正部ａ１０では、パケット損失により消失した非階層の符号化データの特定を行い、線ａ０２を介して供給されるＦＥＣパケットにより消失したデータの訂正を行う。正常に受信できたデータおよびＦＥＣパケットにより訂正できたデータは、線ａ０４を介して出力される。また、ＦＥＣパケットにより消失したデータの訂正が不可能な場合は、非階層の符号化データにおける正常な復号が出来ないデータの範囲を特定し、その情報は線ａ０５を介してデータ階層化部ａ３０に供給される。

データ階層化部ａ３０では、図１に示したデータ階層化部２２０と同様の手順で非階層の符号化データを分割し、階層０の符号化データとして線ａ０６を介して第２の誤り訂正部ａ４０に供給する。ここで、図１１はデータ階層化部ａ３０の構成を示すブロック図であり、図６に示したデータ階層化部２００における階層１の符号化データを生成する構成要素を取り除いたものである。その他の構成要素（８０２、８０３、８０４、８０５、８０６、８０７、８０９、８１４、８１６）および信号線は同一である。線ａ０７からは、階層０における誤りの影響の情報が出力され、第２の誤り訂正部ａ４０に供給される。

第２の誤り訂正部ａ４０には、線ａ０６を介して階層０の符号化データが、線ａ０３を介して階層０のデータに対するＦＥＣパケットが、そして線ａ０７を介して階層０における誤りの影響に関する情報（符号化データにおける正常な復号が出来ないデータの範囲に関する情報）が供給される。第２の誤り訂正部ａ４０では、線ａ０７を介して供給される階層０における誤りの影響の情報にしたがって、誤りが発生している階層０の符号化データを階層０に対するＦＥＣパケットにより誤り訂正する。ここで、誤り訂正された階層０の符号化データを特定する情報（図５に示した、何番目のスライスが誤り訂正されたかの情報）は線ａ０８を介して、階層０の符号化データは線ａ０９を介してデータ選択部ａ５０に供給される。データ選択部ａ５０には、線ａ０４を介して非階層の符号化データが、線ａ０９を介して階層０の符号化データが、線ａ０８を介して誤り訂正された階層０の符号化データを特定する情報が供給される。

図１２は、データ選択部ａ５０の構成を示すブロック図である。線ａ０８を介してデータ選択部ａ５０に供給される、誤り訂正された階層０の符号化データを特定する情報は、階層データ制御部ｂ０４に供給される。階層データ制御部ｂ０４では、最小の同期回復単位であるスライスごとに、当該スライスにおいて階層０の符号化データが誤り訂正処理されたか否か、さらに誤り訂正処理された場合は階層０の符号化データが訂正可能であったか否かを誤り訂正された階層０の符号化データを特定する情報ａ０８を用いて判定する。前記判定結果は、スライスごとにエラー情報として第１のデータ分離部ｂ０１、第２のデータ分離部ｂ０２、ヘッダー分離部ｂ０３、データ切替部ｂ０５およびヘッダー付加部ｂ０６に供給される。

線ａ０４を介してデータ選択部ａ５０に供給される非階層の符号化データは、第１のデータ分離部ｂ０１に供給される。第１のデータ分類部ｂ０１では、非階層の符号化データからヘッダー情報が取り除かれた後、データ切替部ｂ０５に供給される。また、第１のデータ分離部ｂ０１では、階層データ制御部ｂ０４より供給されるエラー情報により、当該スライスにおいて非階層データの誤り訂正が不可能であったことが通知された場合、当該スライスのデータはＭＰＥＧ−２のシンタックスとして不都合の無い任意のデータに置き換えられた後、データ切替部ｂ０５に供給される。

線ａ０９を介してデータ選択部ａ５０に供給される階層０の符号化データは、第２のデータ分離部ｂ０２とヘッダー分離部ｂ０３に供給される。第２のデータ分離部ｂ０２では、最小の同期回復単位であるスライスごとに、階層０の符号化データからヘッダー情報を取り除くとともに、スライスヘッダに含まれる分割ポイント情報にしたがって、ブロック毎に分割ポイントにＥＯＢ（End Of Block）符号が付加された後、データ切替部ｂ０５に供給される。また、第２のデータ分離部ｂ０２では、階層データ制御部ｂ０４より供給されるエラー情報により、当該スライスにおいて階層０の符号化データの誤り訂正が不可能であったことが通知された場合、当該スライスのデータはＭＰＥＧ−２のシンタックスとして不都合の無い任意のデータに置き換えられた後、データ切替部ｂ０５に供給される。

ヘッダー分離部ｂ０３では、線ａ０９を介して供給される階層０の符号化データからスライスごとにヘッダー情報が分離された後、ヘッダー情報はヘッダー付加部ｂ０６に供給される。また、階層データ制御部ｂ０４より供給されるエラー情報により、当該スライスにおいて階層０の符号化データの誤り訂正が不可能であったことが通知された場合、当該スライスのヘッダー情報はＭＰＥＧ−２のシンタックスとして不都合の無い任意のヘッダー情報に置き換えられた後、ヘッダー付加部ｂ０６に供給される。また、階層０の符号化データから分離されたヘッダー情報から、分割ポイント情報を削除した後、ヘッダー付加部ｂ０６に供給しても良い。

データ切替部ｂ０５では、階層データ制御部ｂ０４より供給されるエラー情報により、非階層の符号化データにエラーが含まれていないと判断される場合には、第１のデータ分離部より供給されるデータをヘッダー付加部ｂ０６に供給し、非階層の符号化データにエラーが含まれていると判断される場合には、第２のデータ分離部より供給されるデータをヘッダー付加部ｂ０６に供給する。

ヘッダー付加部ｂ０６では、スライスごとにデータ切替部ｂ０５より供給されるデータに、ヘッダー分離部ｂ０３より供給されるヘッダーを付加した後、線ａ０ｂを介して出力する。

非階層符号化部ａ６０では、線ａ０ｂを介して供給される非階層の符号化データが供給され、復号画像を生成した後、線ａ０ｃを介して画像データがディスプレイ等に出力される。

なお、図１１の伝送路には画像受信装置ａ００しか接続されていないが、画像送信装置９００より送出されるデータは、上述した画像受信装置２００や画像受信装置７００で視聴することも可能であるため、図１１の伝送路に画像受信装置２００や画像受信装置７００を接続して視聴することも可能である。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明にかかる画像伝送システムを示すブロック図。 データ階層化部の構成を示すブロック図。 ＦＥＣ（Forward Error Correction）によるパケット損失保護の概念図。 符号化データから生成されたＦＥＣパケットを伝送する概念図。 消失した情報パケットのデータによる影響の範囲を特定する概念図。 受信側のデータ階層化部の構成を示すブロック図。 階層化データ合成部の構成を示すブロック図。 本発明にかかる画像伝送システムの第１の変形例を示すブロック図。 非階層の符号化データを情報パケットに格納し、この情報パケットからＦＥＣパケットを生成して、それぞれ伝送すると共に、同時にデータ分割後の階層０の符号化データから生成されたＦＥＣパケットを併せて伝送する際の概念図。 本発明にかかる画像伝送システムにおける画像受信装置の変形例を示すブロック図。 データ階層化部の構成を示すブロック図。 データ選択部ａ５０の構成を示すブロック図。

符号の説明

１００ 画像送信装置
１１０ 階層符号化部
１２０ データ階層化部
１３０ 符号量検出部
１４０ 分割情報付加部
１５０ パリティ生成部
２００ 画像受信装置
２１０ 誤り検出部
２２０ データ階層化部
２３０ 誤り訂正部
２４０ 階層化データ合成部
２５０ 非階層復号化部

Claims (10)

1. 画像送信装置において符号化された画像データを、伝送路を介して画像受信装置に伝送し、画像受信装置において受信した該画像データを復号化する画像伝送システムであって、
   前記画像送信装置は、前記画像データを複数の階層に分割する第１のデータ階層化部と、この第１のデータ階層化部における分割情報を、分割前の前記画像データの拡張情報領域に付加する分割情報付加部と、前記データ階層化部により分割された少なくとも一つの前記階層に属する画像データに対して誤り訂正のパリティ符号を生成するパリティ符号生成部と、前記分割情報が付加された前記画像データと、生成された前記パリティ符号とを前記伝送路を介して前記画像受信装置に送信する送信手段とを有し、
   前記画像受信装置は、前記分割情報に基づいて受信した前記画像データを複数の階層に分割する第２のデータ階層化部と、分割した前記階層の前記画像データの少なくとも一つに対する前記パリティ符号を受信した場合、それを用いて該画像データの誤りを訂正する誤り訂正部と、誤りを訂正後に分割した各階層の前記画像データを合成するデータ合成部と、このデータ合成部により合成された前記画像データを復号する復号化部と
   を有することを特徴とする画像伝送システム。
2. 伝送路を介して画像受信装置に符号化された画像データを送信する画像送信装置であって、
   前記画像データを複数の階層に分割するデータ階層化部と、
   このデータ階層化部における分割情報を、分割前の前記画像データの拡張情報領域に付加する分割情報付加部と、
   前記データ階層化部により分割された少なくとも一つの前記階層に属する画像データに対して誤り訂正のパリティ符号を生成するパリティ符号生成部と、
   前記分割情報が付加された前記画像データと、生成された前記パリティ符号とを前記伝送路を介して前記画像受信装置に送信する送信手段と
   を有することを特徴とする画像送信装置。
3. 前記データ階層化部は、前記画像受信装置において分割前の前記画像データを復号する際に同期回復可能な単位で、該画像データを複数の階層に分割するものであることを特徴とする請求項２記載の画像送信装置。
4. 前記データ階層化部は、ＭＰＥＧ−２規格におけるデータパーティショニング手段であることを特徴とする請求項２または３のいずれか一項に記載の画像送信装置。
5. 前記分割情報付加部は、前記分割情報として、分割された前記画像データの同期回復可能な単位の区切りが基点から何バイト目にあるかを示す情報を付加するものであることを特徴とする請求項２乃至４のいずれか一項に記載の画像送信装置。
6. 前記分割情報付加部は、前記分割情報として、分割された各階層に属する前記画像データのスライス終端を特定するための情報を付加するものであることを特徴とする請求項２乃至５のいずれか一項に記載の画像送信装置。
7. 前記のパリティ符号生成部は、複数の前記階層に属する前記画像データに対して誤り訂正のパリティ符号を生成する場合、該階層に属する画像データの重要度に応じてパリティ符号の冗長度の比率を変えることを特徴とする請求項２乃至６のいずれか一項に記載の画像送信装置。
8. 伝送路を介して画像送信装置から符号化された画像データおよび該画像データの少なくとも一部に対する誤り訂正のパリティ符号を受信する画像受信装置において、
   前記画像送信装置にて前記画像データを複数の階層に分割した際の分割情報が分割前の該画像データの拡張情報領域に付加されている場合に、該分割情報に基づいて受信した該画像データを複数の階層に分割するデータ階層化部と、
   分割した前記階層の前記画像データの少なくとも一つに対する前記パリティ符号を受信した場合、それを用いて該画像データの誤りを訂正する誤り訂正部と、
   誤りを訂正後に、分割した各階層の前記画像データを合成するデータ合成部と
   を有することを特徴とする画像受信装置。
9. 前記データ合成部により合成された前記画像データを復号する復号化部をさらに備えたことを特徴とする請求項８記載の画像受信装置。
10. 前記分割情報は、前記画像送信装置において分割された前記画像データの同期回復可能な単位の区切りが基点から何バイト目にあるかを示す情報と、前記画像送信装置において分割された各階層に属する前記画像データのスライス終端を特定するための情報を含み、
    前記データ階層化部は、前記分割情報と、前記画像データにおける正常な復号が出来ないデータの範囲の情報に基づいて、前記階層の前記画像データにおける誤りによる影響の範囲を特定することを特徴とする請求項８または９のいずれか一項に記載の画像受信装置。

Images