JP4537583B2 - 映像信号のエラー隠蔽 - Google Patents
映像信号のエラー隠蔽 Download PDFInfo
- Publication number
- JP4537583B2 JP4537583B2 JP2000580389A JP2000580389A JP4537583B2 JP 4537583 B2 JP4537583 B2 JP 4537583B2 JP 2000580389 A JP2000580389 A JP 2000580389A JP 2000580389 A JP2000580389 A JP 2000580389A JP 4537583 B2 JP4537583 B2 JP 4537583B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- signal thread
- signal
- thread
- erroneous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims abstract description 52
- 239000013598 vector Substances 0.000 claims description 56
- 230000002123 temporal effect Effects 0.000 claims description 29
- 238000012360 testing method Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 description 18
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 10
- 230000002457 bidirectional effect Effects 0.000 description 7
- 230000002441 reversible effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001010 compromised effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Traffic Control Systems (AREA)
- Details Of Television Scanning (AREA)
Description
【０００１】
【技術分野】
本発明は、映像信号におけるエラーの隠蔽に係り、そしてその方法及び装置に係る。
【０００２】
【背景技術】
移動テレコミュニケーションにおける最近の目標の１つは、データ送信速度を高くしてマルチメディアサービスを移動ネットワークに組み込めるようにすることである。マルチメディアの重要な要素の１つは、デジタル映像である。映像の送信は、動画を表すデータの連続トラフィックより成る。一般的に知られているように、映像を転送するのに必要なデータの量は、多数の他の形式の媒体に比較して高く、低ビットレートターミナルにおける従来の使用量を無視できるほどである。しかしながら、低ビットレートの映像圧縮の分野では著しい進歩が達せられている。約２０キロビット／秒のビットレートにおいて、受け入れられる映像クオリティを得ることができる。ビットレートのこの進歩的減少の結果として、映像は、間もなく、移動チャンネルのようなチャンネルを経て有効なサービスを提供できることになると予想される。
【０００３】
映像シーケンスは、一連の静止像即ちフレームで構成される。映像圧縮方法は、映像シーケンスの冗長性、特に、非当該部分を減少することをベースとしている。映像シーケンスの冗長性は、空間的、時間的及びスペクトル的冗長性に分類することができる。空間的冗長性とは、フレーム内の隣接ピクセル間の相関を意味する。時間的冗長性とは、次々のフレームの領域間の相関を意味する。時間的冗長性は、手前の像に現れた物体が現在の像にも現れる見込みから生じる。圧縮は、現在像と手前の像の類似領域間の動き（即ち変位）を表す動き補償データを発生することにより達成できる。従って、手前の像から現在像が予想される。スペクトル的冗長性とは、同じ像の異なるカラー成分間の相関を意味する。
【０００４】
しかしながら、通常、シーケンスの冗長性を減少するだけでは、充分な圧縮を得ることができない。従って、映像エンコーダは、主観的に重要度が最低の映像シーケンスの部分のクオリティを下げるように試みる。更に、エンコードされたビット流の冗長性は、圧縮パラメータ及び係数の効率的なロスなしコード化により減少される。その主たる技術は、可変長さコードを使用することである。
映像圧縮方法は、通常、時間的冗長性の減少を利用できるか又はできない像を区別化する。時間的冗長性の減少方法を利用しない圧縮像は、通常、ＩＮＴＲＡ又はＩフレームと称され、一方、時間的に予想される像は、ＩＮＴＥＲ又はＰフレームと称される。ＩＮＴＥＲフレームの場合には、予想される（動き補償される）像は、充分に正確であることがほとんどなく、それ故、空間的に圧縮される予想エラー像も各ＩＮＴＥＲフレームに関連される。
【０００５】
圧縮映像は、主として２つの理由で、送信エラーにより崩壊し易い。第１に、時間的予想の差動コード（ＩＮＴＥＲフレーム）を使用するために、空間的及び時間的の両面でエラーが伝播される。実際に、これは、いったんエラーが発生すると、人間の目で比較的長い時間にわたって容易に見える。特に影響を受け易いのは、若干のＩＮＴＲＡコードフレームしかない低いビットレートでの送信である（ＩＮＴＲＡコードフレーム送信は、時間的エラーの伝播を停止する）。第２に、可変長さコードの使用は、エラーに対する影響を高める。ビットエラーがコードワードを異なる長さの別のコードワードに変更するときには、デコーダがコードワードの同期を失うと共に、後続するエラーのないコードワード（多数のビットより成る）も次の同期コードまで不適切にデコードしてしまう。（同期コードは、他のコードワードの合法的に組合せても発生することのできないビットパターンである。）
【０００６】
圧縮映像ビット流の各ビットは、圧縮解除像に対して等しい重要度を有していない。あるビットは、映像形式（例えば、ＩＮＴＲＡ又はＩＮＴＥＲ）、量子化値及び使用した任意のコードモードといった重要な情報を定義するセグメントに属する。Ｈ．２６３では、最も重要な情報が映像ヘッダに集められる。映像ヘッダに送信エラーがあると、通常、映像内容を定める後続ビットの解釈を完全に誤ってしまう。時間的予想の差動コード（ＩＮＴＥＲフレーム）を使用することにより、空間的及び時間的の両面でエラーが伝播される。従って、映像ヘッダ崩壊に対する通常の解決策は、手前の映像をスクリーン上に拘束し、ＩＮＴＲＡ映像要求を送信ターミナルに送信し、そして要求されたＩＮＴＲＡフレームを待機することである。これは、受信映像に厄介な休止を生じさせる。
【０００７】
送信エラーは、その基礎となるネットワークに基づいて異なる特性を有する。パケット交換ネットワークでは、送信エラーは、通常、パケットロス（ネットワーク要素の混雑による）である。回路交換ネットワークでは、送信エラーは、通常、「１」が崩壊して「０」になるか又はその逆のビットエラーである。
送信エラーにより導入される像の質低下を防止するために、再送信を使用したり、エラー検出及び／又はエラー修正方法を適用したり及び／又は崩壊した受信データからの影響を隠蔽したりすることができる。通常、再送信は、映像データ流をエラーから保護するための適当な方法であるが、低ビットレート送信に関連した大きな往復遅延や、中程度又は高いエラー率が、特に、リアルタイムビデオ電話の用途では、再送信の使用を実際上不可能にする。エラー検出及び修正方法は、通常、データにある冗長性を付加するために大きなオーバーヘッドを必要とする。従って、低ビットレートの用途では、送信エラーから像を保護しそして回復するための好ましい方法としてエラー隠蔽が考えられる。映像エラー隠蔽方法は、通常、パケットロス及びビット崩壊により生じる送信エラーに適用することができる。
【０００８】
Ｈ．２６３は、一般に６４ｋｂｐｓ以下のデータレートを意味する低ビットレート通信に対する映像コード化のＩＴＵ−Ｔ推奨勧告である。この推奨勧告は、ビット流のシンタックス及びビット流のデコードを規定する。現在、Ｈ．２６３には、２つのバージョンがある。バージョン１は、コアアルゴリズム及び４つの任意のコードモードより成る。Ｈ．２６３バージョン２は、バージョン１の拡張であり、１２の新規なネゴシエーション可能なコードモードを与える。
映像は、ルミナンス（Ｙ）及び２つのカラー差（クロミナンス）成分（ＣＱ及びＣＲ）としてコード化される。クロミナンス映像は、両座標軸に沿ってルミナンス映像の解像度の半分でサンプリングされる。映像データは、ブロックごとにコード化され、各ブロックは、８ｘ８ピクセルのルミナンス又はクロミナンスを表す。
【０００９】
各コード化映像及びそれに対応するコードビット流は、４つの層をもつハイアラーキー構造で構成され、４つの層は、下から上へ、ブロック層、マクロブロック層、映像セグメント層及び映像層である。映像セグメント層は、ブロックのグループとして構成されてもよいし、スライスとして構成されてもよい。
ブロック層データは、均一に量子化された離散的コサイン変換係数より成り、これらは、ジグザグに走査され、実行長さエンコーダで処理され、そして可変長さコードでコード化される。
各マクロブロックは、１６ｘ１６ピクセルのルミナンス及び空間的に対応する８ｘ８ピクセルのクロミナンス成分に関連している。換言すれば、マクロブロックは、４つの８ｘ８ルミナンスブロックと、２つの空間的に対応する８ｘ８カラー差ブロックで構成される。各ＩＮＴＥＲマクロブロックは、ＩＮＴＥＲマクロブロックのピクセルに類似した基準フレーム内の対応領域の位置を規定する運動ベクトルに関連付けされる。ＩＮＴＥＲマクロブロックのデータは、マクロブロックのピクセルに対するコード化された予想エラーデータを含む。
【００１０】
通常、各映像は、ブロックのグループ（ＧＯＢ）に分割される。ブロックのグループ（ＧＯＢ）は、通常、３３個のマクロブロック（１１個のマクロブロックが３行に配列された）を含む。各ＧＯＢのデータは、任意のＧＯＢヘッダと、それに続くＧＯＢ内のマクロブロックのためのデータとで構成される。
任意のスライス構造モードが使用される場合には、各映像は、ＧＯＢではなくスライスに分割される。スライスは、多数の連続的なマクロブロックを走査順に含む。各スライスのデータは、スライスヘッダと、それに続くスライスのマクロブロックのためのデータとで構成される。
映像層のデータは、全映像領域と、映像データのデコード動作とに影響するパラメータを含む。コード化されたパラメータデータは、いわゆる映像ヘッダに配置される。
【００１１】
映像及びＧＯＢ（又はスライス）ヘッダは、同期コードで始まる。他のコードワード又はコードワードの合法的な組合せが同期コードと同じビットパターンを形成することはない。従って、同期コードは、ビット流のエラー検出及びビットエラー後の再同期に使用することができる。ビット流に加えられる同期コードが多いほど、システムは、エラーに対してより頑丈になる。
映像冗長度コード化（ＶＲＣ）方法が多数の文献に紹介されている（例えば、ステファン・ウェンガー氏の「インターネットにおけるＨ．２６３＋エラーレジリエンスモードＫ．Ｒ．Ｎに対するシミュレーション結果(Simulation Result for H.263+ Error Resilience Modes K. R. N on the Internet)」、ＩＴＵ−Ｔ、ＳＧ１６、クエスチョン１５、ドキュメントＱ１５−Ｄ−１７、７−Ａｐｒ−１９９８）。その目的は、パケット交換ネットワークにおいてパケットロスに対し優雅な映像クオリティ低下を与えることである。この方法の基礎について以下に説明する。
【００１２】
ＶＲＣ方法の原理は、映像のシーケンスを２つ以上の信号（又はスレッド）に分割し、全てのフレームがスレッドの１つにインターリーブ状態で指定されて、フレームのサブセットを形成するようにすることである。各スレッド（又はフレームのサブセット）は、独立してコード化される。明らかに、１つの信号内のフレームレートは、全フレームレートより著しく低く、２つのスレッド（信号）の場合は半分、３つのスレッドの場合は１／３、等々である。これは、実質的なコードペナルティを生じることがある。というのは、信号又はスレッド内の２つのＩＮＴＥＲフレーム間で運動に関連した変化を正確に表すために一般的に大きな変化及び長い運動ベクトルが通常必要とされるからである。全ての信号は、規則的な間隔で、いわゆる同期フレームへと収斂する。この同期フレームから、新たな一連のスレッドがスタートする。
【００１３】
フレームのサブセットを含むスレッドの１つが、例えば、パケットロスのためにダメージを受けた場合には、残りにスレッドはそのままであり、次の同期フレームを予想するのに使用できる。ダメージを受けた信号のデコードを続けることはできるが、若干の映像質低下を招くか、又はデコード動作が停止してフレームレートの低下を招くことがある。しかしながら、サブセットのサイズを適度に小さく保てば、次の同期フレームに到達するまで、質低下は非常に短い時間中に続くだけである。
デコーダは、ダメージを受けていないスレッドの１つから同期フレームを選択し、同期フレームをデコードする。これは、完全な再同期を必要としないので、送信されるＩ映像の数を小さく保持できることを意味する。２つの同期フレーム間で全てのスレッドがダメージを受けた場合には、同期フレームを正確に予想することができない。この状態では、ＶＲＣが使用されなかった場合のように、次のＩ映像が正しくデコードされるまで厄介な欠陥が存在する。
【００１４】
現在、映像冗長度コード化は、任意の基準映像選択モード（添付資料Ｎ）がイネーブルされる場合に、ＩＴＵ−Ｔ Ｈ．２６３映像コード規格（バージョン２）と共に使用することができる。しかしながら、映像冗長度コード化を他の映像圧縮方法に組み込む場合にも大きな障害はない。
ほとんどの既知のエラー隠蔽技術は、空間的及び時間的な補間構成をベースとしている。空間的な補間は、ＩＮＴＲＡフレーム及びＩＮＴＥＲフレームのＩＮＴＲＡコード領域に使用される。空間的補間とは、失われた領域を、空間的に隣接する領域から補間することを意味する。これは、例えば、境界ピクセルの距離重み平均を用いて行うことができる。
【００１５】
時間的補間を用いるエラー隠蔽は、低ビットレートの映像コード化に最も頻繁に使用される。というのは、ＩＮＴＲＡフレームの数が通常少ないからである。非常に基本的な時間的補間機構は、失われた領域を手前のフレームの同じ位置からコピーし、即ち失われたブロックを「コード化されない」ブロックとして取り扱う。更に進歩した機構では、空間的に隣接するブロックの運動ベクトルの中間値又は平均値を使用して動き補償が行われる。又、境界ピクセルの一致を使用して、失われたブロックに対する最良の運動ベクトルを見つける幾つかの提案もなされている。
【００１６】
低解像度及び低ビットレートにおいては、空間的に隣接するブロックの相関がしばしば低いものである。従って、空間的に隣接するピクセルデータに基づいて補間された運動ベクトルは、元の値から離れることがある。これは、一方向の隠蔽機構が元のブロックをしばしば再構成し損なうことを意味する。更に、予想エラーブロックを回復する試みをせずに運動ベクトルのみを隠蔽に使用する場合には、多量の細部が失われるので、映像がぼけることになる。実際に、現在の隠蔽機構を使用すると、エラー又は不適切に隠蔽されたブロックが比較的長時間目に見える。
エラーの傾向のある環境においてＶＲＣをこれまでに提案されたように使用すると、幾つかの問題が生じる。第１に、同期フレーム間の間隔が短い（スレッドの長さは、しばしば、５フレームであると提案されている）場合には、圧縮効率が妥協されることになる。一方、スレッドが長い場合には、エラー隠蔽は、有効でない傾向となり、映像クオリティが妥協されることになる。
【００１７】
【発明の開示】
本発明の第１の特徴によれば、映像シーケンスのフレーム内のエラーを隠蔽する方法であって、映像シーケンスは、複数のフレームより成り、そして少なくとも２つの独立してコード化された信号としてエンコードされ、その各々は、映像シーケンスのフレームのサブセットを表し、上記方法は、映像シーケンスのフレームを表すデータを受信し、フレーム内のエラーを識別し、そしてエラーが識別されたもの以外の信号においてエンコードされた少なくとも１つのフレームを用いて対応データを予想することによりエラーを隠蔽するという段階を含む方法が提供される。
【００１８】
従って、本発明は、別のＶＲＣスレッドの非崩壊フレームから時間的にそして好ましくは両方向に補間を行うことによりエラー領域を隠蔽するマルチスレッド型映像コード化機構に係る。
本発明は、公知解決策よりも優れた像エラー隠蔽を達成する手段を提供する。公知の映像冗長度コード化方法に比較して、同期フレーム間に長いスレッドを使用できるようになり、従って、圧縮効率を高めることができる。
好ましくは、対応データが両方向に予想され、即ちエラーが識別されたフレームの前後に映像シーケンスにおいて生じるフレームを使用して予想され、この前後のフレームは、エラーが識別されたもの以外の少なくとも１つの信号においてエンコードされる。
【００１９】
対応するデータは、エラーが識別されたフレームの直前及び／又は直後に映像シーケンスにおいて生じるフレームを用いて予想できるのが最も好都合であり、上記直前及び直後のフレームは、少なくとも１つの他の信号に存在する。
エラーが識別されたフレームと同じ信号において上記フレームに先行して生じるフレームから対応データを予想することによりエラーが最初に隠蔽される。
エンコードされた信号がヘッダ情報を含むときには、フレームのヘッダにおいてエラーを識別し、フレームがフレーム間コード化フレームであるかどうか決定し、そしてもしそうであれば、エラーが識別されたもの以外の信号においてエンコードされた少なくとも１つのフレームを使用して対応データを予想することにより、ヘッダにエラーを有するフレームを再構成することができる。
【００２０】
本発明の第２の特徴によれば、映像の圧縮解除方法は、映像シーケンスを表す少なくとも２つの信号を受信し、映像シーケンスは複数のフレームより成り、各信号は映像シーケンスのフレームのサブセットを表し、映像シーケンスのフレーム内でエラーを識別し、エラーが識別されたもの以外の信号においてエンコードされた少なくとも１つのフレームを使用して対応データを予想することによりフレーム内のエラーを隠蔽し、そして映像シーケンスのフレームを表示するという段階を含む。
【００２１】
本発明の第３の特徴は、映像シーケンスのフレーム内のエラーを隠蔽する映像エラー隠蔽装置であって、上記映像シーケンスは複数のフレームより成りそして少なくとも２つの独立してコード化された信号としてエンコードされ、その各々は、映像シーケンスのフレームのサブセットを表すような装置において、上記少なくとも２つの信号を受信するための入力と、上記映像シーケンスのフレーム内でエラーを識別するための手段と、エラーが識別されたもの以外の信号においてエンコードされた少なくとも１つのフレームを使用して対応データを予想することによりエラーを隠蔽するための手段とを備えた装置に関する。
【００２２】
好ましくは、隠蔽手段は、エラーが識別されたフレームの前後に映像シーケンスにおいて生じるフレームを用いて対応データを予想するように構成され、上記前後のフレームは、エラーが識別されたもの以外の少なくとも１つの信号においてエンコードされる。
上記隠蔽手段は、エラーが識別されたフレームの直前及び直後に映像シーケンスにおいて生じるフレームを使用して対応データを予想するように構成されるのが最も好ましく、上記直前及び直後のフレームは、少なくとも１つの他の信号に存在する。
【００２３】
上記隠蔽手段は、エラーが識別されたフレームと同じ信号において上記フレームに先行して生じるフレームから対応データを予想することによりエラーを最初に隠蔽するように構成される。
エンコードされた信号がヘッダ情報を含むときには、上記装置は、更に、フレームのヘッダにおけるエラーを識別する手段と、フレームがフレーム間コード化フレームであるかどうか決定する手段とを備え、上記隠蔽手段は、エラーが識別されたもの以外の信号においてエンコードされた少なくとも１つのフレームを使用して対応データを予想するように構成される。
【００２４】
【発明を実施するための最良の形態】
以下、添付図面を参照して、本発明を一例として詳細に説明する。
ＶＲＣのような多スレッドの映像コード化機構によれば、複数のフレーム０、１、２、３、・・ｎより成る映像シーケンスは、少なくとも２つのスレッド又は信号としてエンコードされ、その各々は、映像シーケンスのフレームのサブセットを表す。各スレッドは、他のものとは独立してエンコードされ、そしてスレッドの各フレームは、ＩＮＴＥＲフレーム形態でコード化される（フレームの領域は、良く知られたように、ＩＮＴＲＡフレーム形態でコード化されるが）。従って、ＩＮＴＥＲフレームの少なくとも２つのスレッドは、独立してコード化されそして送信される。ＩＮＴＥＲフレーム（又はＰフレーム）の各々は、スレッドの以前のＩＮＴＥＲフレームに依存するが、他のスレッド内の情報には依存しない。コード化されるべきフレームは、インターリーブされた形態でスレッドに指定される。全てのスレッドは、ＩＮＴＲＡフレームである同期フレームからスタートするが、これは重要ではない。
【００２５】
図１に示す例では、映像シーケンスが２つのスレッド１０ａ、１０ｂを含み、その各々は、スレッド当たり３つのフレーム１２を有する。２つのスレッドしか発生されないので、各スレッドは、映像シーケンスの交互のフレームを含む。各スレッド１０ａ、１０ｂは、同期フレーム１４へと収斂することに注意されたい。ＶＲＣにおいては、各スレッドの最後のフレーム（即ちスレッド１０ａのフレーム５及びスレッド１０ｂのフレーム６）は、同じ同期フレーム１４を独立して発生する。実際には、これを達成するのが困難に思われるが、シミュレーションでは、もう少しで充分に実現できることが示されている（上記ステファン・ウェンガー氏の論文を参照されたい）。
【００２６】
図２は、２つのスレッド又は信号の一方がダメージを受けたときのＶＲＣの公知動作を示す。スレッドがダメージを受けた場合には、そのスレッドが無視され、そして圧縮解除された映像シーケンスを発生するのにもはや使用されないことが提案されている。残りの無傷のスレッドが映像シーケンスを発生するのに使用される。例えば、フレームＰ４がダメージを受けたとする。スレッド１０ｂは、デコードされた映像シーケンスを発生するのにもはや使用されない（これを使用すると、得られる映像シーケンスのフレームレートに質低下を招く）か、又はスレッド１０ｂの次のフレームＰ６が、崩壊したフレームＰ４を参照してデコードされ、これはエラーが伝播されることを意味する。
【００２７】
本発明による隠蔽アルゴリズムの例を以下に述べる。図１及び２の場合と同様に、この例は、スレッド当たり３フレームで発生される２つのスレッド（又は信号）を示す。第１同期フレームにも、ＩＮＴＥＲフレームＰ１、Ｐ２及びＰ３にも送信エラーがないと仮定する。従って、これらのフレームは、通常にデコードされて表示される。フレームＰ４のある部分（全部ではなく）が崩壊したことをデコーダが検出したと仮定する。このとき、映像デコーダは、非崩壊のスレッド１０ａのフレーム（１つ又は複数）を参照してフレームＰ４を隠蔽し始める。この隠蔽は、ダメージを受けた信号の後続フレームのデコードに関連して実行できる。
【００２８】
図３は、本発明の第１実施形態の動作を示す。フレームＰ４（図中ｄＰ４と示された）の圧縮データに送信エラーがあると仮定する。このフレームは、デコードされるが、崩壊したフレーム（ｄＰ４）は、通常、表示されない。しかしながら、フレームｄＰ４の崩壊した領域は、一方向性補間機構を使用することにより非崩壊スレッド１０ａのフレームＰ３を用いて隠蔽される。隠蔽されるフレームをＰ４’と呼ぶ。ダメージを受けていないスレッド１０ａのエラーなしフレームＰ５は、通常に、デコードされて表示される。次いで、ダメージを受けていないスレッドのフレームＰ３及びＰ５を参照してフレームＰ４を両方向隠蔽することにより更なる隠蔽を行うのが好ましい。
【００２９】
使用することのできる補間アルゴリズムの一例を以下に説明するが、他のアルゴリズムも使用できる。
図４は、本発明の第２実施形態の動作を示す。フレームＰ４（図中ｄＰ４と示された）の圧縮データに送信エラーがあると仮定する。このフレームはデコードされるが、崩壊したフレーム（ｄＰ４）は、通常、表示されない。ダメージを受けていないスレッド１０ａのエラーなしフレームＰ５は、通常にデコードされて表示される。その後、本発明によれば、フレームｄＰ４の崩壊した領域は、両方向性補間機構を使用することにより、非崩壊スレッド１０ａのフレームＰ３及びＰ５を用いて隠蔽される。隠蔽されるフレームをＰ４’と呼ぶ。ダメージを受けていないスレッドからの両方向性補間（図４に示す）を使用する利点は、一方向性補間（図３に示す）より好ましい。というのは、両方向性補間は、一般に、優れた隠蔽結果を与えるからである。
【００３０】
本発明の第３の実施形態では、崩壊したフレームＰ４がデコードされ、そして崩壊した領域が、最初に、公知の隠蔽方法を使用することによりＰ２フレームを用いて隠蔽される。隠蔽されたフレーム（Ｐ４ｃ）が表示される。次いで、ダメージを受けていないスレッド１０ａのエラーなしフレームＰ５が通常にデコードされそして表示される。フレームＰ４ｃの隠蔽された領域は、次いで、両方向性補間機構を使用することにより非崩壊スレッド１０ａのフレームＰ３及びＰ５を用いて洗練化される。この隠蔽され洗練化されたフレームをＰ”と称する。Ｐ６をデコードするときに、フレームＰ４”は、基準フレームとして使用される。Ｐ４”は、最初に隠蔽されたフレームＰ４ｃよりクオリティがおそらく優れているので、デコードされたフレームＰ６（及び同じ時間的予想スレッド内の後続フレーム）のクオリティもおそらく優れたものになろう。次いで、デコードプロセスが通常に行われる。
【００３１】
エラー隠蔽は、失われた映像パケットの回復又はＣＲＣエラーを含む映像パケットの回復（搬送層がＣＲＣエラー指示を与えることができる場合）に適用することができる。実際には、フレームＰ４が後で参照されない限り、Ｐ６において参照されるブロックだけを隠蔽すればよい（Ｈ．２６３の基準映像選択モードの仕様がこれを許す）。
２スレッド信号の両方向性補間は、その基本的な形態では、次のように行われる。Ｐ５の運動ベクトルは、フレームＰ３、Ｐ４及びＰ５の時間的基準を用いて分割され、フレームＰ４の順方向及び逆方向運動ベクトルを得る。即ち、順方向運動ベクトルＭＶｆは、次の式により成分的（ｘ及びｙ成分）に計算される。
【数１】
但し、ＴＲｎは、フレームｎの時間基準を意味し、そしてＭＶ５は、フレーム３から５の運動ベクトル成分である。逆方向運動ベクトルＭＶｂも同様に計算されるが、倍率係数の分子は、ＴＲ５−ＴＲ４であり、そして符号は、元の符号と逆である。次いで、崩壊領域が２つの時間的方向から予想され、そして最終的に再構成されるブロックは、予想ブロックの重み付けされた平均である。この場合にも、時間基準が重み付け係数として使用される。数学的には、フレームＰ４（Ｐｉｘ４(ｉ、ｊ)で示す）におけるブロックのピクセル（ｉ、ｊ）は、次の式を用いて構成される。
【数２】
【００３２】
簡単化のために、この方法は、Ｐ５からの運動ベクトルがＰ４における対応するマクロブロック位置に直接適用でき、即ちある運動ベクトルにより影響される領域内の運動が考慮されないと仮定する。この仮定は、単にこの例を簡単にするだけのものである。
図５は、両方向性補間機能の一例を示す。これは、非常に簡単な状態を表すもので、フレームＰ３の黒いバー３０がフレームＰ５の右側に移動しておりそして色が明るくされている（ひいては、予想エラーが非ゼロである）。添え字は、フレームｎにおける黒いバー３０の位置を表す。両方向性補間を用いてフレームＰ４”を構成するときには、運動ベクトルＭＶｆは、バーがフレームＰ３にあるところの位置（３０３）を指し、そして運動ベクトルＭＶｂは、フレームＰ５における位置（３０５）を指す。それにより得られるバー（３０４）の色は、基準バーの重み付けされた平均であり、そしてその位置も、基準位置の重み付けされた平均である。簡単化のために、この例は、ブロックベースでないことに注意されたい。
【００３３】
アルゴリズムを更に改善するために、次のような洗練化を行うことができる。
１．フレームＰ３、Ｐ４”（又はＰ４’）及びＰ５を、崩壊領域内のブロックごとに比較する。Ｐ３及びＰ５における空間的に同じ位置にあるブロックが同じである（Ｐ５のブロックが「コード化されない」ブロックとして送信されている）が、Ｐ４’（又はＰ４”）では異なる場合には、ブロックが崩壊しているおそれが最も高い。以前にエラーが検出されていない場合には、それを隠蔽する必要がある。隠蔽は、Ｐ５から対応ブロックをコピーすることにより行うことができ、これは、両方向性補間と同様の結果を与えるが、より簡単である。
２．フレームＰ５においてＩＮＴＲＡモードでコード化されたブロックは、両方向性補間が不所望な異常を生じ得るので、Ｐ５からＰ４’（又はＰ４”）へ直接的にコピーされねばならない。
【００３４】
３．実際にはフレームＰ４とＰ５との間の時間周期中に起こることであるが、Ｐ３とＰ５との間に何らかの変化があった場合には、これらの変化が、隠蔽されたフレームＰ４”に反映されてはならない。この場合に、Ｐ３からの一方向性補間（即ち逆方向予想）は、良好な結果を生じる。この種の状態は、Ｐ４のエラーなし領域における変化を比較することにより検出でき、例えば、エラーなし領域に対しても両方向性補間を実行しそしてどちらの方向がより受け入れられる結果を生じるかチェックすることにより検出できる。更に、エラーなし領域に対して実行されたテスト補間に基づいてＰ３又はＰ５のいずれかにより大きな重みを与えるように、付加的な重み付け係数を導出することができる。
４．又、両方向性補間それ自体は、例えば、境界ピクセル一致のような公知の解決策を使用して運動ベクトルを微同調することにより更に改善することができる。これは、当然、Ｐ４において得られるエラーなしブロックを一致プロセスに使用することを必要とする。
【００３５】
フレームＰ４が完全に失われた場合には、洗練化段階３及び４を使用することができない。
以上、映像シーケンスの映像情報、即ち表示されるべきデータにおけるエラーを参照してエラー隠蔽を説明した。本発明は、映像データのヘッダに生じるエラーを含むフレームにも適用できる。従来、このようなフレームは、回復することができず、ＩＮＴＲＡフレームがデコーダにより必要とされた。
図６は、本発明の更に別の実施形態を示す。他の例の場合と同様に、２つの独立したＶＲＣスレッドがある。Ｐ２の映像ヘッダが送信チャンネルにおいて崩壊されそしてデコーダがその崩壊を検出すると仮定する。ＩＮＴＲＡフレーム要求の直後ではなく、デコーダは、次のフレーム（Ｐ３）を待機する。Ｐ３は、フレームＰ１に対してコード化されたインターフレームである。それ故、デコーダは、崩壊したフレームＰ２が別のＶＲＣスレッドに属するフレームで包囲されており、そしてＰ３がＰ１から時間的に予想されることを決定する。従って、おそらく、Ｐ２もＩＮＴＥＲフレームであり、そして非崩壊スレッド１０ａのフレームＰ１及び／又はＰ３を参照して上述した隠蔽方法を用いてＰ２の推定を発生することができよう。次いで、デコード動作が通常に続けられる。
【００３６】
Ｈ．２６３の基準映像選択モードの逆方向チャンネルメッセージ特徴が使用される場合には、デコーダは、Ｐ４像全体が崩壊され、そしてコード化のための新たな基準フレームとしてＰ３を使用すべきであることを通知できる。送信エンコーダは、この逆方向チャンネルメッセージを受信し、そして正しくデコードされたＰ３を基準として使用して、崩壊したスレッド（Ｐ６）に属する次のフレームをコード化する。このようにして、デコードされた流れは、ＩＮＴＲＡフレームの送信を必要とせずに完全に回復される。逆方向チャンネルメッセージを使用できない場合には、デコードされた流れは、次の同期フレームが到着したときに完全に回復される。その間、崩壊したＶＲＣスレッドにおける時間的予想の初期基準は、再構成されたフレームＰ２である。
【００３７】
従って、本発明は、映像データを回復するのにＩＮＴＲＡフレームがあまり頻繁に要求されることがないので、長いスレッドを使用できることを意味する。それ故、映像冗長性コード化の多層解決策の圧縮効率は、得られる映像クオリティを妥協することなく維持される。
上記の全ての例は、各同期フレーム間に３つのフレームを有する２つのスレッドを参照して説明した。しかしながら、本発明は、３つ以上のスレッドを有する実施形態及び３つ以上又は以下のフレームを有するスレッドにも適用できることが当業者に明らかであろう。例えば、図７は、３つのフレーム１２を各々有する３つのスレッド１０ａ、１０ｂ及び１０ｃとしてエンコードされた映像信号を示す。例えば、スレッド１０ｂのフレームＰ５が崩壊されたとする。この崩壊したフレームＰ５のエラーは、非崩壊スレッド１０ａのフレームＰ４及び／又は非崩壊スレッド１０ｃのフレームＰ６からの補間によって隠蔽することができる。
【００３８】
例えば、フレームＰ４及びＰ６からの両方向性予想によりエラーが隠蔽される場合には、順方向運動ベクトルが次のように計算される。
【数３】
但し、ＴＲは、フレームｎの時間基準を意味し、そしてＭＶ７／４は、スレッド１０ａのフレームＰ７からＰ４までの運動ベクトル成分である。逆方向運動ベクトルも同様に計算されるが、他の非崩壊のスレッド１０ｃから計算され、即ち、次の通りである。
【数４】
次いで、崩壊領域は、２つの時間的方向から予想され、そして最終的な再構成ブロックが予想ブロックの重み付けされた平均となる。この場合も、時間基準は、重み付け係数として使用される。
【００３９】
この場合も、簡単化のために、この方法は、Ｐ４及びＰ６からの運動ベクトルをＰ４の対応するマクロブロック位置に直接適用でき、即ちある運度ベクトルにより影響される領域内の動きが考慮されないと仮定する。この仮定は、単にこの例を簡単にするだけのものである。
添付図面は、単一の同期フレーム１４へ収斂するスレッドを示しているが、各スレッド１０ａ、１０ｂ、１０ｃ等に対して同期フレームがコード化されることを理解されたい。従って、例えば、図７では、スレッド１０ａは、フレーム０、１、４、７、１０、１１、１４、１７、２０を含み、スレッド１０ｂは、フレーム０、２、５、８、１０、１２、１５、１８等を含み、そしてスレッド１０ｃは、フレーム０、３、６、９、１０、１３、１６、１９等を含み、フレーム０、１０、２０等は、同期フレーム１４である。しかしながら、デコーダは、各同期フレーム１４の１つの発生しかデコードする必要がない。
【００４０】
図８は、本発明による映像デコーダの一例を示す。図示されたデコーダは、２つのスレッドとしてエンコードされた映像シーケンスをデコードするように構成される。デコーダは、到来する信号をバッファするためのバッファ３０を備えている。ＶＬＣデコーダ３２は、到来する信号をデコードして信号の量子化ＤＣＴを検索し、これは逆量子化装置３４へ出力される。又、運動ベクトル情報もデコードし、これは運動補償装置３５へ出力される。逆ＤＣＴ変換器３６は、逆量子化装置３４からの量子化解除されたＤＣＴ係数に対して逆変換を行って、予想データを出力する。運動補償装置３５は、以前のフレームの映像データを運動ベクトルに基づいて変更する。変換器３６から出力されたピクセルデータは、加算器３８により運動補償装置３５からの以前のフレームの映像データに加算される。それにより得られる映像データは、次いで、バッファ３９に出力され、後で表示される。
【００４１】
又、加算器３８から出力された映像データは、１組のフレーム記憶装置４０ａ又は４０ｂにも記憶される。スイッチ４２によって選択される記憶装置の組は、デコードされているスレッドによって決定され、即ち組４０ａは、スレッド１０ａからのフレームを記憶し、そして組４０ｂは、スレッド１０ｂからのフレームを記憶する。又、エラー隠蔽に使用するためにフレーム記憶装置４０ａ、４０ｂには運動ベクトルも記憶される。
運動補償装置３５は、１組のフレーム記憶装置からフレームを選択し、その組は、デコードされているフレームによって決定され、即ちスレッド１０ｂのフレームがデコードされている場合には、組４０ｂに記憶された以前のフレームが運動補償装置３５に入力される。
【００４２】
エラー検出装置４４は、デコードされた映像データのエラーを検出する。ＶＬＣデコーダ３２によるフレームのデコード中に、エラーが検出された場合には、デコーダが、上述したエラー隠蔽プロセスを開始する。出力バッファ３９に既に接続されたエラー検出器４４の出力は、この出力をエラー隠蔽区分４６へ接続するように切り換えられる。エラー隠蔽区分４６は、上述したように、別の非崩壊スレッドからのフレーム（１つ又は複数）を参照して現在フレームの崩壊部分に対してエラー隠蔽を実行する。再構成されたフレームは、次いで、後で表示するために出力バッファ３９に出力される。又、再構成されたフレームは、デコーダのプロセッサ（図示せず）により制御されるスイッチ４２で決定されたフレーム記憶装置４０ａ又は４０ｂの適当な組の適当な場所にも記憶される。
【００４３】
フレーム記憶装置４０ａ、４０ｂには、当該現在フレームの崩壊領域の位置も記憶される。
各組のフレーム記憶装置４０ａ、４０ｂにおけるフレーム記憶装置の数は、各々直前及び直後のフレームから順方向及び逆方向にエラー隠蔽を行うためには、通常、２つである。しかしながら、各組のフレーム記憶装置は、エラーの隠蔽に一方向性予想しか使用しない場合には、単一のフレーム記憶装置で構成されてもよい。
明らかに、デコーダには、３つ以上のスレッドを有する多スレッド信号をデコードできるように３組以上のフレーム記憶装置を設けてもよい。
【図面の簡単な説明】
【図１】 ２つのスレッド（又は信号）と、スレッド当たり３つのフレームとを有する多層映像コード化機構を示す図である。
【図２】 ２つのスレッドの一方がダメージを受けたときのＶＲＣの公知動作を示す図である。
【図３】 本発明による方法の１つの実施形態を示す図である。
【図４】 本発明による方法の第２の実施形態を示す図である。
【図５】 エラーを隠蔽するのに使用できるエラー予想方法を示す図である。
【図６】 ＩＮＴＥＲ映像ヘッダ隠蔽の一例を示す図である。
【図７】 ３つのスレッドを有する多スレッド信号に本発明を適用したときの一例を示す図である。
【図８】 本発明によるデコーダの実施形態を示す図である。
【技術分野】
本発明は、映像信号におけるエラーの隠蔽に係り、そしてその方法及び装置に係る。
【０００２】
【背景技術】
移動テレコミュニケーションにおける最近の目標の１つは、データ送信速度を高くしてマルチメディアサービスを移動ネットワークに組み込めるようにすることである。マルチメディアの重要な要素の１つは、デジタル映像である。映像の送信は、動画を表すデータの連続トラフィックより成る。一般的に知られているように、映像を転送するのに必要なデータの量は、多数の他の形式の媒体に比較して高く、低ビットレートターミナルにおける従来の使用量を無視できるほどである。しかしながら、低ビットレートの映像圧縮の分野では著しい進歩が達せられている。約２０キロビット／秒のビットレートにおいて、受け入れられる映像クオリティを得ることができる。ビットレートのこの進歩的減少の結果として、映像は、間もなく、移動チャンネルのようなチャンネルを経て有効なサービスを提供できることになると予想される。
【０００３】
映像シーケンスは、一連の静止像即ちフレームで構成される。映像圧縮方法は、映像シーケンスの冗長性、特に、非当該部分を減少することをベースとしている。映像シーケンスの冗長性は、空間的、時間的及びスペクトル的冗長性に分類することができる。空間的冗長性とは、フレーム内の隣接ピクセル間の相関を意味する。時間的冗長性とは、次々のフレームの領域間の相関を意味する。時間的冗長性は、手前の像に現れた物体が現在の像にも現れる見込みから生じる。圧縮は、現在像と手前の像の類似領域間の動き（即ち変位）を表す動き補償データを発生することにより達成できる。従って、手前の像から現在像が予想される。スペクトル的冗長性とは、同じ像の異なるカラー成分間の相関を意味する。
【０００４】
しかしながら、通常、シーケンスの冗長性を減少するだけでは、充分な圧縮を得ることができない。従って、映像エンコーダは、主観的に重要度が最低の映像シーケンスの部分のクオリティを下げるように試みる。更に、エンコードされたビット流の冗長性は、圧縮パラメータ及び係数の効率的なロスなしコード化により減少される。その主たる技術は、可変長さコードを使用することである。
映像圧縮方法は、通常、時間的冗長性の減少を利用できるか又はできない像を区別化する。時間的冗長性の減少方法を利用しない圧縮像は、通常、ＩＮＴＲＡ又はＩフレームと称され、一方、時間的に予想される像は、ＩＮＴＥＲ又はＰフレームと称される。ＩＮＴＥＲフレームの場合には、予想される（動き補償される）像は、充分に正確であることがほとんどなく、それ故、空間的に圧縮される予想エラー像も各ＩＮＴＥＲフレームに関連される。
【０００５】
圧縮映像は、主として２つの理由で、送信エラーにより崩壊し易い。第１に、時間的予想の差動コード（ＩＮＴＥＲフレーム）を使用するために、空間的及び時間的の両面でエラーが伝播される。実際に、これは、いったんエラーが発生すると、人間の目で比較的長い時間にわたって容易に見える。特に影響を受け易いのは、若干のＩＮＴＲＡコードフレームしかない低いビットレートでの送信である（ＩＮＴＲＡコードフレーム送信は、時間的エラーの伝播を停止する）。第２に、可変長さコードの使用は、エラーに対する影響を高める。ビットエラーがコードワードを異なる長さの別のコードワードに変更するときには、デコーダがコードワードの同期を失うと共に、後続するエラーのないコードワード（多数のビットより成る）も次の同期コードまで不適切にデコードしてしまう。（同期コードは、他のコードワードの合法的に組合せても発生することのできないビットパターンである。）
【０００６】
圧縮映像ビット流の各ビットは、圧縮解除像に対して等しい重要度を有していない。あるビットは、映像形式（例えば、ＩＮＴＲＡ又はＩＮＴＥＲ）、量子化値及び使用した任意のコードモードといった重要な情報を定義するセグメントに属する。Ｈ．２６３では、最も重要な情報が映像ヘッダに集められる。映像ヘッダに送信エラーがあると、通常、映像内容を定める後続ビットの解釈を完全に誤ってしまう。時間的予想の差動コード（ＩＮＴＥＲフレーム）を使用することにより、空間的及び時間的の両面でエラーが伝播される。従って、映像ヘッダ崩壊に対する通常の解決策は、手前の映像をスクリーン上に拘束し、ＩＮＴＲＡ映像要求を送信ターミナルに送信し、そして要求されたＩＮＴＲＡフレームを待機することである。これは、受信映像に厄介な休止を生じさせる。
【０００７】
送信エラーは、その基礎となるネットワークに基づいて異なる特性を有する。パケット交換ネットワークでは、送信エラーは、通常、パケットロス（ネットワーク要素の混雑による）である。回路交換ネットワークでは、送信エラーは、通常、「１」が崩壊して「０」になるか又はその逆のビットエラーである。
送信エラーにより導入される像の質低下を防止するために、再送信を使用したり、エラー検出及び／又はエラー修正方法を適用したり及び／又は崩壊した受信データからの影響を隠蔽したりすることができる。通常、再送信は、映像データ流をエラーから保護するための適当な方法であるが、低ビットレート送信に関連した大きな往復遅延や、中程度又は高いエラー率が、特に、リアルタイムビデオ電話の用途では、再送信の使用を実際上不可能にする。エラー検出及び修正方法は、通常、データにある冗長性を付加するために大きなオーバーヘッドを必要とする。従って、低ビットレートの用途では、送信エラーから像を保護しそして回復するための好ましい方法としてエラー隠蔽が考えられる。映像エラー隠蔽方法は、通常、パケットロス及びビット崩壊により生じる送信エラーに適用することができる。
【０００８】
Ｈ．２６３は、一般に６４ｋｂｐｓ以下のデータレートを意味する低ビットレート通信に対する映像コード化のＩＴＵ−Ｔ推奨勧告である。この推奨勧告は、ビット流のシンタックス及びビット流のデコードを規定する。現在、Ｈ．２６３には、２つのバージョンがある。バージョン１は、コアアルゴリズム及び４つの任意のコードモードより成る。Ｈ．２６３バージョン２は、バージョン１の拡張であり、１２の新規なネゴシエーション可能なコードモードを与える。
映像は、ルミナンス（Ｙ）及び２つのカラー差（クロミナンス）成分（ＣＱ及びＣＲ）としてコード化される。クロミナンス映像は、両座標軸に沿ってルミナンス映像の解像度の半分でサンプリングされる。映像データは、ブロックごとにコード化され、各ブロックは、８ｘ８ピクセルのルミナンス又はクロミナンスを表す。
【０００９】
各コード化映像及びそれに対応するコードビット流は、４つの層をもつハイアラーキー構造で構成され、４つの層は、下から上へ、ブロック層、マクロブロック層、映像セグメント層及び映像層である。映像セグメント層は、ブロックのグループとして構成されてもよいし、スライスとして構成されてもよい。
ブロック層データは、均一に量子化された離散的コサイン変換係数より成り、これらは、ジグザグに走査され、実行長さエンコーダで処理され、そして可変長さコードでコード化される。
各マクロブロックは、１６ｘ１６ピクセルのルミナンス及び空間的に対応する８ｘ８ピクセルのクロミナンス成分に関連している。換言すれば、マクロブロックは、４つの８ｘ８ルミナンスブロックと、２つの空間的に対応する８ｘ８カラー差ブロックで構成される。各ＩＮＴＥＲマクロブロックは、ＩＮＴＥＲマクロブロックのピクセルに類似した基準フレーム内の対応領域の位置を規定する運動ベクトルに関連付けされる。ＩＮＴＥＲマクロブロックのデータは、マクロブロックのピクセルに対するコード化された予想エラーデータを含む。
【００１０】
通常、各映像は、ブロックのグループ（ＧＯＢ）に分割される。ブロックのグループ（ＧＯＢ）は、通常、３３個のマクロブロック（１１個のマクロブロックが３行に配列された）を含む。各ＧＯＢのデータは、任意のＧＯＢヘッダと、それに続くＧＯＢ内のマクロブロックのためのデータとで構成される。
任意のスライス構造モードが使用される場合には、各映像は、ＧＯＢではなくスライスに分割される。スライスは、多数の連続的なマクロブロックを走査順に含む。各スライスのデータは、スライスヘッダと、それに続くスライスのマクロブロックのためのデータとで構成される。
映像層のデータは、全映像領域と、映像データのデコード動作とに影響するパラメータを含む。コード化されたパラメータデータは、いわゆる映像ヘッダに配置される。
【００１１】
映像及びＧＯＢ（又はスライス）ヘッダは、同期コードで始まる。他のコードワード又はコードワードの合法的な組合せが同期コードと同じビットパターンを形成することはない。従って、同期コードは、ビット流のエラー検出及びビットエラー後の再同期に使用することができる。ビット流に加えられる同期コードが多いほど、システムは、エラーに対してより頑丈になる。
映像冗長度コード化（ＶＲＣ）方法が多数の文献に紹介されている（例えば、ステファン・ウェンガー氏の「インターネットにおけるＨ．２６３＋エラーレジリエンスモードＫ．Ｒ．Ｎに対するシミュレーション結果(Simulation Result for H.263+ Error Resilience Modes K. R. N on the Internet)」、ＩＴＵ−Ｔ、ＳＧ１６、クエスチョン１５、ドキュメントＱ１５−Ｄ−１７、７−Ａｐｒ−１９９８）。その目的は、パケット交換ネットワークにおいてパケットロスに対し優雅な映像クオリティ低下を与えることである。この方法の基礎について以下に説明する。
【００１２】
ＶＲＣ方法の原理は、映像のシーケンスを２つ以上の信号（又はスレッド）に分割し、全てのフレームがスレッドの１つにインターリーブ状態で指定されて、フレームのサブセットを形成するようにすることである。各スレッド（又はフレームのサブセット）は、独立してコード化される。明らかに、１つの信号内のフレームレートは、全フレームレートより著しく低く、２つのスレッド（信号）の場合は半分、３つのスレッドの場合は１／３、等々である。これは、実質的なコードペナルティを生じることがある。というのは、信号又はスレッド内の２つのＩＮＴＥＲフレーム間で運動に関連した変化を正確に表すために一般的に大きな変化及び長い運動ベクトルが通常必要とされるからである。全ての信号は、規則的な間隔で、いわゆる同期フレームへと収斂する。この同期フレームから、新たな一連のスレッドがスタートする。
【００１３】
フレームのサブセットを含むスレッドの１つが、例えば、パケットロスのためにダメージを受けた場合には、残りにスレッドはそのままであり、次の同期フレームを予想するのに使用できる。ダメージを受けた信号のデコードを続けることはできるが、若干の映像質低下を招くか、又はデコード動作が停止してフレームレートの低下を招くことがある。しかしながら、サブセットのサイズを適度に小さく保てば、次の同期フレームに到達するまで、質低下は非常に短い時間中に続くだけである。
デコーダは、ダメージを受けていないスレッドの１つから同期フレームを選択し、同期フレームをデコードする。これは、完全な再同期を必要としないので、送信されるＩ映像の数を小さく保持できることを意味する。２つの同期フレーム間で全てのスレッドがダメージを受けた場合には、同期フレームを正確に予想することができない。この状態では、ＶＲＣが使用されなかった場合のように、次のＩ映像が正しくデコードされるまで厄介な欠陥が存在する。
【００１４】
現在、映像冗長度コード化は、任意の基準映像選択モード（添付資料Ｎ）がイネーブルされる場合に、ＩＴＵ−Ｔ Ｈ．２６３映像コード規格（バージョン２）と共に使用することができる。しかしながら、映像冗長度コード化を他の映像圧縮方法に組み込む場合にも大きな障害はない。
ほとんどの既知のエラー隠蔽技術は、空間的及び時間的な補間構成をベースとしている。空間的な補間は、ＩＮＴＲＡフレーム及びＩＮＴＥＲフレームのＩＮＴＲＡコード領域に使用される。空間的補間とは、失われた領域を、空間的に隣接する領域から補間することを意味する。これは、例えば、境界ピクセルの距離重み平均を用いて行うことができる。
【００１５】
時間的補間を用いるエラー隠蔽は、低ビットレートの映像コード化に最も頻繁に使用される。というのは、ＩＮＴＲＡフレームの数が通常少ないからである。非常に基本的な時間的補間機構は、失われた領域を手前のフレームの同じ位置からコピーし、即ち失われたブロックを「コード化されない」ブロックとして取り扱う。更に進歩した機構では、空間的に隣接するブロックの運動ベクトルの中間値又は平均値を使用して動き補償が行われる。又、境界ピクセルの一致を使用して、失われたブロックに対する最良の運動ベクトルを見つける幾つかの提案もなされている。
【００１６】
低解像度及び低ビットレートにおいては、空間的に隣接するブロックの相関がしばしば低いものである。従って、空間的に隣接するピクセルデータに基づいて補間された運動ベクトルは、元の値から離れることがある。これは、一方向の隠蔽機構が元のブロックをしばしば再構成し損なうことを意味する。更に、予想エラーブロックを回復する試みをせずに運動ベクトルのみを隠蔽に使用する場合には、多量の細部が失われるので、映像がぼけることになる。実際に、現在の隠蔽機構を使用すると、エラー又は不適切に隠蔽されたブロックが比較的長時間目に見える。
エラーの傾向のある環境においてＶＲＣをこれまでに提案されたように使用すると、幾つかの問題が生じる。第１に、同期フレーム間の間隔が短い（スレッドの長さは、しばしば、５フレームであると提案されている）場合には、圧縮効率が妥協されることになる。一方、スレッドが長い場合には、エラー隠蔽は、有効でない傾向となり、映像クオリティが妥協されることになる。
【００１７】
【発明の開示】
本発明の第１の特徴によれば、映像シーケンスのフレーム内のエラーを隠蔽する方法であって、映像シーケンスは、複数のフレームより成り、そして少なくとも２つの独立してコード化された信号としてエンコードされ、その各々は、映像シーケンスのフレームのサブセットを表し、上記方法は、映像シーケンスのフレームを表すデータを受信し、フレーム内のエラーを識別し、そしてエラーが識別されたもの以外の信号においてエンコードされた少なくとも１つのフレームを用いて対応データを予想することによりエラーを隠蔽するという段階を含む方法が提供される。
【００１８】
従って、本発明は、別のＶＲＣスレッドの非崩壊フレームから時間的にそして好ましくは両方向に補間を行うことによりエラー領域を隠蔽するマルチスレッド型映像コード化機構に係る。
本発明は、公知解決策よりも優れた像エラー隠蔽を達成する手段を提供する。公知の映像冗長度コード化方法に比較して、同期フレーム間に長いスレッドを使用できるようになり、従って、圧縮効率を高めることができる。
好ましくは、対応データが両方向に予想され、即ちエラーが識別されたフレームの前後に映像シーケンスにおいて生じるフレームを使用して予想され、この前後のフレームは、エラーが識別されたもの以外の少なくとも１つの信号においてエンコードされる。
【００１９】
対応するデータは、エラーが識別されたフレームの直前及び／又は直後に映像シーケンスにおいて生じるフレームを用いて予想できるのが最も好都合であり、上記直前及び直後のフレームは、少なくとも１つの他の信号に存在する。
エラーが識別されたフレームと同じ信号において上記フレームに先行して生じるフレームから対応データを予想することによりエラーが最初に隠蔽される。
エンコードされた信号がヘッダ情報を含むときには、フレームのヘッダにおいてエラーを識別し、フレームがフレーム間コード化フレームであるかどうか決定し、そしてもしそうであれば、エラーが識別されたもの以外の信号においてエンコードされた少なくとも１つのフレームを使用して対応データを予想することにより、ヘッダにエラーを有するフレームを再構成することができる。
【００２０】
本発明の第２の特徴によれば、映像の圧縮解除方法は、映像シーケンスを表す少なくとも２つの信号を受信し、映像シーケンスは複数のフレームより成り、各信号は映像シーケンスのフレームのサブセットを表し、映像シーケンスのフレーム内でエラーを識別し、エラーが識別されたもの以外の信号においてエンコードされた少なくとも１つのフレームを使用して対応データを予想することによりフレーム内のエラーを隠蔽し、そして映像シーケンスのフレームを表示するという段階を含む。
【００２１】
本発明の第３の特徴は、映像シーケンスのフレーム内のエラーを隠蔽する映像エラー隠蔽装置であって、上記映像シーケンスは複数のフレームより成りそして少なくとも２つの独立してコード化された信号としてエンコードされ、その各々は、映像シーケンスのフレームのサブセットを表すような装置において、上記少なくとも２つの信号を受信するための入力と、上記映像シーケンスのフレーム内でエラーを識別するための手段と、エラーが識別されたもの以外の信号においてエンコードされた少なくとも１つのフレームを使用して対応データを予想することによりエラーを隠蔽するための手段とを備えた装置に関する。
【００２２】
好ましくは、隠蔽手段は、エラーが識別されたフレームの前後に映像シーケンスにおいて生じるフレームを用いて対応データを予想するように構成され、上記前後のフレームは、エラーが識別されたもの以外の少なくとも１つの信号においてエンコードされる。
上記隠蔽手段は、エラーが識別されたフレームの直前及び直後に映像シーケンスにおいて生じるフレームを使用して対応データを予想するように構成されるのが最も好ましく、上記直前及び直後のフレームは、少なくとも１つの他の信号に存在する。
【００２３】
上記隠蔽手段は、エラーが識別されたフレームと同じ信号において上記フレームに先行して生じるフレームから対応データを予想することによりエラーを最初に隠蔽するように構成される。
エンコードされた信号がヘッダ情報を含むときには、上記装置は、更に、フレームのヘッダにおけるエラーを識別する手段と、フレームがフレーム間コード化フレームであるかどうか決定する手段とを備え、上記隠蔽手段は、エラーが識別されたもの以外の信号においてエンコードされた少なくとも１つのフレームを使用して対応データを予想するように構成される。
【００２４】
【発明を実施するための最良の形態】
以下、添付図面を参照して、本発明を一例として詳細に説明する。
ＶＲＣのような多スレッドの映像コード化機構によれば、複数のフレーム０、１、２、３、・・ｎより成る映像シーケンスは、少なくとも２つのスレッド又は信号としてエンコードされ、その各々は、映像シーケンスのフレームのサブセットを表す。各スレッドは、他のものとは独立してエンコードされ、そしてスレッドの各フレームは、ＩＮＴＥＲフレーム形態でコード化される（フレームの領域は、良く知られたように、ＩＮＴＲＡフレーム形態でコード化されるが）。従って、ＩＮＴＥＲフレームの少なくとも２つのスレッドは、独立してコード化されそして送信される。ＩＮＴＥＲフレーム（又はＰフレーム）の各々は、スレッドの以前のＩＮＴＥＲフレームに依存するが、他のスレッド内の情報には依存しない。コード化されるべきフレームは、インターリーブされた形態でスレッドに指定される。全てのスレッドは、ＩＮＴＲＡフレームである同期フレームからスタートするが、これは重要ではない。
【００２５】
図１に示す例では、映像シーケンスが２つのスレッド１０ａ、１０ｂを含み、その各々は、スレッド当たり３つのフレーム１２を有する。２つのスレッドしか発生されないので、各スレッドは、映像シーケンスの交互のフレームを含む。各スレッド１０ａ、１０ｂは、同期フレーム１４へと収斂することに注意されたい。ＶＲＣにおいては、各スレッドの最後のフレーム（即ちスレッド１０ａのフレーム５及びスレッド１０ｂのフレーム６）は、同じ同期フレーム１４を独立して発生する。実際には、これを達成するのが困難に思われるが、シミュレーションでは、もう少しで充分に実現できることが示されている（上記ステファン・ウェンガー氏の論文を参照されたい）。
【００２６】
図２は、２つのスレッド又は信号の一方がダメージを受けたときのＶＲＣの公知動作を示す。スレッドがダメージを受けた場合には、そのスレッドが無視され、そして圧縮解除された映像シーケンスを発生するのにもはや使用されないことが提案されている。残りの無傷のスレッドが映像シーケンスを発生するのに使用される。例えば、フレームＰ４がダメージを受けたとする。スレッド１０ｂは、デコードされた映像シーケンスを発生するのにもはや使用されない（これを使用すると、得られる映像シーケンスのフレームレートに質低下を招く）か、又はスレッド１０ｂの次のフレームＰ６が、崩壊したフレームＰ４を参照してデコードされ、これはエラーが伝播されることを意味する。
【００２７】
本発明による隠蔽アルゴリズムの例を以下に述べる。図１及び２の場合と同様に、この例は、スレッド当たり３フレームで発生される２つのスレッド（又は信号）を示す。第１同期フレームにも、ＩＮＴＥＲフレームＰ１、Ｐ２及びＰ３にも送信エラーがないと仮定する。従って、これらのフレームは、通常にデコードされて表示される。フレームＰ４のある部分（全部ではなく）が崩壊したことをデコーダが検出したと仮定する。このとき、映像デコーダは、非崩壊のスレッド１０ａのフレーム（１つ又は複数）を参照してフレームＰ４を隠蔽し始める。この隠蔽は、ダメージを受けた信号の後続フレームのデコードに関連して実行できる。
【００２８】
図３は、本発明の第１実施形態の動作を示す。フレームＰ４（図中ｄＰ４と示された）の圧縮データに送信エラーがあると仮定する。このフレームは、デコードされるが、崩壊したフレーム（ｄＰ４）は、通常、表示されない。しかしながら、フレームｄＰ４の崩壊した領域は、一方向性補間機構を使用することにより非崩壊スレッド１０ａのフレームＰ３を用いて隠蔽される。隠蔽されるフレームをＰ４’と呼ぶ。ダメージを受けていないスレッド１０ａのエラーなしフレームＰ５は、通常に、デコードされて表示される。次いで、ダメージを受けていないスレッドのフレームＰ３及びＰ５を参照してフレームＰ４を両方向隠蔽することにより更なる隠蔽を行うのが好ましい。
【００２９】
使用することのできる補間アルゴリズムの一例を以下に説明するが、他のアルゴリズムも使用できる。
図４は、本発明の第２実施形態の動作を示す。フレームＰ４（図中ｄＰ４と示された）の圧縮データに送信エラーがあると仮定する。このフレームはデコードされるが、崩壊したフレーム（ｄＰ４）は、通常、表示されない。ダメージを受けていないスレッド１０ａのエラーなしフレームＰ５は、通常にデコードされて表示される。その後、本発明によれば、フレームｄＰ４の崩壊した領域は、両方向性補間機構を使用することにより、非崩壊スレッド１０ａのフレームＰ３及びＰ５を用いて隠蔽される。隠蔽されるフレームをＰ４’と呼ぶ。ダメージを受けていないスレッドからの両方向性補間（図４に示す）を使用する利点は、一方向性補間（図３に示す）より好ましい。というのは、両方向性補間は、一般に、優れた隠蔽結果を与えるからである。
【００３０】
本発明の第３の実施形態では、崩壊したフレームＰ４がデコードされ、そして崩壊した領域が、最初に、公知の隠蔽方法を使用することによりＰ２フレームを用いて隠蔽される。隠蔽されたフレーム（Ｐ４ｃ）が表示される。次いで、ダメージを受けていないスレッド１０ａのエラーなしフレームＰ５が通常にデコードされそして表示される。フレームＰ４ｃの隠蔽された領域は、次いで、両方向性補間機構を使用することにより非崩壊スレッド１０ａのフレームＰ３及びＰ５を用いて洗練化される。この隠蔽され洗練化されたフレームをＰ”と称する。Ｐ６をデコードするときに、フレームＰ４”は、基準フレームとして使用される。Ｐ４”は、最初に隠蔽されたフレームＰ４ｃよりクオリティがおそらく優れているので、デコードされたフレームＰ６（及び同じ時間的予想スレッド内の後続フレーム）のクオリティもおそらく優れたものになろう。次いで、デコードプロセスが通常に行われる。
【００３１】
エラー隠蔽は、失われた映像パケットの回復又はＣＲＣエラーを含む映像パケットの回復（搬送層がＣＲＣエラー指示を与えることができる場合）に適用することができる。実際には、フレームＰ４が後で参照されない限り、Ｐ６において参照されるブロックだけを隠蔽すればよい（Ｈ．２６３の基準映像選択モードの仕様がこれを許す）。
２スレッド信号の両方向性補間は、その基本的な形態では、次のように行われる。Ｐ５の運動ベクトルは、フレームＰ３、Ｐ４及びＰ５の時間的基準を用いて分割され、フレームＰ４の順方向及び逆方向運動ベクトルを得る。即ち、順方向運動ベクトルＭＶｆは、次の式により成分的（ｘ及びｙ成分）に計算される。
【数１】
【数２】
簡単化のために、この方法は、Ｐ５からの運動ベクトルがＰ４における対応するマクロブロック位置に直接適用でき、即ちある運動ベクトルにより影響される領域内の運動が考慮されないと仮定する。この仮定は、単にこの例を簡単にするだけのものである。
図５は、両方向性補間機能の一例を示す。これは、非常に簡単な状態を表すもので、フレームＰ３の黒いバー３０がフレームＰ５の右側に移動しておりそして色が明るくされている（ひいては、予想エラーが非ゼロである）。添え字は、フレームｎにおける黒いバー３０の位置を表す。両方向性補間を用いてフレームＰ４”を構成するときには、運動ベクトルＭＶｆは、バーがフレームＰ３にあるところの位置（３０３）を指し、そして運動ベクトルＭＶｂは、フレームＰ５における位置（３０５）を指す。それにより得られるバー（３０４）の色は、基準バーの重み付けされた平均であり、そしてその位置も、基準位置の重み付けされた平均である。簡単化のために、この例は、ブロックベースでないことに注意されたい。
【００３３】
アルゴリズムを更に改善するために、次のような洗練化を行うことができる。
１．フレームＰ３、Ｐ４”（又はＰ４’）及びＰ５を、崩壊領域内のブロックごとに比較する。Ｐ３及びＰ５における空間的に同じ位置にあるブロックが同じである（Ｐ５のブロックが「コード化されない」ブロックとして送信されている）が、Ｐ４’（又はＰ４”）では異なる場合には、ブロックが崩壊しているおそれが最も高い。以前にエラーが検出されていない場合には、それを隠蔽する必要がある。隠蔽は、Ｐ５から対応ブロックをコピーすることにより行うことができ、これは、両方向性補間と同様の結果を与えるが、より簡単である。
２．フレームＰ５においてＩＮＴＲＡモードでコード化されたブロックは、両方向性補間が不所望な異常を生じ得るので、Ｐ５からＰ４’（又はＰ４”）へ直接的にコピーされねばならない。
【００３４】
３．実際にはフレームＰ４とＰ５との間の時間周期中に起こることであるが、Ｐ３とＰ５との間に何らかの変化があった場合には、これらの変化が、隠蔽されたフレームＰ４”に反映されてはならない。この場合に、Ｐ３からの一方向性補間（即ち逆方向予想）は、良好な結果を生じる。この種の状態は、Ｐ４のエラーなし領域における変化を比較することにより検出でき、例えば、エラーなし領域に対しても両方向性補間を実行しそしてどちらの方向がより受け入れられる結果を生じるかチェックすることにより検出できる。更に、エラーなし領域に対して実行されたテスト補間に基づいてＰ３又はＰ５のいずれかにより大きな重みを与えるように、付加的な重み付け係数を導出することができる。
４．又、両方向性補間それ自体は、例えば、境界ピクセル一致のような公知の解決策を使用して運動ベクトルを微同調することにより更に改善することができる。これは、当然、Ｐ４において得られるエラーなしブロックを一致プロセスに使用することを必要とする。
【００３５】
フレームＰ４が完全に失われた場合には、洗練化段階３及び４を使用することができない。
以上、映像シーケンスの映像情報、即ち表示されるべきデータにおけるエラーを参照してエラー隠蔽を説明した。本発明は、映像データのヘッダに生じるエラーを含むフレームにも適用できる。従来、このようなフレームは、回復することができず、ＩＮＴＲＡフレームがデコーダにより必要とされた。
図６は、本発明の更に別の実施形態を示す。他の例の場合と同様に、２つの独立したＶＲＣスレッドがある。Ｐ２の映像ヘッダが送信チャンネルにおいて崩壊されそしてデコーダがその崩壊を検出すると仮定する。ＩＮＴＲＡフレーム要求の直後ではなく、デコーダは、次のフレーム（Ｐ３）を待機する。Ｐ３は、フレームＰ１に対してコード化されたインターフレームである。それ故、デコーダは、崩壊したフレームＰ２が別のＶＲＣスレッドに属するフレームで包囲されており、そしてＰ３がＰ１から時間的に予想されることを決定する。従って、おそらく、Ｐ２もＩＮＴＥＲフレームであり、そして非崩壊スレッド１０ａのフレームＰ１及び／又はＰ３を参照して上述した隠蔽方法を用いてＰ２の推定を発生することができよう。次いで、デコード動作が通常に続けられる。
【００３６】
Ｈ．２６３の基準映像選択モードの逆方向チャンネルメッセージ特徴が使用される場合には、デコーダは、Ｐ４像全体が崩壊され、そしてコード化のための新たな基準フレームとしてＰ３を使用すべきであることを通知できる。送信エンコーダは、この逆方向チャンネルメッセージを受信し、そして正しくデコードされたＰ３を基準として使用して、崩壊したスレッド（Ｐ６）に属する次のフレームをコード化する。このようにして、デコードされた流れは、ＩＮＴＲＡフレームの送信を必要とせずに完全に回復される。逆方向チャンネルメッセージを使用できない場合には、デコードされた流れは、次の同期フレームが到着したときに完全に回復される。その間、崩壊したＶＲＣスレッドにおける時間的予想の初期基準は、再構成されたフレームＰ２である。
【００３７】
従って、本発明は、映像データを回復するのにＩＮＴＲＡフレームがあまり頻繁に要求されることがないので、長いスレッドを使用できることを意味する。それ故、映像冗長性コード化の多層解決策の圧縮効率は、得られる映像クオリティを妥協することなく維持される。
上記の全ての例は、各同期フレーム間に３つのフレームを有する２つのスレッドを参照して説明した。しかしながら、本発明は、３つ以上のスレッドを有する実施形態及び３つ以上又は以下のフレームを有するスレッドにも適用できることが当業者に明らかであろう。例えば、図７は、３つのフレーム１２を各々有する３つのスレッド１０ａ、１０ｂ及び１０ｃとしてエンコードされた映像信号を示す。例えば、スレッド１０ｂのフレームＰ５が崩壊されたとする。この崩壊したフレームＰ５のエラーは、非崩壊スレッド１０ａのフレームＰ４及び／又は非崩壊スレッド１０ｃのフレームＰ６からの補間によって隠蔽することができる。
【００３８】
例えば、フレームＰ４及びＰ６からの両方向性予想によりエラーが隠蔽される場合には、順方向運動ベクトルが次のように計算される。
【数３】
【数４】
【００３９】
この場合も、簡単化のために、この方法は、Ｐ４及びＰ６からの運動ベクトルをＰ４の対応するマクロブロック位置に直接適用でき、即ちある運度ベクトルにより影響される領域内の動きが考慮されないと仮定する。この仮定は、単にこの例を簡単にするだけのものである。
添付図面は、単一の同期フレーム１４へ収斂するスレッドを示しているが、各スレッド１０ａ、１０ｂ、１０ｃ等に対して同期フレームがコード化されることを理解されたい。従って、例えば、図７では、スレッド１０ａは、フレーム０、１、４、７、１０、１１、１４、１７、２０を含み、スレッド１０ｂは、フレーム０、２、５、８、１０、１２、１５、１８等を含み、そしてスレッド１０ｃは、フレーム０、３、６、９、１０、１３、１６、１９等を含み、フレーム０、１０、２０等は、同期フレーム１４である。しかしながら、デコーダは、各同期フレーム１４の１つの発生しかデコードする必要がない。
【００４０】
図８は、本発明による映像デコーダの一例を示す。図示されたデコーダは、２つのスレッドとしてエンコードされた映像シーケンスをデコードするように構成される。デコーダは、到来する信号をバッファするためのバッファ３０を備えている。ＶＬＣデコーダ３２は、到来する信号をデコードして信号の量子化ＤＣＴを検索し、これは逆量子化装置３４へ出力される。又、運動ベクトル情報もデコードし、これは運動補償装置３５へ出力される。逆ＤＣＴ変換器３６は、逆量子化装置３４からの量子化解除されたＤＣＴ係数に対して逆変換を行って、予想データを出力する。運動補償装置３５は、以前のフレームの映像データを運動ベクトルに基づいて変更する。変換器３６から出力されたピクセルデータは、加算器３８により運動補償装置３５からの以前のフレームの映像データに加算される。それにより得られる映像データは、次いで、バッファ３９に出力され、後で表示される。
【００４１】
又、加算器３８から出力された映像データは、１組のフレーム記憶装置４０ａ又は４０ｂにも記憶される。スイッチ４２によって選択される記憶装置の組は、デコードされているスレッドによって決定され、即ち組４０ａは、スレッド１０ａからのフレームを記憶し、そして組４０ｂは、スレッド１０ｂからのフレームを記憶する。又、エラー隠蔽に使用するためにフレーム記憶装置４０ａ、４０ｂには運動ベクトルも記憶される。
運動補償装置３５は、１組のフレーム記憶装置からフレームを選択し、その組は、デコードされているフレームによって決定され、即ちスレッド１０ｂのフレームがデコードされている場合には、組４０ｂに記憶された以前のフレームが運動補償装置３５に入力される。
【００４２】
エラー検出装置４４は、デコードされた映像データのエラーを検出する。ＶＬＣデコーダ３２によるフレームのデコード中に、エラーが検出された場合には、デコーダが、上述したエラー隠蔽プロセスを開始する。出力バッファ３９に既に接続されたエラー検出器４４の出力は、この出力をエラー隠蔽区分４６へ接続するように切り換えられる。エラー隠蔽区分４６は、上述したように、別の非崩壊スレッドからのフレーム（１つ又は複数）を参照して現在フレームの崩壊部分に対してエラー隠蔽を実行する。再構成されたフレームは、次いで、後で表示するために出力バッファ３９に出力される。又、再構成されたフレームは、デコーダのプロセッサ（図示せず）により制御されるスイッチ４２で決定されたフレーム記憶装置４０ａ又は４０ｂの適当な組の適当な場所にも記憶される。
【００４３】
フレーム記憶装置４０ａ、４０ｂには、当該現在フレームの崩壊領域の位置も記憶される。
各組のフレーム記憶装置４０ａ、４０ｂにおけるフレーム記憶装置の数は、各々直前及び直後のフレームから順方向及び逆方向にエラー隠蔽を行うためには、通常、２つである。しかしながら、各組のフレーム記憶装置は、エラーの隠蔽に一方向性予想しか使用しない場合には、単一のフレーム記憶装置で構成されてもよい。
明らかに、デコーダには、３つ以上のスレッドを有する多スレッド信号をデコードできるように３組以上のフレーム記憶装置を設けてもよい。
【図面の簡単な説明】
【図１】 ２つのスレッド（又は信号）と、スレッド当たり３つのフレームとを有する多層映像コード化機構を示す図である。
【図２】 ２つのスレッドの一方がダメージを受けたときのＶＲＣの公知動作を示す図である。
【図３】 本発明による方法の１つの実施形態を示す図である。
【図４】 本発明による方法の第２の実施形態を示す図である。
【図５】 エラーを隠蔽するのに使用できるエラー予想方法を示す図である。
【図６】 ＩＮＴＥＲ映像ヘッダ隠蔽の一例を示す図である。
【図７】 ３つのスレッドを有する多スレッド信号に本発明を適用したときの一例を示す図である。
【図８】 本発明によるデコーダの実施形態を示す図である。
Claims (34)
- 映像フレーム内のエラーを隠蔽する方法であって、上記方法は、
ＶＲＣエンコードされた映像シーケンスの第１の信号スレッドのフレーム内のエラーを識別することを含み、上記ＶＲＣエンコードされた映像シーケンスは少なくとも２つの独立してエンコードされた信号スレッドであって時間的順序を有する映像フレームのシーケンスからエンコードされた信号スレッドを含み、上記時間的順序における連続するフレームはインターリーブされた状態で上記各スレッドに割り当てられ、上記信号スレッドの各々はしたがって映像シーケンスのフレームの独立してエンコードされたサブセットを表し、
さらに上記方法は、
上記第１の信号スレッド以外の信号スレッドにおいてエンコードされたフレーム間の運動を表す運動ベクトルから導出される運動ベクトルを用いて上記誤ったフレームのための像データを予想することにより上記第１の信号スレッドの上記誤ったフレームにおけるエラーを隠蔽することを含むことを特徴とする方法。 - 映像シーケンスにおいて上記時間的順序において上記誤ったフレームの前後にそれぞれ生じ、上記第１の信号スレッド以外の少なくとも１つの信号スレッドにおいてエンコードされたフレーム間の運動を表す運動ベクトルから導出される運動ベクトルを使用して上記誤ったフレームのための像データを予想することを含む前請求項１に記載の方法。
- 映像シーケンスにおいて上記時間的順序において上記誤ったフレームの直前及び直後に生じ、上記第１の信号スレッド以外の信号スレッドにおいてエンコードされたフレームを使用して上記誤ったフレームのための像データを予想することを含む請求項２に記載の方法。
- 上記第１の信号スレッドのフレームの領域を上記他の信号スレッドの直前及び直後のフレームにおける空間的に同じ位置の対応領域と比較し、そして上記他の信号スレッドの直前及び直後のフレームにおける空間的に同じ位置の領域は同じであるが上記第１の信号スレッドのフレームの領域とは異なる場合に、上記第１の信号スレッドにおけるフレームの領域が崩壊しているとみなすことにより、上記第１の信号スレッドのフレームにおける誤りを識別することを含む請求項３に記載の方法。
- 上記他の信号スレッドの直後のフレームから対応領域をコピーすることによって上記第１の信号スレッドのフレームにおけるエラーを隠蔽することを含む請求項４に記載の方法。
- 上記他の信号スレッドの後続フレームにおいてＩＮＴＲＡモードでエンコードされている領域を、上記他の信号スレッドの後続フレームから上記第１の信号スレッドのフレームの対応領域へ直接コピーすることにより上記第１の信号スレッドのフレームにおけるエラーを隠蔽することを含む請求項２ないし５のいずれかに記載の方法。
- 上記誤ったフレームと同じ信号において上記誤ったフレームに先行して生じるフレームから像データを予想することにより上記誤ったフレームにおけるエラーを最初に隠蔽することを含む請求項１ないし６のいずれかに記載の方法。
- エンコードされたフレームはヘッダ情報を含み、上記方法は、更に、第１の信号スレッドのフレームのヘッダにおいてエラーを識別し、上記誤ったフレームがフレーム間コード化フレームであるかどうか決定し、そしてもしそうであれば、上記第１の信号スレッド以外の信号においてエンコードされた少なくとも１つのフレームを使用して上記誤ったフレームのための像データを予想することを含む請求項１ないし７のいずれかに記載の方法。
- 上記誤ったフレームのエラーを隠蔽する上記の段階は、上記誤ったフレームのエラーなし領域に対して両方向性予想を遂行し、そしてどちらの予想方向がより受け入れられる結果を生じるかをチェックすることを含む請求項１ないし８のいずれかに記載の方法。
- 上記エラーなし領域に対して遂行されたテスト予想に基づいて順方向又は逆方向のいずれかの予想により大きな重みを与えるように重み付け係数を導出することを含む請求項９に記載の方法。
- さらに、データのロス及び／またはデータの崩壊を検出することにより上記第１の信号スレッドのフレームにおいてエラーを識別することを含む請求項１ないし１０のいずれかに記載の方法。
- 映像データパケットにおけるＣＲＣエラーを検出することにより上記第１の信号スレッドのフレームの誤りを識別することを含む請求項１ないし１１のいずれかに記載の方法。
- 上記時間的順序における上記誤ったフレームの直前の第２の信号スレッドの第１のフレームと上記時間的順序における上記誤ったフレームの直後の上記第２の信号スレッドの第２のフレームとの間の運動を表す運動ベクトルを使用し、上記第２の信号スレッドの第１のフレームから上記第１の信号スレッドにおける上記誤ったフレームのための誤り隠蔽データの予想のための運動ベクトルを導出し、
上記導出された運動ベクトルを使用して上記第２の信号スレッドの第１のフレームから上記誤ったフレームのための像データの予想を形成することにより、上記第１の信号スレッドの誤ったフレームにおけるエラーを隠蔽すること
を含む請求項１１に記載の方法。 - 上記第２の信号スレッドの第１のフレームと上記第２の信号スレッドの第２のフレームとの間の運動を表す運動ベクトルを使用して、上記第２の信号スレッドの第２のフレームから上記第１の信号スレッドにおける誤ったフレームのための誤り隠蔽データの予想のための更なる運動ベクトルを導出し、
上記更なる導出された運動ベクトルを使用して上記第２の信号スレッドの第２のフレームから上記誤ったフレームのための像データの予想を形成することにより、上記第１の信号スレッドの誤ったフレームにおけるエラーをさらに隠蔽すること
を含む請求項１３に記載の方法。 - 上記時間的順序において誤ったフレームの直前の第２の信号スレッドの第１のフレームと上記時間的順序における上記誤ったフレームの直後の上記第２の信号スレッドの第２のフレームとの間の運動を表す運動ベクトルを使用し、上記第２の信号スレッドの第１のフレームから上記第１の信号スレッドにおける誤ったフレームのための誤り隠蔽データの予想のための第１の運動ベクトルを導出し、
上記第２の信号スレッドの第１のフレームと上記第２の信号スレッドの第２のフレームとの間の運動を表す運動ベクトルを使用し、上記第２の信号スレッドの第２のフレームから上記第１の信号スレッドにおける誤ったフレームのための誤り隠蔽データの予想のための第２の運動ベクトルを導出し、
上記第１及び第２の導出された運動ベクトルの両方及び上記第２の信号スレッドの対応するフレームを用いて上記誤ったフレームのための像データの合成された予想を使用して上記第１の信号スレッドの誤ったフレームにおける誤りを隠蔽すること
を含む請求項１に記載の方法。 - 上記時間順序において上記誤ったフレームに先行して生じる上記第１の信号スレッドの第２のフレームを使用して上記第１の信号スレッドの上記誤ったフレームにおける誤りを最初に隠蔽し、それから、
上記第１及び第２の導出された運動ベクトルの両方及び上記第２の信号スレッドの対応するフレームを用いて上記誤ったフレームのための像データの合成された予想を使用して上記第１の信号スレッドの上記誤ったフレームの隠蔽された領域を洗練すること
を含む請求項１５に記載の方法。 - 映像フレーム内のエラーを隠蔽する装置であって、
上記装置は、
ＶＲＣエンコードされた映像シーケンスの第１の信号スレッドのフレーム内でエラーを識別するための手段を含み、上記ＶＲＣエンコードされた映像シーケンスは少なくとも２つの独立してエンコードされた信号スレッドであって時間的順序を有する映像フレームのシーケンスからエンコードされた信号スレッドを含み、上記時間的順序における連続するフレームはインターリーブされた状態で上記各スレッドに割り当てられ、上記信号スレッドの各々はしたがって映像シーケンスのフレームの独立してエンコードされたサブセットを表し、
さらに上記装置は、
上記第１の信号スレッド以外の信号においてエンコードされたフレーム間の運動を表す運動ベクトルから導出される運動ベクトルを使用して上記誤ったフレームのための像データを予想することにより上記第１の信号スレッドの上記誤ったフレームにおけるエラーを隠蔽するための手段と、
を備えたことを特徴とする装置。 - 上記隠蔽手段は、映像シーケンスにおいて上記時間的順序において上記誤ったフレームの前後それぞれに生じ、上記第１の信号スレッド以外の信号スレッドにおいてエンコードされたフレーム間の運動を表す運動ベクトルから導出される運動ベクトルを用いて上記誤ったフレームのための像データを予想するように構成される請求項１７に記載の装置。
- 上記隠蔽手段は、映像シーケンスにおいて上記時間的順序において上記誤ったフレームの直前及び直後に生じ、上記第１の信号スレッド以外の信号スレッドにおいてエンコードされたフレーム間の運動を表す運動ベクトルから導出される運動ベクトルを使用して上記誤ったフレームのための像データを予想するように構成される請求項１８に記載の装置。
- 上記第１の信号スレッドのフレームの領域を上記他の信号スレッドの直前及び直後のフレームにおける空間的に同じ位置の対応領域と比較し、そして上記他の信号スレッドの直前及び直後のフレームにおける空間的に同じ位置の領域は同じであるが上記第１の信号スレッドのフレームの領域とは異なる場合に、上記第１の信号スレッドにおけるフレームの領域が崩壊しているとみなすことにより、上記第１の信号スレッドのフレームにおける誤りを識別するように構成される請求項１９に記載の装置。
- 上記隠蔽手段は、上記他の信号スレッドの直後のフレームから対応領域をコピーすることによって上記第１の信号スレッドのフレームにおけるエラーを隠蔽するように構成される請求項２０に記載の装置。
- 上記隠蔽手段は、上記他の信号スレッドの後続フレームにおいてＩＮＴＲＡモードでエンコードされている領域を、上記他の信号スレッドの後続フレームから上記第１の信号スレッドのフレームの対応領域へ直接コピーすることにより上記第１の信号スレッドのフレームにおけるエラーを隠蔽するように構成される請求項１８ないし２１のいずれかに記載の装置。
- 上記隠蔽手段は、上記誤ったフレームと同じ信号スレッドにおいて上記誤ったフレームに先行して生じるフレームから像データを予想することにより上記誤ったフレームにおけるエラーを最初に隠蔽するように構成される請求項１７ないし２２のいずれかに記載の装置。
- 上記エンコードされたフレームはヘッダ情報を含み、上記装置は、更に、第１の信号スレッドのフレームのヘッダにおいてエラーを識別する手段と、誤ったフレームがフレーム間コード化フレームであるかどうか決定する手段とを備え、上記隠蔽手段は、上記第１の信号スレッド以外の信号スレッドにおいてエンコードされた少なくとも１つのフレームを使用して上記誤ったフレームのための像データを予想するように構成される請求項１７ないし２３のいずれかに記載の装置。
- 上記隠蔽装置は、上記誤ったフレームのエラーなし領域に対して両方向性予想を遂行し、そしてどちらの予想方向がより受け入れられる結果を生じるかをチェックすることにより、上記誤ったフレームのエラーを隠蔽するように構成された請求項１７ないし２４のいずれかに記載の装置。
- 上記エラーなし領域に対して遂行されたテスト予想に基づいて順方向又は逆方向のいずれかの予想により大きな重みを与えるように重み付け係数を導出するように構成された請求項２５に記載の装置。
- データのロス及び／またはデータの崩壊を検出することにより上記第１の信号スレッドのフレームにおいてエラーを識別する手段を含む請求項１７ないし２６のいずれかに記載の装置。
- 映像データパケットにおけるＣＲＣエラーを検出することにより上記第１の信号スレッドのフレームの誤りを識別する手段を含む請求項１７ないし２７のいずれかに記載の装置。
- 上記隠蔽手段は、
上記時間的順序における上記誤ったフレームの直前の第２の信号スレッドの第１のフレームと上記時間的順序における上記誤ったフレームの直後の上記第２の信号スレッドの第２のフレームとの間の運動を表す運動ベクトルを使用し、上記第２の信号スレッドの第１のフレームから上記第１の信号スレッドにおける上記誤ったフレームのための誤り隠蔽データの予想のための運動ベクトルを導出し、
上記導出された運動ベクトルを使用して上記第２の信号スレッドの第１のフレームから上記誤ったフレームのための像データの予想を形成することにより、上記第１の信号スレッドの誤ったフレームにおけるエラーを隠蔽する
ように構成される請求項１７に記載の装置。 - 上記隠蔽手段は、
上記第２の信号スレッドの第１のフレームと上記第２の信号スレッドの第２のフレームとの間の運動を表す運動ベクトルを使用して、上記第２の信号スレッドの第２のフレームから上記第１の信号スレッドにおける誤ったフレームのための誤り隠蔽データの予想のための更なる運動ベクトルを導出し、
上記更なる導出された運動ベクトルを使用して上記第２の信号スレッドの第２のフレームから上記誤ったフレームのための像データの予想を形成することにより、上記第１の信号スレッドの誤ったフレームにおけるエラーをさらに隠蔽する
ように構成される請求項２９に記載の装置。 - 上記隠蔽手段は、
上記時間的順序において誤ったフレームの直前の第２の信号スレッドの第１のフレームと上記時間的順序における上記誤ったフレームの直後の上記第２の信号スレッドの第２のフレームとの間の運動を表す運動ベクトルを使用し、上記第２の信号スレッドの第１のフレームから上記第１の信号スレッドにおける誤ったフレームのための誤り隠蔽データの予想のための第１の運動ベクトルを導出し、
上記第２の信号スレッドの第１のフレームと上記第２の信号スレッドの第２のフレームとの間の運動を表す運動ベクトルを使用し、上記第２の信号スレッドの第２のフレームから上記第１の信号スレッドにおける誤ったフレームのための誤り隠蔽データの予想のための第２の運動ベクトルを導出し、
上記第１及び第２の導出された運動ベクトルの両方及び上記第２の信号スレッドの対応するフレームを用いて上記誤ったフレームのための像データの合成された予想を使用して上記第１の信号スレッドの誤ったフレームにおける誤りを隠蔽する
ように構成される請求項１７に記載の装置。 - 上記隠蔽手段は、
上記時間順序において上記誤ったフレームに先行して生じる上記第１の信号スレッドの第２のフレームを使用して上記第１の信号スレッドの上記誤ったフレームにおける誤りを最初に隠蔽し、それから、
上記第１及び第２の導出された運動ベクトルの両方及び上記第２の信号スレッドの対応するフレームを用いて上記誤ったフレームのための像データの合成された予想を使用して上記第１の信号スレッドの上記誤ったフレームの隠蔽された領域を洗練する
ように構成される請求項３１に記載の装置。 - 請求項１７ないし３１のいずれかに記載の装置を含む移動電話装置。
- 請求項１７ないし３１のいずれかに記載の装置を含む通信ネットワークのための装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB9823898A GB2343321B (en) | 1998-11-02 | 1998-11-02 | Error concealment in a video signal |
| GB9823898.3 | 1998-11-02 | ||
| PCT/EP1999/008162 WO2000027129A1 (en) | 1998-11-02 | 1999-10-27 | Error concealment in a video signal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002529978A JP2002529978A (ja) | 2002-09-10 |
| JP4537583B2 true JP4537583B2 (ja) | 2010-09-01 |
Family
ID=10841651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000580389A Expired - Fee Related JP4537583B2 (ja) | 1998-11-02 | 1999-10-27 | 映像信号のエラー隠蔽 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US6744924B1 (ja) |
| EP (1) | EP1127467B1 (ja) |
| JP (1) | JP4537583B2 (ja) |
| CN (1) | CN1192634C (ja) |
| AT (1) | ATE494734T1 (ja) |
| AU (1) | AU1155900A (ja) |
| DE (1) | DE69943111D1 (ja) |
| GB (1) | GB2343321B (ja) |
| WO (1) | WO2000027129A1 (ja) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7206016B2 (en) * | 2000-05-01 | 2007-04-17 | Polycom, Inc. | Filtering artifacts from multi-threaded video |
| GB2370932A (en) * | 2001-01-09 | 2002-07-10 | Sony Uk Ltd | Reduction in defect visibilty in image signals |
| JP4015934B2 (ja) | 2002-04-18 | 2007-11-28 | 株式会社東芝 | 動画像符号化方法及び装置 |
| EP1387587A1 (en) * | 2002-07-30 | 2004-02-04 | Matsushita Electric Industrial Co., Ltd. | Image encoder and decoder with error concealment of motion vector losses |
| US7068722B2 (en) * | 2002-09-25 | 2006-06-27 | Lsi Logic Corporation | Content adaptive video processor using motion compensation |
| US7827458B1 (en) * | 2003-03-03 | 2010-11-02 | Apple Inc. | Packet loss error recovery |
| MXPA06003925A (es) * | 2003-10-09 | 2006-07-05 | Thomson Licensing | Proceso de derivacion de modo directo para el ocultamiento de error. |
| US7394855B2 (en) * | 2003-11-20 | 2008-07-01 | Mitsubishi Electric Research Laboratories, Inc. | Error concealing decoding method of intra-frames of compressed videos |
| KR100531895B1 (ko) * | 2004-02-26 | 2005-11-29 | 엘지전자 주식회사 | 이동통신 시스템에서의 영상 블럭 오류 은닉 장치 및 방법 |
| US20100033622A1 (en) * | 2004-03-24 | 2010-02-11 | Erwin Bellers | Multiple description coding video transmission using de-interlacing mechanisms |
| EP1638337A1 (en) | 2004-09-16 | 2006-03-22 | STMicroelectronics S.r.l. | Method and system for multiple description coding and computer program product therefor |
| KR100755688B1 (ko) | 2005-02-02 | 2007-09-05 | 삼성전자주식회사 | 에러 은닉 장치 및 방법 |
| US20060215754A1 (en) * | 2005-03-24 | 2006-09-28 | Intel Corporation | Method and apparatus for performing video decoding in a multi-thread environment |
| US7660354B2 (en) * | 2005-05-11 | 2010-02-09 | Fang Shi | Temporal error concealment for bi-directionally predicted frames |
| EP1732331A1 (en) * | 2005-06-08 | 2006-12-13 | BRITISH TELECOMMUNICATIONS public limited company | Video coding |
| WO2007003836A2 (fr) * | 2005-06-30 | 2007-01-11 | France Telecom | Procede et dispositif de codage video |
| KR100736041B1 (ko) * | 2005-06-30 | 2007-07-06 | 삼성전자주식회사 | 에러 은닉 방법 및 장치 |
| KR100825737B1 (ko) * | 2005-10-11 | 2008-04-29 | 한국전자통신연구원 | 스케일러블 비디오 코딩 방법 및 그 코딩 방법을 이용하는코덱 |
| JP5275810B2 (ja) * | 2005-12-07 | 2013-08-28 | トムソン ライセンシング | 基準フレームの選択ルールを使用したビデオエラー隠蔽の方法及び装置 |
| CN1852430B (zh) * | 2005-12-28 | 2012-01-11 | 华为技术有限公司 | 一种提高数字视频质量的方法 |
| US8335252B2 (en) | 2006-09-07 | 2012-12-18 | Thomson Licensing | Method and apparatus for encoding groups of pictures of a video sequence, each of said groups including an intra encoded picture and more than two encoded pictures |
| KR101420098B1 (ko) * | 2007-06-19 | 2014-07-17 | 삼성전자주식회사 | 영상의 공간적 에러 은닉 방법 및 장치 |
| JP5098784B2 (ja) * | 2008-04-30 | 2012-12-12 | サクサ株式会社 | 映像通信装置 |
| KR101155587B1 (ko) * | 2008-12-19 | 2012-06-19 | 주식회사 케이티 | 전송에러 복원을 위한 장치 및 방법 |
| JP2013102256A (ja) * | 2010-03-11 | 2013-05-23 | Nippon Telegr & Teleph Corp <Ntt> | 伝送エラー隠蔽処理装置，方法およびそのプログラム |
| US11553211B2 (en) * | 2013-01-03 | 2023-01-10 | Disney Enterprises, Inc. | Heuristic detection of potential digital media artifacts and defects in digital media assets |
| CN105103554A (zh) * | 2013-03-28 | 2015-11-25 | 华为技术有限公司 | 用于保护视频帧序列防止包丢失的方法 |
| US10841621B2 (en) * | 2017-03-01 | 2020-11-17 | Wyse Technology L.L.C. | Fault recovery of video bitstream in remote sessions |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0479689A (ja) * | 1990-07-20 | 1992-03-13 | Matsushita Electric Ind Co Ltd | 画像の誤り修正方法 |
| US5146324A (en) | 1990-07-31 | 1992-09-08 | Ampex Corporation | Data compression using a feedforward quantization estimator |
| US5146325A (en) * | 1991-04-29 | 1992-09-08 | Rca Thomson Licensing Corporation | Video signal decompression apparatus for independently compressed even and odd field data |
| US5212549A (en) * | 1991-04-29 | 1993-05-18 | Rca Thomson Licensing Corporation | Error concealment apparatus for a compressed video signal processing system |
| US5400076A (en) * | 1991-11-30 | 1995-03-21 | Sony Corporation | Compressed motion picture signal expander with error concealment |
| KR100261072B1 (ko) * | 1993-04-30 | 2000-07-01 | 윤종용 | 디지털 신호처리시스템 |
| CA2166884C (en) * | 1993-07-19 | 1999-12-28 | Angela Ruth Murphy | Detecting errors in video images |
| US5438374A (en) * | 1993-12-10 | 1995-08-01 | At&T Corp. | System and method for filtering video signals |
| JPH07170513A (ja) * | 1993-12-15 | 1995-07-04 | Hitachi Ltd | 画像符号化復号化方法 |
| JPH0818979A (ja) * | 1994-06-27 | 1996-01-19 | Canon Inc | 画像処理装置 |
| JPH08154247A (ja) * | 1994-09-29 | 1996-06-11 | Sanyo Electric Co Ltd | 圧縮画像データ処理装置及び方法 |
| KR100215428B1 (ko) * | 1995-01-23 | 1999-08-16 | 윤종용 | B픽처의에러은폐방법 |
| JPH08223568A (ja) * | 1995-02-10 | 1996-08-30 | Alpine Electron Inc | Ｂピクチャのマクロブロック画像復元方法 |
| GB2303267B (en) * | 1995-06-06 | 2000-03-22 | Sony Uk Ltd | Video compression |
| DE19636867C1 (de) * | 1996-09-11 | 1998-01-02 | Philips Patentverwaltung | Störsignalbefreiung von Videosignalen mittels adaptiver Medianfilterung |
| US5910827A (en) * | 1997-02-26 | 1999-06-08 | Kwan; Katherine W. | Video signal decoding arrangement and method for improved error concealment |
-
1998
- 1998-11-02 GB GB9823898A patent/GB2343321B/en not_active Expired - Fee Related
-
1999
- 1999-10-27 DE DE69943111T patent/DE69943111D1/de not_active Expired - Lifetime
- 1999-10-27 JP JP2000580389A patent/JP4537583B2/ja not_active Expired - Fee Related
- 1999-10-27 CN CN99812987.9A patent/CN1192634C/zh not_active Expired - Fee Related
- 1999-10-27 AT AT99971616T patent/ATE494734T1/de not_active IP Right Cessation
- 1999-10-27 WO PCT/EP1999/008162 patent/WO2000027129A1/en active Application Filing
- 1999-10-27 AU AU11559/00A patent/AU1155900A/en not_active Abandoned
- 1999-10-27 EP EP99971616A patent/EP1127467B1/en not_active Expired - Lifetime
- 1999-11-02 US US09/432,390 patent/US6744924B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| CN1325594A (zh) | 2001-12-05 |
| DE69943111D1 (de) | 2011-02-17 |
| AU1155900A (en) | 2000-05-22 |
| CN1192634C (zh) | 2005-03-09 |
| ATE494734T1 (de) | 2011-01-15 |
| EP1127467B1 (en) | 2011-01-05 |
| JP2002529978A (ja) | 2002-09-10 |
| US6744924B1 (en) | 2004-06-01 |
| GB9823898D0 (en) | 1998-12-30 |
| WO2000027129A1 (en) | 2000-05-11 |
| EP1127467A1 (en) | 2001-08-29 |
| GB2343321B (en) | 2003-03-26 |
| GB2343321A (en) | 2000-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4537583B2 (ja) | 映像信号のエラー隠蔽 | |
| EP1205076B1 (en) | Video coding | |
| JP5007012B2 (ja) | ビデオ符号化方法 | |
| JP4362259B2 (ja) | ビデオ符号化方法 | |
| US6611561B1 (en) | Video coding | |
| JP3630474B2 (ja) | 動画像伝送システム及び動画像伝送装置 | |
| JPH09121358A (ja) | 画像符号化及び復号化装置と方法 | |
| KR100585710B1 (ko) | 가변길이 동영상 부호화 방법 | |
| CA2477554A1 (en) | Video processing | |
| KR20000067180A (ko) | 영상 복원 장치 및 이를 이루기 위한 오류 은닉 방법 | |
| JP2887177B2 (ja) | 動画像圧縮符号の復号方法及び復号装置 | |
| JPH0937244A (ja) | 動画像データ誤り検出装置 | |
| KR100312418B1 (ko) | 동영상부호화장치에서인트라모드부호화선택방법 | |
| KR20040034188A (ko) | 동영상 디코딩 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061026 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090518 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090721 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090728 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100527 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100618 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130625 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |