JP4614395B2 - 送信中に損失を受けた画像を受信する方法及び装置 - Google Patents

Description

本発明は、データの処理に関し、特に、通信網を介して互いに接続された送信装置と受信装置との間のデータの交換中におけるデータ損失の隠蔽に関する。

また、本発明は、無線通信網を介するビデオ送信の分野に適用される。

なお、本発明は、送信装置から受信装置へのドメスティックな適用に関するが、それに限定されない。

実際のところ、送信装置及び受信装置は、潜在的にはモバイル組み込みシステムである。送信装置は、ビデオの収集及び圧縮の後に送信装置がビデオを記憶することを可能にする記憶能力を有する。記憶の完了後、ユーザは、視聴用の受信装置においてビデオの視聴を要求できる。この目的のために、送信装置と受信装置との間に無線接続が形成される。送信装置と受信装置との間で第１の情報項目が交換され、受信装置は、その受信装置の性質、能力及びユーザの希望を知ることができる。それらの第１の情報項目は、計算能力、表示能力及び復号化能力に関して受信装置を記述してもよい。その後、送信中に、第２の情報項目が交換される。第１の一連の情報項目とは異なり、第２の情報項目は、定期的に更新される。第２の情報項目は、特に、受信装置の観点から見た通信網（ネットワーク）の状態の展開（evolution）を記述する。それらの第２の情報項目の解析に基づき、受信装置は、ビデオの適合を促されてもよい。

実際、ビデオのアプリケーションは、送信装置と受信装置との間の通信網が安定状態にある場合にのみ有効である。このアプリケーションでは、２つの状態の間の遷移期間は処理が行なわれない。例えば、通信網の能力が低下した場合、送信装置にその変化が警告されない限り、損失が起こる。

従来、ＩＳＯ（国際標準化機構：International StandardsOrganization）により定義されるＯＳＩ（OpenSystemsInterconnection）モデルは、以下に示す７つの層の形態で通信システムを表す。即ち：
− 通信媒体を介するビット送信を処理する物理層；
− 送信エラーが存在しないようにネットワーク層に見せるために、通信媒体を処理するデータリンク層；
− サブネットワーク間のデータのルーティングを処理するネットワーク層；
− セッション層のデータを処理し、必要に応じてデータをより小さな単位に分断し、全てのデータピースが適正に受信機に到達するように保証するトランスポート層；
− トランスポート層に対して、よりレベルの高いサービス（通信システムの同期化、双方向又は単方向セッションの管理など）を提供することを目的とするセッション層；
− 送信されるデータの構文及び意味に集中し、送信されるデータが通信システムの両側で理解されるように保証するプレゼンテーション層；及び
− 通信システム（送信、ファイルの閲覧など）の考えられる全てのアプリケーションを実行するアプリケーション層。

実際には、通信システムが上記の層のうち１つを実行しないこともあるため、この表現は全く理論上のものである。

一般に、ビデオを送信するクライアント／サーバアプリケーションにおいては、クライアント装置は、トランスポート層及びアプリケーション層の動作を実行する３つの主要な要素により構成されると考えることができる。
それら３つの要素とは、パケットを受信する第１のユニットと、復号化のための第２のユニットと、表示のための第３のユニットである。第１のユニットはトランスポート層に属し、第２及び第３のユニットは、アプリケーション層に属する。受信及び復号化のためのユニットは、パケットのコンテンツに対して、記憶ユニットを共有する。復号化ユニット及び表示ユニットは、復号化画像を記憶するためのユニットを共有する。

パケット記憶ユニットのコンテンツは、一般に、復号化画像記憶ユニットのコンテンツに関して先行している。言い換えれば、トランスポート層は、復号器によりまだ復号化されていないいくつかの画像を記憶している。

一般に、トランスポート層とアプリケーション層とは、情報をほとんど交換しないか又は全く交換しない。トランスポート層は、損失の発生及びその位置を示すだけである。これにより、復号器が損失の位置に到達したときに、復号器が非同期化する事態は回避される。

米国特許第５，２４７，３６３号公報（特許文献１）においては、復号化中に画像エラーが検出された場合に、利用可能な画像のみを使用して、すなわち、現在の画像及び基準画像を使用して、シーケンスの時間的アクティビティ及び空間的アクティビティを計算する方法が提供される。その後、損失隠蔽の方法を選択するために、それら２つのアクティビティは比較される。従って、解析される画像の数を増加することにより、空間的アクティビティ及び時間的アクティビティの計算の精度を向上することは不可能である。

２予測Ｂ画像（bi-predicted B images）に焦点を絞った同様の方法が、米国特許第５，７２７，０８８号公報（特許文献２）において提案されている。この場合にも、復号器は、現在の画像の復号化の時点で初めて、損失を隠蔽する方法を開始する。その後、復号器は、利用可能な画像のみを使用して、シーンの変化を検出し、マクロブロックの損失をどのように隠蔽すべきかを判定する。

損失隠蔽の方法を選択する更に単純な方法が、米国特許第６，４４９，３１１号公報（特許文献３）において提案されている。この方法においては、復号器は、動きの連続性を記述する情報を保持する。損失が発生した場合、隠蔽に空間補間を使用すべきか又は時間補間を使用すべきかを判定するために、動きの連続性が試験される。この場合、動き情報は、連続的に計算及び保持される。トランスポート層からの情報は使用されない。

運動ベクトルを使用すべきか否かを判定するために、動きの連続性を試験する同様の概念が、米国特許第６，６６５，３４５号公報（特許文献４）に記載されている。
米国特許第５，２４７，３６３号明細書 米国特許第５，７２７，０８８号明細書 米国特許第６，４４９，３１１号明細書 米国特許第６，６６５，３４５号明細書

出願人自身は、ビデオ受信装置における情報の損失に最もよく適合する方法を選択する方法を提供するという課題を設定した。

上記の問題を解決する方法は、本発明により提供される。

本発明は、トランスポート層から情報を収集し、復号器により損失を予測することにより隠蔽方法を選択する手順に関する。

従って、本発明は、通信網を介して受信装置に接続された送信装置との間のデータの交換中に損失を受けたビデオシーケンスの画像を受信する受信装置で、トランスポート層を実行する第１のモジュールとアプリケーション層を実行する第２のモジュールとを少なくとも具備し、アプリケーション層は、ビデオの復号化を実行する第１のサブモジュールと前記ビデオの表示を実行する第２のサブモジュールの２つのサブモジュールを有する受信装置において実行される受信方法に関する。

本発明の一般的定義によれば、方法は、
− トランスポート層において、トランスポート層がデータの損失を検出した場合、直ちにアプリケーション層に向けてデータの損失の検出信号を送信するステップと；
− 前記検出信号を受信したとき、アプリケーション層自体がそのようにして検出された前記データの損失を検出するのを待たずに、アプリケーション層において損失隠蔽メカニズムを実行するステップとを有する。

従って、本発明に従った方法によれば、損失が検出されると、トランスポート層は、損失が起こったことをアプリケーション層に直ちに報知する。次に、アプリケーション層は、復号化中のエラーを含む画像を待つことなく、損失隠蔽方法を開始する。

例えば、損失隠蔽メカニズムは、検出信号の受信に続く画像で始まるエラー汚染画像に先行する各画像からの動き情報を格納することから開始する。

方法は、そのようにして格納される動き情報の解析により、動きの性質を判定するステップを更に含むのが好ましい。

次に、復号器は、エラー汚染画像に至るまで、パケット記憶ユニットに格納された全ての画像の解析を開始する。この予備解析により、シーケンスの特性について、従来技術の方法より精確な情報を収集できる。これは、解析される画像の数が増加するためである。この解析によって、損失隠蔽方法が実行可能であるかを決定できると共に、隠蔽方法のセットの中から最良の方法を選択できる。例えば、動き情報の解析は、現在のマクロブロックのベクトルと近傍のマクロブロックのベクトルとの差のベクトルのノルムを考慮に入れる。

損失の隠蔽が不可能である場合には、画像を漸進的に曖昧化する方法（フェージングとも呼ばれる）が適用される。実際、ユーザにとっては、画質が急激に劣化し、不正確に復号化された画像が表示されるより、エラーが起こった場合にシーケンスのフェージングを適用し、シーケンスが再同期化されるまで何も表示されないほうが好ましい。

本発明は、更に、通信網を介して受信装置に接続された送信装置との間のデータの交換中に損失を受けたビデオシーケンスの画像を受信する受信装置で、トランスポート層を実行する第１のモジュールとアプリケーション層を実行する第２のモジュールとを少なくとも具備し、アプリケーション層は、ビデオの復号化を実行する第１のサブモジュールと前記ビデオの表示を実行する第２のサブモジュールとに分割されている受信装置に関する。

本発明の別の面によれば、装置は、
−トランスポート層がデータの損失を検出した場合、アプリケーション層に向けてデータ損失の検出信号を直ちに送信する手段をトランスポート層に具備し；且つ
−前記損失の検出信号を受信したとき、前記アプリケーション層自体がそのようにして検出された前記データ損失を検出するのを待たずに実行される損失隠蔽メカニズムをアプリケーション層に具備する。

例えば、前記損失隠蔽メカニズムは、検出信号の受信に続く画像で始まるエラー汚染画像に先行する各画像からの動き情報を格納する手段を具備する。

一実施形態によれば、装置は、格納された動き情報の解析により動きの性質を判定する手段を更に具備する。実際には、動き情報を解析する手段は、現在のマクロブロックのベクトルと近傍のマクロブロックのベクトルとの差のベクトルのノルムを考慮に入れる。

別の実施形態によれば、規則的であると考えられる動きに応じて、損失隠蔽メカニズムは、受信装置において利用可能である方法のセットの中から１つの方法を選択するか、又は画像をフェージングする処理を選択する。

本発明は、更に、コンピュータシステムにより読み取り可能であり、全体又は一部が着脱自在の情報キャリアで、特にＣＤ−ＲＯＭ又はハードディスク又はディスケットのような磁気媒体、あるいは電気信号又は光信号のような伝達媒体などの情報キャリアであって、プログラムがコンピュータシステムによりロード及び実行されたとき、上記の方法を実行可能とするコンピュータプログラムの命令を具備することを特徴とする情報キャリアに関する。

最後に、本発明は、情報キャリアに格納されたコンピュータプログラムであって、プログラムがコンピュータシステムによりロード及び実行されたとき、上記の方法を実行可能とする命令を具備するコンピュータプログラムに関する。

本発明の他の特徴及び利点は、以下の説明及び添付の図面を参照することにより明らかになるであろう。

本発明は、特に、送信装置と受信装置との間のビデオ送信システムに適用される。送信装置は、例えば、ＩＥＥＥ８０２．１１ａ、ｂ又はｇプロトコルに準拠したカードのような無線送信能力、ＭＰＥＧ−４規格に従った記憶、計算及び符号化の能力を有するスチルカメラ、ビデオカメラ又はパーソナルアシスタント等の組み込みシステムである。受信装置に関していえば、これは、送信装置と同一のプロトコルに準拠したカードのような受信能力並びにＭＰＥＧ−４規格に従った計算、記憶及び復号化の能力を有するテレビなどの表示装置である。本発明が非組み込みシステム及び／又は有線通信網においても機能することは明らかである。送信装置及び受信装置は、ＲＴＰプロトコル、ＵＤＰプロトコル又はＩＰプロトコルなどのプロトコルを使用して通信する。

以下の説明では、受信装置についてのみ説明する。これは、本発明の場合、送信装置が積極的な役割を果たさず、単にビデオを送信し続けるためである。

図１には、受信装置の不可欠な構成要素が示されている。

受信装置は、送信装置により通信網（図示せず）を介して送信されるパケットを受信可能な通信網受信ユニット１を具備する。通信網記憶ユニット２は、そのようにして受信されたパケットのコンテンツを格納する。受信装置は、ビデオ復号器３、計算ユニットＣＰＵ４、ランダムアクセスメモリＲＡＭ５、復号化画像記憶ユニット６及び表示画面７を更に具備する。

受信装置は、例えば、ハードディスク及びディスケットドライブなどの種々の周辺装置に接続されたマイクロコンピュータである。ディスケットは、ディスクと同様に、本発明に従って処理されたデータ並びに本発明のコードを格納でき、本発明のコードは、中央処理装置４により読み取られた後、ハードディスクに格納される。

変形例として、装置により本発明を実行可能とするプログラムを読み出し専用メモリ（図示せず）に格納できる。

第２の変形例においては、先に説明したのと全く同じ方式で通信網（図示せず）を介してプログラムを受信し、格納できる。中央処理装置４（図面においてはＣＰＵとして示される）は、読み出し専用メモリ（図示せず）又は他の記憶手段に格納された本発明の実現に関連する命令を実行する。始動後、不揮発性メモリに格納された拡張プログラムは、ランダムアクセスメモリＲＡＭ５へ転送される。ランダムアクセスメモリＲＡＭ５は、本発明の実行可能コード、並びに本発明を実現するために必要な変数を格納するレジスタを含む。言うまでもなく、ディスケットの代わりに、ＣＤ−ＲＯＭ又はメモリカードなどの任意の形態の情報キャリアが使用されてもよい。より一般的な用語で言えば、受信装置に一体に組み込まれているか否かに関わらず、コンピュータ又はマイクロプロセッサにより読み取り可能である情報記憶手段が、本発明による方法を実行するプログラムを格納する。なお、そのような情報記憶手段は、着脱自在であってもよい。

図２及び図３を参照すると、受信装置は、並列して実行され、信号により相互に通信する２つの処理を実行する。第１の処理は受信処理であり、ステップＳ２０１〜Ｓ２０３により説明される。第２の処理は復号化処理であり、ステップＳ２１１〜Ｓ２３１により説明される。尚、それら２つの処理は、それぞれ、トランスポート層及びアプリケーション層を実行する。

受信処理は、ステップＳ２０１において、ＲＴＰパケットの受信により開始される。このパケットは、アプリケーション層がパケットのコンテンツを使用し終わるまで、通信網記憶ユニット２に格納される。その後、コンテンツは消去される。それらのパケットのヘッダは、パケットに含まれる画像番号の識別を可能にする２つの情報項目を含む。それらの情報項目とは、
− 各パケットを識別し、パケットが送信されるたびに１増分される一意なシーケンス番号（sequencenumber）と、
− タイムスタンプ（timestamp）である。この場合、符号化器はこの識別子を制御し、この識別子は、新たな画像が送信されるたびに、２つの画像の間の時間的離間の値だけ増分されるものと仮定する。例えば、シーケンスが毎秒２５画像の速度で再生される場合、画像間の時間的離間は、δ＝０．０４ｓである。尚、１つの画像がいくつかのパケットとして送信される場合、それらのパケットは同一のタイムスタンプを有する。

ステップＳ２０３において、受信ユニット１は、それら２つの標識を計算ユニット４へ送信する。

図３を参照して、計算ユニット４により実行される処理の詳細を説明する。ステップＳ３０１において、計算ユニット４はランダムアクセスメモリ５に、
− 受信された直前のパケットのシーケンス番号P_n；
− 受信された先行パケットのシーケンス番号P_n-1；
− 受信された直前のパケットのタイムスタンプT_n；及び
− 受信された先行パケットのタイムスタンプT_n-1を格納する。

次に、ステップＳ３０３において、上記のシーケンス番号の差が計算され、数値差分（delta）Δ_pが求められ、更に、上記のタイムスタンプの差が計算され、時間差分（delta）Δ_tが求められる。ステップＳ３０５において、数値差分Δ_pの値が試験される。この値が１より大きい場合、少なくとも１つのパケットが失われている。この場合、ステップＳ３０５に続いて、ステップＳ３０７が実行される。このステップにおいて、少なくとも１つのパケットが失われたことを復号器に指示するために、復号器へ検出信号が送信される。ステップＳ３０７に続いて、ステップＳ３０９が実行される。ステップＳ３０９においては、時間差分Δ_tの値が検証される。この値が０に等しい場合、現在の画像の一部が失われている。その後、画像番号、パケット番号及びパケットの「損失」状態は、ランダムアクセスメモリに確保されたテーブルＴＡＢに格納される。時間差分Δ_tが０とは異なる場合には、Δ_t／δ個の画像が損失を受けている。ステップＳ３１１において、それら全ての画像の番号及びパケットの状態がテーブルＴＡＢに格納される。各画像がどのパケットで搬送されたかを識別できないため、対応するパケット番号は注目されない。ステップＳ３１１において、番号Niは、Δ_t／δだけ増分される。

ステップＳ３０５において、数値差分Δ_pが１に等しい場合には、ステップＳ３１３へ進む。このステップの間に、時間差分Δ_tの値が試験される。この値が０に等しい場合、受信された直前のパケットは、画像の新たな部分を含んでいたことになる。このステップに続いてステップＳ３１７が実行され、受信された画像の番号、その画像の一部を含むパケットの番号及びその受信状態が格納される。新たな画像の一部が受信されていた場合、受信された直前の画像の番号Niは、ステップＳ３１５において１増分される。次に、先に説明したステップＳ３１７へ進む。

新たなパケットが受信されたならば、直ちにステップＳ３０１に戻る。

アプリケーション層の処理は、トランスポート層の処理と並行して実行される。１つのパケットの処理が終了すると、復号器３は、直ちに通信網記憶ユニット２の新たなパケットを使用する。このステップは、図２を参照して説明されるアプリケーション層によって実行される処理を引き起こす。処理は、ステップＳ２１１で開始され、このステップにおいて、パケットが「損失」として検出されたことを示すメッセージが受信されたか否かが試験される。受信されていなければ、パケットのコンテンツが復号化され、新たなパケットが使用される。パケットが「損失」として検出されていた場合には、ステップＳ２１１に続いてステップＳ２１３が実行される。ステップＳ２１３において、復号化の途中である画像がエラーを含む画像であるか否かが検証される。この目的のために、テーブルＴＡＢにおいて、画像及び現在のパケットの番号の検索が実行され、その状態が検証される。状態が「受信済み」であれば、復号化中の画像はエラーを含まない。次に、ステップＳ２２５へ進み、パケットのコンテンツの復号化が実行される。このステップに続いてステップＳ２２７が実行され、現在の画像の番号及びその画像の運動ベクトルがテーブルＭＯＵＶに格納される。ステップＳ２１３において、画像の状態が「損失」である場合には、画像はエラーを含み、ステップＳ２１５へ進む。尚、ステップＳ２１５の検証が実行された後、そのパケットに対応するデータは、テーブルＴＡＢから消去される。ステップＳ２１５において、動き解析が実行される。この目的のために、運動ベクトルの累積振幅が計算され、動きの複雑度が判定される。

図４を参照して、この手順を説明する。

手順は、ステップＳ４０１において、変数A_Ni（画像N_i中の動きの振幅）、P_Ni（２つの空間的に近接するマクロブロックＭＢの間の動きの差の累積振幅）、x及びyを０に初期設定することにより開始される。振幅P_Niにより、ビデオ中の動きがランダムな性質であるか又は規則的な性質であるかを判定できる。このステップに続いて、ステップＳ４０３が実行される。ステップＳ４０３において、xの値が、画像の１行分のマクロブロックＭＢに含まれるマクロブロックＭＢの数と比較される。xがその数より少ない場合、ステップＳ４０５へ進む。ステップＳ４０５において、A_Niが現在のマクロブロックＭＢの動きの振幅の値だけ増分される。このステップに続いて、ステップＳ４０７、Ｓ４０９及びＳ４１１が実行される。それらのステップにおいて、現在のマクロブロックＭＢのベクトルV^→(x,y)と近傍の３つのマクロブロックＭＢ（それらのマクロブロックＭＢが存在する場合）のベクトルV^→との差のベクトルP_i（iは１〜３まで）のノルムが計算される。この場合、使用されるマクロブロックＭＢは、
・現在のマクロブロックＭＢの上に位置するマクロブロックＭＢ（そのようなマクロブロックが存在する場合）、
・現在のマクロブロックＭＢに先行するマクロブロックＭＢ（そのようなマクロブロックが存在する場合）及び
・現在のマクロブロックＭＢに先行するマクロブロックＭＢの上に位置するマクロブロックＭＢ（そのようなマクロブロックが存在する場合）である。それらのマクロブロックＭＢが存在しない場合には、差は計算されない。

尚、本実施形態においては、２つの運動ベクトルの差のノルムは、３つのマクロブロックＭＢについて計算されるが、これは、単に実現形態の１例である。解析されるマクロブロックＭＢに隣接する全てのマクロブロックＭＢが使用されてもよく、あるいは隣接するマクロブロックの別のサブセットを使用することも可能である。

上記のステップに続いて、ステップＳ４１３が実行される。ステップＳ４１３において、振幅P_Niが、振幅P1、P2及びP3のうちの最小値の分だけ増分される。ステップＳ４１５において、xが１増分される。このステップに続いて、ステップＳ４０３が実行される。ステップＳ４０３において返答がＮＯである場合、yが１増分され、xは０になる。このステップに続いて、ステップＳ４１９が実行され、ステップＳ４１９において、yが画像の１列分のマクロブロックＭＢに含まれるマクロブロックＭＢの数の値と比較される。yがその値より小さい場合、ステップＳ４０５へ進み、大きい場合には、画像全体の処理が完了しているため、手順を終了させるステップＳ４１９へ進む。エラー汚染画像に至るまでの動き情報が保持されている全ての画像に対して、図４の演算が繰り返される。画像ごとに収集される情報の項目P_Ni及びA_Niは、テーブルＩＮＦＯ＿ＩＭＡＧＥに保持される。

ここで再び図２を参照する。ステップＳ２１７へ進んだ場合、このステップにおいては、損失を隠蔽すべきか否かが決定される。この目的のために、振幅P_Niの値が閾値と比較される。この閾値により、動きをランダムであると考えるか又は規則的であると考えるかを判定できる。この閾値は、訓練用ビデオシーケンスによって判定されてもよい。テーブルＩＮＦＯ＿ＩＭＡＧＥに保持されている振幅P_Niの値のうち１つが閾値を超えた場合、動きがランダムであると考えられ、ステップＳ２１９へ進む。ステップＳ２１９は、シーケンスの曖昧化（フェージング（fading）ともいう）を実行する。実際には、フェージング手順は、エラー汚染画像に対して黒色画像が得られるまでシーケンスの画像を曖昧化することから成る。この目的のために、表示の時点で、各画像の各々の画素の輝度が２ⁿにより除算される。nは、フェージング手順が適用される第１の画像に対して１から始まり、黒色画像と置き換えられるエラー汚染画像に至るまで、新たな画像ごとに１ずつ増分される。あるいは、別の実施形態においては、正しい画像で表示をフリーズし、表示を再同期可能にする次のイントラ（ＩＮＴＲＡ）画像を待つようにすることも考えられる。

ステップＳ２１９に続いて、ステップＳ２２１が実行される。ステップＳ２２１においては、画像の表示を再同期して画像の表示を再開するために、復号器は次のＩＮＴＲＡ画像を待つ待機状態にある。

ステップＳ２１７において、損失隠蔽の実行が決定された場合には、ステップＳ２２９へ進む。このステップの間に、受信機において利用可能な方法のセットの中から１つの損失隠蔽方法が選択される。

ステップＳ２１７以降、シーケンス中の動きは、相対的に規則的であることがわかっている。動き振幅情報によって、動きが強いか又は弱いかを判定できる。

弱く且つ規則的な動きは、一連の連続する画像のマクロブロックＭＢの動きの間に長期間にわたる相関が存在することを意味する。強く且つ規則的な動きは、一連の連続する画像のマクロブロックＭＢの間に短期間の相関が存在することを意味する。

強い動きを有するシーケンスは、シーケンス中の画像の大半が閾値より大きいA_Niの値を有するシーケンスとして定義される。この閾値は、訓練用シーケンスによって定義されてもよい。

「損失」マクロブロックＭＢの運動ベクトルは、最も近接する隣接マクロブロックの中から取り出される最良の予測子（predictor）のマクロブロックＭＢの運動ベクトルに基づいて予測される。

最良の予測子を判定するために、テーブルＭＯＵＶに保持されている先行画像の動き情報が使用される。「損失」マクロブロックＭＢと同一の空間位置に位置する先行画像中のマクロブロックＭＢごとに、最良予測子が判定される。所定のマクロブロックＭＢの最良予測子は、そのマクロブロックＭＢの運動ベクトルに最も近い運動ベクトルを有する近傍のマクロブロックＭＢである。

動きが強い場合、「損失」マクロブロックＭＢは、先行画像の最良予測子と同一の空間位置に位置するマクロブロックＭＢの運動ベクトルを与えられる（短期間時間相関が考慮される）。

動きが弱い場合には、「損失」マクロブロックＭＢは、動き情報が保持されている全ての画像から取り出された最良予測子の線形組み合わせにより得られる運動ベクトルを与えられる（長期間時間相関が考慮される）。

隠蔽方法が選択されたならば、ステップＳ２３１へ進む。ステップＳ２３１は、損失の隠蔽を伴う復号化を実行する。次に、別の画像の復号化に進む。

本発明による受信装置を示す図である。 本発明による受信装置の動作を示すフローチャートである。 本発明による受信装置の計算ユニットの動作を示すフローチャートである。 本発明による動き解析手順を示すフローチャートである。

Claims (12)

1. 通信網を介して受信装置に接続された送信装置との間のデータの交換中に損失を受けたビデオシーケンスの画像を受信する受信装置で、トランスポート層を実行する第１のモジュールとアプリケーション層を実行する第２のモジュールと前記送信装置から受信したデータを保持するメモリ（２）とを少なくとも具備し、前記アプリケーション層は、ビデオの復号化を実行する第１のサブモジュール（３）と前記ビデオの表示を実行する第２のサブモジュール（７）とを有する受信装置において実行される受信方法であって、
   − 前記トランスポート層において、前記トランスポート層がデータの損失を検出した場合、前記アプリケーション層に向けてデータの損失の検出信号を送信するステップと、
   − 前記アプリケーション層において、前記損失の検出信号を受信した場合、前記損失と判断されたデータを含む画像に対して適用される損失隠蔽のステップにおいて使用される情報を、前記メモリに保持され、前記損失の検出信号に続く画像で始まる前記損失と判断されたデータを含む画像に先行する少なくとも１つの画像から収集するステップを備える損失隠蔽メカニズムを実行するステップとを備えることを特徴とする方法。
2. 前記損失と判断されたデータを含む画像に先行する少なくとも１つの画像から収集される前記情報は、動き情報である請求項１に記載の方法。
3. 収集された前記動き情報の解析により前記動きの性質を判定するステップを更に含むことを特徴とする請求項２に記載の方法。
4. 収集された前記動き情報の解析は、現在のマクロブロック（ＭＢ）のベクトル（V→(x,y)）と近傍のマクロブロックのベクトル（V→）との差のベクトル（Pi）のノルムを考慮に入れる請求項３記載の方法。
5. 前記損失隠蔽メカニズムは、規則的であると判定される動きに応じて前記受信装置において利用可能な方法のセットの中から選択され、規則的な動きではない場合には、前記受信装置は画像のフェージングの処理を実行する請求項３又は４記載の方法。
6. 通信網を介して受信装置に接続された送信装置との間のデータの交換中に損失を受けたビデオシーケンスの画像を受信する受信装置で、トランスポート層を実行する第１のモジュールとアプリケーション層を実行する第２のモジュールと前記送信装置から受信したデータを保持するメモリ（２）とを少なくとも具備し、前記アプリケーション層は、ビデオの復号化を実行する第１のサブモジュール（３）と前記ビデオの表示を実行する第２のサブモジュール（７）とを有する受信装置であって、
   − 前記トランスポート層において、前記トランスポート層がデータの損失を検出した場合、前記アプリケーション層に向けてデータの損失の検出信号を送信する手段と、
   − 前記アプリケーション層において、前記損失の検出信号を受信した場合、前記損失の検出信号の受信に続く画像で始まる前記損失と判断されたデータを含む画像に先行する少なくとも１つの画像から情報を収集し、前記損失と判断されたデータを含む画像に対して損失隠蔽方法を適用する際に収集された前記情報を使用する損失隠蔽メカニズムと備えることを特徴とする受信装置。
7. 前記損失隠蔽メカニズムは、前記損失の検出信号の受信に続く画像で始まる前記損失と判断されたデータを含む画像に先行する各画像から動き情報を収集する手段（６）を具備する請求項６記載の装置。
8. 収集された前記動き情報の解析により前記動きの性質を判定する手段を更に具備することを特徴とする請求項７記載の装置。
9. 前記動き情報を解析する手段は、現在のマクロブロック（ＭＢ）のベクトル（V→(x,y)）と近傍のマクロブロックのベクトル（V→）との差のベクトル（Pi）のノルムを考慮に入れる請求項８記載の装置。
10. 前記損失隠蔽メカニズムは、前記受信装置において利用可能な損失隠蔽方法のセットの中から１つの損失隠蔽方法を選択するための選択手段を具備し、前記装置は、画像のフェージングの手段を更に具備し、前記選択手段は、規則的であると判定される動きに応じて実行され、前記画像のフェージングの手段は、規則的な動きではない場合に実行されることを特徴とする請求項８又は９記載の装置。
11. コンピュータに請求項１乃至５のいずれか１項に記載された方法の各工程を実行させるためのプログラム。
12. コンピュータに請求項１乃至５のいずれか１項に記載された方法の各工程を実行させるためのプログラムを格納したコンピュータ読み取り可能な記憶媒体。

Images