JP6708374B2 - 画像群内で修正可能要素のセットを決定するための方法、デバイス、プログラム、及び可読媒体 - Google Patents

Description

以下では、ビデオ透かしの分野において修正可能要素のセットを決定するための方法が開示される。詳細には、オーディオビデオコンテンツを表すコード化されたビットストリームの画像群内で修正可能要素のセットを決定するための方法であって、ヒートマップを決定することを含む方法が開示される。対応するデバイスも開示される。

本節は、以下に記載および／または特許請求される本原理のさまざまな態様と関係付けられることができる、当技術のさまざまな態様を読者に紹介することが意図されたものである。この議論は、本原理のさまざまな態様のより良い理解を促進するための背景情報を読者に提供するという点において、助けになるものと思われる。したがって、これらの言明はこの観点から読まれるべきであり、従来技術を認めるものとして読まれるべきではないことが理解されるべきである。

トレイタトレーシングは、何らかの一意の識別子を用いて透かし入れされたコンテンツをクライアントに供給するものである。無許可の配信ネットワーク上で海賊版コピーが後に見つかった場合、不正を働く顧客を特定することが可能である。

コンテンツに透かし入れするための周知の方法の中で、あるアプローチは、圧縮されたフォーマットのビットストリームを、如何なる種類の復元も用いずに直接修正することを含む。その場合、主要な課題は、導入された変更が復号段階でビデオ品質を著しく損なわないことを保障することである。例えば文脈適応や算術符号化などの、先進のエントロピー符号化方法論の導入は、ビットストリームのそのような修正をより困難なものにしている。特に空間的伝播および時間的伝播に対して適切なケアが行われない場合、ビットストリームのただ１つの修正が壊滅的な劣化をもたらすおそれがある。予測に使用されるフレームに透かし入れされると、導入された変更が復号処理を通じて時間的に伝播され、それにより、導入された透かしの制御不能な伝播のため、透かしの知覚不可能性を危険にさらすおそれがある。

時間的ドリフトとも呼ばれる時間的伝播は、ビデオコーデックに通常使用されるメカニズムである時間的予測から起こる。それは、多数のフレームの多数のピクセルに影響を及ぼすことがあり、すなわち（ｉ）所与のフレーム内で、いくつかのピクセルがそれらの予測に同じ参照ピクセルを使用することがあり、（ｉｉ）異なるフレームのピクセルも、同じ参照ピクセルを使用することがある。さらに、時間的予測に関わるサブピクセル補間が、修正の影響を一層拡大する。

透かしが埋込み段階にて挿入され得る（位置、値）のセットを特定するためのビットストリームの解析は、透かし前処理としても知られる。

透かし前処理の第１の解決策は、（大多数のコーデックにおける非参照Ｂフレームのような）符号化された非参照フレームに透かし入れするビットストリームビデオ透かし入れシステムで利用可能であり、したがって、構成によって導入された変更のどのような時間的伝播も回避する。しかしながら、参照フレームも大変重要である。実際、参照フレームに透かし入れできることは、埋込み率を高め、したがって、透かしの堅牢性を高める。さらに、いくつかの配信ネットワークは、参照フレームだけを使用して復号フレーム順序とレンダリングフレーム順序との間の整合を行うストリームを取り扱い、これは、より柔軟なストリーミング能力を示唆している。したがって、これらの参照フレームに透かし入れすることは、ビットストリーム透かし入れシステムにとって大変重要であるが、言うまでもなく、時間的伝播の対処に関する課題を生じさせる。

他のフレームの予測に使用されるフレーム（Ｉフレーム、参照ＢフレームまたはＰフレーム）などの参照フレームの場合、米国特許公開第２０１３０１８８７１２号明細書に開示されるように、第２の解決策は、各マクロブロックについて、それがフレーム内予測またはフレーム間予測を通じて他のマクロブロックのピクセル値にどれだけ影響を及ぼすかを示す圧縮影響値を計算するものである。しかしながら、これらの圧縮影響値を作り上げることは、実際にはかなり困難であり、大いにコンピュータを多用する。それは実際、ブロックの影響を数フレームにわたって遅れずに追従することを要求する。次いで、小さな影響値を有するマクロブロックは、透かし入れ用に選択される。こう言われているものの、米国特許公開第２０１３０１８８７１２号明細書は、異なる変更の時間的伝播がオーバーラップし、ことによっては制御不能な視覚的アーティファクトをもたらすことがないようにするための、どのようなメカニズムも開示していない。

この解決策の変形形態が仏国特許公開第２９４９２８３号明細書に開示されている。ビデオストリームの後続イメージおよび先行イメージを復号するための（すなわちフレーム内予測またはフレーム間予測中に）参照としての役割を果たしていないマクロブロックを含むイメージは、ビデオストリーム中のビデオイメージの中からオンザフライで特定される。次いで、この非参照マクロブロックが、所望の識別情報、すなわち透かしを符号化する代替マクロブロックで置き換えられる。しかしながら、仏国特許公開第２９４９２８３号明細書は、参照としての役割を果たしていないマクロブロックがどのように特定されるかが明示的に開示されておらず、したがって、圧縮影響値を計算するという課題を解決していない。

したがって、予測による透かしの時間的伝播および空間的伝播に対処する、候補透かしを決定するための計算効率の良い方法が必要とされている。例えば、その空間的伝播が別のフレームによって予測に使用されるどのようなマクロブロックも内含しない透かし（位置、値）を考えることができる。これは、その空間時間的伝播マップが交差しない候補透かしのセットを選択するものとして知られる理想的なものよりも、いくらか厳しい選択であるが、それは、かなり効率良く計算され得る。

本原理は、オーディオビデオコンテンツを表すコード化されたビットストリームの修正可能要素のセットを決定するための方法であって、参照としての各ピクセルの使用を表すヒートマップを決定することを含む方法を提案することによって、従来技術の欠点のうち少なくとも１つを克服する。

実際、本原理の顕著なアイデアは、参照フレーム内の、どのような時間的伝播もない領域または制御された時間的伝播のある領域に透かし入れするということであり、第１のステップにおいて、ビットストリームを解析して、透かし入れ可能な各フレームについて、透かし入れに相応しい全ての場所、並びに関連付けられた代替値及び特徴（空間的伝播、並びに堅牢性及び忠実度のいくつかの判断基準）を合わせて見つけることと、参照フレームごとに、参照としての各ピクセル、すなわち他のフレームのいくつかの予測に関わるピクセルの使用を表す参照ヒートマップまたはヒートマップと呼ばれるマップを構築することとをどちらも含む。次いで、第２のステップにおいて、正しい場所のセットが堅牢性と忠実度の判断基準を満たすものとして、また対応する参照ヒートマップによって与えられる参照フレームの非参照領域内にその空間的伝播マップが制限されるものとして選択される。

この目的のために、オーディオビデオコンテンツを表すコード化されたビットストリームの画像群内で修正可能要素のセットを決定するための方法が開示される。修正可能要素が、コンテンツをコード化するビットストリーム中の構文要素に対応するのではなく区分に対応することに当業者なら気付くであろう。実際、ＣＡＢＡＣエントロピー符号化では、構文要素が非整数個のビットに符号化される。その結果、修正可能要素に関連付けられたビットストリームの区分は、単一の構文要素の符号化に寄与し、またはいくつかのそれらにさえ寄与することができるが、単一の構文要素を完全に符号化することは滅多にできない。換言すれば、修正可能要素は、ビットストリーム中の所与の位置の、固定長の代替値（例えば２バイトの長さの２進ワード）を含む。本方法は、位置、コード化されたビットストリームのその位置での修正値、および修正値に関連付けられた空間的伝播マップを含む候補修正可能要素のセットを決定することと、参照フレームの各ピクセルについて、コード化されたビットストリームの復号中の時間的予測のためのそのピクセルの使用を表す情報を含むヒートマップを決定することと、ヒートマップおよび修正可能要素の空間的伝播マップに従って、コード化されたビットストリームの候補修正可能要素の中から修正可能要素を取得することと、を含む。

変形形態によると、時間的予測のためのピクセルの使用を表す情報は、そのピクセルが時間的予測のために使用されたか否かを示す２進値である。別の変形形態では、時間的予測のためのピクセルの使用を表す情報は、そのピクセルが時間的予測のために使用される回数を含む。別の変形形態では、時間的予測のためのピクセルの使用を表す情報は、予測のために参照ピクセルを使用するピクセルに関連付けられた予測重みの和を含む。各変形形態は、有利には、以下に記載されるように、透かしの時間的伝播の対処に関する変形形態に適合される。

有利には、ヒートマップは、候補修正可能要素が存在する参照フレームについて決定される。有利な実施形態では、そのような参照フレームは、ＰフレームおよびＢ参照フレームに限定される。

特定の実施形態によると、ヒートマップを決定することは、画像群の復号される各フレームについて、時間的予測のためのピクセルの使用を表す情報を、例えばゼロに初期化することと、前記フレームを復号することと、前記復号されたフレームの復号された各マクロブロックについて、時間的予測のためのピクセルの使用を表す情報を、復号されたマクロブロックが指し示す参照フレームに関連付けられたヒートマップ内で更新することと、を含む。

別の特定の実施形態によると、修正可能要素を取得することは、逆順に走査される画像群の各フレームについて、その空間的伝播マップがフレームの時間的ヒートマップ及びオーバーラップしない候補修正可能要素を選択することと、時間的予測のためのピクセルの使用を表す情報を、選択された候補修正可能要素の修正値に関連付けられた空間的伝播マップのマクロブロックに参照として使用される全てのピクセルについて更新することと、を含む。有利には、修正可能要素を取得するためのこの第２のステップは、反対の復号順に果たされる。各フレームについて、このステップは、堅牢性と忠実度の判断基準を満たし、対応する参照ヒートマップによって与えられる参照フレームの非参照領域内に伝播する候補修正可能要素のセットを選択し、次いで、選択された要素のマクロブロックを予測するのに使用されたピクセルに従って、以前の参照ヒートマップを更新する。

第１の変形形態によると、候補修正可能要素を選択することは、空間的伝播マップの少なくとも１つのピクセルのヒートマップ内での値がゼロに等しくないときに、候補修正可能要素を放棄することを含む。有利には、この変形形態は、どのような時間的伝播も誘発しない透かしだけを維持する。第２の変形形態によると、候補修正可能要素を選択することは、各候補修正可能要素について、候補修正可能要素の空間的伝播マップ内の、ヒートマップに従った予測のために使用されるピクセルの数を含む第１の依存性値を決定することと、第１の閾値よりも大きなそれらの第１の依存性値を有する全ての候補修正可能要素を放棄することと、を含む。有利には、この変形形態は、空間的伝播マップの制御された数のピクセルだけが他のフレームによって予測のために使用されるため、制限された時間的伝播を誘発する可能性のある要素を保つ。第３の変形形態によると、候補修正可能要素を選択することは、各候補修正可能要素について、候補修正可能要素の空間的伝播マップ内の全てのピクセルに関連付けられた時間的予測のためのピクセルの使用を表す情報の和を含む第２の依存性値を決定することと、その第２の依存性値が第２の閾値を超える候補修正可能要素を放棄することと、を含む。有利には、この変形形態は、制御された時間的伝播を生み出す要素を選ぶ。例えば、この変形形態は、他のフレーム内の、指定された値よりも多くのピクセルに、透かしが直接影響を及ぼさないことを保障する。

視聴覚コンテンツを表すコード化されたビットストリームの画像群内で修正可能要素のセットを決定するためのデバイスが開示される。本デバイスは、少なくとも１つのプロセッサーを備え、その少なくとも１つのプロセッサーは、コード化されたビットストリーム中での位置、修正値および修正値に関連付けられた空間的伝播マップを備える候補修正可能要素のセットを決定することと、フレームの各ピクセルについて、コード化されたビットストリームの復号中のその時間的予測のためのピクセルの使用を表す情報を備えるヒートマップを決定することと、ヒートマップおよび修正可能要素の空間的伝播マップに従って、コード化されたビットストリームの候補修正可能要素の中から修正可能要素を選択することと、を行うように構成される。

視聴覚コンテンツを表すコード化されたビットストリームの画像群内で修正可能要素のセットを決定するためのデバイスが開示される。本デバイスは、コード化されたビットストリーム中での位置、修正値、および修正値に関連付けられた空間的伝播マップを備える候補修正可能要素のセットを決定するための手段と、フレームの各ピクセルについて、コード化されたビットストリームの復号中のその時間的予測のためのピクセルの使用を表す情報を備えるヒートマップを決定するための手段と、ヒートマップおよび修正可能要素の空間的伝播マップに従って、コード化されたビットストリームの候補修正可能要素の中から修正可能要素を選択するための手段と、を備える。

コンピュータプログラムプロダクトであって、プログラムコード命令を備え、そのプログラムがコンピュータ上で実行されると、開示された実施形態および変形形態のいずれかによる処理方法のステップを実行する、コンピュータプログラムプロダクト。

プロセッサー可読媒体であって、少なくとも開示された実施形態および変形形態のいずれかによる処理方法のステップをプロセッサーに実施させるための命令を記憶している、プロセッサー可読媒体。

本諸実施形態は、明示的に記載されていないが、任意の組合せまたは部分的組合せで用いられてよい。例えば、ヒートマップによって運搬（carry）される情報の任意の変形形態が、選択ステップまたはヒートマップ更新ステップと組み合わされてよい。加えて、本方法について記載された任意の特徴または変形形態は、開示された方法を処理することが意図されるデバイス、およびプログラム命令を記憶するコンピュータ可読記憶媒体と適合性がある。

本原理の他の特徴および利点は、添付された図面を用いて示される本原理の非限定的な実施形態の説明を通じて明らかとなるであろう。
本発明の特定及び非限定的な実施形態による、修正可能要素のセットを決定するためのデバイスを示す図である。 本原理の特定及び非限定的な実施形態による、図１のデバイスの例示的アーキテクチャを表す図である。 本原理の特定及び非限定的な実施形態による、修正可能要素のセットを決定するための方法の流れ図である。 本原理の特定及び非限定的な実施形態による、図３に示された流れ図の詳細を表す図である。 本原理の特定及び非限定的な実施形態による、図３に示された流れ図の詳細を表す図である。 本原理の特定及び非限定的な実施形態による、ヒートマップを決定する様子を示す図である。 本原理の特定及び非限定的な実施形態による、空間的伝播マップおよびヒートマップに従って修正可能要素を選択する様子を示す図である。

図１は、本原理の特定及び非限定的な実施形態による、修正可能要素のセットを決定するためのデバイス１を示す。デバイス１は、いくつかのフレームＩ、ＰおよびＢでできている少なくとも１つの画像群を受信するように構成された入力部１０を備える。画像Ｉ、Ｐ、Ｂは、供給源から取得することができる。本原理の異なる実施形態によると、供給源は、
− 例えばビデオメモリ、ＲＡＭ、フラッシュメモリ、ハードディスクなどのローカルメモリ、
− 例えば大容量記憶装置、ＲＯＭ、光ディスク、または磁気支持体とのインターフェースなどの記憶装置インターフェース、
− 例えば有線インターフェース（例えばバスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース）、またはワイヤレスインターフェース（ＩＥＥＥ ８０２．１１インターフェースやブルートゥースインターフェースなど）などの通信インターフェース、および
− 画像取込み回路（例として、例えばＣＣＤ（すなわち電荷結合素子）やＣＭＯＳ（すなわち相補型金属酸化膜半導体）などのセンサ）
を備えるセットに属する。入力部１０は、候補修正可能要素または候補透かしのセットを決定するように構成されたモジュール１２に連結される。各候補修正可能要素は、コード化されたビットストリーム中での位置、修正値およびこの修正値に関連付けられた空間的伝播マップを備える。空間的伝播マップについては、以下に記載される。入力部１０は、ヒートマップを決定するように構成されたモジュール１４にも連結される。有利には、モジュール１４は、復号器を備える。候補修正可能要素を決定するモジュール１２およびヒートマップを決定するモジュール１４は、同時にまたは任意の順序で動作する。モジュール１６は、空間的伝播マップおよびヒートマップに基づいて修正可能要素を取得するように構成される。モジュール１６は、出力部１８に連結される。修正可能要素は、メモリ内に記憶されてもよく、または透かし埋込み器に送出されてもよい。例として、修正可能要素は、リモートまたはローカルメモリ、例えば、ビデオメモリまたはＲＡＭ、ハードディスク内に記憶される。変形形態では、修正可能要素は、透かし埋込み器に、記憶装置インターフェース、例えば大容量記憶装置、ＲＯＭ、フラッシュメモリ、光ディスク、もしくは磁気記憶装置とのインターフェースによって送信され、かつ／または通信インターフェース、例えばポイントツーポイントリンク、コミュニケーションバス、ポイントツーマルチポイントリンク、もしくは同報ネットワークへのインターフェースを経由して伝送される。

図２は、本原理の特定及び非限定的な実施形態による、デバイス１の例示的アーキテクチャを表す。処理デバイス１は、例えばＣＰＵ、ＧＰＵ、および／またはＤＳＰ（ディジタル信号プロセッサーという英語の頭文字）である１または複数のプロセッサー１１０を備え、それと共に内部メモリ１２０（例えばＲＡＭ、ＲＯＭ、ＥＰＲＯＭ）を備える。処理デバイス１は、出力情報を表示し、並びに／またはユーザがコマンドおよび／もしくはデータを入力できるように適合された、１またはいくつかの入力／出力インターフェース１３０（例えばキーボード、マウス、タッチパッド、ウェブカメラ、ディスプレイ）と、処理デバイス１の外部にあることができる電源１４０とを備える。処理デバイス１は、ネットワークインターフェース（図示せず）も備えることができる。本原理の例示的で非限定的な実施形態によると、処理デバイス１は、メモリ１２０内に記憶されたコンピュータプログラムをさらに備える。コンピュータプログラムは命令を含み、その命令は、処理デバイス１によって、具体的にはプロセッサー１１０によって実行されると、図３で説明される処理方法を処理デバイス１に実行させる。変形形態によると、コンピュータプログラムは、処理デバイス１の外部の非一時的なディジタルデータ支持体、例えば、いずれも当技術分野で周知のＨＤＤ、ＣＤ−ＲＯＭ、ＤＶＤ、読出し専用ドライブおよび／もしくはＤＶＤドライブ、ならびに／またはＤＶＤ読出し／書込みドライブなどの外部記憶媒体に記憶される。したがって、処理デバイス１は、コンピュータプログラムを読み出すためのインターフェースを備える。さらに、デバイス１は、１または複数のユニバーサルシリアルバス（ＵＳＢ）タイプの記憶デバイス（例えば「メモリスティック」）に、対応するＵＳＢポート（図示せず）を通じてアクセスすることができる。例示的で非限定的な諸実施形態によると、処理デバイス１は、
− モバイルデバイス、
− 通信デバイス、
− ゲームデバイス、
− タブレット（またはタブレット型コンピュータ）、
− ラップトップ型コンピュータ、
− 静止画カメラ、
− ビデオカメラ、
− 符号化チップ、
− 復号チップ、
− 静止画サーバー、
− ビデオサーバー（例えば同報サーバー、ビデオオンデマンドサーバー、またはウェブサーバー）、および
− ビデオ共有プラットフォーム
を備えるセットに属するデバイスである。

図３は、本原理の特定及び非限定的な実施形態による、修正可能要素のセットを決定するための方法の流れ図を表す。

ステップＳ１２において、候補修正可能要素のセットは、画像群をコード化するビットストリームの各フレームについて、例えば透かし入れアルゴリズムを実装するモジュール１２によって取得される。候補修正可能要素は、コード化されたビットストリーム中での、透かしが後に埋込み段階で挿入される位置と、関連付けられた代替値を含む。以下では、この対（位置、代替値）は修正値と呼ばれ、どちらの用語も交換可能に使用される。候補修正可能要素は、誘発される空間的伝播マップも含む。変形形態では、候補修正可能要素は、堅牢性と忠実度のいくつかの判断基準などの特徴をさらに含む。有利には、従来技術のどのような透かし入れアルゴリズムも、候補修正可能要素を決定するための本原理と適合性がある。例えば国際公開第２０１０／０２１６８２号パンフレットには、そのようなアルゴリズムが記載されている。マークが動きベクトルによってビットストリーム中で運搬される、Ｈ．２６４透かし入れアルゴリズムに対する変形形態では、動きベクトルの代替値に関連付けられた空間的伝播は、代替動きベクトルからのブロックの予測から生じることを当業者なら理解するであろう。図７に表されるように、空間的伝播ＳＰ６は、フレームｉ＝６のマクロブロック７００によってトリガされ、その動きベクトルは透かし入れ処理によって代替値に修正することができ、それにより、隣接ブロックに変化を引き起こすことができる。空間的伝播マップＳＰ６は、７００に関する動きベクトルの代替値を使用することによってその復号が影響を受ける全てのピクセル、すなわち、この特定のケースにおけるマクロブロック７００並びにその右および下の隣接するマクロブロックのピクセル、を備える。ＭＰＥＧ２に対する別の変形形態では、伝播マップが自明であり、代替値そのものに対応することを当業者なら理解するであろう。マークが探索されるフレームは、透かし入れ可能フレームと呼ばれる。変形形態では、Ｉフレームは透かし入れ可能フレームではない。したがって、画像群をコード化するビットストリームの復号が、このステップで必要とされる。

ステップＳ１４において、ヒートマップが決定される。ヒートマップは、参照フレームの各ピクセルについて、コード化されたビットストリームの復号中の時間的予測のためのピクセルの使用（usage）を表す情報を含む。有利には、ヒートマップは、画像群の各フレームについて構築されるのではなく、候補修正可能要素が存在し、それが参照として使用されるフレームについてのみ構築される。したがって、修正値が動きベクトルに対応する変形形態では、Ｉフレームについてヒートマップが構築されない。それらが動きベクトルを受け入れない（do not host）ためである。一方、修正値がＤＣＴ係数に対応する変形形態では、Ｉフレームについてヒートマップを構築することが妥当である。ヒートマップは非参照フレームについて構築される必要はないが、これらのフレームは候補修正可能要素を含む。それにもかかわらず、実際上の理由から、非参照フレームについてもデフォルトで空のヒートマップを定義することが好都合となり得る。有利には、ヒートマップは、候補修正可能要素が見つかり得るＧＯＰのフレームのサブセットに導入されることができる、ＰフレームおよびＢ参照フレームについて構築される。そのようなヒートマップは、値を対応するフレームの各ピクセルに関連付け、したがって、ビデオフレームと同じ寸法（幅および高さ）を有する。有利には、ヒートマップは、値の表として記憶される。表中の見出しは、フレーム内でのピクセルの位置に対応する。ヒートマップの値は、ＧＯＰのマクロブロックの復号全体を通じて情報を収集することによって得られる。第１の変形形態では、ヒートマップは、関連する参照フレームの各ピクセルについて、その時間的予測のためのピクセルの使用を表す情報を含み、すなわち、他のフレーム内の１またはいくつかのマクロブロックは復号処理中にそのピクセルの値を利用する。第１の変形形態によると、時間的予測のためのピクセルの使用を表す情報は、そのピクセルが時間的予測に使用された（１にセットされた２進値）か否（ゼロにセットされた２進値）かを示す２進値である。例えば、フレームの各ピクセルについて、その時間的予測のためのピクセルの使用を表す情報は、ＧＯＰ復号の初めにゼロに初期化され、そのピクセルが別のフレームのマクロブロックの復号に使用される度に１にセットされる。第２の変形形態によると、時間的予測のためのピクセルの使用を表す情報は、そのピクセルが時間的予測に使用される回数を特徴付ける。例えば、フレームの各ピクセルについて、その時間的予測のためのピクセルの使用を表す情報は、ＧＯＰ復号の初めにゼロに初期化され、そのピクセルが別のフレームのマクロブロックの復号に使用される度に、１だけインクリメントされる。第３の変形形態によると、時間的予測のためのピクセルの使用を表す情報は、累積予測重みであり、したがって、より細かな情報を運搬（carry）する。例えば、フレームの各ピクセルについて、その時間的予測のためのピクセルの使用を表す情報は、ＧＯＰ復号の初めにゼロに初期化され、そのピクセルが別のフレームのマクロブロックの復号に使用される度に、予測中（ピクセルが２つの別個の参照フレームに由来する２つの異なるピクセルの重み付き平均として予測されることができるとき）または補間中（ピクセルがいくつかの参照ピクセルの補間に由来するサブピクセルによって予測されることができるとき）に使用された重みの分だけインクリメントされる。他の変形形態によると、ヒートマップは、ピクセルを参照として使用するマクロブロックに関係する追加情報、例えば、フレーム番号および（特定の参照ピクセルを使用する）予測されたピクセル位置を内含するリストを保持することもできる。

有利には、ステップＳ１２およびステップＳ１４は、同時に実施される。したがって、１回のＧＯＰ復号が、空間的伝播マップおよびヒートマップを取得するために実施される。しかし、本方法は、任意の順序で順次実施され、したがって個別の復号を要求するステップと適合性がある。

図４は、本原理の特定及び非限定的な実施形態による、図３に示された流れ図のステップＳ１４の詳細図を提供する。加えて図６は、本原理の特定及び非限定的な実施形態による、ヒートマップを決定する様子を例示する。これらの図は一緒に説明される。フレームｉおよび対応するヒートマップＨＭｉの２次元表現が使用される。本表現によると、ヒートマップ内で２進値が使用され、時間的予測における、ピクセルまたはより正確にはマクロブロックＭＢのピクセルの使用を表す。フレームｉは、Ｎ個のピクセルを備えるマクロブロックＭＢに分割される。図６では、黒いマクロブロック６００は時間的予測にいおてまだ使用されていないマクロブロック６１０に対応し、一方白いマクロブロック６２０は時間的予測においてすでに使用されたマクロブロック６３０に対応する。しかし、本原理はこの規則に限定されず、整数値、実数値、コード化マルチカラーレベル（coding multi-colour level）を備える表を使用されることができる。ステップＳ１４の処理は、各画像群の復号中に反復される。画像群内で、フレームカウンタが１に初期化され、群の終わりに達するまで１だけインクリメントされる。ステップＳ１４０において、現在のフレームｉがテストされて、関連するヒートマップＨＭｉが作成される必要があるかどうかを決定する。例えば、図６に表されるＧＯＰは、第１に参照Ｉフレームを備え、第２に参照Ｐフレームを備え、第３にＢ非参照フレーム（ｂと記されている）を備える。先に公にされたように、ヒートマップは、Ｉ、ＰおよびＢ参照フレームなどの参照フレームについてのみ関連があり、詳しく言うと、ＧＯＰの候補要素を内含する参照フレームにのみ関連がある。候補要素が動きベクトルである変形形態では、参照フレームＩ（候補要素なし）についてヒートマップＨＭ１が構築されず、フレームｉ＝３（非参照ｂフレーム）に関連付けられたヒートマップＨＭｉも同様である。実際には、入力フレームｉについてテストＳ１４０がポジティブ（はい）である場合、対応するヒートマップＨＭｉが作成され、ステップＳ１４２において初期化される。フレームの全てのピクセルについて、時間的予測のためのピクセルの使用を表す情報がゼロにセットされる。テストＳ１４０がネガティブ（いいえ）である場合、ステップＳ１４２はスキップされる。変形形態によると、このステップＳ１４２がスキップされず、非参照フレームの各ヒートマップ値がヌル値、例えば−１または０にセットされ、その後無視され、すなわちこれらのヒートマップは、ＧＯＰの後続フレームの復号中に更新されない。ステップＳ１４４において、現在のフレームは、マクロブロックＭＢから他のマクロブロックＭＢへと相次いで復号される。マクロブロックＭＢは、時間的予測を通じたマクロブロック間の依存性を記録することに注意して、最初の左上ＭＢから最後の右下ＭＢへと順次復号される。図６に表されるように、フレームｉ＝３内でのマクロブロックＭＢの復号は、例えば、Ｐフレーム（ｉ＝２）のマクロブロック６３０およびＩフレーム（ｉ＝１）のマクロブロック６４０を使用する。したがって、ステップ１４６において、ヒートマップＨＭ２内のマクロブロック６３０のピクセルに対応する時間的予測のためのピクセルの使用を表す情報は、１にセットされる（白いマクロブロック６２０）。一方、ヒートマップＨＭ１におけるマクロブロックは、変更されないままになっている。実際、候補要素が動きベクトルである変形形態では、Ｉフレームが候補要素を受け入れないため、それらのピクセルに時間的伝播情報が必要とされない。その結果、このステップ１４６では、先に復号された１からｉ−１の間のフレームに関連付けられたヒートマップが、現在のフレームｉ＝３内の復号されたＭＢの依存性に従って順次更新される。この処理は、ＧＯＰの連続する各フレームについて反復される。ＧＯＰの各フレームを復号する間、関連がある各ヒートマップが更新され、そのヒートマップは、Ｈ．２６４では、最大１２の参照フレームが標準規格で定義されているため、少なくとも１つから場合によっては最大１２のヒートマップを備える。

図３に戻ると、ステップＳ１６において、修正可能要素の空間的伝播マップおよび対応するヒートマップに基づいて、コード化されたビットストリームの候補修正可能要素の中から修正可能要素が選択される。図５は、本原理の特定及び非限定的な実施形態による、流れ図のこのステップＳ１６を詳細に示す。加えて図７は、本原理の特定及び非限定的な実施形態による、修正可能要素を選択する様子を示す。図５および図７は、一緒に説明される。ステップＳ１６は、ＧＯＰを逆順に、最後のフレームｉ＝ｎから最初のフレームｉ＝１まで処理することによって実行される。ステップＳ１６は主として、２つの部分ステップを含む。第１に、空間的伝播（伝播マップ）および時間的伝播（ヒートマップ）に対して準拠する候補修正可能要素が、透かしとして選択され、第２に、代替値に関連付けられた空間的伝播マップのマクロブロックに参照されるピクセルに従って、ヒートマップが更新される。簡単に言えば、非参照フレーム（タイプｂ）の場合、選択戦略は、国際公開第２０１０／０２１６８２号パンフレットに記載されているような典型的な透かし入れシステムで使用されているものである。各候補位置について、その空間的伝播が先に選抜候補リストに入れられた候補修正可能要素とオーバーラップしない最も不可視かつ堅牢な候補修正可能要素が好ましくは透かしとして選択されることを当業者なら理解するであろう。したがって、図７の例示的なＧＯＰでは、ＧＯＰの最後のフレームｉ＝６が、ＧＯＰの最後のフレームであるため、参照として使用されないフレームＰであり、動きベクトルの代替値に従って修正される各修正可能マクロブロック７００は、他のフレームに時間的に伝播しない。先に記載された選択戦略が適用される。

一方、参照フレーム（タイプＰおよびＢ）の場合、選択戦略は、（ステップＳ１４において処理されるように）時間的伝播の所在確認ができる別の制約と共に適用される。例えば、図７の例示的なＧＯＰでは、ＧＯＰのフレームｉ＝４は、参照として使用されるＰフレームである。候補修正可能要素に関連付けられた各修正可能マクロブロック７１０、７２０、７３０について、ステップＳ１６０、Ｓ１６２、およびＳ１６４が順次反復される。したがって、予備ステップにおいて、現在のフレームｉの修正可能マクロブロック７１０が評価のために取得される。第１のステップＳ１６０において、（修正可能マクロブロック７１０または７３０に関連付けられた）候補修正可能要素の空間的伝播マップが処理されたフレームに関連付けられたヒートマップＨＭ４とオーバーラップする場合、（修正可能マクロブロック７１０または７３０に関連付けられた）修正可能要素は、可能な透かしとして選択されない。これは、図７に、バツ印で消されたブロック７１０または７３０によって表されている。図７の２進表現では、「オーバーラップしている」とは、修正される要素による、空間的伝播マップ内の少なくとも１つの修正されるピクセルの位置が、時間的予測に使用されるピクセルの位置と同一であることを意味する。換言すれば、ヒートマップ（７１５または７３５）上に事実上マッピングされる空間的伝播マップ内の少なくとも１つのピクセルのヒートマップ内での値がゼロに等しくないときに、候補修正可能要素が放棄される。一方、（修正可能マクロブロック７２０に関連付けられた）候補修正可能要素の空間的伝播マップが処理されたフレームのＨＭ４上のヒートマップ７２５とオーバーラップしないとき、（修正可能マクロブロック７２０に関連付けられた）修正可能要素がステップＳ１６２において可能な透かしとして選択される。したがって、フレームｉ＝４上では、２つの修正可能要素が選択される。有利には、選択された透かしが、参照として使用されないピクセル（図７に示されるような対応するヒートマップの０値を有する黒色のピクセル）のみからなるこの変形形態は、どのような時間的伝播も構成上回避する。

しかし、他の変形形態では、選択の際に、いくつかのピクセルまたは全てのピクセルが低い参照スコア、すなわち対応するヒートマップ内での低い値を有する候補修正可能要素を追加することによって、選択は、より柔軟性のあるものになることができ、また制限された時間的伝播を可能にすることができる。例えば、候補修正可能要素が１以下のスコア（他方は０である）を有する１つのピクセルを使用している場合、それが１つの他のフレーム／ピクセルに時間的に伝播し、そのことは、来るべき参照についての補足情報をヒートマップが保持する場合に知られ得る。したがって、第１の変形形態では、各候補修正可能要素について、現在の候補修正可能要素の空間的伝播マップ内のヒートマップに従った時間的予測に使用されるピクセルの数を備える第１の依存性値が計算される。次に、第１の閾値よりも大きなこの第１の依存性値を有する全ての候補修正可能要素が放棄される。この変形形態によると、ヒートマップとわずかにオーバーラップする候補修正可能要素（結果的に修正可能マクロブロック７３０になる）が選択される。非２進ヒートマップと適合性がある第２の変形形態によると、各候補修正可能要素について、候補修正可能要素の空間的伝播マップ内のピクセルに関連付けられた時間的予測のためのピクセルの使用を表す情報の和を備える第２の依存性値が計算される。その後、第２の閾値よりも大きなこの第２の依存性値を有する全ての候補修正可能要素が放棄される。この変形形態によると、候補修正可能要素は、ほんの少数のマクロブロックにしか影響を及ぼさない限り選択される。

その結果、追加のステップＳ１６は、記載された変形形態に応じて、挿入された透かしの時間的伝播を回避または制御することを可能にする。

さらに、最終ステップＳ１６４において、時間的予測のためのピクセルの使用を表す情報が、選択された候補修正可能要素の修正値に関連付けられた空間的伝播マップのマクロブロックに参照として使用される全てのピクセルについて更新される。実際、透かし入れシステムは、例えば動きベクトルの修正を通じて予測を修正するため、参照フレームが使用される方途も修正し、したがって参照ヒートマップもわずかにではあるが修正する。例えば、選択された修正値に関連付けられた空間的伝播マップのマクロブロック７２０が、図７のフレームｉ＝４内に表されている。本来の動きベクトルが使用されるか、それとも代替動きベクトルが使用されるかに応じて、時間的予測は、フレームｉ＝２の左下の２つのマクロブロックのうち１つを利用し、したがって、ヒートマップが更新されて（７４５）、両方のマクロブロックが保存されることを保障する必要がある。より正確には、本来の動きベクトルに関連付けられたブロック７４５は、ステップＳ１４６でヒートマップＨＭ２内に現れるが、他方は、対応する修正可能要素が選択された後に、更新ステップＳ１６４中に現れる。したがって、選択された各透かしについて、空間的伝播マップのマクロブロックに参照されるフレームに関連付けられたヒートマップは、更新されて、この可能性のある代替配置の所在確認ができるようにする必要がある。

本明細書に記載された実装は、例えば、方法もしくは処理、装置、ソフトウェアプログラム、データストリーム、または信号の形で実装されてよい。議論された特徴の実装は、たとえ単一の形態の実装の文脈でしか議論されていない（例えば方法またはデバイスとしてしか議論されていない）としても、他の形態（例えばプログラム）で実装されることもできる。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアの形で実装されてよい。方法は、例として、例えばプロセッサーなどの装置の形で実装されてよく、プロセッサーは、例えばコンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む、処理デバイスを一般的に指す。プロセッサーは、例えばコンピュータ、セル式電話、携帯／個人情報端末（「ＰＤＡ」：ｐｏｒｔａｂｌｅ／ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、およびエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスも含む。

本明細書に記載されたさまざまな処理および特徴の実装は、種々の異なる機器またはアプリケーション、特に、例えば機器またはアプリケーションの形で具体化することができる。そのような機器の例は、符号化器、復号器、復号器からの出力を処理するポストプロセッサー、符号化器への入力を提供するプリプロセッサー、ビデオコーダ、ビデオ復号器、ビデオコーデック、ウェブサーバー、セットトップボックス、ラップトップ型コンピュータ、パーソナルコンピュータ、セル式電話、ＰＤＡ、および他の通信デバイスを含む。明らかなはずであるように、機器は、移動式でよく、移動車両内に設置されることさえできる。

さらに、方法は、プロセッサーによって命令が実施されることによって実装されてよく、そのような命令（および／または実装によって生成されるデータ値）は、例えば集積回路、ソフトウェアキャリア、または、例えばハードディスク、コンパクトディスケット（「ＣＤ」）、（例えばブルーレイ、しばしばディジタル多用途ディスクもしくはディジタルビデオディスクと呼ばれるＤＶＤなどの）光ディスク、ランダムアクセスメモリ（「ＲＡＭ」）、もしくは読出し専用メモリ（「ＲＯＭ」）などの他の記憶デバイスなどの、プロセッサー可読媒体に記憶されてよい。命令は、プロセッサー可読媒体上で実体的に具体化されるアプリケーションプログラムを形成してよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、または組合せの形でよい。命令は、例えば、オペレーティングシステム、個別のアプリケーション、またはその２つの組合せにおいて見られてよい。したがって、プロセッサーは、例えば、処理を行うように構成されたデバイスと、処理を行うための命令を有する（記憶デバイスなどの）プロセッサー可読媒体を含むデバイスの両方として、特徴付けられることができる。さらに、プロセッサー可読媒体は、命令に加えて、または命令の代わりに、実装によって生成されるデータ値を記憶することもできる。

当業者には明白となるように、実装は、例えば記憶されてもよく伝送されてもよい情報を保持するようにフォーマット化された、種々の信号を生成することができる。情報は、例えば、方法を実施するための命令、または記載された実装のうち１つによって生成されるデータを含むことができる。例えば、信号はフォーマット化されて、記載された実施形態の構文を書くもしくは読むためのルールをデータとして保持し、または記載された実施形態によって書かれた実際の構文値をデータとして保持することができる。そのような信号は、例えば、（例えばスペクトルの無線周波数部分を用いた）電磁波として、またはベースバンド信号としてフォーマット化されてよい。フォーマット化することは、例えば、データストリームを符号化し、符号化されたデータストリームで搬送波を変調することを含んでよい。信号が保持する情報は、例えば、アナログ情報でもよくディジタル情報でもよい。信号は、周知のように、種々の異なる有線リンクまたはワイヤレスリンクを経由して伝送されてよい。信号は、プロセッサー可読媒体に記憶されてよい。

いくつかの実装が記載されてきた。それにもかかわらず、さまざまな修正が行われてよいことが理解されよう。例えば、異なる実装の要素が組み合わされて、補足されて、修正されて、または除去されて、他の実装を生成してよい。さらに、他の構造および処理が、開示されたものの代わりに使われてよく、結果として得られる実装が、開示された実装と少なくともほぼ同じ機能を、少なくともほぼ同じ方途で実施して、少なくともほぼ同じ結果を達成することを、当業者なら理解するであろう。したがって、これらおよび他の実装が、本願によって企図される。
なお、出願当初の特許請求の範囲の記載は以下の通りである。
請求項１：
オーディオビデオコンテンツを表すコード化されたビットストリームの修正可能要素のセットを決定するための方法であって、画像群をコード化する前記コード化されたビットストリームの部分について、
候補修正可能要素のセットを決定するステップ（Ｓ１２）であって、候補修正可能要素は、前記コード化されたビットストリームの所与の場所の区分についての修正値と、前記修正値に関連付けられた空間的伝播マップとを含み、前記空間的伝播マップ（ＳＰ６）は、前記コード化されたビットストリーム中の前記所与の場所に前記修正値が配置されるとき、その復号が影響を受けるピクセルを含む、ステップと、
参照フレームごとに、前記参照フレームの各ピクセルについて、画像群をコード化する前記コード化されたビットストリームの前記部分の前記復号中の時間的予測のための前記ピクセルの使用を表す情報を含むヒートマップ（ＨＭｉ）を決定するステップ（Ｓ１４）と、
前記候補修正可能要素のセットの中から修正可能要素のセットを取得するステップ（Ｓ１６）であって、修正可能要素が、対応するヒートマップとオーバーラップしない空間的伝播マップを有する、取得するステップと、
を含む、前記方法。
請求項２：
時間的予測のための前記ピクセルの使用を表す前記情報を決定するステップは、前記ピクセルが前記時間的予測に使用されたかどうかを指示する２進値を含む、請求項１に記載の方法。
請求項３：
時間的予測のための前記ピクセルの使用を表す前記情報を決定するステップは、前記ピクセルが前記時間的予測に使用される回数を含む、請求項１に記載の方法。
請求項４：
時間的予測のための前記ピクセルの使用を表す前記情報を決定するステップは、予測に使用される前記ピクセルの累積重みを含む、請求項１に記載の方法。
請求項５：
前記参照フレームは、ＰフレームおよびＢ参照フレームを含む、請求項１に記載の方法。
請求項６：
ヒートマップを決定するステップは、前記画像群の各フレームについて、
時間的予測のためのピクセルの使用を表す前記情報を初期化するステップ（Ｓ１４２）と、
前記フレームを復号するステップ（Ｓ１４４）と、
前記復号されたフレームの復号された各マクロブロックについて、時間的予測のためのピクセルの前記使用を表す前記情報を、前記ピクセルが前記復号されたマクロブロックの参照として使用されたときに更新するステップ（Ｓ１４６）と、
を含む、請求項１乃至５のいずれか一項に記載の方法。
請求項７：
修正可能要素を取得するステップは、逆順に走査される前記画像群の各フレームについて、
その空間的伝播マップが前記フレームの前記ヒートマップとオーバーラップしない候補修正可能要素を選択するステップ（Ｓ１６０、Ｓ１６２）と、
時間的予測のための前記ピクセルの前記使用を表す前記情報を、前記選択された候補修正可能要素の前記修正値に関連付けられた前記空間的伝播マップのマクロブロックに参照として使用される全てのピクセルについて更新するステップ（Ｓ１６４）と、
を含む、請求項６に記載の方法。
請求項８：
候補修正可能要素を選択するステップは、前記空間的伝播マップ内の少なくとも１つのピクセルの前記ヒートマップ内での値がゼロに等しくないときに、候補修正可能要素を放棄するステップを含む、請求項７に記載の方法。
請求項９：
候補修正可能要素を選択するステップは、
各候補修正可能要素について、前記候補修正可能要素の前記空間的伝播マップ内の前記ヒートマップに従った予測に使用されるピクセルの数を含む第１の依存性値を決定するステップと、
第１の閾値よりも大きな前記第１の依存性値を有する全ての候補修正可能要素を放棄するステップと、
を含む、請求項７に記載の方法。
請求項１０：
候補修正可能要素を選択するステップは、
各候補修正可能要素について、前記候補修正可能要素の前記空間的伝播マップ内のピクセルに関連付けられた、時間的予測のための前記ピクセルの前記使用を表す前記情報の和を含む第２の依存性値を決定するステップと、
第２の閾値よりも大きな前記第２の依存性値を有する全ての候補修正可能要素を放棄するステップと、
を含む、請求項７または９に記載の方法。
請求項１１：
オーディオビデオコンテンツを表すコード化されたビットストリームの修正可能要素のセットを決定するためのデバイスであって、少なくとも１つのプロセッサー（１１０）を備え、前記少なくとも１つのプロセッサー（１１０）が、画像群をコード化する前記コード化されたビットストリームの部分について、
候補修正可能要素のセットを決定することであって、候補修正可能要素は、前記コード化されたビットストリームの所与の場所の区分についての修正値および前記修正値に関連付けられた空間的伝播マップを含み、前記空間的伝播マップ（ＳＰ６）は、前記コード化されたビットストリーム中の前記所与の場所に前記修正値が配置されるとき、その復号が影響を受けるピクセルを含む、決定することと、
参照フレームごとに、前記参照フレームの各ピクセルについて、画像群をコード化する前記コード化されたビットストリームの前記部分の前記復号中の前記時間的予測のためのピクセルの使用を表す情報を含むヒートマップを決定することと、
前記候補修正可能要素のセットの中から修正可能要素のセットを取得することであって、修正可能要素は、対応するヒートマップとオーバーラップしない空間的伝播マップを有する、取得することと、
を行うように構成される、前記デバイス。
請求項１２：
オーディオビデオコンテンツを表すコード化されたビットストリームの修正可能要素のセットを決定するためのデバイスであって、画像群をコード化する前記コード化されたビットストリームの部分について、
候補修正可能要素のセットを決定するための手段（１２）であって、候補修正可能要素は、前記コード化されたビットストリームの所与のものの区分についての修正値および前記修正値に関連付けられた空間的伝播マップを含み、前記空間的伝播マップ（ＳＰ６）が、前記コード化されたビットストリーム中の前記所与の場所に前記修正値が配置されるとき、その復号が影響を受けるピクセルを含む、決定するための手段と、
参照フレームごとにヒートマップを決定するための手段（１４）であって、前記ヒートマップは、参照フレームの各ピクセルについて、画像群をコード化する前記コード化されたビットストリームの前記部分の前記復号中の前記時間的予測のためのピクセルの使用を表す情報を含む、決定するための手段と、
前記候補修正可能要素のセットの中から修正可能要素のセットを取得するための手段（１６）であって、修正可能要素は、対応するヒートマップとオーバーラップしない空間的伝播マップを有する、取得するための手段と、
を備える、前記デバイス。
請求項１３：
コンピュータプログラムプロダクトであって、プログラムコード命令を備え、そのプログラムがコンピュータ上で実行されると、請求項１乃至１０のいずれか一項に記載の方法のステップを実行する、前記コンピュータプログラムプロダクト。
請求項１４：
プロセッサー可読媒体であって、少なくとも請求項１乃至１０のいずれか一項に記載の方法のステップをプロセッサーに実施させるための命令をその中に記憶している、前記プロセッサー可読媒体。

Claims (14)

1. オーディオビデオコンテンツを表すコード化されたビットストリームの修正可能要素のセットを決定するための方法であって、画像群をコード化する前記コード化されたビットストリームの部分について、
   候補修正可能要素のセットを決定するステップ（Ｓ１２）であって、候補修正可能要素は、前記コード化されたビットストリームの所与の場所の区分についての修正値と、前記コード化されたビットストリームの前記修正値の前記所与の場所の指示と、前記所与の場所の前記修正値に関連付けられた空間的伝播マップとを含み、前記空間的伝播マップ（ＳＰ６）は、前記コード化されたビットストリーム中の前記所与の場所に前記修正値が配置されるとき、その復号が影響を受けるピクセルを含む、ステップと、
   参照フレームごとに、前記参照フレームの各ピクセルについて、画像群をコード化する前記コード化されたビットストリームの前記部分の前記復号中の時間的予測のための前記ピクセルの使用を表す情報を含むヒートマップ（ＨＭｉ）を決定するステップ（Ｓ１４）と、
   前記候補修正可能要素のセットの中から修正可能要素のセットを取得するステップ（Ｓ１６）であって、候補修正可能要素は、前記候補修正可能要素の前記空間的伝搬マップが、対応するヒートマップと交差しないときに、修正可能要素として選択される、取得するステップと、
   を含む、前記方法。
2. 時間的予測のための前記ピクセルの使用を表す前記情報は、前記ピクセルが前記時間的予測に使用されたかどうかを指示する２進値である、請求項１に記載の方法。
3. 時間的予測のための前記ピクセルの使用を表す前記情報は、前記ピクセルが前記時間的予測に使用される回数である、請求項１に記載の方法。
4. 時間的予測のための前記ピクセルの使用を表す前記情報は、予測に使用される前記ピクセルの累積重みである、請求項１に記載の方法。
5. 前記参照フレームは、ＰフレームおよびＢ参照フレームを含む、請求項１に記載の方法。
6. ヒートマップを決定するステップは、前記画像群の各フレームについて、
   時間的予測のためのピクセルの使用を表す前記情報を初期化するステップ（Ｓ１４２）と、
   前記フレームを復号するステップ（Ｓ１４４）と、
   前記復号されたフレームの復号された各マクロブロックについて、時間的予測のためのピクセルの前記使用を表す前記情報を、前記ピクセルが前記復号されたマクロブロックの参照として使用されたときに更新するステップ（Ｓ１４６）と、
   を含む、請求項１乃至５のいずれか一項に記載の方法。
7. 修正可能要素を取得するステップは、逆順に走査される前記画像群の各フレームについて、
   その空間的伝播マップが前記フレームの前記ヒートマップに関する判断基準を満たすピクセルを含む候補修正可能要素を選択するステップ（Ｓ１６０、Ｓ１６２）と、
   時間的予測のための前記ピクセルの前記使用を表す前記情報を、前記選択された候補修正可能要素の前記修正値に関連付けられた前記空間的伝播マップのマクロブロックに参照として使用される全てのピクセルについて更新するステップ（Ｓ１６４）と、
   を含む、請求項６に記載の方法。
8. 候補修正可能要素を選択するステップは、前記空間的伝播マップ内の少なくとも１つの
   ピクセルの時間的予測のための前記使用を表す前記ヒートマップ内での前記情報が時間的予測に使用された前記ピクセルを指示するときに、候補修正可能要素を放棄するステップを含む、請求項７に記載の方法。
9. 候補修正可能要素を選択するステップは、
   各候補修正可能要素について、前記候補修正可能要素の前記空間的伝播マップ内の前記ヒートマップに従った予測に使用されるピクセルの数を含む第１の依存性値を決定するステップと、
   第１の閾値よりも大きな前記第１の依存性値を有する全ての候補修正可能要素を放棄するステップと、
   を含む、請求項７に記載の方法。
10. 候補修正可能要素を選択するステップは、
    各候補修正可能要素について、前記候補修正可能要素の前記空間的伝播マップ内のピクセルに関連付けられた、時間的予測のための前記ピクセルの前記使用を表す前記情報の和を含む第２の依存性値を決定するステップと、
    第２の閾値よりも大きな前記第２の依存性値を有する全ての候補修正可能要素を放棄するステップと、
    を含む、請求項７または９に記載の方法。
11. オーディオビデオコンテンツを表すコード化されたビットストリームの修正可能要素のセットを決定するためのデバイスであって、少なくとも１つのプロセッサー（１１０）を備え、前記少なくとも１つのプロセッサー（１１０）が、画像群をコード化する前記コード化されたビットストリームの部分について、
    候補修正可能要素のセットを決定することであって、候補修正可能要素は、前記コード化されたビットストリームの所与の場所の区分についての修正値と、前記コード化されたビットストリームの前記修正値の前記所与の場所の指示と、前記所与の場所の前記修正値に関連付けられた空間的伝播マップとを含み、前記空間的伝播マップ（ＳＰ６）は、前記コード化されたビットストリーム中の前記所与の場所に前記修正値が配置されるとき、その復号が影響を受けるピクセルを含む、決定することと、
    参照フレームごとに、前記参照フレームの各ピクセルについて、画像群をコード化する前記コード化されたビットストリームの前記部分の前記復号中の時間的予測のための前記ピクセルの使用を表す情報を含むヒートマップを決定することと、
    前記候補修正可能要素のセットの中から修正可能要素のセットを取得することであって、候補修正可能要素は、前記候補修正可能要素の前記空間的伝搬マップが、対応するヒートマップと交差しないときに、修正可能要素として選択される、取得することと、
    を行うように構成される、前記デバイス。
12. オーディオビデオコンテンツを表すコード化されたビットストリームの修正可能要素のセットを決定するためのデバイスであって、画像群をコード化する前記コード化されたビットストリームの部分について、
    候補修正可能要素のセットを決定するための手段（１２）であって、候補修正可能要素は、前記コード化されたビットストリームの所与の場所の区分についての修正値と、前記コード化されたビットストリームの前記修正値の前記所与の場所の指示と、前記所与の場所の前記修正値に関連付けられた空間的伝播マップとを含み、前記空間的伝播マップ（ＳＰ６）が、前記コード化されたビットストリーム中の前記所与の場所に前記修正値が配置されるとき、その復号が影響を受けるピクセルを含む、決定するための手段と、
    参照フレームごとにヒートマップを決定するための手段（１４）であって、前記ヒートマップは、参照フレームの各ピクセルについて、画像群をコード化する前記コード化されたビットストリームの前記部分の前記復号中の時間的予測のための前記ピクセルの使用を表す情報を含む、決定するための手段と、
    前記候補修正可能要素のセットの中から修正可能要素のセットを取得するための手段（１６）であって、候補修正可能要素は、前記候補修正可能要素の前記空間的伝搬マップが、対応するヒートマップと交差しないときに、修正可能要素として選択される、取得するための手段と、
    を備える、前記デバイス。
13. コンピュータプログラムであって、プログラムコード命令を備え、そのプログラムがコンピュータ上で実行されると、請求項１乃至１０のいずれか一項に記載の方法のステップを実行する、前記コンピュータプログラム。
14. プロセッサー可読媒体であって、少なくとも請求項１乃至１０のいずれか一項に記載の方法のステップをプロセッサーに実施させるための命令をその中に記憶している、前記プロセッサー可読媒体。