JP5529293B2 - メタデータによる時間スケーリングのためのエッジエンハンスメントのための方法 - Google Patents

Description

本出願は、参照することによってその全体がここに援用される、２０１０年１月１５日に出願された米国仮特許出願第６１／２９５，４２５号に対する優先権を主張する。

本開示は、ビデオストリームのスケーラビリティに関する。特に、それはメタデータによる時間スケーリングのためのエッジエンハンスメントに関する。

ビデオ再生機能は、デバイスクラス間で広く変動する。当該範囲の１つのエンドには、毎秒１２０個の高品位フレームを再生するテレビディスプレイがある。ローエンドには、毎秒１５個の低解像度フレームしか表示できない携帯電話がある。再生装置の制限に加えて、コンテンツを配信するのに利用されるネットワークの帯域幅はまた、フレームレート及び画像解像度の上限を規定するかもしれない。例えば、ＶｅｒｉｚｏｎのＦＩＯＳなどのベストな住宅用米国ブロードバンド接続は、第２の高品位ビデオ毎に高品質の６０フレームの圧縮されたストリームを容易に搬送できる。多くの携帯オペレータは、フレーム毎に１７６×１４４ピクセル（ＱＣＩＦ）のみの毎秒１５フレーム（ｆｐｓ）のみを許容する２．５Ｇ又はより低速なデータネットワークを依然として有している。

各状況について別の圧縮ストリームを有するのでなく、各ディスプレイシステムがそれの能力について適切な品質レベルを復号化できるように、同一のストリームに追加的な情報を含むことがしばしば好ましい。例えば、モバイルハンドセットは、２０ｆｐｓのＱＣＩＦを検出することが可能である一方、同一のストリームを読むＰＣは、追加的な情報を復号化し、７２０×４８０プログレッシブ（４８０ｐ）の３０ｆｐｓを生成することが可能である可能性がある。

これらの追加的なレイヤを有するビットストリームはスケーラブルであると言われ、一般的な概念はスケーラビリティと呼ばれる。追加的なレイヤに対するオーバヘッドを最小限に維持することが望ましい。理想的には、最高品質のコンテンツが要求するよりビットより多くはなく、実際、以降に示されるように、最高品質のコンテンツの忠実性に対して大きな低減なくより低い品質が要求するものにかなり近いスケーラブルなビットストリームのサイズを有することが可能である。

現在のプラクティスでは、いわゆるＨ．２６４符号化技術が様々な状況において利用可能である。しかしながら、当該規格は、それ自体は十分に広い方法でスケーラビリティをサポートしていない。従って、スケーラブルシステムに対するチャレンジの１つは、より高い品質レベルしかエンハンストデコーダに利用可能でない場合であっても、標準的なＨ．２６４デコーダがある品質レベルによりストリームを再生することが可能であることを確保することである。規格準拠性の上記要件は、ＭＰＥＧ−２などの従来のエンコーダ及びまだ特定されていない将来のエンコーダを含む他の何れか特定の規格にも適用可能である。

帯域幅制約及び表示制約に加えて、処理パワーもまた重要なファクタである。携帯電話などのモバイル装置は、本来的にバッテリ、サイズ及びコストによって計算能力において制限がある。また、大部分のテレビシステム（セットトップボックスを含む）は、多数の専用のハードウェアと最小限のプログラム可能な処理能力とを備えた埋め込みシステムとして設計されている。従って、何れかのスケーラブルビットスリー六がハードウェアにおいてサポートされる必要があり、数年の準備期間がかかるか、又は少ない計算量を要求する必要がある。

帯域幅、処理パワー、表示能力及び規格準拠性の制約を考慮することは、従来技術において満足に解決されなかった困難な問題である。

第１の態様によると、画像の非キーフレームを前記画像の近傍のキーフレームを介し後処理する方法であって、ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されるキーフレームをダウンサンプリングするステップと、アップサンプリングされた再構成されたキーフレームを生成するため、前記ダウンサンプリングされた再構成されたキーフレームをアップサンプリングするステップと、前記再構成されたキーフレームと前記アップサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、前記再構成された非キーフレームを補償するため、再構成された非キーフレームに前記差分を加えるステップとを有する方法が提供される。

第２の態様によると、画像の非キーフレームを前記画像のキーフレームを介し処理する方法であって、ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されたキーフレームをダウンサンプリングするステップと、前記ダウンサンプリングされた非キーフレームとダウンサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、アップサンプリングされた差分を生成するため、前記差分をアップサンプリングするステップと、前記再構成されたキーフレームに前記アップサンプリングされた差分を加えるステップとを有する方法が提供される。

第３の態様によると、画像の非キーフレームを前記画像の近傍のキーフレームを介し処理する方法であって、前記非キーフレームと前記キーフレームとの間の差分を生成するステップと、ダウンサンプリングされた差分を生成するため、前記差分をダウンサンプリングするステップと、アップサンプリングされた差分を生成するため、前記ダウンサンプリングされた差分をアップサンプリングするステップと、前記キーフレームを再構成するステップと、前記再構成されたキーフレームに前記アップサンプリングされた差分を加えるステップとを有する方法が提供される。

第４の態様によると、画像の非キーフレームを前記画像のキーフレームを介し後処理する方法であって、ダウンサンプリングされた再構成されたキーフレームを生成するため、複数の再構成されたキーフレームをダウンサンプリングするステップと、アップサンプリングされた再構成されたキーフレームを生成するため、前記ダウンサンプリングされた再構成されたキーフレームをアップサンプリングするステップと、前記再構成されたキーフレームと各自のアップサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、前記再構成された非キーフレームを補償するため、再構成された非キーフレームに前記差分の和を加えるステップとを有する方法が提供される。

第５の態様によると、画像の非キーフレームを前記画像のキーフレームを介し後処理する方法であって、ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されたキーフレームをダウンサンプリングするステップと、ダウンサンプリングされた再構成された各キーフレームについて、ダウンサンプリングされた非キーフレームと前記ダウンサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、アップサンプリングされた差分を生成するため、各差分をアップサンプリングするステップと、変更されたアップサンプリングされた差分を生成するため、アップサンプリングされた各差分に再構成された各キーフレームを加えるステップと、補償された非キーフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップとを有する方法が提供される。

第６の態様によると、画像の非キーフレームを前記画像のキーフレームを介し後処理する方法であって、再構成されたキーフレームを提供するステップと、アップサンプリングされた差分を生成するため、再構成された各キーフレームと非キーフレームとの間のダウンサンプリングされた差分をアップサンプリングするステップと、変更されたアップサンプリングされた差分を生成するため、再構成された各キーフレームにアップサンプリングされた各差分を加えるステップと、補償された非キーフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップとを有する方法が提供される。

第７の態様によると、画像の非キーフレーム部分を前記画像の復号化中に更新するか否か評価する方法であって、第１非キーフレーム部分を提供するステップと、キーフレーム部分と前記キーフレーム部分のアップサンプリングされたバージョンとの間の差分キーフレーム部分を提供するステップと、第２非キーフレーム部分を生成するため、前記第１非キーフレーム部分に前記差分キーフレーム部分を加えるステップと、前記第２非キーフレーム部分をダウンサンプリングするステップと、前記ダウンサンプリングされた第２非キーフレーム部分とダウンサンプリングされた第１非キーフレーム部分との間の差分部分が閾値未満であるか評価するステップと、前記差分部分が前記閾値未満である場合、前記第２非キーフレーム部分に前記非キーフレーム部分を更新するステップと、前記差分部分が前記閾値未満でない場合、前記第１非キーフレーム部分を維持するステップとを有する方法が提供される。

第８の態様によると、画像の非キーフレーム部分を前記画像の復号化中に更新する方法であって、第１非キーフレーム部分を提供するステップと、キーフレーム部分と前記キーフレーム部分のアップサンプリングされたバージョンとの間の差分キーフレーム部分を提供するステップと、第２非キーフレーム部分を生成するため、前記第１非キーフレーム部分に前記差分キーフレーム部分を加えるステップと、前記第２非キーフレーム部分をダウンサンプリングするステップと、ダウンサンプリングされた第１非キーフレーム部分と前記ダウンサンプリングされた第２非キーフレーム部分との間の差分を生成するステップと、前記差分をアップサンプリングするステップと、更新された非キーフレーム部分を生成するため、前記第２非キーフレーム部分に前記アップサンプリングされた差分を加えるステップとを有する方法が提供される。

第９の態様によると、画像の非キーフレーム部分に前記画像の復号化処理中に時間エッジ補償を適用するか否か評価する方法であって、前記画像のキーフレーム部分を提供するステップと、ダウンサンプリングされたキーフレーム部分を生成するため、前記キーフレーム部分をダウンサンプリングするステップと、アップサンプリングされたキーフレーム部分を生成するため、前記ダウンサンプリングされたキーフレーム部分をアップサンプリングするステップと、前記アップサンプリングされたキーフレーム部分と未補償の非キーフレーム部分との差分が閾値未満であるか評価するステップと、前記差分が前記閾値未満である場合、前記キーフレーム部分と前記アップサンプリングされたキーフレーム部分との間の差分を前記非キーフレーム部分に加えることによって、前記非キーフレーム部分を補償するステップと、前記差分が前記閾値未満でない場合、前記非キーフレーム部分を未補償に維持するステップとを有する方法が提供される。

第１０の態様によると、画像の非キーフレームに前記画像の復号化処理中に時間エッジ補償を適用するか否か評価する方法であって、前記画像の第１及び第２キーフレーム部分を提供するステップと、ダウンサンプリングされた第１及び第２キーフレーム部分を生成するため、前記画像の第１及び第２キーフレーム部分をダウンサンプリングするステップと、アップサンプリングされた第１及び第２キーフレーム部分を生成するため、前記ダウンサンプリングされた第１及び第２キーフレーム部分をアップサンプリングするステップと、前記アップサンプリングされた第１キーフレーム部分と未補償の非キーフレーム部分との間の第１差分が閾値未満であるか評価するステップと、前記アップサンプリングされた第２キーフレーム部分と前記未補償の非キーフレーム部分との間の第２差分が前記閾値未満であるか評価するステップと、前記第１差分と前記第２差分とが前記閾値未満である場合、前記第１キーフレーム部分と前記アップサンプリングされた第１キーフレーム部分との間の差分と、前記第２キーフレーム部分と前記アップサンプリングされた第２キーフレーム部分との間の差分との和を前記非キーフレーム部分に加えることによって、前記非キーフレーム部分を補償するステップと、前記第１差分が前記閾値未満であり、前記第２差分が前記閾値未満でない場合、前記第１キーフレーム部分と前記アップサンプリングされた第１キーフレーム部分との間の差分を前記非キーフレーム部分に加えることによって、前記非キーフレーム部分を補償するステップと、前記第１差分が前記閾値未満でなく、前記第２差分が前記閾値未満である場合、前記第２キーフレーム部分と前記アップサンプリングされた第２キーフレーム部分との間の差分を前記非キーフレーム部分に加えることによって、前記非キーフレーム部分を補償するステップと、前記第１差分と前記第２差分とが前記閾値未満でない場合、前記非キーフレーム部分を未補償に維持するステップとを有する方法が提供される。

第１１の態様によると、画像の非キーフレーム部分を前記画像の復号化中に更新するか否か評価する方法であって、第１非キーフレーム部分を提供するステップと、各キーフレーム部分と前記キーフレーム部分のアップサンプリングされたバージョンとの間の複数の差分キーフレーム部分を提供するステップと、複数の第２非キーフレーム部分を生成するため、各非キーフレーム部分に各差分キーフレーム部分を加えるステップと、各第２非キーフレーム部分をダウンサンプリングするステップと、ダウンサンプリングされた各第２非キーフレーム部分とダウンサンプリングされた第１非キーフレーム部分との間の１以上の差分部分が閾値未満であるか評価するステップと、１以上の差分部分が前記閾値未満である場合、前記非キーフレーム部分を更新し、そうでない場合、前記第１非キーフレーム部分を維持するステップとを有する方法が提供される。

第１２の態様によると、画像の非キーフレーム部分を前記画像の復号化中に更新する方法であって、第１非キーフレーム部分を提供するステップと、キーフレーム部分と前記キーフレーム部分のアップサンプリングされた各バージョンとの間の複数の差分キーフレーム部分を提供するステップと、第２非キーフレーム部分を生成するため、前記第１非キーフレーム部分に前記差分キーフレーム部分を加えるステップと、前記第２非キーフレーム部分をダウンサンプリングするステップと、ダウンサンプリングされた第１非キーフレーム部分と前記ダウンサンプリングされた第２非キーフレーム部分との間の差分を生成するステップと、前記差分をアップサンプリングするステップと、更新された非キーフレーム部分を生成するため、前記第２非キーフレーム部分に前記アップサンプリングされた差分を加えるステップとを有する方法が提供される。

第１３の態様によると、画像の再構成されたフレームを前記画像の近傍フレームを介しエンハンスする方法であって、ダウンサンプリングされた再構成されたフレームを生成するため、エンハンスされる前記フレームの再構成された近傍フレームをダウンサンプリングするステップと、アップサンプリングされた再構成されたフレームを生成するため、前記ダウンサンプリングされた再構成されたフレームをアップサンプリングするステップと、前記再構成されたフレームと前記アップサンプリングされた再構成されたフレームとの間の差分を生成するステップと、前記エンハンスされる再構成されたフレームに前記差分を加えるステップとを有する方法が提供される。

第１４の態様によると、画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、ダウンサンプリングされた再構成されたフレームを生成するため、前記エンハンスされるフレームの再構成された近傍フレームをダウンサンプリングするステップと、エンハンスされるダウンサンプリングされたフレームと前記ダウンサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、アップサンプリングされた差分を生成するため、前記差分をアップサンプリングするステップと、前記再構成された近傍フレームに前記アップサンプリングされた差分を加えるステップとを有する方法が提供される。

第１５の態様によると、画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、前記エンハンスされるフレームと前記近傍フレームとの間の差分を生成するステップと、ダウンサンプリングされた差分を生成するため、前記差分をダウンサンプリングするステップと、アップサンプリングされた差分を生成するため、前記ダウンサンプリングされた差分をアップサンプリングするステップと、前記近傍フレームを再構成するステップと、前記再構成された近傍フレームに前記アップサンプリングされた差分を加えるステップとを有する方法が提供される。

第１６の態様によると、画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、ダウンサンプリングされた再構成された近傍フレームを生成するため、複数の再構成された近傍フレームをダウンサンプリングするステップと、アップサンプリングされた再構成された近傍フレームを生成するため、前記ダウンサンプリングされた再構成された近傍フレームをアップサンプリングするステップと、前記再構成された近傍フレームと前記アップサンプリングされた再構成された各近傍フレームとの間の差分を生成するステップと、再構成されたフレームをエンハンスするため、前記再構成されたフレームに前記差分の和を加えるステップとを有する方法が提供される。

第１７の態様によると、画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、ダウンサンプリングされた再構成された近傍フレームを生成するため、再構成された近傍フレームをダウンサンプリングするステップと、ダウンサンプリングされた再構成された各近傍フレームについて、エンハンスされるダウンサンプリングされたフレームと前記ダウンサンプリングされた再構成された近傍フレームとの間の差分を生成するステップと、アップサンプリングされた差分を生成するため、各差分をアップサンプリングするステップと、変更されたアップサンプリングされた差分を生成するため、アップサンプリングされた各差分に再構成された各近傍フレームを加えるステップと、エンハンスされたフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップとを有する方法が提供される。

第１８の態様によると、画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、再構成された近傍フレームを提供するステップと、アップサンプリングされた差分を生成するため、再構成された各近傍フレームとエンハンスされるフレームとの間のダウンサンプリングされた差分をアップサンプリングするステップと、変更されたアップサンプリングされた差分を生成するため、再構成された各近傍フレームにアップサンプリングされた各差分を加えるステップと、エンハンスされたフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップとを有する方法が提供される。

さらなる態様によると、本出願の方法の何れかによる画像の１以上のフレームを処理するシステムが開示される。

他の態様によると、画像の１以上のフレームを処理するため、本出願の方法の何れか１つの利用が開示される。

さらなる他の態様によると、本出願の方法の何れか１つをコンピュータに実行させる命令セットを有するコンピュータ可読媒体が開示される。

図１は、メタデータを用いて時間スケーラビリティを実現するシステムの概略図を示す。 図２は、メタデータが時間スケーラビリティを加えるのに利用される概略図を示す。 図３は、キーフレームに関する情報が非キーフレームのメタデータ符号化に利用される図２に類似した概略図を示す。 図４は、キーフレームからのサイド情報が補間フレームを予測するのに利用されるとき、非キーフレームを記述するのに利用される図３によるメタデータの一例を示す。 図５は、ダウンサンプリング及びアップサンプリングによる消失したエッジ情報の具体例を示す。 図６は、エッジエンハンスされた非キーフレームの計算によるブロック図を示す。 図７は、本開示の実施例による画像改良の具体例を示し、図７に用いられるダウンサンプリングレシオは４×４である。 図８は、図６の実施例の計算の代替を示す。 図９は、図６の実施例の計算の代替を示す。 図１０Ａは、双方向時間エッジ補償によるブロック図を示す。 図１０Ｂは、双方向時間エッジ補償によるブロック図を示す。 図１０Ｃは、双方向時間エッジ補償によるブロック図を示す。 図１１は、Ｔｙｐｅ−Ｉ Ａｓｓｉｓｔｅｄ Ｆｒａｍｅメタデータの双方向時間エッジ計算の具体例を示す。 図１２は、閾値による制約付きの時間エッジ補償を計算するフローチャートを示す。 図１３は、訂正による制約付き時間エッジ補償を計算するフローチャートを示す。 図１４は、１つのリファレンスキーフレームによる条件付き時間エッジ補償を用いて各ピクセルを計算するフローチャートを示す。 図１５は、双方向条件付き時間エッジ補償を用いて各ピクセルを計算するフローチャートを示す。 図１６は、エッジマップフィルタリングによる時間エッジ補償を計算するフローチャートを示す。 図１７は、動き補償されたエッジマップによる時間エッジ補償を計算するフローチャートを示す。 図１８は、ダウンサンプリングレシオが４×４である時間エッジエンハンスメント後処理技術を利用した及び利用しない結果を示すテーブルである。

本開示は、時間スケーラビリティを解決する。時間スケーラビリティは、所与の状況について適切なフレームレートの選択を可能にする特徴（例えば、デコーダなどによって）として規定される。

多数の規格は、ストリームのコンテンツが記述されるフィールドを提供する機構を有する。大部分のデコーダは、単にそのようなフィールドをスキップする。典型的な利用は、ビデオが撮影された位置、ビデオに示される人々の名前、又はビデオの作成に関与した人々の名前を含む。この情報のハイレベルな性質のため、それはしばしばメタデータと呼ばれる。

メタデータを追加するためのシンタックスは何れかのタイプのデータを可能にするため、本開示で説明される追加的な情報は、メタデータとしてビデオストリームに埋め込まれてもよい。このため、本開示で用いられるメタデータという用語は、単にビデオのコンテンツに関する上位のデータでなく、ビデオの何れかの追加的な説明を表す。

本開示の実施例は、ビデオストリームの時間スケーラビリティの領域に関する。すなわち、エンコーダは、受信するデコーダが状態に応じてフルフレームレート又は低減されたレートによりビデオを再生することを選択可能となるように、少量の情報を圧縮されたストリームに追加する。以下の説明に示されるように、メタデータは、時間スケーラビリティを実現することを支援可能である。本開示の実施例による後処理方法はさらに、時間エッジ情報を加えることによって、視覚的品質を向上させることが可能である。

図１は、メタデータ及び後処理を利用して時間スケーラビリティを導入及び利用する変換システム（１００）を示す。変換システム（１００）は、以下の段階の１以上を有することが可能である。第１段階では、オリジナルソースフレームレートｆ_Ｓによるフレームが、ターゲットフレームレートｆ_Ｔに変換される。任意的なフレームレートの変換ブロック（１１０）が言及される。何れか既存のフレームレート変換方法が、この段階に適用可能である。第２段階では、レートｆ_Ｔのシーケンスが、キーフレームのシーケンスと非キーフレームのシーケンスとの２つのタイプのフレームシーケンスに分割される。キーフレームは、低減されたレートによりデコーダにおいて以降に再生されるメインビットストリームにおけるフレームである。非キーフレームは、以降に詳細に説明されるように、付加情報を含み、フルフレームレートを実現するため、デコーダにおいて再構成されたキーフレームと一緒に再生可能である。キーフレームは、Ｈ．２６４／ＡＶＣなどの従来のビデオ符号化方法を用いて符号化される（１２０）。非キーフレームは、メタデータによって表現される（１３０）。以降に詳細に説明される図２及び３は、メタデータ生成ブロック（１３０）の具体例を示す。図２の実施例では、メタデータは、非キーフレームのダウンサンプリングされたバージョンである。図３の実施例では、メタデータは、キーフレームからのサイド情報と非キーフレームとの間の差分のダウンサンプリングされたバージョンである。従って、メタデータは、フレームに関する特定の情報を記述し、フルフレームを符号化するより低いビットレートにより符号化可能である。メタデータは。キーフレームに加えて何れのものとすることが可能であり、フルレートシーケンスを再構成するのに役立つ。典型的なメタデータは、非キーフレームに関する情報を含む。デコーダでは、キーフレームは、対応するビデオデコーダを用いて復号化される（１４０）。非キーフレームのメタデータは、非キーフレームを再構成するのを支援するため抽出される（１５０）。以降に詳細に説明される図２及び３は、メタデータ解析ブロック（１４０）の具体例を示す。本開示のいくつかの実施例では、メタデータを介して再構成が実行可能であるが、再構成された非キーフレームがメタデータなしに又はほとんどなく生成される実施例もまた可能である。

一実施例では、キーフレームは、オリジナルソースフレームのすべてがキーフレームとして分類され、ｆ_Ｋ＝ｆ_Ｓ（ただし、ｆ_Ｋはキーフレームのフレームレートである）となるように分類可能である。この場合、メタデータ生成ブロック（１３０）は、フレームレート変換により生成されるフレームに従って毎秒（ｆ_Ｔ−ｆ_Ｓ）フレームでデータを受信する。ｆ_Ｋの他の値が可能であり、特にメタデータは、オリジナルソースにあったフレームについて生成されてもよい。すなわち、すべてのソースフレームがキーフレームとして分類されることは必要とされない。

以下のパラグラフはまず、図２及び３を参照して、メタデータの生成及び解析（図１のブロック（１３０）及び（１５０）を参照）の２つの実施例を説明する。以降において、時間エッジエンハンスメントを用いて非キーフレームの視覚的品質を向上させる第３段階の後処理を提供するエッジエンハンスメント後処理方法が説明される（図４を参照）。

図２は、メタデータの生成及び解析の第１実施例（２００）を示す。キーフレーム（２１０）は、Ｈ．２６４／ＡＶＣなどのビデオ符号化方法を用いて符号化され（２２０）、図１を参照してすでに説明されたような対応するビデオデコーダを用いて復号化される。非キーフレーム（２４０）は、メタデータとして表され、タイプＩ支援されたフレームとして以下において言及される。オリジナルフル解像度非キーフレームは、ｆとして示すことができる。支援されたフレームは、

として示されるダウンサンプリングされたフレームである。Ｄ（・）は、ダウンサンプリング演算子を示す。ダウンサンプリングフィルタ（２５０）は、バイリニア、バイキュービック、ニアレストネイバ及びＬａｎｃｚｏｓ−ｋｅｒｎｅｌリサンプリングフィルタとすることが可能である。例えば、ニアレストネイバフィルタリングは、最近傍のピクセル値を現在位置に割り当てる。バイリニアフィルタリングの一例は、４つの最近傍（上下左右の近傍などのＡ，Ｂ，Ｃ，Ｄ）の加重和を導出し、それを現在位置Ｘのピクセル値として利用する。

ここで、ｐ_ｉは位置ｉ（ｉ＝Ｘ，Ａ，Ｂ，Ｃ，Ｄ）におけるピクセル値を示し、ｗ_ｉは位置ｉの対応するウェイトを示す。

ダウンサンプリングされたフレームは、デコーダに直接送信可能であるか、又はビデオ圧縮方法を利用して符号化可能である（２６０）。ダウンサンプリングされたフレームの解像度はオリジナルのフル解像度フレームよりはるかに小さいため、それはかなり低いビットレート及び復号化コンプレクシティしか要求しない。デコーダでは、復号化（２７０）されたダウンサンプリングフレーム

が、

を再構成するためアップサンプリング（２８０）される。Ｕ（・）は、アップサンプリング演算子を示す。アップサンプリングフィルタ（２８０）は、エンコーダ段階において用いられるダウンサンプリングフィルタの対応するフィルタとすることが可能である。例えば、ダウンサンプリングフィルタがバイリニアである場合、アップサンプリングフィルタもまたバイリニアである。ダウンサンプリングフィルタがバイキューブである場合、アップサンプリングフィルタもまたバイキューブとすることができる。

図３は、メタデータの生成及び解析の第２実施例（３００）を示す。キーフレーム（３１０）は、Ｈ．２６４／ＡＶＣなどのビデオ符号化方法を用いて符号化され（３２０）、対応するビデオデコーダを用いて復号化される（３３０）。非キーフレーム（３４０）は、タイプＩＩ支援されたフレームと呼ばれるメタデータとして表される。エンコーダでは、補間されたフレーム（３５０）が、サイド情報としてキーフレームから生成される。このとき、オリジナルフレームとサイド情報フレームとの間の差分フレーム（３６０）がダウンサンプリングされ（３７０）、メタデータとして表される。メタデータは、デコーダに直接送信されるか、又はいくつかの画像／ビデオ符号化方法によって圧縮可能である（３８０）。デコーダでは、メタデータが解析され（３８５）、ダウンサンプリングされた差分フレームがオリジナルサイズにアップサンプリングされる（３９０）。キーフレームはエンコーダとデコーダとの双方において利用可能であるため、サイド情報フレーム（３９１）は、エンコーダと同様に同一のアルゴリズムを用いて生成される。最終的に、サイド情報フレーム（３９１）とアップサンプリングされた差分フレーム（３９２）とが、非キーフレーム（３９５）を再構成するため追加される。

図３の構成により生成されるようなサイド情報生成（４００）の一例が、リニア補間が補間されたフレーム（４３０）を生成するため、近傍の前のキーフレーム（４１０）と次のキーフレーム（４２０）とに適用される図４において示される。このとき、オリジナルの非キーフレーム（４５０）と補間されたフレーム（４３０）との間の差分フレーム（４４０）が導出され、メタデータを生成するためダウンサンプリングされる（４６０）。

サイド情報の他の実施例は、

として定式化可能な動き補償時間補間方法を用いて生成可能である。ｐ_Ｉ（ｘ，ｙ）は、位置（ｘ，ｙ）における補間フレームのピクセル値を示し、ｐ_Ｒ（ｘ，ｙ）は、リファレンスフレームのピクセル値を示す。この場合、以前に再構成されたキーフレームは、リファレンスフレームとして利用できる。補間フレームのすべてのピクセル又はすべてのブロックは、動きベクトル（Δｘ，Δｙ）と関連付けされる。動きベクトルは、補間フレームとリファレンスフレームとの間のオブジェクトの動きの軌跡を記述する。補間フレームは、式（２）と同様に、動きベクトルのシフトによってリファレンスフレームから再構成可能である。動きベクトルは、再構成されたフレームの動き推定によって導出可能である。動きベクトルはまた、ソースフレームのビットストリームにおける動きベクトルから導出可能である。複数のキーフレームが、サイド情報の生成において利用可能である。さらに、サイド情報は、キーフレームだけでなく非キーフレームからも抽出可能である。

以前の図１〜４において説明されたメタデータによるフレームレート変換方法は、ダウンサンプリングされたコンテンツをメタデータとして送信する。デコーダにおけるアップサンプリング処理は、ぼけと他のアーチファクトを導く可能性がある。以下のパラグラフでは、時間エッジ補償を利用してメタデータによるフレームレート変換のためエッジ情報をエンハンスする後処理方法が説明される。この方法の実施例は、非キーフレームの品質を向上させるため受信したキーフレームからのエッジ情報を利用する。

図１〜４に示されるものを含む以前の圧縮技術は、非キーフレームの記述が低減された解像度によるものであるため、近傍フレームからのサイド情報もまた低解像度で利用されるべきであることを仮定していた。出願人は、高周波数情報をフル解像度近傍フレームに以降に適用する効果を述べた。この利用は、高周波数が属する位置を決定することを困難にするフレーム間の動きの可能性のため、直感に反したものである。

いくつかの実施例によると、本開示の時間エッジ補償方法は、近傍のキーフレームのエッジを利用して、非キーフレームの消失したエッジ情報を補償する。非キーフレームの高周波数コンテンツは、ダウンサンプリング及び以降のアップサンプリング処理中に消失した。近傍のキーフレームにおける同様のダウンサンプリング及びアップサンプリングがデコーダにおいて実行される。キーフレームの高周波数コンテンツが、再構成された非キーフレームを補償するのに利用される。

図５の一例となる図（５００に示されるように、フル解像度非キーフレームはｆとして示され、ダウンサンプリングされたフレームは、

として示される。アップサンプリングされた再構成は、

として示される。同様に、近傍のキーフレームの復号化されたフル解像度のバージョン、ダウンサンプリングされたバージョン及びアップサンプリングされたバージョンはそれぞれ、

として示される。典型的には、近傍のキーフレームは、時間インデックスにおける現在のフレームの次のキーフレームである。時間インデックスは、フレームの撮影時間によるフレーム番号インデックスである。図５に示されるように、シャープなエッジは、キーフレームと非キーフレームとの双方についてダウンサンプリング及びアップサンプリング処理中に消失する。差分画像

（可視化の容易のため増幅された）は、消失したエッジマップと呼ばれる。当該マップは、ダウンサンプリング及びアップサンプリング中に消失した高周波数コンテンツを示す。図５に示されるように、近傍フレームについて、差分画像は、相対的に複雑な動きのあるシーケンスに対してさえ互いに類似している。これは、近傍のキーフレームの消失した高周波数コンテンツがアップサンプリングされた非キーフレームのものに高い相関があることを示す。

この観察に基づき、本開示の実施例による時間エッジ補償方法は、デコーダにおいて

のエッジ情報を補償するため、消失したエッジマップを適用する。

図６の構成（６００）に示されるように、再構成されたキーフレームｇは、ｆから

を生成する同一のフィルタ（１６０）を用いてダウンサンプリングされたフレーム

を生成するためダウンサンプリング可能である（６１０）。すなわち、本開示の実施例によると、デコーダの図６のフィルタ（６１０）は、エンコーダにおける図２のブロック（２５０）又は図３のブロック（３７０）と同一とすることができる。ダウンサンプリングされたフレーム

は、

から

を生成する同一のフィルタを用いて、

としてオリジナルサイズにアップサンプリング可能である（６２０）。すなわち、本開示の実施例によると、デコーダにおける図６のフィルタ（６２０）は、エンコーダにおける図２のブロック（２８０）又は図３のブロック（３９０）と同一とすることができる。第１加算器（６３０）は、エッジマップ

を生成する。第２加算器（６４０）は、エッジマップ

を用いて

を補償し、エッジエンハンスとされた非キーフレーム

を生成する。上述されたように、キーフレームｇは非キーフレームｆの近傍キーフレームである。例えば、シーケンスのＮ番目のフレームが非キーフレームであり、シーケンスの（Ｎ−１）番目のフレームがキーフレームである場合、（Ｎ−１）番目のフレームはＮ番目の非キーフレームの近傍のキーフレームである。

図７は、図５及び６において上述された時間エッジエンハンスメント実施例の３つの具体例を示す。ｍｏｂｉｌｅ ＣＩＦ（インセットａ，ｂ）、ｔｅｍｐｅｔｅ ＣＩＦ（インセットｃ，ｄ）及びｐａｎｓｌｏｗ ７２０ｐ（インセットｅ，ｆ）の各シーケンスは、４×４のレシオまでダウンサンプリングされ、オリジナルサイズにアップサンプリングされる。ｍｏｂｉｌｅ ＣＩＦシーケンスでは、後処理

なしにアップサンプリングされた画像（インセットａを参照）はぼやけ、カレンダーの数字は、ハイライト部分（７１０）に示されるように、判読できない。時間エッジエンハンスメント後処理の後、再構成

（インセットｂを参照）は、数字のより明確なビュー（７２０）を示す。ｔｅｍｐｅｔｅ ＣＩＦシーケンスにおいて、花のテクスチャは、ぼけのあるバージョン

と比較して（インセットｃ及びビュー（７４０）を参照）、

により完全に再構成される。（インセットｄ及びビュー（７３０）を参照）。同様に、ｐａｎｓｌｏｗ ７２０ｐシーケンスのダッシュボードの直線は、ダウンサンプリング（インセットｅ及びビュー（７５０））によって歪められ、エッジエンハンスメントにより訂正された（インセットｆ及びビュー（７６０））。

図８，９は、図６の教示に基づく本開示のさらなる実施例を示す。

特に、式（３）の後処理

は、

として再定式化できる。

式（４）において、アップサンプリングされたキーフレーム

と非キーフレーム

との間の相違が後処理に適用される。あるいは、図８に示されるように、ダウンサンプリングされたキーフレーム

とダウンサンプリングされた非キーフレーム

との間の差分画像が生成される。次のステップにおいて、差分画像

がアップサンプリングされ（８２０）、再構成されたキーフレームに加えられる。

デコーダにおいて図８の後処理ブロックに示されるように、メタデータはまた、式（３）により以前に指定されたアプローチと同様に

である。この場合、再構成されたキーフレームｇは、デコーダにおいて

にダウンサンプリングされる（８３０）。このとき、差分

は、ｆとしてオリジナルサイズにアップサンプリングされ（８２０）、

として示される。その後、それは、エッジエンハンストされた再構成された非キーフレーム

を形成するため、再構成されたキーフレームｇに加えられる。

他方、図９の実施例によると、オリジナル非キーフレームとキーフレームＤ（ｆ−ｇ）との間のダウンサンプリングされた差分画像が送信され（９１０）、デコーダにおいてアップサンプリングされ（９２０）、再構成されたキーフレームに加えることができる。

図９に示されるように、メタデータＤ（ｆ−ｇ）（９１０）は、キーフレームｇと非キーフレームｆとの間の差分画像のダウンサンプリングされたバージョンである。このとき、Ｄ（ｆ−ｇ）は、

としてオリジナルサイズにアップサンプリングされ（９２０）、

として示される。その後、アップサンプリングされた差分は、エッジエンハンストされた非キーフレーム

を再構成するため、再構成されたキーフレームｇに加えられる（９３０）。一般に、差分（ｆ−ｇ）のダウンサンプリングは、メタデータのサイズを低減するため、エンコーダにおいて行われる。しかしながら、そのようなダウンサンプリングはまた、メタデータのデータレートが関係ない場合には、デコーダにおいて実行可能である。

図６〜９の実施例は、時間エッジ補償のため、１つの近傍キーフレームｇからのエッジ情報しか利用しない。例えば、前のキーフレームと後のキーフレームなどの２つの近傍キーフレームに基づく双方向時間エッジ補償が提供される実施例が説明される。以下のパラグラフでは、１つの前のキーフレームと１つの後のキーフレームとを有する実施例が説明される。しかしながら、当業者は、２つの前のキーフレーム又は２つの後のキーフレームなどの他の実施例がまた可能であることを理解するであろう。

後の（又は第２近傍）キーフレームは、ｈとして示される。ダウンサンプリングされたバージョン

とアップサンプリングされたバージョン

とを生成するため、同様のダウンサンプリング及びアップサンプリング処理が適用可能である。双方向時間エッジ補償は、

として定義できる。

図１０Ａにおいて、本開示のさらなる実施例による双方向時間エッジ補償を示す概略図が示される。前の（又は第１近傍）キーフレームｇは、

にダウンサンプリングされる（１０１０）。ダウンサンプリングされたフレーム

は、ｇとしてオリジナルサイズにアップサンプリングされ（１０２０）、

として示される。第１加算器（１０３０）は、エッジマップ

を生成する。その後、エッジマップは、

を生成するため、１／２と乗算される（１０４０）。同一の処理（１０５０，１０６０，１０７０，１０８０）が、

を生成するため、次のキーフレームｈに適用される。これら２つのアイテムは、エッジエンハンスとされた非キーフレームを生成するため、再構成された非キーフレーム

に加えられる（１０９０）。

図１０Ａにおいて、エッジマップのウェイトは、例えば、１／２である。エッジマップのウェイトは、他の方法により定義できる。例えば、ウェイトは、ターゲット非キーフレームとソースキーフレームとの間の時間距離に反比例することが可能である。例えば、キーフレームｇが（Ｎ−１）番目のフレームであり、非キーフレームｆがＮ番目のフレームであり、キーフレームｈが（Ｎ＋１）番目のフレームである場合、ｇとｆとの間の時間距離は１であり、ｆとｈとの時間距離は１であり、ウェイトはそれぞれ１／２とすることができる。他方、キーフレームｇが（Ｎ−１）番目のフレームであり、非キーフレームｆがＮ番目のフレームであり、キーフレームｈが（Ｎ＋２）番目のフレームである場合、ｇとｆとの間の時間距離は１であり、ｆとｈとの間の時間距離は２であり、ブロック（１０４０）と（１０８０）とのウェイトはそれぞれ、２／３と１／３とすることが可能である。重み付けパラメータは、現在の非キーフレームとリファレンスキーフレームとの間の差分に依存して定義できる。

式（５）及び（６）に示されるアプローチに基づく同様の拡張（図８，９を参照）はまた、以下の式（７ｂ），（７ｃ）に従って図１０Ｂ，１０Ｃに示されるように、双方向時間エッジエンハンスメントに適用可能である。

図１１は、Ｔｙｐｅ−Ｉ Ａｓｓｉｓｔｅｄ Ｆｒａｍｅメタデータの双方向時間エッジ補償の一例を示す（図２に示される符号化／復号化処理を参照）。ダウンサンプリングされたバージョンは、現在のフレームのメタデータとして利用され、ダウンサンプリングレシオは、例えば、４×４である。すなわち、ダウンサンプリングされたピクチャのサイズは、オリジナルフレームの１／１６である。前後のキーフレームは、Ｈ．２６４／ＡＶＣを用いて符号化及び復号化され、図１０Ａの再構成されたキーフレームｇ，ｈに対応する。現在のフレームは非キーフレームであり、メタデータはダウンサンプリングされたフレーム

である。メタデータをアップサンプリングすることによって取得された再構成された非キーフレームは、図１０Ａにおける

に対応するメタデータはまた、Ｈ．２６４／ＡＶＣを用いて符号化及び復号化される。再構成されたキーフレームは、高周波数エッジ情報を生成するため、ダウンサンプリング及びアップサンプリングされる。式（７Ａ）〜（７Ｃ）に示されるような双方向エッジ補償は、メタデータのエッジ情報を向上させるため、アップサンプリングされた非キーフレームに適用される。

双方向エッジ補償はさらに、Ｋ個のキーフレーム（Ｋ≧２）を用いた複数フレーム時間エッジ補償に拡張可能である。これらＫ個のキーフレームからのエッジマップの加重和は、非キーフレームのエッジを向上させるため利用可能である。典型的には、キーフレームは、同様のエッジを有するため、非キーフレームに近いものである。他の実施例では、Ｌ個（Ｌ≦Ｋ）のキーフレームが、目標を達成するため、Ｋ個のキーフレームから適応的に選択可能である。この適応的選択は、再構成されたＬ個のキーフレームのダウンサンプリング／アップサンプリング前に、又はＫ個の再構成されたキーフレームをアップサンプリングした後に実行可能である。適応的選択は、Ｋ個のキーフレームと現在の非キーフレームとを比較し、Ｌ個の最近接キーフレームを選択することによって実行可能である。すなわち、メトリックは、フレームの類似度を決定し、現在のフレームに類似したエッジを有することが可能なＬ個のキーフレームを選択するよう設定される。さらに、Ｋ個のフレームは、キーフレームと以前に後処理された非キーフレームとの双方を有することが可能である。

アップサンプリングと後処理とは共に、ダウンサンプリングされた情報に基づきオリジナル情報を復元する。これは、以下の最適化問題として表すことができる。

本開示の以前のセクションの後処理の実施例（図６，８，９，１０を参照）は、結果として得られるフレームが未処理のフレームにどの程度近いか考慮することなく、キーフレームから導出された消失したエッジマップがアップサンプリングされた非キーフレームに適用されるため、制約条件のない最適化とみなすことができる。これは、保存されるべきエリアにおける過剰処理を導く可能性がある。理想的には、後処理されたフレームは、

のアップサンプリングされたバージョンとして依然としてみなされるべきである。すなわち、後処理された非キーフレームが同一のダウンサンプリングフィルタを用いてダウンサンプリングされる場合、それは、

に極めて近いダウンサンプリングされた画像を依然として生成すべきである。この制約条件付きの時間エッジ補償のケースでは、最適化問題は、

として定式化できる。ただし、Ｔは許容閾値である。

このような制約は、本開示において提案されるすべての再構成スキームに適用可能である。例えば、式（４）の後処理スキームは、このような制約条件付きの後処理を示すのに利用される。

追加的な処理ラウンドの説明を容易にするため、オリジナルのダウンサンプリングされたバージョンは、

として定義できる。デコーダにおけるアップサンプリングされたバージョンは、

として示される。式（４）と同様に、第１ラウンド再構成は、

である。この再構成は、例えば、

を生成するのに利用されるものと同じダウンサンプリングフィルタなどを利用して、

にダウンサンプリングされる。同様に、ｋ番目のラウンド再構成は、

であり、それのダウンサンプリングされたバージョンは、

である。この問題は、

として定式化できる。

オリジナルソースｆはデコーダにおいて未知であるため、最適化は近似により解くことができる。３つの制約条件付き最適化が以下の実施例において示される。

制約条件付きの最適化のための第１の方法は、図１２に示されるように、

の間のピクセル差分に基づき、後処理された結果を更新する。第１加算器（１２１０）は、第１ラウンド再構成ｆ_（１）を取得するため、再構成された非キーフレーム

とエッジマップとを加える。

第１ラウンド再構成は、

を生成する同一のフィルタを用いて、

にダウンサンプリングされる（１２２０）。ダウンサンプリングされたバージョンの対応する位置のピクセル差分が閾値Ｔ未満である場合、エッジ補償は、受け入れられ（１２３０）、ｆ_（２）＝ｆ_（１）である。そうでない場合、エッジエンハンスメントはドリフトとみなされ、オリジナルのアップサンプリングされたフレームは、再構成

として復元される。

スケールファクタは、α×αとして示すことができる。スケールファクタは、オリジナルキーフレームのサイズとメタデータのサイズとの間のレシオとして定義される。例えば、オリジナルキーフレームが（３５２×２８８）ＣＩＦ（Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｖｉｄｅｏ Ｆｏｒｍａｔ）を有し、非キーフレームが、メタデータを生成するため（１７６×１４４）のＱＣＩＦ（Ｑｕａｒｔｅｒ ＣＩＦ）ビデオフォーマットにダウンサンプリングされる場合、スケールファクタは、２×２である。ｆ_（２）の位置（ｉ，ｊ）のエッジ補償の決定は、

の間の位置

におけるピクセル差分に基づく。ここで、

は、ｘのフロア演算

を表し、Ｚは整数の集合である。図１２を参照して説明される更新は、

として定式化できる。

連続的な精緻化のさらなる繰り返しは、それが収束するまで品質をさらに向上させるのに利用可能である。例えば、以下の式（１２）では、固定数又は単調減少系列Ｔ_ｋが、閾値として利用される。繰り返しアルゴリズムは、ダウンサンプリングされたフレームの制約と共にエッジ情報を利用する。

当該アルゴリズムは、フレーム内のダウンサンプリングされたすべてのピクセル差分が閾値Ｔ_ｋ未満になると停止する。実際、デコーダにおける低い後処理コンプレクシティを維持するため、大部分のケースにおいて十分である精緻化の１又は２つののラウンドが利用可能である。

制約条件付き最適化のための第２の方法は、図１３に示されるように、アップサンプリングされた差分

を訂正項として再構成ｆ_（１）に加える。第１加算器（１３１０）は、図１２においてすでに説明されたものと同様に、

を生成する同一のフィルタを用いて、

にダウンサンプリングされる（１３２０）第１ラウンドの再構成ｆ_（１）を取得するため、再構成された非キーフレーム

とエッジマップとを加える。しかしながら、この場合、第２加算器（１３３０）は、

を生成するためアップサンプリングされる（１３４０）差分のサブサンプリングフレーム

を提供する。最終的に、ｆ_（２）が取得されるように、

がｆ_（１）に加えられる（１３５０）。このようにして、ドリフトされたエッジエンハンスメントが低減される。

このアプローチは、連続的な精緻化繰り返しバージョンに拡張可能である。以下の式（１４）では、ステップサイズΔ_ｋは、収束速度を制御するため差分フレーム

と乗算される。例えば、Δ_ｋは、単調減少系列（Δ／ｋ又はΔ／２^ｋ）とすることが可能である。ただし、Δは固定されたステップサイズである。

過剰処理を回避するための第３の方法は、時間エッジ補償を条件付きで適用することである。時間エッジ補償が適用されるべきか判断するための判定が実行される。現在のキーフレームがリファレンス非キーフレームと高い相関があるエリアでは、時間エッジ補償が適用される。そうでない場合、時間エッジ補償は無効とされる。一実施例は、

として定式化できる。

図１４に示されるように、時間エッジ補償を適用するか否かの判定がピクセルレベルの差分に基づき行われる。近傍のキーフレームｇは、

にダウンサンプリングされる（１４２０）。ダウンサンプリングされたフレーム

は、ｇとしてオリジナルサイズにアップサンプリングされ（１４３０）、

として示される。判定ブロック（１４１０）は、

の間の絶対的な距離を計算する。

が閾値Ｔ以上である場合、時間エッジ補償が無効とされ（１４４０）、

である。

が閾値Ｔ未満である場合、時間エッジ補償が適用され（１４５０）、

である。

条件付き時間エッジ補償の他の実施例が、２つのリファレンス非キーフレームが利用可能であるケースに適用可能であり、

として定式化できる。

図１５において、双方向の条件付き時間エッジ補償のためのフローチャートが示される。前のキーフレームｇは、

にダウンサンプリングされる（１５１０）。ダウンサンプリングされたフレーム

は、ｇとしてオリジナルサイズにアップサンプリングされ（１５２０）、

として示される。次のキーフレームｈは、

にダウンサンプリングされる（１５３０）。ダウンサンプリングされたフレーム

は、オリジナルサイズにアップサンプリングされ（１５４０）、

として示される。この判定（１５５０，１５６０，１５７０）は、２つの条件

に基づき行われる。

の双方が閾値Ｔ以上である場合、時間エッジ補償は無効とされ（１５８０）、

である。

が閾値以上であり、

が閾値より小さい場合、キーフレームｈからの時間エッジ情報が、補償（１５８５）

において利用される。

が閾値より小さく、

が閾値以上である場合、キーフレーム

からの時間エッジ情報が、補償（１５９０）

において利用される。

の双方が閾値より小さい場合、双方向時間エッジ補償が適用される（１５９５）。

本開示に適用可能なさらなる追加的な実施例が、図１６，１７を参照して次のパラグラフにおいて説明される。

キーフレームから導出されるエッジマップは、圧縮アーチファクト（リンギング／輪郭／ブロッキングアーチファクトなど）などのノイズ及びアーチファクトの各種ソースを含む。エッジマップフィルタリングは、提案された後処理方法の品質を向上させることが可能なノイズを削除又は低減するのに利用可能である。フィルタは、ローパスフィルタ、Ｋａｌｍａｎフィルタ、デブロッキングフィルタ、デコンボリューションフィルタ、Ｂａｙｅｓｉａｎフィルタ、バイラテラルフィルタなどとすることが可能である。図１６において、例えば、図６の時間エッジの実施例を利用したフローチャートが示される。再構成されたキーフレームｇは、ダウンサンプリングされたフレーム

を生成するためダウンサンプリングされる（１６１０）。その後、それは、オリジナルサイズにアップサンプリングされ（１６２０）、

として示される。第１加算器（１６３０）は、エッジマップ

を生成する。エッジマップは、フィルタリングされたエッジマップを生成するため、エッジマップフィルタリング（１６４０）にわたされる。第２加算器（１６５０）は、フィルタリングされたエッジマップを用いて

を補償し、エッジエンハンストされた非キーフレームを生成する。

消失したエッジマップにおける動きを考慮することによって、さらなる改善が実現可能である。動き補償は、非キーフレームのエッジ情報の予測を生成するため、キーフレーム

のエッジ情報について適用可能である。図１７に示されるように（例えば、図６の実施例が再び参照される）、再構成されたキーフレームｇが、ダウンサンプリングされたフレーム

を生成するためダウンサンプリングされる（１７１０）。その後、それは、

にアップサンプリングされる（１７２０）。第１加算器（１７３０）は、エッジマップ

を生成する。エッジマップは、動き補償されたエッジマップを生成するため処理される（１７４０）。エッジマップの動きベクトルは、動き補償された時間補間と同様の方法により導出可能である。第２加算器（１７５０）は、動き補償されたエッジマップを用いて

を加え、エッジエンハンストされた非キーフレームを生成する。例えば、図８の実施例を参照して、フィルタリング／動き補償が、第１加算器とアップサンプラ（８２０）との間で、又はアップサンプラ（８２０）と第２加算器（８４０）との間で適用可能である。図９の実施例を参照して、フィルタリング／動き補償は、アップサンプラ（９２０）の前後に適用可能である。図１０の実施例を参照して、フィルタリング／動き補償は、乗算器（１０４０），（１０８０）の前後に適用可能である。

図７は、上述されたように、主題の比較による具体例を示した。図１８は、ＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）を用いた時間エッジエンハンスメントありとなしの客観的な品質比較を示す。本例では、Ｔｙｐｅ−Ｉ Ａｓｓｉｓｔｅｄ Ｆｒａｍｅメタデータが利用され、ダウンサンプルレシオは４×４である。キーフレームと非キーフレームとの双方が、Ｈ．２６４／ＡＶＣを用いて符号化及び復号化される。当該処理は、図１１の図に続く。式（４）に指定される一方向時間エッジ補償と、式（７）に指定される双方向時間エッジ補償との双方が、後処理のないケース

と比較される。

メタデータに基づく技術の圧縮効率性に関して、メタデータのビットレートは、ソースシーケンスの符号化構造及び特性に依存する。一般に、メタデータのビットレートは、メタデータの解像度にほぼ比例する。圧縮されたストリームのフレーム数は、メタデータにより表されるフレーム数に等しい。メタデータは、圧縮されたストリームと同一の符号化構造に符号化される。圧縮されたストリームは、ソースフレームをフル解像度に符号化し、メタデータは、サブサンプリングされた解像度にソースフレームを符号化する。メタデータが２×２のダウンサンプリングレシオにより表される場合、メタデータは、圧縮されたストリームのビットレートの約２５％を追加する。メタデータが４×４のダウンサンプリングレシオにより表される場合、メタデータは、圧縮されたストリームの約６．２５％のビットレートを追加する。このパーセンテージは、メタデータを符号化するのにより多くのＢフレームが利用される場合、さらに減少可能である。本開示によるエッジエンハンスメント方法は、追加的なメタデータを送信することなく視覚的品質を向上させることが可能である。図７において、ダウンサンプリングレシオ４×４の具体例が示された。データのオーバヘッドは、特に結果としての効果を取得するためデコーダ及びポストプロセッサに要求される低いコンプレクシティを考慮して、画質の向上が与えられるときに許容されることは、当業者に理解されるであろう。

本開示はまた、キーフレーム／非キーフレームの区別に限定されない実施例に関する。例えば、本出願の説明及び図面に示される実施例はまた、現在のフレームがそれの高周波数成分又はエッジを処理チェーンにおいて消失した場合に適用可能であり、その後、近傍フレームが十分な高周波数成分又はエッジを利用可能にすることを仮定すると、それは近傍フレームの対応する成分によりエンハンスされる。

本開示に説明される方法及びシステムは、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせにより実現されてもよい。ブロック、モジュール又はコンポーネントとして説明される特徴は、一緒になって（例えば、集積論理デバイスなどの論理デバイスなどに）又は別々に（例えば、別々の接続された論理デバイスなど）により実現されてもよい。本開示の方法のソフトウェア部分は、実行されると、少なくとも部分的に開示された方法を実行する命令を有するコンピュータ可読媒体から構成されてもよい。コンピュータ可読媒体は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及び／又はＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）などから構成されてもよい。命令は、プロセッサ（例えば、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルロジックアレイ（ＦＰＧＡ）など）により実行されてもよい。

上述された具体例は、本開示のメタデータによる時間スケーリングのエッジエンハンスメントの実施例を生成及び利用する方法の完全な開示及び説明を当業者に提供するために与えられたものであり、発明者がそれらの開示とみなすものの範囲を限定することを意図するものでない。本開示を実行するための上述されたモードの改良は、ビデオの分野の当業者により利用されてもよく、以下の請求項の範囲内であると意図される。明細書に記載されたすべての特許及び刊行物は、本開示が属する分野における当業者のレベルを示すものであってもよい。本開示において引用されたすべての参考文献は、各参考文献が個々に参照することによってそのすべてが援用されるような同一の範囲を参照することによって援用される。

本開示は特定の方法又はシステムに限定されず、もちろん、変更可能であることが理解されるべきである。また、ここで用いられる用語は、特定の実施例を説明するためのものであり、限定的であることを意図するものでないことが理解されるべきである。本明細書及び添付した請求項に用いられるように、単数形の“ある”及び“その”という表現は、コンテンツが明らかにそうでないことを示さない場合、複数の参照を含む。“複数の”という用語は、コンテンツが明らかにそうでないことを示さない場合、２以上の参照を含む。そうでないと定義されていない場合、ここに用いられるすべての技術的及び科学的用語は、本開示が属する当業者によって通常理解されるものと同じ意味を有する。

本開示のいくつかの実施例が説明された。にもかかわらず、本開示の趣旨及び範囲から逸脱することなく各種変更が可能であることが理解されるであろう。従って、他の実施例は以下の請求項の範囲内である。

従って、本発明は、ここに開示された、現在存在する及び／又は以降に開発された要素（本発明の各種パーツ又は特徴及びこれらの均等）から適切に構成されるか、又は実質的に構成されてもよい。さらに、ここに例示的に開示される本発明は、ここに具体的に開示されているか否かに関係なく、何れかの要素がなくても実施されてもよい。明らかに、本発明の多数の変更及び変形は、上記教示に基づき可能である。従って、本発明は、添付した請求項の範囲内において、ここに具体的に記載された以外により実施されてもよいことが理解されるべきである。

従って、本発明は、限定されることなく、本発明のいくつかの部分の構成、特徴及び機能を開示した以下のＥＥＥ（Ｅｎｕｍｅｒａｔｅｄ Ｅｘａｍｐｌｅ Ｅｍｂｏｄｉｍｅｎｔｓ）を含む、ここに開示された形式の何れかにより実現されてもよい。
ＥＥＥ１．画像の非キーフレームを前記画像の近傍のキーフレームを介し後処理する方法であって、
ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されるキーフレームをダウンサンプリングするステップと、
アップサンプリングされた再構成されたキーフレームを生成するため、前記ダウンサンプリングされた再構成されたキーフレームをアップサンプリングするステップと、
前記再構成されたキーフレームと前記アップサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、
前記再構成された非キーフレームを補償するため、再構成された非キーフレームに前記差分を加えるステップと、
を有する方法。
ＥＥＥ２．前記再構成されたキーフレームと前記アップサンプリングされた再構成されたキーフレームとの間の差分は、前記再構成された非キーフレームに加える前にフィルタリングされる、請求項１記載の方法。
ＥＥＥ３．前記再構成されたキーフレームと前記アップサンプリングされた再構成されたキーフレームとの間の差分は、前記再構成された非キーフレームに加える前に動き補償される、請求項１記載の方法。
ＥＥＥ４．画像の非キーフレームを前記画像のキーフレームを介し処理する方法であって、
ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されたキーフレームをダウンサンプリングするステップと、
前記ダウンサンプリングされた非キーフレームとダウンサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、
アップサンプリングされた差分を生成するため、前記差分をアップサンプリングするステップと、
前記再構成されたキーフレームに前記アップサンプリングされた差分を加えるステップと、
を有する方法。
ＥＥＥ５．前記キーフレームは、前記非キーフレームの近傍のキーフレームである、請求項４記載の方法。
ＥＥＥ６．前記差分を生成するステップ、前記アップサンプリングするステップ及び前記加えるステップは、前記画像の復号化段階で実行される、請求項４記載の方法。
ＥＥＥ７．画像の非キーフレームを前記画像の近傍のキーフレームを介し処理する方法であって、
前記非キーフレームと前記キーフレームとの間の差分を生成するステップと、
ダウンサンプリングされた差分を生成するため、前記差分をダウンサンプリングするステップと、
アップサンプリングされた差分を生成するため、前記ダウンサンプリングされた差分をアップサンプリングするステップと、
前記キーフレームを再構成するステップと、
前記再構成されたキーフレームに前記アップサンプリングされた差分を加えるステップと、
を有する方法。
ＥＥＥ８．前記キーフレームは、前記非キーフレームの近傍のキーフレームである、請求項７記載の方法。
ＥＥＥ９．前記アップサンプリングするステップ及び前記加えるステップは、前記画像の復号化段階において実行される、請求項７記載の方法。
ＥＥＥ１０．画像の非キーフレームを前記画像のキーフレームを介し後処理する方法であって、
ダウンサンプリングされた再構成されたキーフレームを生成するため、複数の再構成されたキーフレームをダウンサンプリングするステップと、
アップサンプリングされた再構成されたキーフレームを生成するため、前記ダウンサンプリングされた再構成されたキーフレームをアップサンプリングするステップと、
前記再構成されたキーフレームと各自のアップサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、
前記再構成された非キーフレームを補償するため、再構成された非キーフレームに前記差分の和を加えるステップと、
を有する方法。
ＥＥＥ１１．前記キーフレームは、前記非キーフレームの前の１以上のキーフレーム及び／又は前記非キーフレームの後の１以上のキーフレームを有する、請求項１０記載の方法。
ＥＥＥ１２．前記差分は、加重パラメータに基づき重み付けされた差分である、請求項１０記載の方法。
ＥＥＥ１３．前記加重パラメータは、各差分のキーフレームと前記非キーフレームとの間の時間距離に依存する、請求項１２記載の方法。
ＥＥＥ１４．前記加重パラメータは、固定的パラメータである、請求項１２記載の方法。
ＥＥＥ１５．前記加重パラメータは、現在の非キーフレームとリファレンスキーフレームとの間の差分に依存する、請求項１２記載の方法。
ＥＥＥ１６．前記加重パラメータは、適応的である、請求項１２記載の方法。
ＥＥＥ１７．前記差分の和を加えるステップは、前記キーフレームの適応的に選択されたサブセットを参照して生成される前記差分の和に限定される、請求項１０記載の方法。
ＥＥＥ１８．前記再構成された非キーフレームはさらに、以前に後処理された非キーフレームを考慮することによって補償される、請求項１０記載の方法。
ＥＥＥ１９．画像の非キーフレームを前記画像のキーフレームを介し後処理する方法であって、
ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されたキーフレームをダウンサンプリングするステップと、
ダウンサンプリングされた再構成された各キーフレームについて、ダウンサンプリングされた非キーフレームと前記ダウンサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、
アップサンプリングされた差分を生成するため、各差分をアップサンプリングするステップと、
変更されたアップサンプリングされた差分を生成するため、アップサンプリングされた各差分に再構成された各キーフレームを加えるステップと、
補償された非キーフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップと、
を有する方法。
ＥＥＥ２０．前記変更されたアップサンプリングされた差分は、加重パラメータに基づき重み付けされた変更されたアップサンプリングされた差分である、請求項１９記載の方法。
ＥＥＥ２１．前記加重パラメータは、各差分のキーフレームと前記非キーフレームとの間の時間距離に依存する、請求項２０記載の方法。
ＥＥＥ２２．前記加重パラメータは、固定的パラメータである、請求項２０記載の方法。
ＥＥＥ２３．前記加重パラメータは、現在の非キーフレームとリファレンスキーフレームとの間の差分に依存する、請求項２０記載の方法。
ＥＥＥ２４．前記加重パラメータは、適応的である、請求項２０記載の方法。
ＥＥＥ２５．画像の非キーフレームを前記画像のキーフレームを介し後処理する方法であって、
再構成されたキーフレームを提供するステップと、
アップサンプリングされた差分を生成するため、再構成された各キーフレームと非キーフレームとの間のダウンサンプリングされた差分をアップサンプリングするステップと、
変更されたアップサンプリングされた差分を生成するため、再構成された各キーフレームにアップサンプリングされた各差分を加えるステップと、
補償された非キーフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップと、
を有する方法。
ＥＥＥ２６．前記変更されたアップサンプリングされた差分は、加重パラメータに基づき重み付けされた変更されたアップサンプリングされた差分である、請求項２５記載の方法。
ＥＥＥ２７．前記加重パラメータは、各差分のキーフレームと前記非キーフレームとの間の時間距離に依存する、請求項２６記載の方法。
ＥＥＥ２８．前記加重パラメータは、固定的パラメータである、請求項２６記載の方法。
ＥＥＥ２９．前記加重パラメータは、現在の非キーフレームとリファレンスキーフレームとの間の差分に依存する、請求項２６記載の方法。
ＥＥＥ３０．前記加重パラメータは、適応的である、請求項２６記載の方法。
ＥＥＥ３１．画像の非キーフレーム部分を前記画像の復号化中に更新するか否か評価する方法であって、
第１非キーフレーム部分を提供するステップと、
キーフレーム部分と前記キーフレーム部分のアップサンプリングされたバージョンとの間の差分キーフレーム部分を提供するステップと、
第２非キーフレーム部分を生成するため、前記第１非キーフレーム部分に前記差分キーフレーム部分を加えるステップと、
前記第２非キーフレーム部分をダウンサンプリングするステップと、
前記ダウンサンプリングされた第２非キーフレーム部分とダウンサンプリングされた第１非キーフレーム部分との間の差分部分が閾値未満であるか評価するステップと、
前記差分部分が前記閾値未満である場合、前記第２非キーフレーム部分に前記非キーフレーム部分を更新するステップと、
前記差分部分が前記閾値未満でない場合、前記第１非キーフレーム部分を維持するステップと、
を有する方法。
ＥＥＥ３２．前記キーフレームは、前記非キーフレームの近傍フレームである、請求項３１記載の方法。
ＥＥＥ３３．前記キーフレーム部分は、前記キーフレームのピクセルであり、
前記非キーフレーム部分は、前記非キーフレームのピクセルである、請求項３１又は３２記載の方法。
ＥＥＥ３４．前記評価するステップは、減少する閾値により繰り返し実行される、請求項３１乃至３３何れか一項記載の方法。
ＥＥＥ３５．画像の非キーフレーム部分を前記画像の復号化中に更新する方法であって、
第１非キーフレーム部分を提供するステップと、
キーフレーム部分と前記キーフレーム部分のアップサンプリングされたバージョンとの間の差分キーフレーム部分を提供するステップと、
第２非キーフレーム部分を生成するため、前記第１非キーフレーム部分に前記差分キーフレーム部分を加えるステップと、
前記第２非キーフレーム部分をダウンサンプリングするステップと、
ダウンサンプリングされた第１非キーフレーム部分と前記ダウンサンプリングされた第２非キーフレーム部分との間の差分を生成するステップと、
前記差分をアップサンプリングするステップと、
更新された非キーフレーム部分を生成するため、前記第２非キーフレーム部分に前記アップサンプリングされた差分を加えるステップと、
を有する方法。
ＥＥＥ３６．前記キーフレームは、前記非キーフレームの近傍フレームである、請求項３５記載の方法。
ＥＥＥ３７．前記キーフレーム部分は、前記キーフレームのピクセルであり、
前記非キーフレーム部分は、前記非キーフレームのピクセルである、請求項３５又は３６記載の方法。
ＥＥＥ３８．画像の非キーフレーム部分に前記画像の復号化処理中に時間エッジ補償を適用するか否か評価する方法であって、
前記画像のキーフレーム部分を提供するステップと、
ダウンサンプリングされたキーフレーム部分を生成するため、前記キーフレーム部分をダウンサンプリングするステップと、
アップサンプリングされたキーフレーム部分を生成するため、前記ダウンサンプリングされたキーフレーム部分をアップサンプリングするステップと、
前記アップサンプリングされたキーフレーム部分と未補償の非キーフレーム部分との差分が閾値未満であるか評価するステップと、
前記差分が前記閾値未満である場合、前記キーフレーム部分と前記アップサンプリングされたキーフレーム部分との間の差分を前記非キーフレーム部分に加えることによって、前記非キーフレーム部分を補償するステップと、
前記差分が前記閾値未満でない場合、前記非キーフレーム部分を未補償に維持するステップと、
を有する方法。
ＥＥＥ３９．前記キーフレームは、前記非キーフレームの近傍フレームである、請求項３８記載の方法。
ＥＥＥ４０．前記キーフレーム部分は、前記キーフレームのピクセルであり、
前記非キーフレーム部分は、前記非キーフレームのピクセルである、請求項３８又は３９記載の方法。
ＥＥＥ４１．前記評価するステップは、減少する閾値により繰り返し実行される、請求項３８乃至４０何れか一項記載の方法。
ＥＥＥ４２．画像の非キーフレームに前記画像の復号化処理中に時間エッジ補償を適用するか否か評価する方法であって、
前記画像の第１及び第２キーフレーム部分を提供するステップと、
ダウンサンプリングされた第１及び第２キーフレーム部分を生成するため、前記画像の第１及び第２キーフレーム部分をダウンサンプリングするステップと、
アップサンプリングされた第１及び第２キーフレーム部分を生成するため、前記ダウンサンプリングされた第１及び第２キーフレーム部分をアップサンプリングするステップと、
前記アップサンプリングされた第１キーフレーム部分と未補償の非キーフレーム部分との間の第１差分が閾値未満であるか評価するステップと、
前記アップサンプリングされた第２キーフレーム部分と前記未補償の非キーフレーム部分との間の第２差分が前記閾値未満であるか評価するステップと、
前記第１差分と前記第２差分とが前記閾値未満である場合、前記第１キーフレーム部分と前記アップサンプリングされた第１キーフレーム部分との間の差分と、前記第２キーフレーム部分と前記アップサンプリングされた第２キーフレーム部分との間の差分との和を前記非キーフレーム部分に加えることによって、前記非キーフレーム部分を補償するステップと、
前記第１差分が前記閾値未満であり、前記第２差分が前記閾値未満でない場合、前記第１キーフレーム部分と前記アップサンプリングされた第１キーフレーム部分との間の差分を前記非キーフレーム部分に加えることによって、前記非キーフレーム部分を補償するステップと、
前記第１差分が前記閾値未満でなく、前記第２差分が前記閾値未満である場合、前記第２キーフレーム部分と前記アップサンプリングされた第２キーフレーム部分との間の差分を前記非キーフレーム部分に加えることによって、前記非キーフレーム部分を補償するステップと、
前記第１差分と前記第２差分とが前記閾値未満でない場合、前記非キーフレーム部分を未補償に維持するステップと、
を有する方法。
ＥＥＥ４３．前記第１及び第２キーフレームは、前記非キーフレームの近傍フレームである、請求項４２記載の方法。
ＥＥＥ４４．前記キーフレーム部分は、前記キーフレームのピクセルであり、
前記非キーフレーム部分は、前記非キーフレームのピクセルである、請求項４２又は４３記載の方法。
ＥＥＥ４５．前記評価するステップは、減少する閾値により繰り返し実行される、請求項４２乃至４４何れか一項記載の方法。
ＥＥＥ４６．画像の非キーフレーム部分を前記画像の復号化中に更新するか否か評価する方法であって、
第１非キーフレーム部分を提供するステップと、
各キーフレーム部分と前記キーフレーム部分のアップサンプリングされたバージョンとの間の複数の差分キーフレーム部分を提供するステップと、
複数の第２非キーフレーム部分を生成するため、各非キーフレーム部分に各差分キーフレーム部分を加えるステップと、
各第２非キーフレーム部分をダウンサンプリングするステップと、
ダウンサンプリングされた各第２非キーフレーム部分とダウンサンプリングされた第１非キーフレーム部分との間の１以上の差分部分が閾値未満であるか評価するステップと、
１以上の差分部分が前記閾値未満である場合、前記非キーフレーム部分を更新し、そうでない場合、前記第１非キーフレーム部分を維持するステップと、
を有する方法。
ＥＥＥ４７．画像の非キーフレーム部分を前記画像の復号化中に更新する方法であって、
第１非キーフレーム部分を提供するステップと、
キーフレーム部分と前記キーフレーム部分のアップサンプリングされた各バージョンとの間の複数の差分キーフレーム部分を提供するステップと、
第２非キーフレーム部分を生成するため、前記第１非キーフレーム部分に前記差分キーフレーム部分を加えるステップと、
前記第２非キーフレーム部分をダウンサンプリングするステップと、
ダウンサンプリングされた第１非キーフレーム部分と前記ダウンサンプリングされた第２非キーフレーム部分との間の差分を生成するステップと、
前記差分をアップサンプリングするステップと、
更新された非キーフレーム部分を生成するため、前記第２非キーフレーム部分に前記アップサンプリングされた差分を加えるステップと、
を有する方法。
ＥＥＥ４８．前記差分キーフレームを加えるステップは、加重和である、請求項４７記載の方法。
ＥＥＥ４９．画像の再構成されたフレームを前記画像の近傍フレームを介しエンハンスする方法であって、
ダウンサンプリングされた再構成されたフレームを生成するため、エンハンスされる前記フレームの再構成された近傍フレームをダウンサンプリングするステップと、
アップサンプリングされた再構成されたフレームを生成するため、前記ダウンサンプリングされた再構成されたフレームをアップサンプリングするステップと、
前記再構成されたフレームと前記アップサンプリングされた再構成されたフレームとの間の差分を生成するステップと、
前記エンハンスされる再構成されたフレームに前記差分を加えるステップと、
を有する方法。
ＥＥＥ５０．前記エンハンスされる再構成されたフレームに前記差分を加えるステップは、前記再構成されたフレームに高周波数成分を加えることによって、前記再構成されたフレームをエンハンスする、請求項４９記載の方法。
ＥＥＥ５１．画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、
ダウンサンプリングされた再構成されたフレームを生成するため、前記エンハンスされるフレームの再構成された近傍フレームをダウンサンプリングするステップと、
エンハンスされるダウンサンプリングされたフレームと前記ダウンサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、
アップサンプリングされた差分を生成するため、前記差分をアップサンプリングするステップと、
前記再構成された近傍フレームに前記アップサンプリングされた差分を加えるステップと、
を有する方法。
ＥＥＥ５２．前記再構成された近傍フレームに前記アップサンプリングされた差分を加えるステップは、前記画像のフレームに高周波数成分を加えることによって、前記画像のフレームをエンハンスする、請求項５１記載の方法。
ＥＥＥ５３．画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、
前記エンハンスされるフレームと前記近傍フレームとの間の差分を生成するステップと、
ダウンサンプリングされた差分を生成するため、前記差分をダウンサンプリングするステップと、
アップサンプリングされた差分を生成するため、前記ダウンサンプリングされた差分をアップサンプリングするステップと、
前記近傍フレームを再構成するステップと、
前記再構成された近傍フレームに前記アップサンプリングされた差分を加えるステップと、
を有する方法。
ＥＥＥ５４．前記再構成された近傍フレームに前記アップサンプリングされた差分を加えるステップは、前記画像のフレームに高周波数成分を加えることによって、前記画像のフレームをエンハンスする、請求項５３記載の方法。
ＥＥＥ５５．画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、
ダウンサンプリングされた再構成された近傍フレームを生成するため、複数の再構成された近傍フレームをダウンサンプリングするステップと、
アップサンプリングされた再構成された近傍フレームを生成するため、前記ダウンサンプリングされた再構成された近傍フレームをアップサンプリングするステップと、
前記再構成された近傍フレームと前記アップサンプリングされた再構成された各近傍フレームとの間の差分を生成するステップと、
再構成されたフレームをエンハンスするため、前記再構成されたフレームに前記差分の和を加えるステップと、
を有する方法。
ＥＥＥ５６．前記再構成されたフレームに前記差分の和を加えるステップは、前記再構成されたフレームに高周波数成分を加えることによって、前記再構成されたフレームをエンハンスする、請求項５５記載の方法。
ＥＥＥ５７．画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、
ダウンサンプリングされた再構成された近傍フレームを生成するため、再構成された近傍フレームをダウンサンプリングするステップと、
ダウンサンプリングされた再構成された各近傍フレームについて、エンハンスされるダウンサンプリングされたフレームと前記ダウンサンプリングされた再構成された近傍フレームとの間の差分を生成するステップと、
アップサンプリングされた差分を生成するため、各差分をアップサンプリングするステップと、
変更されたアップサンプリングされた差分を生成するため、アップサンプリングされた各差分に再構成された各近傍フレームを加えるステップと、
エンハンスされたフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップと、
を有する方法。
ＥＥＥ５８．前記変更されたアップサンプリングされた差分を加えるステップは、前記フレームに高周波数成分を加えることによって、前記フレームをエンハンスする、請求項５７記載の方法。
ＥＥＥ５９．画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、
再構成された近傍フレームを提供するステップと、
アップサンプリングされた差分を生成するため、再構成された各近傍フレームとエンハンスされるフレームとの間のダウンサンプリングされた差分をアップサンプリングするステップと、
変更されたアップサンプリングされた差分を生成するため、再構成された各近傍フレームにアップサンプリングされた各差分を加えるステップと、
エンハンスされたフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップと、
を有する方法。
ＥＥＥ６０．前記変更されたアップサンプリングされた差分を加えるステップは、前記フレームに高周波数成分を加えることによって、エンハンスされたフレームを生成する、請求項５９記載の方法。
ＥＥＥ６１．請求項１乃至６０何れか一項の方法による画像の１以上のフレームを処理するシステム。
ＥＥＥ６２．画像の１以上のフレームを処理するため、請求項１乃至６０何れか一項の方法の利用。
ＥＥＥ６３．請求項１乃至６０何れか一項記載の方法をコンピュータに実行させる命令セットを有するコンピュータ可読媒体。

Claims (30)

1. ビデオシーケンスの非キーフレームを前記ビデオシーケンスの近傍のキーフレームを介し後処理する方法であって、
   ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されるキーフレームをダウンサンプリングするステップと、
   アップサンプリングされた再構成されたキーフレームを生成するため、前記ダウンサンプリングされた再構成されたキーフレームをアップサンプリングするステップと、
   前記再構成されたキーフレームと前記アップサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、
   エッジエンハンスされた非キーフレームを生成するために、前記再構成された非キーフレームを補償するため、再構成された非キーフレームに前記差分を加えるステップと、
   ダウンサンプリングされたエッジエンハンスされた非キーフレームとダウンサンプリングされた非キーフレームとの間の差分に基づき更新された非キーフレームを生成するため、前記エッジエンハンスされた非キーフレームを更新するステップと、
   を有し、
   前記ダウンサンプリングされたエッジエンハンスされた非キーフレームは、前記エッジエンハンスされた非キーフレームをダウンサンプリングすることによって生成され、前記再構成された非キーフレームは、前記ダウンサンプリングされた非キーフレームをアップサンプリングすることによって生成される方法。
2. 前記再構成されたキーフレームと前記アップサンプリングされた再構成されたキーフレームとの間の差分は、前記再構成された非キーフレームに加える前にフィルタリングされる、請求項１記載の方法。
3. ビデオシーケンスの非キーフレームを前記ビデオシーケンスのキーフレームを介し処理する方法であって、
   ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されたキーフレームをダウンサンプリングするステップと、
   ダウンサンプリングされた非キーフレームとダウンサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、
   アップサンプリングされた差分を生成するため、前記差分をアップサンプリングするステップと、
   エッジエンハンスされた非キーフレームを生成するために、前記再構成されたキーフレームに前記アップサンプリングされた差分を加えるステップと、
   ダウンサンプリングされたエッジエンハンスされた非キーフレームと前記ダウンサンプリングされた非キーフレームとの間の差分に基づき更新された非キーフレームを生成するため、前記エッジエンハンスされた非キーフレームを更新するステップと、
   を有し、
   前記ダウンサンプリングされたエッジエンハンスされた非キーフレームは、前記エッジエンハンスされた非キーフレームをダウンサンプリングすることによって生成される方法。
4. 前記キーフレームは、前記非キーフレームの近傍のキーフレームである、請求項３記載の方法。
5. 前記差分を生成するステップ、前記アップサンプリングするステップ及び前記加えるステップは、前記ビデオシーケンスの復号化段階で実行される、請求項３記載の方法。
6. ビデオシーケンスの非キーフレームを前記ビデオシーケンスの近傍のキーフレームを介し処理する方法であって、
   前記非キーフレームと前記キーフレームとの間の差分を生成するステップと、
   ダウンサンプリングされた差分を生成するため、前記差分をダウンサンプリングするステップと、
   アップサンプリングされた差分を生成するため、前記ダウンサンプリングされた差分をアップサンプリングするステップと、
   前記キーフレームを再構成するステップと、
   エッジエンハンスされた非キーフレームを生成するため、前記再構成されたキーフレームに前記アップサンプリングされた差分を加えるステップと、
   ダウンサンプリングされたエッジエンハンスされた非キーフレームとダウンサンプリングされた非キーフレームとの間の差分に基づき更新された非キーフレームを生成するため、前記エッジエンハンスされた非キーフレームを更新するステップと、
   を有し、
   前記ダウンサンプリングされたエッジエンハンスされた非キーフレームは、前記エッジエンハンスされた非キーフレームをダウンサンプリングすることによって生成され、前記ダウンサンプリングされた非キーフレームは、前記非キーフレームをダウンサンプリングすることによって生成される方法。
7. 前記キーフレームは、前記非キーフレームの近傍のキーフレームである、請求項６記載の方法。
8. 前記アップサンプリングするステップ及び前記加えるステップは、前記ビデオシーケンスの復号化段階において実行される、請求項６記載の方法。
9. ビデオシーケンスの非キーフレームを前記ビデオシーケンスのキーフレームを介し後処理する方法であって、
   ダウンサンプリングされた再構成されたキーフレームを生成するため、複数の再構成されたキーフレームをダウンサンプリングするステップと、
   アップサンプリングされた再構成されたキーフレームを生成するため、前記ダウンサンプリングされた再構成されたキーフレームをアップサンプリングするステップと、
   前記再構成されたキーフレームと各自のアップサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、
   エッジエンハンスされた非キーフレームを生成するために、前記再構成された非キーフレームを補償するため、再構成された非キーフレームに前記差分の和を加えるステップと、
   ダウンサンプリングされたエッジエンハンスされた非キーフレームとダウンサンプリングされた非キーフレームとの間の差分に基づき更新された非キーフレームを生成するため、前記エッジエンハンスされた非キーフレームを更新するステップと、
   を有し、
   前記ダウンサンプリングされたエッジエンハンスされた非キーフレームは、前記エッジエンハンスされた非キーフレームをダウンサンプリングすることによって生成され、前記再構成された非キーフレームは、前記ダウンサンプリングされた非キーフレームをアップサンプリングすることによって生成される方法。
10. 前記キーフレームは、前記非キーフレームの前の１以上のキーフレーム及び／又は前記非キーフレームの後の１以上のキーフレームを有する、請求項９記載の方法。
11. 前記差分は、加重パラメータに基づき重み付けされた差分である、請求項９記載の方法。
12. 前記加重パラメータは、各差分のキーフレームと前記非キーフレームとの間の時間距離に依存する、請求項１１記載の方法。
13. 前記加重パラメータは、固定的パラメータである、請求項１１記載の方法。
14. 前記加重パラメータは、現在の非キーフレームとリファレンスキーフレームとの間の差分に依存する、請求項１１記載の方法。
15. 前記加重パラメータは、適応的である、請求項１１記載の方法。
16. 前記差分の和を加えるステップは、前記キーフレームの適応的に選択されたサブセットを参照して生成される前記差分の和に限定される、請求項９記載の方法。
17. 前記再構成された非キーフレームはさらに、以前に後処理された非キーフレームを考慮することによって補償される、請求項９記載の方法。
18. ビデオシーケンスの非キーフレームを前記ビデオシーケンスのキーフレームを介し後処理する方法であって、
    ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されたキーフレームをダウンサンプリングするステップと、
    ダウンサンプリングされた再構成された各キーフレームについて、ダウンサンプリングされた非キーフレームと前記ダウンサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、
    アップサンプリングされた差分を生成するため、各差分をアップサンプリングするステップと、
    変更されたアップサンプリングされた差分を生成するため、アップサンプリングされた各差分に再構成された各キーフレームを加えるステップと、
    エッジエンハンスされた非キーフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップと、
    ダウンサンプリングされたエッジエンハンスされた非キーフレームと前記ダウンサンプリングされた非キーフレームとの間の差分に基づき更新された非キーフレームを生成するため、前記エッジエンハンスされた非キーフレームを更新するステップと、
    を有し、
    前記ダウンサンプリングされたエッジエンハンスされた非キーフレームは、前記エッジエンハンスされた非キーフレームをダウンサンプリングすることによって生成される方法。
19. 前記変更されたアップサンプリングされた差分は、加重パラメータに基づき重み付けされた変更されたアップサンプリングされた差分である、請求項１８記載の方法。
20. 前記加重パラメータは、各差分のキーフレームと前記非キーフレームとの間の時間距離に依存する、請求項１９記載の方法。
21. 前記加重パラメータは、固定的パラメータである、請求項１９記載の方法。
22. 前記加重パラメータは、現在の非キーフレームとリファレンスキーフレームとの間の差分に依存する、請求項１９記載の方法。
23. 前記加重パラメータは、適応的である、請求項１９記載の方法。
24. 前記更新するステップは、
    前記ダウンサンプリングされたエッジエンハンスされた非キーフレームと前記ダウンサンプリングされた非キーフレームとの間の差分が閾値未満であるか評価するステップと、
    前記ダウンサンプリングされたエッジエンハンスされた非キーフレームと前記ダウンサンプリングされた非キーフレームとの間の差分が閾値未満である場合、前記エッジエンハンスされた非キーフレームに前記更新された非キーフレームを設定するステップと、
    前記ダウンサンプリングされたエッジエンハンスされた非キーフレームと前記ダウンサンプリングされた非キーフレームとの間の差分が閾値未満でない場合、前記再構成された非キーフレームに前記更新された非キーフレームを設定するステップと、
    を有する、請求項１乃至２３何れか一項記載の方法。
25. 前記更新するステップは、
    前記再構成された非キーフレームに第１フレームを設定し、前記ダウンサンプリングされた非キーフレームにダウンサンプリングされた第１フレームを設定するステップであって、前記第１フレームは前記ダウンサンプリングされた第１フレームをアップサンプリングすることによって生成される、前記第１フレームを設定するステップと、
    前記エッジエンハンスされた非キーフレームに第２フレームを設定し、前記ダウンサンプリングされたエッジエンハンスされた非キーフレームにダウンサンプリングされた第２フレームを設定するステップとであって、前記ダウンサンプリングされた第２フレームは前記第２フレームをダウンサンプリングすることによって生成される、前記第２フレームを設定するステップと、
    前記ダウンサンプリングされた第１フレームと前記ダウンサンプリングされた第２フレームとの間の差分が閾値未満であるか評価するステップと、
    前記ダウンサンプリングされた第１フレームと前記ダウンサンプリングされた第２フレームとの間の差分が閾値未満である場合、前記第２フレームに前記更新された非キーフレームを設定するステップと、
    前記ダウンサンプリングされた第１フレームと前記ダウンサンプリングされた第２フレームとの間の差分が閾値未満でない場合、前記再構成された非キーフレームに前記更新された非キーフレームを設定するステップと、
    前記第２フレームに前記第１フレームを更新し、前記ダウンサンプリングされた第２フレームに前記ダウンサンプリングされた第１フレームを更新するステップと、
    前記更新された非キーフレームに前記第２フレームを更新し、ダウンサンプリングされた更新された非キーフレームに前記ダウンサンプリングされた第２フレームを更新するステップとであって、前記ダウンサンプリングされた更新された非キーフレームは前記更新された非キーフレームをダウンサンプリングすることによって生成される、前記第２フレームを更新するステップと、
    前記評価するステップ、前記更新された非キーフレームを設定するステップ、前記第１フレームを更新するステップ及び前記第２フレームを更新するステップを、１以上の基準が充足されるまで繰り返すステップと、
    を有する、請求項１乃至２３何れか一項記載の方法。
26. 前記閾値は、連続する繰り返しの間に単調減少する、請求項２５記載の方法。
27. 前記更新するステップは、
    アップサンプリングされた差分を生成するため、前記ダウンサンプリングされたエッジエンハンスされた非キーフレームと前記ダウンサンプリングされた非キーフレームとの間の差分をアップサンプリングするステップと、
    前記更新された非キーフレームを生成するため、前記アップサンプリングされた差分と前記エッジエンハンスされた非キーフレームとを加えるステップと、
    を有する、請求項１乃至２３何れか一項記載の方法。
28. 前記更新するステップは、
    前記エッジエンハンスされた非キーフレームに第１フレームを設定し、前記ダウンサンプリングされたエッジエンハンスされた非キーフレームにダウンサンプリングされた第１フレームを設定するステップであって、前記ダウンサンプリングされた第１フレームは前記第１フレームをダウンサンプリングすることによって生成される、前記ダウンサンプリングされた第１フレームを設定するステップと、
    アップサンプリングされた差分を生成するため、前記ダウンサンプリングされた第１フレームと前記ダウンサンプリングされた非キーフレームとの間の差分をアップサンプリングするステップと、
    スケーリングされたアップサンプリングされた差分を生成するため、前記アップサンプリングされた差分とステップサイズとを乗算するステップと、
    前記更新された非キーフレームを生成するため、前記スケーリングされたアップサンプリングされた差分を加えるステップと、
    前記更新された非キーフレームに前記第１フレームを設定し、ダウンサンプリングされた更新された非キーフレームに前記ダウンサンプリングされた第１フレームを設定するステップとであって、前記ダウンサンプリングされた更新された非キーフレームは前記更新された非キーフレームをダウンサンプリングすることによって生成される、前記第１フレームを設定するステップと、
    前記差分をアップサンプリングするステップ、前記乗算するステップ、前記加えるステップ及び前記第１フレームを設定するステップを繰り返すステップと、
    を有する、請求項１乃至２３何れか一項記載の方法。
29. 前記ステップサイズは、連続する繰り返しの間に単調減少する、請求項２８記載の方法。
30. 前記繰り返すステップは、設定された回数実行される、請求項２５又は２８記載の方法。
    

Images