JP5860337B2

JP5860337B2 - 映像符号化方法及び装置

Info

Publication number: JP5860337B2
Application number: JP2012100484A
Authority: JP
Inventors: 孝之仲地; 忍工藤; 望浜田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2012-04-25
Filing date: 2012-04-25
Publication date: 2016-02-16
Anticipated expiration: 2032-04-25
Also published as: JP2013229768A

Description

本発明は、映像符号化方法及び装置に係り、特に、ダウンサンプリングを利用した符号化方式において超解像復元画像の復元精度を高め、符号化効率を高めるための映像符号化方法及び装置に関する。

近年、通信やデータ蓄積などにおける多くのアプリケーションにおいて、映像符号化技術の向上が要求されている。特に、無線通信などの帯域幅やストレージコストが限定されているモバイルマルチメディア分野において、その需要性が高まっている。現在までにMPEG-4やH.264/AVCなどの映像符号化方式が規格化されている。それらの手法はエンコーダとデコーダが規定されているが、事前処理や事後処理などを任意に拡張することが可能である。

これらの事前処理と事後処理を組み込んだ符号化方式として、符号化を行う前にダウンサンプリングを行い、復号化の際に元の解像度に復元する符号化方式が研究されており、低ビットレートにおいて高い符号化効率が得られることが知られている。この方式に基づく従来法の多くは超解像技術を利用し、デコーダでの超解像復元画像の精度向上に重点を置いている。しかし、ダウンサンプリングした画像列間でサブピクセルシフトがない場合に、超解像復元画像の復元精度を維持することができていない。

次に、一般的な映像符号化と超解像処理技術について概説し、次に、超解像処理技術を利用した映像符号化について説明する。

従来技術１．映像符号化：
近年、高精細テレビ（HDTV）やマルチメディア機器の普及によって扱う情報量が増大している。特に、帯域が制限されているモバイルネットワークの分野においては高い符号化効率が要求される。圧縮技術には大きく分けて、
１）可逆圧縮
２）非可逆圧縮
の２種類に分類できる。１）可逆圧縮はオリジナルの信号を完全に復元することができるが、圧縮率の限界が存在する。一方で、非可逆圧縮は可逆圧縮よりも情報量を削減することができるが、いくらかの誤差を伴うため、完全に復元することはできない。圧縮率を高くすることで情報量を減らすことが可能だが、画質は低下する。つまり、情報量の削減と画質の維持はトレードオフの関係にある。現在までにMPEG-４やH.264/AVCなどの映像符号化方式が標準化されている。本発明では、非可逆圧縮を対象とする。

画像符号化は、図１に示すように、符号器（エンコーダ）１０と復号器（デコーダ）２０で構成され、フレーム内（Intra）符号化とフレーム間（Inter）符号化を組み合わせた"ハイブリッド符号化"によって情報量を削減する。Intra符号化は画面内の画素が持つ空間的冗長度を削減することで圧縮を行い、DCT(Discrete Cosine Transform)などの技術を利用する。Inter符号化は画像間の時間的な冗長度を削減することで圧縮を行い、動き補償フレーム間予測を利用する。

従来技術２．超解像技術：
現在多くの画像処理アプリケーションにおいて、高解像度の画像や映像の需要が高まっている。解像度が高いほど、物体のエッジやテクスチャ部分を正確に表現することができるからである。需要のある分野は、MRIやX線CTなどの医療画像、衛星画像などのリモートセンシング、監視カメラやナンバープレート認識などのセキュリティ、そしてマルチメディアなどが挙げられる。

高解像度画像の獲得は、1970年以降CCDカメラやCMOSカメラにより実現し現在のも性能は向上し続けているが、それらの光学素子の大きさには限界がある。これらはハードウェアの性能の向上には限界があることを意味し、またコスト面の問題からも実用的ではない。そこで、低コストかつ限界のないソフトウェア的なアプローチが期待されており、既に取得された画像をより高解像度な画像に変換する超解像復元（Super Resolution、以下「SR」と略記）技術が注目されている。

SR法は、観測された低解像度（Low Resolution、以下「LR」と略記）画像間のサブピクセル単位の位置ずれを利用して、高解像度（High Resolution、以下「HR」と略記）画像を推定する技術である。高解像度映像を得たい場合、これらのLR画像列はビデオカメラによる連続フレームから獲得できる。SR法は幾つかの種類に分けることができるが、画像の劣化モデルにぼけ処理やノイズがない場合は単純な補間処理によって高解像度画像を得ることが可能である。

主なSR法として、再構成型超解像が精度が高いとされ、主な研究対象となっている。再構成型超解像は一般に空間領域のアプローチであり、その中でもMAP(Maximum A-posteriori Probability)推定方法がよく利用されている。MAP推定は画像の先験情報を利用して事後確率を最大化することで高解像度化を行う手法であり、安定的に高解像度画像を推定することができる。その他にも画像取得モデルに圧縮プロセスを組み込むことで、圧縮された動画像へ適用した研究や、SR法に必要な画像の位置合わせを行わずに高解像度化する方法も報告されている（例えば、非特許文献1参照）。図２にSR法の概念を示す。

今までに行われてきたSR法は、画像の取得プロセスを仮定し、未知の高解像度画像を推定していた。しかし、本発明では、既に高解像度の映像を取得しており、画像の劣化プロセスが全て既知であるという点が既存研究の問題設定とは異なっている。すなわち、高解像度の映像を既知の劣化プロセスに通し、それを元の解像度に戻すというSR問題を対象とする。

従来技術３.超解像技術を用いた映像符号化：
近年、映像の圧縮効率向上を目的として、SR法を利用する符号化/復号化システムが研究されている。このシステムでは、動画を符号化する前に解像度を落としてから符号化を行い、復号化する際に、SR法を利用して元の解像度に復元する。解像度を低下（ダウンサンプリング）させると情報量を減らすことが可能だが、高周波数成分が消失してしまう。しかし、高周波数成分がない、あるいは、少ない領域では、ダウンサンプリングを行っても補間によって十分復元が行える。また、消失してしまった高周波数成分を超解像技術によって時間方向の相関を利用して復元することにより更なる符号化効率の向上が期待される。特に、低ビットレートにおいては圧縮によって高周波数成分がなくなってしまうため、ダウンサンプリングを行ない、低周波数成分に情報量を多く割り当てたシステムが有効となる。

これらのエンコーダで映像を低解像度画像にしてから圧縮を施し、デコーダで拡大処理を施すことにより元の解像のまま圧縮する場合よりも高画質な映像を維持できることは、解析的に証明されている。これまで、いくつかの従来技術が提案されている。

エンコーダでPピクチャのダウンサンプリングを行い、デコーダでは解像度を小さくしていないIピクチャを利用した学習型SR法により、元の解像度の映像を復元する方法がある（例えば、非特許文献２参照）。また、映像の偶数番目のフレームの解像度を小さくして、このストリームを基本階層、そして偶数番目のフレームを拡張階層とし、これらの２つの階層に対してスケーラブル符号化を行い、解像度とフレームレートに対するスケーラビリティを実現する方法がある（例えば、非特許文献３参照）。この方法では拡張階層の映像を利用したSR法を用いて基本階層の解像度を上げることにより、元の映像と同じ解像度、フレームレートを持つ映像を復元している。しかし、これらはデコーダにおける計算コストが高いという問題がある。

エンコーダにおいて領域分割を行い、ダウンサンプリングとデコーダのアップサンプリング処理を領域別に行う手法も提案されている（例えば、非特許文献４参照）。この方法では、ダウンサンプリングを行った映像とこれらの領域に関するサイド情報を伝送し、デコーダではSR法が効果的である領域に対してSR法、その他の領域に対しては補間法などの単純な処理を行っている。また、時間方向の情報は利用せず、フレーム毎に処理する方法もある。大きく２つの方法があり、１つはオープンループシステムで、エンコーダでダウンサンプリングした映像をPOCSアルゴリズムを用いてデコーダで繰り返し計算を行い再構成する方法、もう１つは、エンコーダでアップサンプリング行列を構成し、サイド情報として送信する方法である。後者はエンコーダ側でオリジナルの映像を利用して最適化を行うクローズドループシステムとなっている。その他にも、ダウンサンプリングを利用した符号化の枠組みの中では、ビットレートに合わせた最適なダウンサンプリング率を設定する手法や、マクロブロックごとにダウンサンプリング率を適応的に変化させる手法なども提案されている。

H. Takeda, P. Milanfar, M. Protter, and M. Elad, "Super-Resolution Without Explicit Subpixel Motion Estimation", IEEE Trans. Image Process, Vol. 18, no. 9, pp. 1958-1975, Sep. 2009. Shen, P. Xue, and C. Wang, "Down-Sampling Based Video Coding Using Super-Resolution Technique", IEEE Trans, Circuits and System for Video Technology, Vol. 21, No. 6, pp. 755-765, June 2011. M. Shen, P. Xue, and C.Wang, "A Novel Scalable Video Coding Scheme Using Super-Resolution Techniques", MSP, IEEE, pp. 196-199, 2008. D. Barreto, L. D. Alvarez, R. Molina, A. K. Katsaggelos, "Region-based super-resolution for compression", MSSP, Springer Netherlands, 2007.

しかしながら、上記従来方法には以下のような問題がある。

従来のダウンサンプリングに基づく超解像技術を用いた映像符号化では、デコーダでのSR法の精度向上に重点を置いているが、低解像度化してしまった映像の復元には限界がある。超解像復元に必要となる低解像度画像列間のサブピクセルシフトは、フレーム列をダウンサンプリングする際にフレーム同士で同じサンプリング点を取った場合には生じない。特に、全てのフレームを固定したダウンサンプリングの格子パターンで行った場合、背景などの動きのない領域に関しては低解像度画像列間で似たような情報を持ってしまうため、超解像処理を有効に生かせない。そこで、動きのない領域に関して周期的に異なるダウンサンプリングの格子パターンを適用し、低解像度画像列間のサブピクセルシフトが残るような方法（例えば、D. Barreto, L. D. Alvarez, R. Molina, A. K. Katsaggelos, "Region-based super-resolution for compression," MSSP, Springer Netherlands, 2007.）も提案されているが、カメラの動きにより背景が少しでも動くような映像には適用不可能である。したがって、ダウンサンプリングの格子パターンを固定してしまうと、SR復元に必要な低解像度画像列間のサブピクセルシフトが生じない場合には、SR法の精度を維持できないという問題がある。

本発明は、上記の点に鑑みなされたもので、超解像復元したときの欠損が最小となるダウンサンプリングの格子パターンを選択可能とし、従来よりも高い復元精度を達成することが可能な映像符号化方法及び装置を提供することを目的とする。

上記の課題を解決するため、本発明は、超解像処理を用いた映像符号化装置及び映像復号化装置を有するシステムにおける映像符号化装置であって、
入力された高解像度画像列に対して、Group of Pictures(GOP)内でIntraフレームとInterフレーム間の動きベクトルを計算する動きベクトル推定手段と、
前記動きベクトルに基づいて、前記高解像度画像列を高解像度空間に再配置した際の欠損数が最小となるように全フレームのダウンサンプリング格子パターンを決定するダウンサンプリング格子パターン決定手段と、
前記ダウンサンプリング格子パターンで画像列を平均し、低解像度画像列を平均化し、低解像度画像列を取得する低解像度画像列生成手段と、
前記低解像度画像列を符号化して前記映像復号化装置に送信する符号化手段と、
前記映像復号化装置におけるSR処理後のフィルタリングのためのフィルタの係数を最適化し、サイド情報として該映像復号化装置に送信するパラメータ生成手段と、を有する。

上記のように、GOP内のIntraフレームとInterフレーム間の動きベクトルに基づいて各フレームのダウンサンプリング位置を決定することにより、超解像復元したときの欠損が最小となるダウンサンプリングの格子パターンを選択することができ、その結果、従来よりも高い復元精度を達成することができる。

画像符号化の構成図である。超解像の概念である。本発明の第１の実施の形態におけるシステム構成図である。低解像度画像列の高解像度化の例である。高解像度化の例（欠損が生じる例）である。本発明の第２の実施の形態におけるダウンサンプリング格子パターン決定の例である。本発明の第２の実施の形態におけるｒ＝２の場合のダウンサンプリング格子パターン選定の実装手順である。本発明の第２の実施の形態におけるｒ＝２の場合のダウンサンプリング格子パターンと修正動きベクトルの関係である。本発明の第２の実施の形態におけるダウンサンプリング格子パターンの適用例である。本発明の第３の実施の形態における平均低解像度画像の生成例である。本発明の第３の実施の形態におけるSR処理を示す図である。本発明の第３の実施の形態における線形フィルタの処理を示す図である。本発明の第５の実施の形態における推定フィルタ係数の例である。本発明の第５の実施の形態における推定フィルタ係数値の動画像間の相関係数である。

以下、図面と共に本発明の実施の形態を説明する。

［第１の実施の形態］
以下に、映像符号化／復号化システムについて説明する。

図３は、本発明の第１の実施の形態におけるシステム構成を示す。当該システムは、Group of Pictures(GOP)毎に適用する。

同図に示すエンコーダ１００は、動きベクトル推定部１１０、ダウンサンプリング部１２０、ＬＲ画像生成部１３０、符号器１４０、パラメータ最適化部１５０から構成される。

デコーダ２００は、復号器２１０、SR処理部２２０、フィルタ２３０から構成される。

上記のエンコーダ１００の手順を以下に示す。

Ａ：エンコーダ１００の処理：
Ａ−１）動きベクトル推定部１１０は、入力高解像度画像列に対して、ブロック毎にIntraフレームとの間で動きベクトル推定を行う。

Ａ−２）ダウンサンプリング部１２０は、各フレームに対してダウンサンプリング格子パターンを決定する。当該処理は、ダウンサンプリングの格子パターンをコントロールすることで高解像度画像の譲歩を可能な限り維持するために行う。Ａ−１で求めた動きベクトルに基づいて、低解像度画像列を高解像度空間に再配置した際の欠損数が最小となるように全フレームのダウンサンプリング格子パターンを決定する。これにより、低解像度画像列同士が適切なサブピクセルシフトをもつため、SR法の復元精度が向上する。詳細については第２の実施の形態で詳述する。

Ａ−３）ＬＲ画像生成部１３０は、それぞれのダウンサンプリング格子パターンで画像列を平均し、低解像度画像列を得る。当該処理は、デコーダ２００のSR処理部２２０において、SR復元で生じる誤差を予め最小限するために行う処理であり、上記Ａ−１において、ダウンサンプリングを行う前に、動きベクトル推定部１１０によってGOP毎に高解像度画像列をIntraフレームに位置合わせし、その後、ＬＲ画像生成部１３０にて平均化処理を施すものである。

Ａ−４）符号器１４０は、低解像度画像列を従来の符号化方式（H.264/AVC等）で圧縮し、ビットストリームをデコーダ２００に送信する。

Ａ−５）パラメータ最適化部１５０は、各フレームでWienerフィルタ係数を求め、サイド情報としてデコーダ２００へ伝送する。当該処理は、デコーダ２００のフィルタ２３０におけるノイズ除去のためのWienerフィルタの係数をエンコーダ１００側で最適化するための処理である。

Ｂ：デコーダ２００の処理：
Ｂ−１）復号器２１０は、エンコーダ１００から取得した低解像度画像列を復号化する。

Ｂ−２） SR処理部２２０は、復号化された低解像度画像列に対してSR法を適用し、再構成高解像度画像列を得る。なお、SR法については第４の実施の形態にて詳述する。

Ｂ−３）フィルタ２３０は、各フレームに対して、エンコーダ１００から取得したサイド情報のフィルタ係数を用いてフィルタリングする。

［第２の実施の形態］
本実施の形態では、超解像に適したダウンサンプリングについて説明する。

まず、超解像に必要な格子パターンについて説明する。

低解像度画像をｒ倍に高解像度化するためには、１／ｒ[pixel]のサブピクセル精度で位置ずれした低解像度画像列が最低でも、ｒ²枚必要である。例えば、ｒ＝２の場合は、図４に示すように、お互いのフレームで輝度値間を補間し合うことで高解像度画像が得られる。しかし、実際にはサブピクセルシフトの組み合わせが完全に揃うことは稀であるため、図５のように欠損部分が生じる。これを回避するためにはフレーム数を増やしてサブピクセルシフトの組み合わせを可能な限り揃えればよいが、フレーム数には限界があるため、必ずしも全ての組み合わせが得られるわけではない。特に、背景のように動きのない領域は1パターンしか得られないため高解像度化できない。また、動きベクトルの計算時間が増大するという問題もある。

上記の問題を解決するために、ダウンサンプリング格子パターンのコントロールが必要となる。本発明では、ダウンサンプリング部１２０において、ダウンサンプリング格子パターンをコントロールすることにより、高解像度化に必要な低解像度画像列間のサブピクセルシフトの全組み合わせを獲得する。このようにすることで、動きの有無に関わらず高解像度化を行うことが可能となり、フレーム数が最低限のｒ²枚でも十分な再構成を行うことができる。また、超解像に用いるフレーム数をGOPと同じ枚数にし、符号化時に求める動きベクトルを利用することで、従来のSR法の前処理として行われている動き推定を新たに行う必要がなくなる。

ダウンサンプリング格子パターンの決定は、図６に示すように、全フレームを高解像度化した時の欠損数をコストとした最小経路問題を解くことで求める。経路探索中にコストが０になった場合は探索を中止し、その経路を最小経路とする。全探索を用いた場合の探索回数は超解像に用いるフレーム数をＮとすると2Ｎ回であるが、N≧r²である場合は境界を除いてコストが０になる経路の1つが任意に決められるため、以下のように探索せず高速に求めることが可能である。以下に提案するダウンサンプリング格子パターンの選定手順を説明する。

図７には、r＝2の場合の例を示した。

[ダウンサンプリング格子パターンの選定]
ステップ１）動きベクトル推定部１１０において、GOP内でIntraフレームとInterフレーム間の動きベクトルを計算する。

ステップ２）ダウンサンプリング部１２０は、ｋ番目のフレームのダウンサンプリング位置を
(m_k+d_x,k，n_k+d_y,k) k=1,…,N (1)
として決定する。ここで、（ｍ_k，ｎ_k）は位置合わせしたｋ番目のフレームのマクロブロック単位のインデックスであり、次のように表される。

ここでp＝1,…,U/blocksize、q＝1,…,V/blocksizeで、U，Vは画像サイズである。（v_x,k，v_y,k）はそれぞれｋ番目のフレームのｘ，ｙの方向の動きベクトル、（d_x,t，d_y,t）はフレーム番号によって決まる調整パラメータで、次のように定義する。

次に、ダウンサンプリング部１２０は、決定したダウンサンプリング格子パターンに基づいて、動きベクトル推定部１１０で推定された動きベクトルを修正する。例えば、ｒ＝2の場合、ダウンサンプリング格子パターンと補正動きベクトルの関係は図８のようになる。この場合、４パターンのうち左上の位置を基準とすると、右上の位置をダウンサンプリングした場合は動きベクトルの水平方向に１を、左下の位置をダウンサンプリングした場合は垂直方向に１を、右下の位置をダウンサンプリングした場合は水平・垂直方向の両方に1を加える。実際に本発明のダウンサンプリング格子パターンを適用した例を図９（適用後）に示す。この結果から、ダウンサンプリング格子パターンの選定により欠損ピクセル数が減少していることがわかる。

上記のように、ダウンサンプリングの格子パターンをコントロールすることで、高解像度の画像の情報を可能な限り維持する。これにより、低解像度画像列同士が適切なサブピクセルシフトを持つため、SR法の復元精度が向上する。また、従来技術１とは異なり、動きのある部分にも適用可能である。

［第３の実施の形態］
本実施の形態では、ＬＲ画像生成部１３０における、超解像に適した低解像度画像列の生成について説明する。

本実施の形態では、第２の実施の形態で求められたダウンサンプリング格子パターンに基づいて、ＬＲ画像生成部１３０において、平均画像を生成し、その画像から低解像度画像列を取得することで再構成時の誤差を低減する。

図１０及び以下に、k枚の低解像度画像の生成手順を示す。

ステップ１）ＬＲ画像生成部１３０は、動きベクトル推定部１１０で推定された動きベクトルを用いてGOP内の全フレームをIフレーム格子上に配置する。

ステップ２）格子内で重複しているピクセルを平均する。

ステップ３）第２の実施の形態においてダウンサンプリング部１２０で求めた（m_k+d_x,k，n_k+d_y,k）の位置で各フレームをダウンサンプリングする。

ここで、

は推定低解像度画像、ｙは低解像度画像、ｆは入力高解像度画像をそれぞれ表す。

上記のように、ダウンサンプリングを行う前に、GOPごとに高解像度画像列をIntraフレームに位置合わせし、平均化処理を施しておくことで、SR復元で生じる誤差を予め最小限にする。

［第４の実施の形態］
本実施の形態では、SR法の処理について説明する。

本発明のシステムでは、SR法をエンコーダ１００、デコーダ２００で適用するが、本実施の形態で示すSR法は低解像度画像列を高解像度格子に配置する処理と動き補償処理の単純な処理で行うため、計算負荷が少ない。以下に処理手順を示す。

以下の処理では、エンコーダ１００において、第２の実施の形態で示した処理が行なわれていることを前提とする。

ステップ１） Intraフレームの再構成：
デコーダ２００のSR処理部２２０は、サブピクセル精度の動きベクトルを利用して、復号化したGOP内の低解像度画像列を高解像度格子上に配置する。埋まらなかったピクセルは補間する。

ステップ２） Interフレームの再構成：
ステップ１で再構成したIntraフレームの動き補償として再構成する。

［第５の実施の形態］
本実施の形態では、ポストフィルタリングについて説明する。

デコーダ２００では、SR法で再構成した後に、圧縮や動き推定の誤差によって発生したノイズを除去するために、フィルタリングを行う。ここで想定するフィルタ２３０は線形フィルタで図１２にようにカーネル（フィルタ係数）を画素毎に畳み込む。境界部分は境界の画素値を対称拡張させて計算を行う。

エンコーダ１００のパラメータ最適化部１５０では、デコーダ２００におけるフィルタ２３０として、Wienerフィルタを利用し、最小化する評価関数を以下のように定義する。

ここで、a={a₁,a₂,…,a_M}^Tは、推定フィルタ係数、X={x₁,x₂,…,x_UV}^TはSR法で再構成した高解像度画像をブロック毎に行ベクトルにし、辞書式順序で並べたもの、y＝｛y₁、y₂,…,Y_UV｝^Tは辞書式順序で並べたオリジナルの高解像度画像、Mはフィルタ係数のサイズである。フィルタ係数は式(5)をaに関して微分し、０として解くことで求められる。

推定されたフィルタ係数が動画やレート（動画のQuality）、推定に用いるフレーム数の違いによってどのように変化するかを検証した。図１３に実際に推定したフィルタ係数を示す。同図において、Qualityは値が大きいほど、低ビットレートを表し、Allは全てのフレームを用いて推定した結果を、Firstは最初のフレームだけを用いて推定した結果を意味する。また、推定されたフィルタ係数の動画像間の相関係数を図１４に示す。図１４より、推定されるフィルタは平滑化フィルタに近い形状をとり、レートが低くなるにしたがって分散が大きくなる傾向にある。また、動画間での推定値の違いは動画の種類によって多少の違いは見られるが、レートが51の時を除けば相関係数が約0.7〜0.98と高い値をとっており、フレーム数による影響も小さい。したがって、レート別による違いだけを考慮すればよいと考えられる。本発明では、フィルタを設計する位置を想定するシステムの違いによってオープンループシステムとクローズドループシステムの２通りを提案する。

＜オープンループシステム＞
デコーダ２００で施すフィルタ係数を別の動画像を用いて予めレート別に設計しておき、そのフィルタ係数を用いてフィルタリングを行う。

＜クローズドループシステム＞
入力動画像をそのまま用いて、エンコーダ１００のパラメータ最適化部１５０で事前にフィルタ係数を最適化しておき、サイド情報としてデコーダ２００へ送信する。デコーダ２００ではそのフィルタ係数を用いてフィルタリングを行う。この方式はオープンループと違い、入力動画像に適合したフィルタを設計することが可能である。フィルタ係数の設計は式(5)と同様に行うが、計算量の削減のため、はじめのIntraフレームのみで設計し、２フレーム目移行は同じフィルタ係数を利用する。また、送信するフィルタ係数の情報量は動画像当り（M×数ビット）であるため、無視できる範囲である。

上記のように、デコーダ２００でSR処理後に行うノイズ除去のためのWienerフィルタの係数をエンコーダ１００で最適化しておき、サイド情報をとしてデコーダ２００に送信することで、デコーダ２００で最適な復元を行うことが可能となる。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１０エンコーダ
２０デコーダ
１００エンコーダ
１１０動きベクトル推定部
１２０ダウンサンプリング部
１３０ＬＲ画像生成部
１４０符号器
１５０パラメータ最適化部
２００デコーダ
２１０復号器
２２０ SR処理部
２３０フィルタ

Claims

映像符号化装置及び映像復号化装置を有するシステムにおける映像符号化装置であって、
入力された高解像度画像列に対して、Group of Pictures(GOP)内でIntraフレームとInterフレーム間の動きベクトルを計算する動きベクトル推定手段と、
前記動きベクトルに基づいて、前記高解像度画像列に対する低解像度画像列を高解像度空間に再配置した際の欠損数が最小となるように全フレームのダウンサンプリング格子パターンを決定するダウンサンプリング格子パターン決定手段と、
前記ダウンサンプリング格子パターンに前記GOP内の全フレームを配置して格子内で重複しているピクセルを平均して、前記低解像度画像列を取得する低解像度画像列生成手段と、
前記低解像度画像列を符号化して前記映像復号化装置に送信する符号化手段と、
前記映像復号化装置における超解像処理後のフィルタリングのためのフィルタの係数を最適化し、サイド情報として該映像復号化装置に送信するパラメータ生成手段と、
を有することを特徴とする映像符号化装置。
映像符号化装置及び映像復号化装置を有するシステムにおける映像符号化方法であって、
動きベクトル推定手段が、入力された高解像度画像列に対して、Group of Pictures(GOP)内でIntraフレームとInterフレーム間の動きベクトルを計算する動きベクトル推定ステップと、
ダウンサンプリング格子パターン決定手段が、前記動きベクトルに基づいて、前記高解像度画像列に対する低解像度画像列を高解像度空間に再配置した際の欠損数が最小となるように全フレームのダウンサンプリング格子パターンを決定するダウンサンプリング格子パターン決定ステップと、
低解像度画像列生成手段が、前記ダウンサンプリング格子パターンに前記GOP内の全フレームを配置して格子内で重複しているピクセルを平均して、前記低解像度画像列を取得する低解像度画像列生成ステップと、
符号化手段が、前記低解像度画像列を符号化して前記映像復号化装置に送信する符号化ステップと、
パラメータ生成手段が、前記映像復号化装置における超解像処理後のフィルタリングのためのフィルタの係数を最適化し、サイド情報として該映像復号化装置に送信するパラメータ生成ステップと、
を行うことを特徴とする映像符号化方法。