JP7397360B2 - 映像符号化方法、映像符号化装置及びコンピュータープログラム - Google Patents

Description

本発明は、映像を符号化する技術に関する。

映像を符号化する際の予測方法の１つであるインター予測では、符号化対象フレームとは異なるフレームが参照画像として利用される。インター予測では、符号化対象フレームよりも時間的に過去又は未来のフレームが参照画像として用いられることが一般的であった。しかし、過去又は未来のフレームの代わりに、複数の符号化対象フレームと相関が高くなるような画像を参照画像として生成し用いる技術が提案されている。そのような技術の一例として、非特許文献１に開示されているようなスプライトモードがある。

スプライトモードを利用する例について説明する。複数の符号化対象フレームが撮影された環境において共通する背景の画像を用いてスプライト画像が生成される。スプライト画像は参照画像として利用され、スプライト画像に含まれなかった前景部分の画像は、オブジェクト符号化技術を利用して符号化される。このような処理によって、参照画像に用いられるビットサイズの低減が実現され、その結果として高効率での圧縮が可能となる。

"Versatile Video Coding (Draft 6)"，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，15th Meeting Gothenburg, SE, 3-12 July 2019

スプライト画像には符号化対象フレームよりも多い画素数が必要となる。視点が移動して撮影されたフレームやズームが変更して撮影されたフレーム等の複数のフレームが符号化対象フレームとなり、これらの複数の符号化対象フレームの背景画像がスプライト画像に含まれるためである。そのため、符号化対象フレームと参照画像との画素数が同じであるなどの制限を有する符号化技術ではスプライト画像を有効に用いることができないという問題があった。このような制限を有する符号化技術の具体例としてＶＶＣ（Versatile Video Coding）がある。このようなＶＶＣ等の符号化技術では、複数の符号化フレームごとに異なる背景として予測する場合がある。つまり、同一の空間内における、少なくとも一部異なる領域を撮像しているフレーム群であっても、同一の空間内ということを考慮せず、フレーム間での相関しか利用することができない。つまり、インター予測を行うフレーム間での相関を利用できているものの、上記同一の空間とフレームの背景との相関を利用することができない。このように、複数の符号化対象フレームに共通する背景、つまり参照画像間の相関を利用できず、結果として符号化効率が低下してしまう場合があった。

上記事情に鑑み、本発明は、参照画像の画素数が符号化対象フレームの画素数と同じであることが要求される符号化技術において符号化効率を向上させることが可能となる技術の提供を目的としている。

本発明の一態様は、複数の符号化対象フレームから１の暫定画像を生成する暫定画像生成ステップと、生成された暫定画像を前記複数の符号化対象フレームと同じ画素数に変換する変換ステップと、変換された画像を参照画像として用いて、前記符号化対象フレーム毎に予測画像を生成する予測画像生成ステップと、を有する映像符号化方法である。

本発明の一態様は、複数の符号化対象フレームから１の暫定画像を生成する暫定画像生成部と、生成された暫定画像を前記複数の符号化対象フレームと同じ画素数に変換する変換部と、変換された画像を参照画像として用いて、前記符号化対象フレーム毎に予測画像を生成する予測画像生成部と、を備える映像符号化装置である。

本発明の一態様は、上記の映像符号化方法をコンピューターに実行させるためのコンピュータープログラムである。

本発明により、参照画像の画素数が符号化対象画像の画素数と同じであることが要求される符号化技術において符号化効率を向上させることが可能となる。

符号化装置１００の機能構成の概略を示す概略ブロック図である。 符号化装置１００の処理の流れの具体例を示すフローチャートである。 符号化装置１００のハードウェア構成の概略を示す図である。 本実施形態の符号化装置１００と、従来の符号化装置との性能比較実験を行った結果を示す図である。 本実施形態の符号化装置１００と、従来の符号化装置との性能比較実験を行った結果を示す図である。 本実施形態の符号化装置１００と、従来の符号化装置との性能比較実験を行った結果を示す図である。

本発明の符号化方法の実施形態について、図面を参照して詳細に説明する。
［概略］
図１は、符号化装置１００（映像符号化装置）の機能構成の概略を示す概略ブロック図である。符号化装置１００は、例えばパーソナルコンピューターやサーバー装置等の情報処理装置を用いて構成される。図１に示す符号化装置１００には、例えばＶＶＣ（Versatile Video Coding）が実装されてもよい。本発明の符号化装置１００は、スプライト生成部１０（暫定画像生成部）、サイズ変更部２０（変換部）及び符号化部３０（予測画像生成部）を備える。スプライト生成部１０は、入力された映像信号に基づいて初期スプライト画像（暫定画像）を生成する。スプライト生成部１０には、従来のスプライト画像の生成技術が適用されてもよい。スプライト生成部１０によって生成される初期スプライト画像の大きさ（画素数）は、映像信号に含まれる符号化対象フレームよりも大きい。初期スプライト画像は、複数のフレームにより分割されて撮像されており、各フレームの前景の成分を除く若しくは削減した背景等が想定される。

サイズ変更部２０は、初期スプライト画像に対して画像処理を行うことによって変形スプライト画像を生成する。これは、HEVCまでではサポートされていなかったもののVVCでは画像処理（アフィン変換）を実装するため、作成した初期スプライト画像から所望のサイズの変形スプライト画像に変換することが可能になったためである。変形スプライト画像の大きさは、初期スプライト画像よりも小さい。変形スプライト画像の大きさは、例えば映像信号に含まれる符号化対象フレームの大きさと同じである。符号化部３０は、変形スプライト画像を長期参照フレームとして適用し、映像信号に含まれる各符号化対象フレームを符号化する。

このように、符号化装置１００では、符号化対象フレームよりも大きい初期スプライト画像を生成し、初期スプライト画像を符号化対象フレームと同じ大きさに変形する。そのため、参照画像の画素数が符号化対象画像の画素数と同じであることが要求される符号化技術において符号化効率を向上させることが可能となる。以下、符号化装置１００の詳細について説明する。

［詳細］
図２は、符号化装置１００の処理の流れの具体例を示すフローチャートである。符号化装置１００では、まずスプライト画像が生成される（ステップＳ１０１－ＮＯ）。具体的には、入力される映像信号（複数の符号化対象フレーム）に基づいてスプライト生成部１０が初期スプライト画像を生成する（ステップＳ１０２）。スプライト生成部１０が初期スプライト画像を生成する際に用いられる技術は、従来からあるスプライト画像の生成技術であってもよい。スプライト生成部１０によって生成される初期スプライト画像の大きさ（画素数）は、映像信号に含まれる符号化対象フレームよりも大きい。

次に、サイズ変更部２０は、初期スプライト画像に対してサイズ変更処理を含む画像処理を行うことによって、変形スプライト画像を生成する（ステップＳ１０３）。変形スプライト画像の大きさは、初期スプライト画像よりも小さい。変形スプライト画像の大きさは、例えば映像信号に含まれる符号化対象フレームと同じ大きさである。映像信号に含まれる符号化対象フレームが全て同じ大きさである場合には、これらの符号化対象フレームと変形スプライト画像とは全て同じ大きさとなる。

変形スプライト画像は、初期スプライト画像に含まれる全領域の画像を含むことが望ましい。そのため、変形スプライト画像の生成には、画像の縮小処理が用いられることが望ましい。また、変形スプライト画像の生成には、回転処理やせん断処理が用いられてもよい。この場合、変形スプライト画像の生成には、縮小画像と回転処理との組合せが用いられてもよいし、縮小画像とせん断処理との組合せが用いられてもよいし、縮小画像と回転処理とせん断処理との組合せが用いられてもよい。このような画像処理には、例えばアフィン変換が適用されてもよい。

サイズ変更部２０によって生成された変形スプライト画像は、符号化部３０において長期参照フレーム（long-term reference）として用いられる。例えば、符号化部３０に備えられるフレームメモリーにおいて、変形スプライト画像が長期参照フレームとして保存される（ステップＳ１０４）。

長期参照フレームとして変形スプライト画像が保存された後は（ステップＳ１０１－ＹＥＳ）、入力される映像信号の各符号化対象フレームについて、長期参照フレームおよび既に復号済みで参照可能なフレームを用いて符号化処理が行われる。この符号化処理には、既存の符号化処理が適用されてもよい。本実施形態では、上述したようにＶＶＣの符号化処理が適用される。具体的には、符号化部３０は、長期参照フレームを用いて符号化対象フレームについて動き補償を行う（ステップＳ１０５）。符号化部３０は、動き補償を行うことによって、符号化対象フレーム毎に予測画像を生成する。

符号化部３０は、予測画像の生成において、初期スプライト画像を生成する際に用いられた符号化対象フレーム間の関係を利用して、変形スプライト画像における符号化対象領域に対応し、且つ、符号化対象領域の画素数と異なる画素数である参照領域を特定してもよい。符号化部３０は、動き補償において、変形スプライト画像に対して変形処理を行ってもよい。変形処理とは、画像を変形する処理であり、例えば拡大縮小処理、回転処理、せん断処理などの処理である。このような変形処理はアフィン変換を用いて実行されてもよい。このような変形処理が行われるため、初期スプライト画像を縮小することで生成された変形スプライト画像を長期参照フレームとして用いても、スプライト画像を用いた場合と略同様の効果を得ることが可能となる。即ち、例えば縮小することで生成された変形スプライト画像であっても、初期スプライト画像と同じ大きさに拡大してから参照画像として用いられることで、初期スプライト画像を用いた場合と同様の効果を得ることができる。

その後、符号化部３０は、動き補償によって得られた予測信号と符号化対象フレームの映像信号とを減算することで予測残差信号を生成する。符号化部３０は、予測残差信号に対し離散コサイン変換を行い（ステップＳ１０６）、量子化処理を行う（ステップＳ１０７）。そして、符号化部３０は、量子化された予測残差信号に対して符号化処理を行うことで、符号化データを生成する（ステップＳ１０８）。

図３は、符号化装置１００のハードウェア構成の概略を示す図である。符号化装置１００は、ハードウェア構成として、プロセッサー５０、メモリー６０、Ｉ／Ｏ７０及び補助記憶装置８０を備える。プロセッサー５０は、メモリー６０に記憶された符号化プログラムを実行することによって、スプライト生成部１０、サイズ変更部２０及び符号化部３０として機能してもよい。メモリー６０は、長期参照フレームを保持するメモリーとして機能してもよい。Ｉ／Ｏ７０は、映像信号を入力したり、符号化データを出力したりしてもよい。補助記憶装置８０は、映像信号を記憶したり、符号化データを記憶したりしてもよい。

符号化プログラムは、コンピューター読み取り可能な記録媒体に記録されてもよい。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記憶媒体である。符号化プログラムは、電気通信回線を介して送信されてもよい。スプライト生成部１０、サイズ変更部２０及び符号化部３０の動作の一部又は全部は、例えば、ＬＳＩ、ＡＳＩＣ、ＰＬＤ又はＦＰＧＡ等を用いた電子回路を含むハードウェアを用いて実現されてもよい。

図４～図６は、本実施形態の符号化装置１００と、従来の符号化装置との性能比較実験を行った結果を示す図である。実験用いられた映像は、カメラワークを含む実写映像Jets(1280x720,60Hz,先頭300フレーム)と、EBUKidsSoccer(8bit，4:2:0化、1920x1080,500フレーム、以後Soccer)である。初期スプライト画像の生成については、Jetsについては第300フレーム、Soccerについては第250フレームをキーフレームとした。Jetsはパン・ズームを含み、Soccerはパンが支配的である。初期スプライト画像は、全フレームが覆う領域について時間方向にメディアンフィルターを施すことで生成された。変形スプライト画像は、初期スプライト画像に対し、入力フレームサイズと同サイズに縦横変倍することで生成された。

符号化条件は以下の通りである。エンコーダーには、VVCの参照ソフトウェアVTM6.1が用いられた。符号化構造はLow Delay B、ベース量子化パラメータ(QP)は22,27,32,37である。デフォルト符号化設定で、アフィン動き補償の使用はon(Affine = 1)となっているが、これをより積極的に用いることを期待し、AffineAmvr= 1, AffineAmvrEncOpt = 1 と設定変更されている。まずスプライトをベースQP より10 小さいQP で長期参照フレームとして符号化し、続いて全入力シーケンスを符号化した。PSNRはスプライトを含まず評価し、符号量はスプライトを含み評価した。

図４及び図５は、実験により得られたR-D曲線である。Soccerの高レート部で僅かな劣化が見られるが、これは画像縮小により拡大時PSNRに絶対限界が生じるためと考えられる。図６は、BD-Rate,相対符号化・復号時間を示す表である。Jetsでは３２％、Soccerでは２３％の符号量削減が実現できている。また、符号化時間は７～１１％削減できている。復号時間は、プラスマイナス２％程度の変化に収まっていた。この結果は、スプライト画像を追加することによる符号化データの符号量の増加よりも、予測誤差の削減量の総和の方が大きくなる場合がある事を示している。

以上説明したように、本実施形態の符号化装置１００では、符号化対象フレームよりも大きい初期スプライト画像を生成し、初期スプライト画像を符号化対象フレームと同じ大きさに変形する。そのため、参照画像の画素数が符号化対象画像の画素数と同じであることが要求される符号化技術においても、スプライト画像を用いることの長所を得ることができる。その結果、符号化効率を向上させることが可能となる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、画像を符号化する技術に適用可能である。

１００…符号化装置、１０…スプライト生成部、２０…サイズ変更部、３０…符号化部

Claims (6)

1. 複数の符号化対象フレームから１のスプライト画像を暫定画像として生成する暫定画像生成ステップと、
   生成された暫定画像を前記複数の符号化対象フレームと同じ画素数に変換する変換ステップと、
   変換された画像を参照画像として用いて、前記符号化対象フレーム毎に予測画像を生成する予測画像生成ステップと、
   を有し、
   前記暫定画像生成ステップで生成された前記暫定画像は、前記符号化対象フレームよりも大きい画像であり、複数の符号化対象フレームの画像を含み、
   前記予測画像生成ステップにおいて、前記変換ステップで前記複数の符号化対象フレームと同じ画素数に変換された前記暫定画像を、前記暫定画像生成ステップで生成された時点と同じ大きさに拡大してから前記参照画像として用いる、映像符号化方法。
2. 前記予測画像生成ステップでは、前記暫定画像を生成する際に用いられた前記符号化対象フレーム間の関係を利用して、前記参照画像における符号化対象領域に対応し、且つ、前記符号化対象領域の画素数と異なる画素数である参照領域を特定する、請求項１に記載の映像符号化方法。
3. 前記複数の符号化対象フレームの画素数は同一であり、前記変換ステップでは前記符号化対象フレームと前記暫定画像との画素数が一致するように前記暫定画像を変換する、請求項１又は２に記載の映像符号化方法。
4. 前記変換ステップにおいて、前記暫定画像に対し回転又はせん断処理をさらに実行する、請求項１から３のいずれか一項に記載の映像符号化方法。
5. 複数の符号化対象フレームから１のスプライト画像を暫定画像として生成する暫定画像生成部と、
   生成された暫定画像を前記複数の符号化対象フレームと同じ画素数に変換する変換部と、
   変換された画像を参照画像として用いて、前記符号化対象フレーム毎に予測画像を生成する予測画像生成部と、
   を備え、
   前記暫定画像生成部によって生成された前記暫定画像は、前記符号化対象フレームよりも大きい画像であり、複数の符号化対象フレームの画像を含み、
   前記予測画像生成部は、前記変換部によって前記複数の符号化対象フレームと同じ画素数に変換された前記暫定画像を、前記暫定画像生成部によって生成された時点と同じ大きさに拡大してから前記参照画像として用いる、映像符号化装置。
6. 請求項１から４のいずれか一項に記載の映像符号化方法をコンピューターに実行させるためのコンピュータープログラム。

Images