JP6846134B2 - 映像符号化装置及び映像復号装置 - Google Patents

Description

本発明は、映像の符号化装置及び復号装置に関する。

近年、４Ｋ(空間解像度/フレーム周波数：3840x2160/60pなど）、８Ｋ（空間解像度/フレーム周波数：7680x4320/60p, 7680x4320/120pなど）といった超高解像度映像の普及が進んでいる。超高解像度映像のデータ量は膨大であり、放送波やＩＰ網で伝送するためには映像のデータ量を圧縮する必要がある。

映像や画像のデータ圧縮として、画像をブロック分割し、ブロック毎に離散コサイン変換（ＤＣＴ；Discrete Cosine Transform）などの直交変換を施し、その結果である変換係数を量子化し、量子化された変換係数をエントロピー符号化するハイブリッド符号化方式が良く知られている。

HEVC（MPEG-H Part2 High Efficiency Video Coding）/H.265においては、離散コサイン変換に加えて、小さな輝度ブロックのイントラ予測の残差信号を符号化するために離散サイン変換（ＤＳＴ；Discrete Sine Transform）も利用される（特許文献１）。

また、原画像信号を解像度変換し、低解像化した画像である構造成分を符号化するとともに、原画像信号から構造成分を符号化・復号した信号を逆解像度変換したものを減じて得たテクスチャ成分について、そのヒストグラム情報を符号化する手法が提案されている（特許文献２）。

従来、自然画像の信号の統計的性質から、その主成分ベクトルであるカルーネン・レーベ変換基底が離散コサイン変換基底により近似可能であることを根拠として、画像符号化や映像符号化では離散コサイン変換が多用されてきた。また、とくに動画像の符号化においては、フレーム間やフレーム内の相関を利用して予測処理が行われ、その予測残差に対して変換処理を行うことが一般的になってきている。

まず、直交変換と予測処理を利用して映像信号のデータ圧縮を行う、従来の映像符号化装置の一例を説明する。

図９は、離散コサイン変換等の直交変換を有する従来型の映像符号化装置の構成の一例を示したブロック図である。映像符号化装置は、ブロック分割部１０と、メモリ１１と、予測部１２と、減算部１３と、直交変換部１４と、走査部１５と、量子化部１６と、エントロピー符号化部１７と、逆量子化部１８と、走査部１９と、逆直交変換部２０と、加算部２１と、によって構成される。

ブロック分割部１０は、入力映像のフレームを以後の処理を行う単位となる部分領域に分割する。ブロック分割は例えば、以後の予測部１２や直交変換部１４に応じて分割の仕方を変えても構わないし、同一としても構わない。ブロック分割形状は、矩形（正方形や長方形）とするのが典型的であるが、これらに限られない。ブロック分割部１０は、図９には示さない最適化処理部によって他の処理部（予測部１２、直交変換部１４、走査部１５、量子化部１８など）の処理パラメータ（例えば、予測部１２において予測に用いる参照フレーム、直交変換部１４において用いる基底関数、走査部１５における係数の走査順序、量子化部１８における量子化幅や係数のシグナリングの有無など）とともにレート歪関数（ビットレートと符号化誤差に基づいて定義される評価値）が最適値をとるよう、その分割形状や分割サイズを適応的に制御しても構わない。

メモリ１１は、映像符号化装置の動作の各段階において、当該段階までに符号化を完了した映像の部分領域（すでに符号化を完了したフレームや、現に符号化を行っているフレームの中のすでに符号化済みの部分領域）における局部復号画像を保持する。この局部復号画像は、映像符号化装置内において復号操作（逆量子化部１８、走査部１９、逆直交変換部２０、及び加算部２１の処理）を行った結果を指す。

予測部１２は、メモリ１１に記憶された局部復号画像から、ブロック分割部１０出力のブロック（以下、対象ブロック）内の画素値列の近似（予測という）を試み、当該近似結果を予測ブロックとして出力する。予測には、例えば動き補償予測及び画面内予測が含まれる。

動き補償予測は、対象ブロック内画素値列を近似する部分領域をメモリ１１内に保持された他の時刻（ブロック分割部１０がブロック分割を行ったフレームとは異なる時刻）のフレーム内から探索し、最も近似度の高い（例えば、二乗誤差和の小さい）部分領域を求める。この最も近似度の高い部分領域が対象ブロック位置に対してどこにあるかを表す相対位置を動きベクトルとして求めてエントロピー符号化部１７に渡すとともに、当該最も近似度の高い部分領域の画素値列を予測ブロックとして減算手段１３に渡す。

画面内予測は、例えば、メモリ１１内に保持された現フレーム（ブロック分割部１０がブロック分割を行ったフレームと同時刻のフレーム）の符号化済み部分領域の画素値列から、対象ブロック内の画素値列の近似を試みる。例えば、対象ブロックの周囲に存在する符号化済み画素（参照画素）の画素値列に基づき、その平均値を求め、予測ブロックの画素値をすべて当該平均値とすることで予測ブロックを生成する（平均値予測）。あるいは、４画素からなる参照画素列から例えば双一次演算によって予測ブロックの画素値を生成する（平面予測、プレーナ予測）。また、例えば、参照画素列を所定の方向に外挿することで予測ブロックを生成する（方向予測）。さらに例えば、対象ブロックの画素値列を最も近似する部分領域を、メモリ１１内に保持された現フレームの符号化済み部分領域の画素値列内から探索し、この最も近似度の高い部分領域が対象ブロック位置に対してどこにあるかを表す相対位置を動きベクトルとして求めてエントロピー符号化部１７に渡すとともに、当該最も近似度の高い部分領域の画素値列を減算手段１３に渡す（イントラブロックコピー）。

減算部１３は、ブロック分割部１０出力の対象ブロックの各画素値から、予測部１２出力の予測ブロックの各画素値を減じ、その結果を残差ブロックとして出力する。

直交変換部１４は、残差ブロックに対して直交変換を適用し、その結果たる変換係数列（変換係数値列）を出力する。直交変換としては、例えば離散コサイン変換、離散サイン変換、アダマール変換、ウェーブレット変換や、それらを整数近似した変換を用いることができる。

走査部１５は、直交変換部１４の出力する２次元の変換係数列を所定の順序において走査し、１次元的な数列に並べ替えて出力する。走査部１５の走査順序は例えば、直流成分から低周波成分そして高周波成分へとジグザグ状に走査（ジグザグ走査）したり、主走査（例えば、水平周波数の昇順）と副走査（例えば、垂直周波数の昇順）の組によるラスタ走査を適用したり、あるいはヒルベルト走査を適用することができる。

量子化部１６は、走査部１５からの変換係数列に対して量子化を行い、量子化インデックス列に変換する。量子化は、例えば所定の数値（量子化幅）によって各変換係数値を除し、その商を量子化インデックスとする。この量子化幅は、変換係数列の何番目か（周波数がいずれであるか）に依らず一定であっても構わないし、周波数に応じて量子化幅を違えても構わない。周波数に応じて量子化幅を違える場合には、例えば、周波数ごとの量子化幅を表（量子化テーブル）として定義しておく。

また、量子化部１６は、変換係数列を途中で打ち切っても構わない。例えば、量子化部１６は、変換係数列のｎ番目（ｎは１以上かつ変換係数列の総数以下の整数値）以降の変換係数の絶対値が所定の閾値（例えば、０、１あるいは２など）以下となった場合に、ｎ番目以降の係数がすべて０であるものとして、以降のエントロピー符号化１７への数値の受け渡しを打ち切っても構わない。

エントロピー符号化部１７は、量子化部１６から出力された量子化インデックス列や、予測部１２から出力された動きベクトルに対してエントロピー符号化を適用し、その結果たるビット列を出力する。エントロピー符号化部１７は、このほか予測部１２がいかなる予測を行ったかの識別子（モード情報）や、直交変換部１４が適用した基底関数の種別、ブロック分割部１０におけるブロック分割形状、量子化部１６における量子化幅に関する情報などを符号化対象に含めても構わない。

逆量子化部１８は、量子化インデックス列を変換係数列に変換する。逆量子化部１８は、量子化部１６がある量子化インデックスを出力する場合に、その入力値がとり得る範囲の代表値を求める操作である。この代表値は、例えば、入力値がとり得る範囲の上限値及び下限値の相加平均値とすることができる。

走査部１９は、走査部１６の逆操作により、逆量子化部１８から出力された１次元の変換係数列を２次元の変換係数列に変換する。

逆直交変換部２０は、直交変換部１４の逆変換を実行し、走査部１９からの２次元の変換係数列を２次元の残差画素値列（復号残差ブロック）に変換する。例えば、直交変換部１４が離散コサイン変換を行う場合には、逆直交変換部２０は逆離散コサイン変換を実行する。また、例えば、直交変換部１４が離散サイン変換を行う場合には、逆直交変換部２０は逆離散サイン変換を実行する。なお、逆直交変換部２０により得られた２次元残差画素値列は、減算部１３の出力の残差ブロックに対応するが、途中の直交変換及び量子化等に伴う情報誤差を含んでいることから、「復号残差ブロック」と呼んで区別する。

加算部２１は、逆直交変換手段からの復号残差ブロックの画素値列と、予測部２１からの予測ブロックの画素値列を画素ごとに加算し、その結果の画素値列を復号ブロックとして出力する。得られた復号ブロックはメモリ１１の当該ブロック位置の画素値列として記録される。

以上が、従来型の映像符号化装置の構成及び動作の一例である。

特許第５３０２２５６号公報 特許第５７００６６６号公報

予測処理を利用した映像符号化装置において、予測残差信号は、自然画像とは統計的性質を異にするため、離散コサイン変換基底が必ずしも最適な基底とはいえない。そこで、方向予測によるイントラ予測において、参照画素に近い対象ブロック内の残差値がゼロに近くなることに着目し、その境界条件から奇関数の基底である離散サイン変換を用いることが提案され、HEVC/H.265において採用され、効を奏している。このように、離散コサイン変換や離散サイン変換等の直交変換を利用し、変換結果たる変換係数列により映像を符号化して、高い圧縮符号化率で伝送することが従来から行われている。

しかしながら、直交変換を利用し、変換係数列により映像を符号化する符号化処理において、離散コサイン変換及び離散サイン変換のいずれを用いた場合であっても、変換結果たる変換係数列は、低域成分とりわけ直流成分において大きなパワーを有し、高域になるほどそのパワーが減衰する傾向がある。このような統計的な性質が表れるということは、すなわち離散コサイン変換や離散サイン変換では未だ信号の相関を活用しきれておらず、さらなる情報圧縮が可能であることを意味する。

従って、上記のような問題点に鑑みてなされた本発明の目的は、離散コサイン変換等の直交変換を有する映像符号化方式において、直交変換係数列に尚も残る統計的な傾向を利用することにより、符号化効率を改善することができる符号化装置及び復号装置を提供することにある。

上記課題を解決するために本発明に係る映像符号化装置は、直交変換部とエントロピー符号化部を有する映像符号化装置であって、前記直交変換部の出力する直交変換係数列に対し、パラメトリックな波形フィッティングを行う波形近似部を備え、前記波形近似部は、複数段の波形フィッティング部を備え、各波形フィッティング部は、各々に対して予め用意された基底ベクトルに基づき、前記直交変換部の出力する直交変換係数列または前段の波形フィッティング部において波形近似しきれなかった成分を近似し、前記波形近似部は、前記波形フィッティングの結果のパラメータを出力し、前記エントロピー符号化部は、ビット列を生成する際の符号化対象に前記パラメータを含めることを特徴とする。

また、前記映像符号化装置は、前記波形近似部は、さらに前記直交変換係数列から前記パラメータを用いて近似した近似波形を減じて得られる残差列に基づく残差情報を出力し、前記エントロピー符号化部は、ビット列を生成する際の符号化対象に、さらに前記残差情報を含めることが望ましい。

また、上記課題を解決するために本発明に係る映像復号装置は、前記映像符号化装置の出力するビット列を復号する映像復号装置であって、前記映像符号化装置のエントロピー符号化部に呼応するエントロピー復号部を備え、前記エントロピー復号部は前記ビット列から前記パラメータを復号し、前記パラメータと複数の前記基底ベクトルに基づいて直交変換係数列の近似波形を再生することで直交変換係数列の復号値を得ることを特徴とする。

また、前記映像復号装置は、前記エントロピー復号部は、さらに前記ビット列から前記残差情報を復号又は作成し、前記パラメータに基づいて直交変換係数列の近似波形を再生し、これに前記残差情報から求めた残差列を加算することで直交変換係数列の復号値を得ることが望ましい。

本発明によれば、離散コサイン変換等の直交変換を有する映像符号化方式において、直交変換係数列に尚も残る統計的な傾向を利用することにより、符号化効率を改善することができる。直交変換係数列をパラメトリックに近似するパラメータ及び近似の際生じる誤差を補償するための残差情報によって伝送する際に、パラメータはすべての変換係数列を伝送するよりも数少なく設定することが可能であるし、また残差情報（残差値列）は０付近に集中させることができるため、エントロピー符号化による圧縮効果を高めることが可能となる。

本発明に係る映像符号化装置の構成の一例を示したブロック図である。 波形近似部の構成の一例を示したブロック図である。 変換係数列をパラメトリックな関数により近似する過程を例示した図である。 波形フィッティング部の構成の一例を示したブロック図である。 本発明に係る映像復号装置の構成の一例を示したブロック図である。 係数復元部の構成の一例を示したブロック図である。 本発明に係る映像符号化装置（予測処理部を有しないもの）の構成の一例を示したブロック図である。 本発明に係る映像復号装置（予測処理部を有しないもの）の構成の一例を示したブロック図である。 従来型の映像符号化装置の構成の一例を示したブロック図である。

以下、本発明の実施の形態について、図面を参照しつつ説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る映像符号化装置の構成の一例を示したブロック図である。実施の形態１に係る映像符号化装置は予測処理を利用するものであり、以下では、映像（動画像）の符号化装置の構成及び動作について、図９に示した従来型の映像符号化装置との差異に注目しつつ説明する。

本構成において映像符号化装置１００は、ブロック分割部１０と、メモリ１１と、予測部１２と、減算部１３と、直交変換部１４と、走査部１５と、波形近似部３０と、エントロピー符号化部１７と、走査部１９と、逆直交変換部２０と、加算部２１と、によって構成される。

ブロック分割部１０と、メモリ１１と、予測部１２と、減算部１３と、直交変換部１４と、走査部１５と、走査部１９と、逆直交変換部２０と、加算部２１と、については図９の従来型の映像符号化装置の動作と同様であるから説明を省略する。

波形近似部３０は、走査部１５からの１次元の変換係数列の入力に対し、該変換係数列をパラメトリックな関数により近似する際のパラメータと、当該近似により近似しきれなかった波形成分（残差情報）とを、エントロピー符号化部１７へ出力するとともに、当該近似及び残差情報により近似表現した変換係数列を、復号係数ベクトル（復号変換係数列）として走査部１９へ出力する。

図２は、波形近似部３０の構成の一例を示したブロック図である。図２において、波形近似部３０は、波形フィッティング部３１（３１_１，３１_２，３１_３）と、量子化部３２と、逆量子化部３３と、加算部３４とによって構成される。なお、後述のとおり、量子化部３２、逆量子化部３３、及び加算部３４は、必須の構成ではない。波形フィッティング部３１は１つだけで構成してもよいし、多段接続によって構成しても構わない。図２の例では、波形フィッティング部３１_１乃至３１_３の３段の接続により構成されている。すなわち、波形フィッティング部３１_１により第一の波形近似を行い、この波形近似で近似しきれなかった成分を波形フィッティング部３１_２で波形近似する。さらに波形フィッティング３１_１及び３１_２で波形近似しきれなかった成分を波形フィッティング部３１_３で近似する。

波形フィッティング部３１_ｍ （ｍ∈｛１，２，３｝）までで近似しきれなかった成分（残差成分）をｓ^（ｍ）とおく（ここで、ｓ^（ｍ）はベクトル又は数値列である）。なお、ｉは１以上変換係数列の総数以下の整数とし、ｓ^（ｍ）のｉ番目の成分値をｓ^（ｍ）（ｉ）とおく。ただし、ｓ^（０）は走査部１５からの変換係数列を意味し、ｓ^（０）（ｉ）はそのｉ番目の成分とする。

波形フィッティング部３１_ｍは、入力されたベクトルｓ^{（ｍ−１）}をパラメトリックな関数（基底ベクトルｂ^（ｍ））により波形近似し、その近似のためのパラメータｃ^（ｍ）と、残差成分ｓ^（ｍ）とを出力する。さらに、波形フィッティング部３１_ｍは、波形フィッティング部３１_ｍまでのパラメータｃ^（１）乃至ｃ^（ｍ）により近似した変換係数列ｒ^（ｍ） （そのｉ番目の成分をｒ^（ｍ）（ｉ）とおく）も出力する。

図２の波形近似部３０（特に、波形フィッティング部３１_１）の行う処理について、図３に基づいて説明する。図３は、変換係数列をパラメトリックな関数により近似する過程を例示した図である。

波形の近似処理に際して、予め、各波形フィッティング部３１（３１_１〜３１_ｍ）において使用される基底ベクトルｂ^（１）乃至ｂ^（ｍ）を準備する。基底ベクトルｂは所定の関数に基づく数値列として設定することができ、例えば、ｂ^（１）を指数関数に基づくものとし、ｂ^（２）を低周波振動関数に基づくものとし、ｂ^（３）を高周波振動関数に基づくものとするといったように、走査部１５から入力される変換係数列のパラメトリックな性質に基づいて、基底ベクトルｂを定めることができる。基底ベクトルは、予め代表的な関数に基づく数値列を基底ベクトルとして設定しても良く、或いは、実験的に類似する画像の特性を調べ、例えば主成分抽出分析等をしてカルーネン・レーベ変換基底を求める等、最適な基底ベクトルを作成しても良い。

図３において、ｓ^（０）は走査部１５からの変換係数列の一例である。これに対して、波形フィッティング部３１_１では、例えば、基底ベクトルｂ^（１）として指数関数exp（−Aｘ）：［Aは定数］に基づく数値列を準備し、この基底ベクトルｂ^（１）に乗算してｓ^（０）の変換係数列にフィッティングさせるための最も適切なフィッティング係数（スカラー係数）を求め、当該係数を量子化してｃ^（１）（この場合はスカラー）を求め、これをパラメータとする。

なお、基底ベクトルｂ^（１）として指数関数αexp（−βx）に基づく数値列を利用し、指数関数のフィッティングをα、βの２つの係数で行うこともできる。このような複数の係数を含む関数を用いるときは、パラメータｃ^（１）を、α、βに基づく複数のスカラーを含むパラメータ、又はベクトルとして取り扱うこととなる。

波形フィッティング部３１_１では、基底ベクトルｂ^（１）にフィッティング係数を乗算して近似した変換係数列ｒ^（１）を出力するとともに、変換係数列ｓ^（０）と近似した変換係数列ｒ^（１）との差分を残差成分ｓ^（１）として出力する。この近似した変換係数列ｒ^（１）と、その残差成分ｓ^（１）は、次の波形フィッティング部３１_２の入力信号となる。

次の波形フィッティング部３１_２では、基底ベクトルｂ^（２）として例えばサイン関数sin（ω_１ｘ）：［ω_１は定数］に基づく数値列を準備し、この基底ベクトルｂ^（２）に乗算して、残差成分ｓ^（１）にフィッティングさせるための最も適切なフィッティング係数を求め、当該係数を量子化してパラメータｃ^（２）とする。なお、波形フィッティング部３１_２では、ここまでの基底ベクトルｂ^（１）、ｂ^（２）とパラメータｃ^（１）、ｃ^（２）で近似した変換係数列ｒ^（２）と、さらに残る残差成分ｓ^（２）を出力し（図示せず）、次の波形フィッティング部３１_３の入力データとする。一般には、各波形フィッティング部３１は、それまでのフィッティングで再構築された変換係数列ｒと、残った残差成分ｓを出力する。

図４は、波形フィッティング部３１（３１_ｍ）の構成の一例を示すブロック図である。図４において、波形フィッティング部３１は、内積演算部４０と、量子化部４１と、逆量子化部４２と、スカラー乗法部４３と、減算部４４と、加算部４５と、によって構成される。

内積演算部４０は、入力された残差成分ｓ^{（ｍ−１）}を全成分並べたベクトルと基底ベクトルｂ^（ｍ）との内積を演算し、その結果たる内積値ｐ^（ｍ）を出力する。好ましくは、基底ベクトルｂ^（ｍ）は単位ベクトルとする。内積値ｐ^（ｍ）は次式（１）で算出される。なお、Ｎは変換係数列の総数である。

係数値列（ｓ^{（ｍ−１）}（ｉ））_{ｉ＝１，２，…，Ｎ}を数列（ｔ^（ｍ）・ｂ^（ｍ） _（ｉ））_{ｉ＝１，２，…，Ｎ}により近似する場合の最適なフィッティング係数（ここではスカラー係数）ｔ^（ｍ）は、次式（２）で求められる。

図４の波形フィッティング部３１_ｍは、フィッティング係数ｔ^（ｍ）を量子化した数値ｃ^（ｍ）をパラメータとして出力すべく動作するものであるが、後述のように、波形フィッティング部３１は、このフィッティング係数ｔ^（ｍ）をパラメータとして出力しても良い。

量子化部４１は、内積値ｐ^（ｍ）を所定の量子化幅ｑ^（ｍ） （ｑ^（ｍ）は正の実数）によって量子化し、その結果ｃ^（ｍ）を出力する。例えば、基底ベクトルｂ^（ｍ）が単位ベクトルの場合には、次式（３）の演算を行う。

なお、

は、ｚより大きくない最大の整数を表す（床関数）。

あるいは、基底ベクトルｂ^（ｍ）が単位ベクトルとは限らない場合には、量子化部４１はより一般的に、次式（５）を実行してｃ^（ｍ）を求める。

なお、内積演算部４０と量子化部４１を別々に設けず、これらを一体化した処理部により、次式（６）の演算を実行して、直接ｃ^（ｍ）を求めても構わない。

数式（３）、（５）及び（６）のいずれも、数式（２）のフィッティング係数を量子化幅ｑ^（ｍ）により量子化した数値ｃ^（ｍ）を演算する数式に相当する。

逆量子化部４２は、量子化した数値ｃ^（ｍ）に量子化幅ｑ^（ｍ）を乗じ、その結果をフィッティング係数（ここではスカラー係数）ｔ^（ｍ）の近似値ｕ^（ｍ）として出力する。すなわち、近似値ｕ^（ｍ）を、次式（７）で求める。

スカラー乗法部４３は、基底ベクトルｂ^（ｍ）の各成分にスカラーｕ^（ｍ）を乗じ、次式（８）により、近似波形σ^（ｍ）（ｉ） （ｉ∈｛１，２，…，Ｎ｝） （これをｉに関して列ベクトルとして並べたものを単にベクトルσ^（ｍ）と表記する）を得る。

なお、逆量子化部４２とスカラー乗法部４３を別々に設けず、これらを一体化した処理部により、次式（９）の演算を実行して、直接近似波形σ^（ｍ）（ｉ）を求めても構わない。

減算部４４は、次式（１０）に基づいて、入力された各残差成分ｓ^{（ｍ−１）}（ｉ）から近似波形の各標本値σ^（ｍ）（ｉ）を減じ、その結果を各残差成分ｓ^（ｍ）（ｉ）として出力する。

加算部４５は、次式（１１）に基づいて、入力された各変換係数列ｒ^{（ｍ−１）}（ｉ）に近似波形の各標本値σ^（ｍ）（ｉ）を加え、その結果を各変換係数列ｒ^（ｍ）（ｉ）として出力する。

図２に戻って波形近似部３０の動作を説明する。

波形フィッティング部３１_ｍ （ｍは１以上Ｍ以下の整数、図３の例ではＭ＝３）は、入力された数列（ｓ^{（ｍ−１）}（ｉ））_{ｉ∈｛１，２，…，Ｎ｝}、数列（ｒ^{（ｍ−１）}（ｉ））_{ｉ∈｛１，２，…，Ｎ｝}及び基底ベクトルｂ^（ｍ）に対し前述の処理を行い、パラメータｃ^（ｍ）、残差成分の数列（ｓ^（ｍ）（ｉ））_{ｉ∈｛１，２，…，Ｎ｝}、及び近似波形の変換係数列（ｒ^（ｍ）（ｉ））_{ｉ∈｛１，２，…，Ｎ｝}を出力する。なお、以下の説明及び図面においては、数列（ｓ^（ｍ）（ｉ））_{ｉ∈｛１，２，…，Ｎ｝}や数列（ｒ^（ｍ）（ｉ））_{ｉ∈｛１，２，…，Ｎ｝}を、ｉに関して列に並べて列ベクトルｓ^（ｍ）や列ベクトルｒ^（ｍ）と表記する場合がある。

初段の波形フィッティング部３１_１の入力については、すべてのｉ∈｛１，２，…，Ｎ｝に対し、ｒ^（０）（ｉ）＝０とする。また、ｉ∈｛１，２，…，Ｎ｝に対し、ｓ^（０）（ｉ）には走査部１５から出力される１次元の変換係数列の第ｉ項の値を設定する。

なお、これまで、各波形フィッティング部３１は、フィッティング係数ｔ^（ｍ）を量子化した数値ｃ^（ｍ）をパラメータとして出力すると説明したが、数式（２）で求めたフィッティング係数ｔ^（ｍ）を、近似のためのパラメータとして出力しても良い。本発明において、波形フィッティングの結果のパラメータとは、フィッティング係数ｔ^（ｍ）又はこのフィッティング係数ｔ^（ｍ）を量子化した数値ｃ^（ｍ）を意味する。前述のとおり、各パラメータはベクトル（複数のスカラーを含む）の場合もある。

量子化部３２は、波形フィッティング部３１_３から出力された残差成分の数列（ｓ^（３）（ｉ））_{ｉ∈｛１，２，…，Ｎ｝}を量子化し、量子化インデックス列を出力する。量子化部３２は、例えば、残差成分ｓ^（３）（ｉ） （ｉ∈｛１，２，…，Ｎ｝）を量子化幅Ｑ（ｉ）で量子化し、その結果を量子化インデックスｄ（ｉ）として出力する。量子化インデックスｄ（ｉ）は、次式（１２）で求められる。

なお、周波数ごとに定義された量子化幅Ｑ（ｉ）の数列（Ｑ（ｉ））_{ｉ∈｛１，２，…，Ｎ｝}は、例えば、量子化テーブルとして定義しておくことができる。

ここでは、波形近似部３０は、残差成分の数列（ｓ^（３）（ｉ））_{ｉ∈｛１，２，…，Ｎ｝}を量子化した量子化インデックスｄ（ｉ）を出力すると説明したが、波形フィッティング部３１の最終段で求めた残差成分の数列（ｓ^（ｍ）（ｉ））_{ｉ∈｛１，２，…，Ｎ｝}をそのまま、近似の際に生じる誤差を補償するための残差情報として出力しても良い。また、数列の一部を残差情報としても良い。本発明において、残差情報とは、波形フィッティング部３１の最終段で求めた残差成分の数列（ｓ^（ｍ）（ｉ））_{ｉ∈｛１，２，…，Ｎ｝}又はこの残差成分の数列（ｓ^（ｍ）（ｉ））を量子化した量子化インデックス（ｄ（ｉ））_{ｉ∈｛１，２，…，Ｎ｝}の少なくとも一部を含む情報を意味する。

例えば、波形近似部３０は、残差情報の出力を途中で打ち切っても構わない。波形近似部３０は、量子化インデックス列のｎ番目（ｎは１以上かつインデックス列の総数以下の整数値）以降の量子化インデックスの絶対値が所定の閾値以下となった場合に、ｎ番目以降の係数がすべて０であるものとして、以降のエントロピー符号化部１７への数値の受け渡しを打ち切っても構わない。同様に、波形フィッティングの結果のパラメータについても、残差成分の数列（ベクトル）全体の絶対値が所定の閾値以下となった場合に、それ以降の波形フィッティングの結果のパラメータがすべて０であるものとして、以降のエントロピー符号化部１７への数値の受け渡しを打ち切っても構わない。

逆量子化部３３は、各量子化インデックスｄ（ｉ）に量子化テーブル内の各量子化幅Ｑ（ｉ）を乗じ、その結果をｅ（ｉ）として出力する。

加算部３４は、波形フィッティング部３１の最終段（図２の構成では波形フィッティング部３１_３）の出力する近似波形の変換係数列（ｒ^（３）（ｉ））_{ｉ∈｛１，２，…，Ｎ｝}に、逆量子化部３３の出力する（ｅ（ｉ））_{ｉ∈｛１，２，…，Ｎ｝}をそれぞれ加算し、その結果を復号変換係数列（ｆ（ｉ））_{ｉ∈｛１，２，…，Ｎ｝}として出力する。すなわち、ｆ（ｉ）は次式（１４）で表わされる。

なお、波形近似部３０は、量子化部３２、逆量子化部３３、及び加算部３４を設けず、波形フィッティング部の最終段（図３の例では波形フィッティング部３１_３）の出力する近似波形の変換係数列（ｒ^（３））_{ｉ∈｛１，２，…，Ｎ｝}を復号変換係数列（ｆ（ｉ））_{ｉ∈｛１，２，…，Ｎ｝}として出力するよう構成しても構わない。この場合は、ｆ（ｉ）は次式（１５）となる。

図１において、エントロピー符号化部１７は、波形近似部３０から出力されたパラメータ列ｃ^（１），ｃ^（２），…，ｃ^（Ｍ） （Ｍは波形近似部３０内の波形フィッティング部の段数を表す整数で、図３の例ではＭ＝３）や、残差情報（量子化インデックス列）ｄ（１），ｄ（２），…，ｄ（Ｎ） （Ｎは直交変換部１４の出力する変換係数列の総数を表す整数）、予測部１２から出力された動きベクトル等に対してエントロピー符号化を適用し、その結果たるビット列を出力する。エントロピー符号化部１７は、このほか予測部１２がいかなる予測を行ったかの識別子（モード情報）や、直交変換部１４が適用した基底関数の種別、ブロック分割部１０におけるブロック分割形状、量子化部１６における量子化幅に関する情報などを符号化対象に含めても構わない。

エントロピー符号化部１７は、残差情報（量子化インデックス列）ｄ（１），ｄ（２），…，ｄ（Ｎ）の一部又は全部を符号化しなくても構わない。また、エントロピー符号化部１７はパラメータ列ｃ^（１），ｃ^（２），…，ｃ^（Ｍ） の一部を符号化しなくても構わないし、またそれら全部を符号化しないことがあっても構わない。

例えば、量子化インデックス列ｄ（１），ｄ（２），…，ｄ（Ｎ）は、小さい数値に収束した場合は符号化及び出力をしなくても良い。また、波形フィッティング部３１_３の残差成分ｓ^（３）が十分小さく、ｃ^（４）以下のパラメータが十分に小さくなる場合には、パラメータ列としてｃ^（１），ｃ^（２），ｃ^（３）のみを符号化して伝送するだけであっても良い。

このように、重要性の低いデータについて、符号化を行わず、出力ビット列から削除することは、波形近似部３０又はエントロピー符号化部の処理として行うことができる。このような符号化の省略により、一層のデータ圧縮ができる。

なお、波形近似部３０からの出力情報を全てエントロピー符号化したとしても、波形フィッティングのパラメータの高次のものや、残差情報はほぼ０に収束するから、変換係数列を直接エントロピー符号化したときよりも、全体のデータ量が減少する場合が多い。

次に、映像復号装置について説明する。

図５は、本発明に係る映像復号装置の構成の一例を示したブロック図である。図５において映像復号装置２００は、エントロピー符号化部５０と、係数復元部５１と、走査部５２と、逆直交変換部５３と、メモリ５４と、予測部５５と、加算部５６と、によって構成される。

エントロピー復号部５０は、映像符号化装置１００のエントロピー符号化部１７によって符号化されたビット列を復号し、パラメータ（例えば、フィッティング係数を量子化した数値列）ｃ^（１），ｃ^（２），…，ｃ^（Ｍ）及び残差情報（例えば、量子化インデックス列）ｄ（１），ｄ（２），…，ｄ（Ｎ）を得る。

係数復元部５１は、パラメータ列ｃ^（１），ｃ^（２），…，ｃ^（Ｍ）及び量子化インデックス列ｄ（１），ｄ（２），…，ｄ（Ｎ）から復号変換係数列ｆ（１），ｆ（２），…，ｆ（Ｎ）を得る。

図６は、係数復元部５１の構成の一例を示したブロック図である。係数復号部５１は、逆量子化部５９（５９_１乃至５９_Ｍ）と、スカラー乗法部６０（６０_１乃至６０_Ｍ）と、加算部６１（６１_１乃至６１_Ｍ）と、逆量子化部６２とによって構成される。なお、図６においてはＭ＝３である。また、後述のとおり、逆量子化部６２と加算部６１_Ｍは必須のものではない。

逆量子化部５９_ｍ （ｍは１以上Ｍ以下の整数）は、波形フィッティング部３１の逆量子化部４２と同様に、各パラメータｃ^（ｍ） （ｍ∈｛１，２，…，Ｍ｝）に量子化テーブル内の各量子化幅ｑ^（ｍ）を乗じ、その結果を係数ｕ^（ｍ）として出力する。

スカラー乗法部６０_ｍ （ｍは１以上Ｍ以下の整数）は基底ベクトルｂ^（ｍ）に係数ｕ^（ｍ）を乗じ、その結果をベクトルσ^（ｍ）として出力する。

加算部６１_１は、スカラー乗法部６０_１の出力するベクトルσ^（１）と、スカラー乗法部６０_２の出力するベクトルσ^（２）とのベクトル加算を行い、その結果を出力する。

加算部６１_ｍは、２≦ｍ≦Ｍ−１において、加算部６１_{（ｍ−１）}の出力するベクトルと、スカラー乗法部６０_{（ｍ＋１）}の出力するベクトルσ^{（ｍ＋１）}とのベクトル加算を行い、その結果を出力する。

逆量子化部６２は、波形近似部３０の逆量子化部３３と同様に、各量子化インデックスｄ（ｉ） （ｉ∈｛１，２，…，Ｎ｝）に量子化テーブル内の各量子化幅Ｑ（ｉ）を乗じ、その結果をｅ（ｉ）として出力する。

加算部６１_Ｍは、加算部６１_{（Ｍ−１）}の出力値と、逆量子化部６２の出力値ｅ（ｉ）とのベクトル加算を行い、その結果を復号変換係数列ｆ（１），ｆ（２），…，ｆ（Ｎ）として出力する。

なお、係数復元部５１において、逆量子化部６２と加算部６１_Ｍを設けず、加算部６１_{（Ｍ−１）}の出力を以て復号変換係数列ｆ（１），ｆ（２），…，ｆ（Ｎ）としても構わない。

図５に戻って映像復号装置２００の構成及び動作の説明を続ける。

走査部５２は、映像符号化装置１００の走査部１６の逆操作により、係数復元部５１から出力された１次元の復号変換係数列ｆ（１），ｆ（２），…，ｆ（Ｎ）を２次元の復号変換係数列に変換する。

逆直交変換部５３は、映像符号化装置１００の直交変換部１４の逆変換を実行し、走査部５２からの２次元の復号変換係数列を２次元の残差画素値列（復号残差ブロック）に変換する。例えば、直交変換部１４が離散コサイン変換を行う場合には、逆直交変換部５３は逆離散コサイン変換を実行する。また、例えば、直交変換部１４が離散サイン変換を行う場合には、逆直交変換部５３は逆離散サイン変換を実行する。なお、得られた復号残差ブロックは、映像符号化装置１００の減算部１３の出力の残差ブロックに対応するものであり、逆直交変換部２０の出力と同一のものである。

メモリ５４はブロック単位で順次復号される映像の部分領域を、ブロック位置に対応する所定の記憶領域に順次書き込むことで復号画像を構成する。メモリ５４には、復号処理の各段階において、それまでに復号された映像のフレームが蓄積されている。

予測部５５は、メモリ５４に記憶された復号画像から、ブロック分割部１０出力のブロック（対象ブロック）内の画素値列の近似（予測）を試み、当該近似結果を予測ブロックとして出力する。予測部５５の予測の動作は、映像符号化装置１００の予測部１２の動作と同様である。

加算部５６は、予測部５５による予測ブロックの各画素値と、逆直交変換部５３からの復号残差ブロックの各画素値との和を画素ごとに求めることで復号ブロックを生成する。加算部５６により生成された復号ブロックの画素値列は、メモリ５４の中のブロック位置に対応する記憶領域に記録される。

メモリ５４内において復号画像フレームが所定の枚数だけ構成されるまで以上の動作を繰り返す。ここで所定の枚数とは、画像フレームを正しい表示順で表示するのに必要な枚数で、例えば映像符号化のＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）構造の１周期分である。メモリ５４からは、表示順で復号画像フレームを読みだすことで、出力映像が得られる。

なお、映像符号化装置１００側から伝送されたビット列と、映像復号装置２００の構成の組み合わせとしては、様々なケースが考えられるが、過不足の情報を適宜削除又は補充して処理を行うことができる。例えば、映像符号化装置１００側から伝送された符号化ビット列が、パラメータ列ｃ^（１），ｃ^（２），…，ｃ^（Ｍ）及び量子化インデックス列ｄ（１），ｄ（２），…，ｄ（Ｎ）を含み、映像復号装置２００の係数復号部５１が逆量子化部６２と加算部６１_Ｍを有しない場合、映像復号装置２００側では、エントロピー復号されたデータから、パラメータ列ｃ^（１），ｃ^（２），…，ｃ^（Ｍ）のみを抽出して、このパラメータ列ｃ^（１），ｃ^（２），…，ｃ^（Ｍ）から復号変換係数列ｆ（１），ｆ（２），…，ｆ（Ｎ）を得て、処理を行うことができる。

また反対に、映像復号装置２００の係数復号部５１が、逆量子化部５９（５９_１乃至５９_Ｍ）と、スカラー乗法部６０（６０_１乃至６０_Ｍ）と、加算部６１（６１_１乃至６１_Ｍ）と、逆量子化部６２とを全て備えている場合において、映像符号化装置１００側から伝送されたビット列が、パラメータ列ｃ^（１），ｃ^（２），…，ｃ^（Ｍ）を含み、残差情報を含んでいないとき、復号装置側で適宜残差情報（量子化インデックス列）ｄ（１），ｄ（２），…，ｄ（Ｎ）を補って（例えば、これら量子化インデックス列を全て０データとして作成して）処理を行い、復号変換係数列ｆ（１），ｆ（２），…，ｆ（Ｎ）を得ることができる。

（実施の形態２）
以上では、予測処理を含む映像（動画像）の符号化装置及び復号装置を説明したが、本発明に係る波形近似部３０を静止画用の符号化装置に適用し、また係数復元部５１を静止画用の符号化装置に適用しても構わない。以下に、本発明の実施の形態２として、予測処理を含まない、静止画用の符号化装置及び復号装置について説明をする。

動き補償予測や画面内予測といった予測処理を有しない静止画像の映像符号化装置（静止画の集合として動画像を符号化する場合を含む）の場合には、符号化装置内での復号処理や予測ブロックを求める処理が不要であり、符号化装置を簡略化して構成することができる。

図７は、本発明に係る映像符号化装置（予測処理部を有しないもの）の構成の一例を示したブロック図である。

本構成において映像符号化装置１０１は、ブロック分割部１０と、直交変換部１４と、走査部１５と、波形近似部３０と、エントロピー符号化部１７と、によって構成される。

ブロック分割部１０については図９の従来型の映像符号化装置の動作と同様であるから説明を省略する。

直交変換部１４は、予測残差ではなく、ブロック分割部１０から出力された画像の画素値そのものに対して直交変換を適用し、その結果たる変換係数列を出力する。直交変換としては、例えば離散コサイン変換、離散サイン変換、アダマール変換、ウェーブレット変換や、それらを整数近似した変換を用いることができることは従来と同様である。

走査部１５は、直交変換部１４の出力する２次元の変換係数列を所定の順序において走査し、１次元的な数列に並べ替えて出力する。これは従来型の映像符号化装置の動作と同様である。

波形近似部３０は、図２で説明した波形近似部３０の構成と基本的に同様であり、波形フィッティング部３１（３１_１，３１_２，３１_３）と、量子化部３２とを備え、パラメータ（フィッティング係数を量子化した数値列）ｃ^（１），ｃ^（２），…，ｃ^（Ｍ）及び残差情報（量子化インデックス列）ｄ（１），ｄ（２），…，ｄ（Ｎ）を出力する。なお、映像符号化装置１０１は予測処理を行わないから、逆量子化部３３と、加算部３４は不要であり、復号変換係数列ｆ（１），ｆ（２），…，ｆ（Ｎ）は出力しない。

エントロピー符号化部１７は、図１の映像符号化装置１００のエントロピー符号化部１７と同様に、波形近似部３０から出力されたパラメータ列ｃ^（１），ｃ^（２），…，ｃ^（Ｍ）や、量子化インデックス列ｄ（１），ｄ（２），…，ｄ（Ｎ）に対してエントロピー符号化を適用し、その結果たるビット列を出力する。

以上が、符号化装置１０１の構成と動作の概要である。次に、図７の符号化装置に対応する復号装置の構成例について説明する。

図８は、本発明に係る映像復号装置（予測処理部を有しないもの）の構成の一例を示したブロック図である。

本構成において映像復号装置２０１は、エントロピー符号化部５０と、係数復元部５１と、走査部５２と、逆直交変換部５３と、メモリ５４と、によって構成される。

エントロピー符号化部５０と、係数復元部５１と、走査部５２の構成及び動作は、図５の映像復号装置２００の各部の構成及び動作と同様であり、係数復元部５１は、パラメータ列ｃ^（１），ｃ^（２），…，ｃ^（Ｍ）及び残差情報（量子化インデックス列）ｄ（１），ｄ（２），…，ｄ（Ｎ）から復号変換係数列ｆ（１），ｆ（２），…，ｆ（Ｎ）を得る。また、走査部５２は、係数復元部５１から出力された１次元の復号変換係数列ｆ（１），ｆ（２），…，ｆ（Ｎ）を２次元の復号変換係数列に変換する。

図８の映像復号装置２０１は、予測処理を行わないため、逆直交変換部５３が予測残差の復号値ではなく、画像の復号値を出力し、この画像の復号値をメモリ５４に書き込むことで復号画像が構成される。

このように実施の形態２に係る映像符号化装置１０１及び映像復号装置２０１によれば、静止画について、従来よりも符号化効率を高めることができる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１０ ブロック分割部
１１ メモリ
１２ 予測部
１３ 減算部
１４ 直交変換部
１５ 走査部
１６ 量子化部
１７ エントロピー符号化部
１８ 逆量子化部
１９ 走査部
２０ 逆直交変換部
２１ 加算部
３０ 波形近似部
３１（３１_１，３１_２，３１_３，３１_ｍ） 波形フィッティング部
３２ 量子化部
３３ 逆量子化部
３４ 加算部
４０ 内積演算部
４１ 量子化部
４２ 逆量子化部
４３ スカラー乗法部
４４ 減算部
４５ 加算部
５０ エントロピー復号部
５１ 係数復元部
５２ 走査部
５３ 逆直交変換部
５４ メモリ
５５ 予測部
５６ 加算部
５９（５９_１，５９_２，５９_３，５９_ｍ） 逆量子化部
６０（６０_１，６０_２，６０_３，６０_ｍ） スカラー乗法部
６１（６１_１，６１_２，６１_３，６１_ｍ） 加算部
６２ 逆量子化部
１００，１０１ 映像符号化装置
２００，２０１ 映像復号装置

Claims (4)

1. 直交変換部とエントロピー符号化部を有する映像符号化装置であって、
   前記直交変換部の出力する直交変換係数列に対し、パラメトリックな波形フィッティングを行う波形近似部を備え、
   前記波形近似部は、複数段の波形フィッティング部を備え、
   各波形フィッティング部は、各々に対して予め用意された基底ベクトルに基づき、前記直交変換部の出力する直交変換係数列または前段の波形フィッティング部において波形近似しきれなかった成分を近似し、
   前記波形近似部は、前記波形フィッティングの結果のパラメータを出力し、
   前記エントロピー符号化部は、ビット列を生成する際の符号化対象に前記パラメータを含めること
   を特徴とする映像符号化装置。
2. 請求項１に記載の映像符号化装置であって、
   前記波形近似部は、さらに前記直交変換係数列から前記パラメータを用いて近似した近似波形を減じて得られる残差列に基づく残差情報を出力し、
   前記エントロピー符号化部は、ビット列を生成する際の符号化対象に、さらに前記残差情報を含めること
   を特徴とする映像符号化装置。
3. 請求項１又は請求項２に係る映像符号化装置の出力するビット列を復号する映像復号装置であって、
   前記映像符号化装置のエントロピー符号化部に呼応するエントロピー復号部を備え、
   前記エントロピー復号部は前記ビット列から前記パラメータを復号し、
   前記パラメータと複数の前記基底ベクトルに基づいて直交変換係数列の近似波形を再生することで直交変換係数列の復号値を得ること
   を特徴とする映像復号装置。
4. 請求項２を引用する請求項３に記載の映像復号装置であって、
   前記エントロピー復号部は、さらに前記ビット列から前記残差情報を復号又は作成し、
   前記パラメータに基づいて直交変換係数列の近似波形を再生し、これに前記残差情報から求めた残差列を加算することで直交変換係数列の復号値を得ること
   を特徴とする映像復号装置。

Images