JP5254189B2

JP5254189B2 - 動画像符号化方法、動画像符号化装置、動画像復号化方法、及び動画像復号化装置

Info

Publication number: JP5254189B2
Application number: JP2009269799A
Authority: JP
Inventors: 克行中村; 徹横山; 誠二望月; 憲一岩田; 一志秋江
Original assignee: Renesas Electronics Corp
Current assignee: Renesas Electronics Corp
Priority date: 2009-11-27
Filing date: 2009-11-27
Publication date: 2013-08-07
Anticipated expiration: 2029-11-27
Also published as: JP2011114631A

Description

本発明は、動画像を符号化する動画像符号化技術、及び符号化された動画像を復号化する動画像復号化技術に関する。

動画像符号化では、予測技術を用いることで圧縮効率を高めることができる。代表的な予測技術として、同一画面内の画素を用いて符号化対象ブロックの予測画像を生成する画面内予測技術と、前後の画面の画素（参照画像）を用いて動き補償を行うことにより符号化対象ブロックの予測画像を生成する画面間予測技術が知られている。これら予測技術によって生成された予測画像と入力画像の差分（予測誤差）を計算し、直交変換と量子化を経て動画像を圧縮する。

ここで、動画像の画質を維持しつつ圧縮率を高めるには、上記予測誤差を小さくする必要がある。こうした課題に対して、画面間予測の動き補償に用いる参照画像をフィルタリングすることで、予測誤差を小さくする方式が提案されている（例えば特許文献１参照）。また、静止画像の圧縮において、インターネットやハードディスクなどの静止画像を予測画像と代替することで、予測誤差を小さくする方式も提案されている（例えば特許文献２参照）。

特開２００６−１３５３７６号公報特開２００８−１９９５８７号公報

特許文献１によれば、動き補償に用いる参照画像をフィルタリングすることで、予測誤差を低減することができる。しかしこの方式は、画面間予測の動き補償に用いる参照画像をフィルタリングするものであり、画面内予測には対応していない。また、フィルタ係数の差分信号を符号化しているため、画像が急激に変化する場面（例えばシーンチェンジなど）で圧縮効果が小さくなることが考えられる。

特許文献２によれば、ハードディスクなどの記録媒体に記録されている画像や、インターネット上のサーバに蓄積されている画像を予測画像として用いることで、予測誤差を低減することができる。しかし、この場合、多様な絵柄に対して有効な予測画像を作成するためには、予測画像として用いる画像を記憶しておくための膨大な記憶容量やネットワーク接続環境が必要となり、探索に要する計算コストが高くなることが考えられる。

本発明の目的は、予測誤差を小さくすることができ、しかも画像探索に要する計算コストを低減可能な動画像符号化方法、動画像符号化装置、動画像復号化方法、及び動画像復号化装置を提供することにある。

本発明の上記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。

本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。

すなわち、動画像符号化方法は、原画像と予測画像との差分を算出する減算処理と、上記減算処理で算出された差分を直交変換する直交変換処理と、上記直交変換処理の結果を量子化する量子化処理と、上記量子化処理の結果を逆量子化する逆量子化処理と、上記逆量子化処理の結果を逆直交変換する逆直交変換処理と、上記逆直交変換処理の結果に予測画像を加算する加算処理とを含む。このとき、特定パターンについての圧縮過程で失われた高周波成分による高周波成分画像のデータベースを用いて、上記加算処理の結果に対応する高周波成分画像を探索し、探索された高周波成分画像を上記加算処理の結果に合成することで画像を復元する復元処理と、上記復元処理で復元された画像に基づいて上記予測画像を生成する予測処理とを含める。

動画像符号化装置は、原画像と予測画像との差分を算出する減算器と、上記減算器で算出された差分を直交変換係数に変換する直交変換部と、上記直交変換部で得られた直交変換係数を量子化して量子化係数を得る量子化部とを含む。さらに上記動画像符号化装置は、上記量子化部で得られた量子化係数を逆量子化する逆量子化部と、上記逆量子化部で得られた逆量子化係数を逆直交変換する逆直交変換部と、上記逆直交変換部での処理結果に予測画像を加算する加算器とを含む。そして、特定パターンについての圧縮過程で失われた高周波成分による高周波成分画像のデータベースを用いて、上記加算器の出力に対応する高周波成分画像を探索し、探索された高周波成分画像を上記加算器の出力に合成することで画像を復元する復元部と、上記復元部で復元された画像に基づいて上記予測画像を生成する予測部とを設ける。

動画像復号化方法は、入力された符号化ストリームをエントロピー復号化するエントロピー復号化処理と、上記エントロピー復号化処理の結果を逆量子化する逆量子化処理と、上記逆量子化処理の結果を逆直交変換する逆直交変換処理と、上記逆直交変換処理の結果と予測画像とを加算して画像データを復号する加算処理とを含む。このとき、特定パターンについての圧縮過程で失われた高周波成分による高周波成分画像のデータベースを用いて、上記加算処理の結果に対応する高周波成分画像を探索し、探索された高周波成分画像を上記加算処理の結果に加算することで画像を復元する復元処理と、上記復元処理で高周波成分が合成された画像データを用いて上記予測画像を生成する予測処理とを含める。

動画像復号化装置は、入力された符号化ストリームにエントロピー復号化するエントロピー復号化部と、上記エントロピー復号化部での復号化結果を逆量子化する逆量子化部と、上記逆量子化部での逆量子化結果を逆直交変換する逆直交変換部と、上記逆直交変換部での逆直交変換結果と予測画像とを加算して画像データを復号する加算器とを含む。このとき、特定パターンについての圧縮過程で失われた高周波成分による高周波成分画像のデータベースを用いて、上記加算器の出力に対応する高周波成分画像を探索し、探索された高周波成分画像を上記加算器の出力に合成することで画像を復元する復元部と、上記復元部で高周波成分が合成された画像データを用いて上記予測画像を生成する予測部とを設ける。

上記のように特定パターンについての圧縮過程で失われた高周波成分による高周波成分画像のデータベースを用いて上記加算結果に対応する高周波成分画像を探索し、探索された高周波成分画像を上記加算結果に合成することで、原画像に近い画像を復元し、それに基づいて予測画像を生成することで、予測誤差の低減及び上記画像探索に要する計算コストの低減を図る。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。

すなわち、予測誤差を小さくすることができ、しかも画像探索に要する計算コストを低減可能な動画像符号化方法、動画像符号化装置、動画像復号化方法、及び動画像復号化装置を提供することができる。

本発明に係る動画像符号化装置の構成例ブロック図である。図１に示される動画像符号化装置に含まれる復元部の構成例ブロック図である。図２に示される復元部に含まれるコードブックの説明図である。図２に示される復元部の動作の流れを示すフローチャートである。図１に示される動画像符号化装置から出力された復号化ストリームを復号するための動画像復号装置の構成例ブロック図である。図５に示される動画像復号装置に含まれる復元部の構成例ブロック図である。図６に示される復元部の動作の流れを示すフローチャートである。上記動画像符号化装置の別の構成例ブロック図である。図８に示される動画像符号化装置に含まれる復元部の構成例ブロック図である。図９に示される復元部の動作の流れを示すフローチャートである。図８に示される動画像符号化装置から出力される符号化ストリームの説明図である。図８に示される動画像符号化装置から出力された復号化ストリームを復号するための動画像復号装置の構成例ブロック図である。図１２に示される動画像復号化装置に含まれる復元部の構成例ブロック図である。図１３に示される復元部の動作の流れを示すフローチャートである。

１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。

〔１〕本発明の代表的な実施の形態に係る動画像符号化装置（１００）は、原画像と予測画像との差分を算出する減算器（１０１）と、上記減算器で算出された差分を直交変換係数に変換する直交変換部（１０２）と、上記直交変換部で得られた直交変換係数を量子化して量子化係数を得る量子化部（１０３）とを含む。さらに上記動画像符号化装置（１００）は、上記量子化部で得られた量子化係数を逆量子化する逆量子化部（１０５）と、上記逆量子化部で得られた逆量子化係数を逆直交変換する逆直交変換部（１０６）と、上記逆直交変換部での処理結果に予測画像を加算する加算器（１０７）と、上記量子化部の出力をエントロピー符号化して符号化ストリームを生成するエントロピー符号化部（１０４）とを含む。そして、特定パターンについての圧縮過程で失われた高周波成分による高周波成分画像のデータベース（２０２）を用いて、上記加算器の出力に対応する高周波成分画像を探索し、探索された高周波成分画像を上記加算器の出力に合成することで画像を復元する復元部（１０８）と、上記復元部で復元された画像に基づいて上記予測画像を生成する予測部（１１０）とが設けられる。

〔２〕上記〔１〕において、上記復元部は、上記加算器の出力が上記特定パターンに該当するか否かを判定する画像判定部（２０１）と、上記画像判定部の判定結果に基づいて、上記データベースから該当する高周波成分を探索してそれを上記加算器の出力に合成する合成部（２０３）とを含んで構成することができる。

〔３〕上記〔２〕において、上記画像判定部は、上記加算処理の結果の分散値又は平均偏差値あるいは方向性フィルタによる平均応答と、所定の閾値とを比較し、その比較結果に基づいて、上記加算器での加算結果が特定パターンに該当するか否かを判定するように構成することができる。

〔４〕上記〔２〕において、上記画像判定部は、上記加算器での加算結果が上記特定パターンに該当するか否かの判定結果に基づいて識別情報を形成し、上記識別情報は、上記エントロピー符号化部によって上記符号化ストリームに合成されるように構成することができる。

〔５〕入力された符号化ストリームにエントロピー復号化するエントロピー復号化部（５０１）と、上記エントロピー復号化部での復号化結果を逆量子化する逆量子化部（５０２）と、上記逆量子化部での逆量子化結果を逆直交変換する逆直交変換部（５０３）と、上記逆直交変換部での逆直交変換結果と予測画像とを加算して画像データを復号する加算器（５０４）と、を含んで動画像復号化装置が構成される。このとき、特定パターンについての圧縮過程で失われた高周波成分による高周波成分画像のデータベースを用いて、上記加算器の出力に対応する高周波成分画像を探索し、探索された高周波成分画像を上記加算器の出力に合成することで画像を復元する復元部（５０５）と、上記復元部で高周波成分が合成された画像データを用いて上記予測画像を生成する予測部（５０７）とを設ける。

〔６〕上記〔５〕において、上記復元部は、上記加算器の出力が上記特定パターンに該当するか否かを判定する画像判定部（６０１）と、上記画像判定部の判定結果に基づいて、上記データベースから該当する高周波成分を探索してそれを上記加算器の出力に合成する合成部（６０２）とを含んで構成することができる。

〔７〕上記〔６〕において、上記画像判定部は、上記加算器の出力の分散値又は平均偏差値あるいは方向性フィルタによる平均応答と、所定の閾値とを比較し、その比較結果に基づいて、上記加算器の出力が特定パターンに該当するか否かを判定するように構成することができる。

〔８〕上記〔５〕において、上記エントロピー復号化部には、入力された符号化ストリームに含まれる識別情報を復号し、上記復元部は、上記エントロピー復号化部で復号された識別情報に基づいて復元処理の対象となる画像を選択する選択回路（１３０１）を設けることができる。また上記エントロピー復号化部には、上記選択回路により、復元処理を行う画像として選択された画像に対して、上記データベースから該当する高周波成分画像を探索してそれを上記加算器の出力に合成する合成部（１３０２）を設けることができる。

２．実施の形態の詳細
実施の形態について更に詳述する。

＜実施の形態１＞
図１には、実施の形態１における動画像符号化装置の構成例が示される。

図１に示される動画像符号化装置１００は、特に制限されないが、Ｈ．２６４／ＡＶＣとして規定されるＭＰＥＧ４（Moving Picture Experts Group phase 4）をベースとした映像エンジンなどに適用されるものである。上記動画像符号化装置１００は、減算器１０１、直交変換部（ＯＴＦ）１０２、量子化部（ＱＵＡ）１０３、エントロピー符号化部（ＥＮＴＣ）１０４、逆量子化部（ＩＱＵＡ）１０５、逆直交変換部（ＩＯＴＦ）１０６、加算器１０７、復元部（ＲＥＳ）１０８、フレームメモリ（ＦＭＥＭ）１０９、及び予測部（ＰＲＥ）１１０を含む。上記各部はハードウェアによって構成してもよいし、ソフトウェアによって構成してもよい。また、ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。

減算器１０１は、原画像ＯＲＧ−ＩＭＧと予測画像ＰＲＥ−ＩＭＧとの差分を求めて差分画像を作成する。直交変換部１０２は、離散コサイン変換などの直交変換手法を用いて、減算器１０１によって作成された差分画像を直交変換係数に変換する。量子化部１０３は、直交変換部１０２で得られた直交変換係数を量子化し、量子化係数を出力する。エントロピー符号化部１０４は、ハフマン符号や算術符号などを用いて、量子化部１０３が出力した量子化係数と、予測部１１０から出力された予測モードなどを符号化し、画像圧縮情報（符号化ストリームＱＳＴＲ）として出力する。逆量子化部１０５は、量子化部１０３から出力された量子化係数を逆量子化する。逆直交変換部１０６は、逆量子化部１０５から出力された逆量子化係数を逆直交変換する。加算器１０７は、逆直交変換部１０６から出力された差分画像と、予測部１１０から出力された予測画像とを加算し、局所復号画像を出力する。ここで局所復号画像とは、処理の対象とされる画像ブロックであり、そのサイズは、特に制限されないが、４×４ピクセル、８×８ピクセル、又は１６×１６ピクセルなどとされる。復元部１０８は、コードブックを用いて第二の局所復号画像（これを「合成局所復号画像」という）を作成する。尚、この作成方法については、図２と図４を用いて後述する。フレームメモリ（ＦＭＥＭ）１０９は、復元部１０８から出力された画像を参照画像として格納する。予測部１１０は、フレームメモリ１０９に格納されている参照画像を用いて予測を行い、予測画像（ＰＲＥ−ＩＭＧ）を出力する。上記予測部１１０での予測方法には、画面内予測や画面間予測、またはその双方を採用することができる。

図２には、上記復元部１０８の構成例が示される。

図２に示される復元部１０８は、画像判定部（ＤＥＣ）２０１、コードブック（ＣＯＤＢ）２０２、合成部（ＳＹＮ）２０３、及び選択回路２０４を含んで構成される。画像判定部２０１は、入力される局所復号画像ＩＮ−ＩＭＧの絵柄を解析し、絵柄がラインやエッジ、コーナー、Ｔ字形状などの特定パターンに該当するか否かの判定を行う。そして上記局所復号画像の絵柄が特定パターンに該当する場合には、画像判定部２０１から合成部２０３に当該局所復号画像が伝達される。合成部２０３は、コードブック２０２を用いて局所復号画像を原画像に近い画像へと復元し、合成局所復号画像を生成する。ここでコードブック２０２は、例えば図３（Ａ）に示されるような基準画像３０１における複数の特定パターン３０２に基づいて予め形成されたデータベースとされる。すなわちコードブック２０２は、例えば図３（Ｂ）に示されるように、上記特定パターン３０２についての圧縮画像３０３と、当該特定パターン３０２の圧縮過程で失われた当該高周波成分の画像（「高周波成分画像」という）３０４とが同一インデックスでまとめられることによりデータベース化されたものであり、例えばＲＯＭ（Read Only Memory）などの適宜の半導体メモリに格納されている。選択回路２０４は、上記画像判定部２０１の判定結果に基づいて、画像判定部２０１から出力された局所復号画像と、合成部２０３から出力された合成局所復号画像とを選択して出力する。上記選択回路２０４を介して出力される画像は、「ＯＵＴ−ＩＭＧ」とされる。

次に図４を用いて上記復元部１０８での処理の流れを説明する。

まず、局所復号画像ブロックが上記復元部１０８に入力される（Ｓ４００１）。その後、局所復号画像ブロックが上記の特定パターンに該当するか否かの判定が行われる（Ｓ４００２）。例えば、局所復号画像ブロックの分散（数１）又は平均偏差（数２）が所定の閾値以上であれば、特定パターンに該当すると判定する。

ここで、「S²」は局所復号画像ブロックの分散値、「d」は平均偏差値、「n」はブロック内の画素数、「x_ij」は座標(i,j)の画素値、「x₀」はブロック内の平均画素値である。これ以外にも、例えばキャニー（Canny）法によるフィルタやガボールフィルタなどの方向性フィルタを用いて、平均応答が所定の閾値以上となれば特定パターンに該当すると判定するようにしても良い。

上記画像判定部２０１で特定パターンに該当しないと判断された場合には復元は行われない。かかる場合、画像判定部２０１に入力された局所復号画像ＩＮ−ＩＭＧが、選択回路２０４を介してそのままフレームメモリ１０９に出力される（Ｓ４００３）。これに対して、特定パターンに該当すると判断された場合は、入力された局所復号画像ブロックをキーとして、コードブック２０２内の圧縮画像３０３との誤差が最も小さくなるインデックスが探索され、該当する高周波成分画像３０４が抽出される（Ｓ４００４）。誤差の基準としては、ＳＡＤ（Sum of Absolute Difference：差分絶対値和）、またはＳＳＤ（Sum of Square Difference：差分二乗和）などを用いればよい。その後、抽出された高周波成分画像３０４を局所復号画像ブロックに合成（加算）し、合成局所復号画像を生成する（Ｓ４００５）。こうして作成された合成局所復号画像は、フレームメモリ１０９に出力される（Ｓ４００６）。

図５には、図１に示される動画像符号化装置１００から出力された復号化ストリームＱＳＴＲを復号するための動画像復号装置５００の構成例が示される。

図５に示される動画像復号装置５００は、特に制限されないが、エントロピー復号化部（ＥＮＴＤ）５０１、逆量子化部（ＩＱＵＡ）５０２、逆直交変換部（ＩＯＴＥ）５０３、加算器５０４、復元部（ＲＥＳ）５０５、フレームメモリ（ＦＭＥＭ）５０６、及び予測部（ＰＲＥ）５０７を含んで構成される。動画像符号化装置１００と同様に、各部はハードウェアによって構成されてもよいし、ソフトウェアによって構成されていてもよい。また、ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。

エントロピー復号化部５０１は、伝送されてきた画像圧縮情報を復号化する。ここで画像圧縮情報とは、上記動画像符号化装置１００から出力された符号化ストリームＱＳＴＲを指す。逆量子化部５０２は、量子化係数を逆量子化する。逆直交変換部５０３は、逆量子化部５０２から出力された逆量子化係数を逆直交変換する。加算器５０４は、逆直交変換部５０３から出力された差分画像と、予測部５０７から出力された予測画像を加算し、復号画像を出力する。復元部５０５は、上記動画像符号化装置１００内のコードブック２０２と同一内容のコードブックを用いて、加算器５０４から出力された復号画像に高周波成分画像を合成して参照画像を作成する。フレームメモリ５０６は、上記復元部５０５で作成された参照画像を格納する。予測部５０７は、フレームメモリ５０６に格納されている参照画像を用いて予測画像を生成する。

図６には、上記復元部５０５の構成例が示される。

図６に示される復元部５０５は、画像判定部（ＤＥＣ）６０１、合成部（ＳＹＮ）６０２、コードブック（ＣＯＤＢ）６０３、選択回路６０４を含んで構成される。画像判定部６０１は、入力される復号画像の絵柄を解析し、絵柄がラインやエッジ、コーナー、Ｔ字形状などの特定パターンに該当する場合に、合成部６０２へと復号画像を渡す。合成部６０２は、コードブック６０３を用いて復号画像を原画像に近い画像へと復元し、合成復号画像を生成する。選択回路６０４は、画像判定部６０１での判定結果に基づいて、復号画像か合成復号画像を選択して出力画像ＯＵＴ−ＩＭＧを得る。上記コードブック６０３は、動画像符号化装置１００におけるコードブック２０２と同一内容のデータベースとされる。

次に図７を参照しながら上記復元部５０５の処理の流れを説明する。

まず、入力画像ＩＮ−ＩＭＧとして復号画像ブロックが画像判定部６０１に入力される（Ｓ７００１）。その後、画像判定部６０１において、上記復号画像ブロックが上記の特定パターンに該当するか否かの判定が行われる（Ｓ７００２）。例えば、復号画像ブロックの分散値（数１）や平均偏差値（数２）が所定の閾値以上であれば、特定パターンに該当すると判断される。これ以外にも、例えばキャニーフィルタやガボールフィルタなどの方向性フィルタを用いて、平均応答が閾値以上となれば特定パターンに該当すると判定しても構わない。画像判定部６０１の判定において、特定パターンに該当しないと判断された場合は、復号画像ブロックが選択回路６０４を介してそのまま出力される（Ｓ７００３）。一方、画像判定部６０１の判定において、特定パターンに該当すると判断された場合は、入力される復号画像ブロックをキーとして、コードブック内の圧縮画像３０３との平均誤差が最も小さくなるインデックスが探索され、該当する高周波成分画像３０４が求められる（Ｓ７００４）。抽出された高周波成分画像３０４は、合成部６０２において、復号画像ブロックに合成され、合成復号画像ＩＭＧＤが生成される（Ｓ７００５）。作成された合成復号画像は、図示されない後段回路やフレームメモリ５０６へ出力される（Ｓ７００６）。

以上説明した実施の形態１によれば、以下の作用効果を得ることができる。

（１）動画像符号化装置１００には、上記復元部１０８で復元された画像に基づいて予測画像を生成する予測部１１０が設けられる。上記の構成において、局所復号画像ブロックが上記復元部１０８に入力されると、当該局所復号画像ブロックが上記の特定パターンに該当するか否かの判定が行われる（Ｓ４００２）。この判定において、特定パターンに該当すると判断された場合は、入力された局所復号画像ブロックをキーとして、コードブック２０２内の圧縮画像３０３との誤差が最も小さくなるインデックスが探索され、該当する高周波成分画像３０４が抽出される（Ｓ４００４）。その後、抽出された高周波成分画像３０４が局所復号画像ブロックに合成（加算）され、合成局所復号画像が生成される（Ｓ４００５）。

動画像の画質を維持しつつ圧縮率を高めるには、上記予測誤差を小さくする必要がある。ここで特許文献２の技術に従えば、多様な絵柄に対して有効な予測画像を作成するためには、膨大な画像を用意する必要があるし、それができなければ不自然な参照画像が生成されてしまう可能性もある。また、膨大な画像が必要とされる場合、それを記憶しておくための膨大な記憶容量やネットワーク接続環境が必要となり、探索に要する計算コストが高くなってしまう。

これに対して実施の形態１では、上記のように特定パターンについての圧縮過程で失われた高周波成分による高周波成分画像のデータベースとされるコードブック２０２を用いて、上記加算器の出力に対応する高周波成分画像を探索し、探索された高周波成分画像を上記加算器１０７の出力に加算することで、原画像に近い画像を復元し、それに基づいて予測画像を生成することができるので、予測誤差を低減することができ、それによって圧縮率を高めることができる。しかも、コードブック２０２内の特定パターンに限定して復元が行われるようになっているため、全画像を対象に復元を行う場合に比べて比較対象を大幅に低減することができ、コードブック２０２のサイズも小さくなる。この結果、コードブック２０２を形成するのに必要な記憶容量とコードブック探索時の演算量を削減できるうえ、マッチングエラーを低減する効果も得られる。

（２）実施の形態１では、後述する実施の形態２の場合と異なり、符号化ストリーム中に識別情報を付加する必要がないため、その分、圧縮率を高めることができる。さらに復元した参照画像を、画面間予測だけでなく画面内予測にも用いることにより、圧縮率をさらに高めることができる。また、特許文献２とは異なり、フィルタ係数の差分信号を符号化するものではないので、画像が急激に変化する場面（例えばシーンチェンジなど）においても圧縮効果は変わらない。

（３）上記復元部１０８は、加算器１０７の出力が特定パターンに該当するか否かを判定する画像判定部２０１と、上記画像判定部２０１の判定結果に基づいて、上記コードブック２０２から該当する高周波成分を探索してそれを上記加算器１０７の出力に加算する合成部２０３とを設けることで、容易に実現することができる。

（４）上記画像判定部２０１は、上記加算器の出力の分散値又は平均偏差値あるいは方向性フィルタによる平均応答と、所定の閾値とを比較するように構成することにより、容易に実現することができる。

（５）動画像復号装置５００は、特定パターンについての圧縮過程で失われた高周波成分による高周波成分画像のデータベースとされるコードブック６０３を用いて、上記加算処理での処理結果に対応する高周波成分画像を探索し、探索された高周波成分画像を上記加算器５０４の出力に加算することで画像を復元する復元部５０５を含む。また動画像復号装置５００は、上記復元部５０５で高周波成分が合成された画像データを用いて予測画像を生成する予測部５０７を含む。このように、コードブック６０３を用いて探索された高周波成分画像が上記加算器５０４の出力に加算されることで原画像に近い画像を復元することができ、それに基づいて予測画像が生成されることにより、予測誤差を低減することができる。また、上記復元部５０５では、特定パターンに限定して復元が行われるようになっているため、全画像を対象に復元を行うのに比べて比較対象を大幅に低減することができ、コードブック６０３のサイズも小さくなる。この結果、コードブック６０３を形成するのに必要な記憶容量とコードブック探索時の演算量を削減できるうえ、マッチングエラーを低減する効果も期待できる。

（６）上記復元部５０５は、上記加算処理の加算結果が上記特定パターンに該当するか否かを判定する画像判定部６０１と、上記画像判定部６０１の判定結果に基づいて、上記データベースから該当する高周波成分を探索してそれを上記加算器５０４の出力に加算する合成部６０２とを設けることで、容易に実現することができる。

（７）上記画像判定部６０１は、上記加算器の出力の分散値又は平均偏差値あるいは方向性フィルタによる平均応答と、所定の閾値とを比較するように構成することにより、容易に実現することができる。

＜実施の形態２＞
次に、図８〜図１４を用いて、実施の形態２を説明する。

図８には、実施の形態２における動画像符号化装置の構成例が示される。

図８に示される動画像符号化装置８００が、図１に示されるのと大きく相違するのは、復元部８０１において復元を行うか否かの識別情報ＩＤＥＮが出力される点である。この識別情報ＩＤＥＮは、エントロピー符号化部１０４に伝達される。エントロピー符号化部１０４は、上記識別情報ＩＤＥＮを符号化ストリームＱＳＴＲに組み込む。

図９には、上記復元部８０１の構成例が示される。上記復元部８０１は、動画像符号化装置１００における復元部１０８と同様に、画像判定部２０１、コードブック２０２、合成部２０３、選択回路２０４を含む。画像判定部２０１は、画像判定結果に基づいて、識別情報ＩＤＥＮを形成する。この識別情報ＩＤＥＮは、選択回路２０４及びエントロピー符号化部１０４に伝達される。

図１０を参照しながら上記復元部８０１の処理の流れを説明する。

まず、局所復号画像ブロックＩＮ−ＩＭＧが画像判定部２０１に入力される（Ｓ１０００１）。その後、画像判定部２０１において、局所復号画像ブロックＩＮ−ＩＭＧが上記の特定パターンに該当するか否かの判定が行われる（Ｓ１０００２）。この判定の方法は、実施の形態１と同様であり、例えば局所復号画像ブロックの分散値（数１）や平均偏差値（数２）に基づいて、特定パターンに該当するか否かの判定が行われる。この画像判定部２０１において、入力された局所復号画像ブロックが特定パターンに該当しないと判断された場合は当該ブロックの復元を行わないものとし、非復元を示す識別情報が出力されるとともに（Ｓ１０００３）、入力された局所復号画像ブロックが選択回路２０４を介してそのまま出力される（Ｓ１０００４）。画像判定部２０１において、入力された局所復号画像ＩＮ−ＩＭＧがブロック特定パターンに該当すると判断された場合は、復元を示す識別情報が出力される（Ｓ１０００５）。その後、入力された局所復号画像ブロックをキーとして、コードブック内の圧縮画像３０３との誤差が最も小さくなるインデックスが探索され、該当する高周波成分画像３０４が求められる（Ｓ１０００６）。誤差の基準としては、ＳＡＤ（Sum of Absolute Difference）、またはＳＳＤ（Sum of Square Difference）などを用いればよい。こうして抽出された高周波成分画像３０４は局所復号画像ブロックに合成され、合成局所復号画像が生成される（Ｓ１０００７）。合成局所復号画像はフレームメモリ１０９に出力される（Ｓ１０００８）。

図１１には、図８におけるエントロピー符号化部１０４から出力される符号化ストリームＱＳＴＲの一例が示される。

符号化ストリームＱＳＴＲは、シリアル形式で出力されるデジタル信号１１０１とされ、このデジタル信号１１０１には、その一部が拡大して示されるように、復元を行うか否かの識別情報１１０２，１１０４，１１０６，１１０８、及び動きベクトルや直交変換係数などの情報１１０３、１１０５、１１０７、１１０９が含まれている。上記識別情報１１０２，１１０４，１１０６，１１０８は、それぞれ１ビット情報とされ、例えば復元を行わない場合は論理値“０”とされ、復元を行う場合は論理値“１”とされる。

図１２には、図８に示される動画像符号化装置８００から出力された符号化ストリームＱＳＴＲを復号するための動画像復号化装置１２００の構成例が示される。

図１２に示される動画像復号化装置１２００が図５に示されるのと大きく相違するのは、符号化ストリームＱＳＴＲに含まれる識別情報ＩＤＥＮがエントロピー復号化部５０１によって復号され、それが復元部１２０１へ伝達される点である。

図１３には、上記復元部１２０１の構成例が示される。

図１３に示される復元部１２０１が図６に示されるのと大きく相違するのは、図６における画像判定部６０１に相当するものは設けられておらず、その代わりに、識別情報ＩＤＥＮに基づいて経路切替を行う選択回路１３０１、１３０３が設けられている点である。特に選択回路１３０１は、上記識別情報ＩＤＥＮに基づいて経路切替を行うことにより、復元処理の対象となる復号画像を選択して合成部１３０２に供給する。合成部１３０２は、上記選択回路１３０１を介して供給された復号画像に基づいて、コードブック１２０１から該当する高周波成分画像を探索してそれを入力画像ＩＮ−ＩＭＧに加算することで合成復号画像を生成する。

図１４を参照しながら、上記復元部１２０１の処理の流れを説明する。

まず、復号画像ブロックが復号部１２０１に入力される（Ｓ１４００１）。その後、識別情報ＩＤＥＮに基づき、復元を実行するか否かの判定が行われる（Ｓ１４００２）。上述した例に従うと、識別情報ＩＤＥＮが論理値“０”であれば復元を行わず、入力された復号画像ブロックをそのまま出力する（Ｓ１４００３）。識別情報ＩＤＥＮが論理値“１”であれば、入力された復号画像ブロックをキーとして、コードブック内の圧縮画像３０３との誤差が最も小さくなるインデックスが探索され、該当する高周波成分画像３０４が得られる（Ｓ１４００４）。抽出された高周波成分画像３０４が復号画像ブロックに合成され、合成復号画像が生成される（Ｓ１４００５）。こうして作成された合成復号画像は、図示されない後段回路やフレームメモリ５０６に出力される（Ｓ１４００６）。

以上説明した実施の形態２によれば、動画像符号化装置８００において復元部８０１が設けられ、動画像復号化装置１２００において復元部１２０１が設けられているため、実施の形態１の場合と同様の作用効果を得ることができ、更に実施の形態２によれば、復元を行うか否かの識別情報ＩＤＥＮを符号化ストリーム中に含めるようにしているため、動画像復号化装置１２００においては、図６における画像判定部６０１に相当するものが不要とされ、その結果、復元部１２０１の回路規模の削減や処理量の削減が可能になる。

以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

例えば、コードブック２０２を復元部１０８，８０１の外部に配置しても良い。同様にコードブック６０３を復元部５０５，１２０１の外部に配置しても良い。

また、本発明はＨ．２６４／ＡＶＣとして規定される動画像符号化及び復号化技術に限定されるものではなく、その他の手法による符号化及び復号化技術にも広く適用することができる。

１００，８００動画像符号化装置
１０１減算器
１０２直交変換部
１０３量子化部
１０４エントロピー符号化部
１０５、５０３逆量子化部
１０６、５０２逆直交変換部
１０７、５０４加算器
１０８、５０５、８０１、１２０１復元部
１０９、５０６フレームメモリ
１１０、５０７予測部
２０１、６０１画像判定部
２０２、６０３コードブック
２０３，６０２，１３０２合成部
２０４，６０４，１３０１，１３０３選択回路
５００，１２００動画像復号装置

Claims

原画像と予測画像との差分を算出する減算処理と、
上記減算処理で算出された差分を直交変換する直交変換処理と、
上記直交変換処理の結果を量子化する量子化処理と、
上記量子化処理の結果を逆量子化する逆量子化処理と、
上記逆量子化処理の結果を逆直交変換する逆直交変換処理と、
上記逆直交変換処理の結果に予測画像を加算する加算処理と、
上記量子化処理の結果をエントロピー符号化して符号化ストリームを生成するエントロピー符号化処理と、を含む動画像符号化方法であって、
コードブック作成の基準とされる画像における複数の特定パターンを圧縮して得た圧縮画像と、上記特定パターンの圧縮過程で失われた高周波成分の画像とが同一インデックスでまとめられて予めデータベース化されたコードブックを参照して、上記加算処理の結果と上記コードブック内の上記圧縮画像との誤差が最も小さくなるインデックスを探索して該当する上記高周波成分の画像を抽出し、それを上記加算処理の結果に合成することで画像を復元する復元処理と、
上記復元処理で復元された画像に基づいて上記予測画像を生成する予測処理と、を含むことを特徴とする動画像符号化方法。
上記復元処理は、上記加算処理の結果が上記特定パターンに該当するか否かを判定する判定処理を含み、上記加算処理の結果が上記特定パターンに該当する場合に上記画像を復元する請求項１記載の動画像符号化方法。
上記判定処理は、上記加算処理の結果の分散値又は平均偏差値あるいは方向性フィルタによる平均応答と、所定の閾値とを比較し、その比較結果に基づいて、上記加算処理での処理結果が上記特定パターンに該当するか否かを判定する処理を含む請求項２記載の動画像符号化方法。
上記判定処理は、上記加算処理の結果が上記特定パターンに該当するか否かの判定結果に基づいて識別情報を形成する処理を更に含み、
上記識別情報は、上記エントロピー符号化処理において上記符号化ストリームに合成される請求項２記載の動画像符号化方法。
原画像と予測画像との差分を算出する減算器と、
上記減算器で算出された差分を直交変換係数に変換する直交変換部と、
上記直交変換部で得られた直交変換係数を量子化して量子化係数を得る量子化部と、
上記量子化部で得られた量子化係数を逆量子化する逆量子化部と、
上記逆量子化部で得られた逆量子化係数を逆直交変換する逆直交変換部と、
上記逆直交変換部での処理結果に予測画像を加算する加算器と、
上記量子化部の出力をエントロピー符号化して符号化ストリームを生成するエントロピー符号化部と、を含む動画像符号化装置であって、
コードブック作成の基準とされる画像における複数の特定パターンを圧縮して得た圧縮画像と、上記特定パターンの圧縮過程で失われた高周波成分の画像とが同一インデックスでまとめられて予めデータベース化されたコードブックを参照して、上記加算処理の結果と上記コードブック内の上記圧縮画像との誤差が最も小さくなるインデックスを探索して該当する上記高周波成分の画像を抽出し、それを上記加算器での加算結果に合成することで画像を復元する復元部と、
上記復元部で復元された画像に基づいて上記予測画像を生成する予測部と、を含むことを特徴とする動画像符号化装置。
上記復元部は、上記加算器の出力が上記特定パターンに該当するか否かを判定する画像判定部を含み、上記加算器の出力が上記特定パターンに該当する場合に上記画像を復元する請求項５記載の動画像符号化装置。
上記画像判定部は、上記加算処理の結果の分散値又は平均偏差値あるいは方向性フィルタによる平均応答と、所定の閾値とを比較し、その比較結果に基づいて、上記加算器での加算結果が上記特定パターンに該当するか否かを判定する請求項６記載の動画像符号化装置。
上記画像判定部は、上記加算器での加算結果が上記特定パターンに該当するか否かの判定結果に基づいて識別情報を形成し、
上記識別情報は、上記エントロピー符号化部によって上記符号化ストリームに合成される請求項６記載の動画像符号化装置。
入力された符号化ストリームをエントロピー復号化するエントロピー復号化処理と、
上記エントロピー復号化処理の結果を逆量子化する逆量子化処理と、
上記逆量子化処理の結果を逆直交変換する逆直交変換処理と、
上記逆直交変換処理の結果と予測画像とを加算して画像を復号する加算処理と、を含む動画像復号化方法であって、
コードブック作成の基準とされる画像における複数の特定パターンを圧縮して得た圧縮画像と、上記特定パターンの圧縮過程で失われた高周波成分の画像とが同一インデックスでまとめられて予めデータベース化されたコードブックを参照して、上記加算処理で復号された画像と上記コードブック内の上記圧縮画像との誤差が最も小さくなるインデックスを探索して該当する上記高周波成分の画像を抽出し、それを上記加算処理で復号された画像に加算することで画像を復元する復元処理と、
上記復元処理で高周波成分が合成された画像を用いて上記予測画像を生成する予測処理と、を含むことを特徴とする動画像復号化方法。
上記復元処理は、上記加算処理で復号された画像が上記特定パターンに該当するか否かを判定する判定処理を含み、
上記加算処理で復号された画像が上記特定パターンに該当する場合に、上記画像を復元する請求項９記載の動画像復号化方法。
上記判定処理は、上記加算処理で復号された画像の結果の分散値又は平均偏差値あるいは方向性フィルタによる平均応答と、所定の閾値とを比較し、その比較結果に基づいて、上記加算処理で復号された画像が上記特定パターンに該当するか否かを判定する処理を含む請求項１０記載の動画像復号化方法。
上記エントロピー復号化処理は、入力された符号化ストリームに含まれる識別情報を復号する処理を含み、
上記復元処理では、上記エントロピー復号化処理で抽出された識別情報に基づいて復元処理が行われる請求項９記載の動画像復号化方法。
入力された符号化ストリームにエントロピー復号化するエントロピー復号化部と、
上記エントロピー復号化部での復号化結果を逆量子化する逆量子化部と、
上記逆量子化部での逆量子化結果を逆直交変換する逆直交変換部と、
上記逆直交変換部での逆直交変換結果と予測画像とを加算して画像を復号する加算器と、を含む動画像復号化装置であって、
コードブック作成の基準とされる画像における複数の特定パターンを圧縮して得た圧縮画像と、上記特定パターンの圧縮過程で失われた高周波成分の画像とが同一インデックスでまとめられて予めデータベース化されたコードブックを参照して、上記加加算処理で復号された画像と上記コードブック内の上記圧縮画像との誤差が最も小さくなるインデックスを探索して該当する上記高周波成分の画像を抽出し、それを上記加算器で復号された画像に合成することで画像を復元する復元部と、
上記復元部で高周波成分が合成された画像を用いて上記予測画像を生成する予測部と、を含むことを特徴とする動画像復号化装置。
上記復元部は、上記加算器で復号された画像が上記特定パターンに該当するか否かを判定する画像判定部を含み、上記加算器で復号された画像が上記特定パターンに該当する場合に上記画像を復元する請求項１３記載の動画像復号化装置。
上記画像判定部は、上記加算器で復号された画像の分散値又は平均偏差値あるいは方向性フィルタによる平均応答と、所定の閾値とを比較し、その比較結果に基づいて、上記加算器で復号された画像が特定パターンに該当するか否かを判定する請求項１４記載の動画像復号化装置。
上記エントロピー復号化部は、入力された符号化ストリームに含まれる識別情報を復号し、
上記復元部は、上記エントロピー復号化部で復号された識別情報に基づいて復元処理の対象となる画像を選択する選択回路と、
上記選択回路により、復元処理を行う画像として選択された画像に対して、上記コードブックから該当する高周波成分画像を探索してそれを上記加算器で復号された画像に合成する合成部と、を含む請求項１３記載の動画像復号化装置。