JP2005130417A

JP2005130417A - 変換符号化方法および変換復号化方法

Info

Publication number: JP2005130417A
Application number: JP2003391343A
Authority: JP
Inventors: Toshiyuki Kondo; 敏志近藤; Toshiro Sasai; 寿郎笹井
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-10-01
Filing date: 2003-11-20
Publication date: 2005-05-19

Abstract

【課題】領域形状を有する画像信号に変換符号化を施す場合、従来方式では、符号量が大幅に増える、または画質の向上度合いが小さい、という課題を有していた。
【解決手段】分割方法決定手段１０２は、Ｍ個の領域からなる画像信号と領域情報とを入力とし、領域情報に基づいて、第１〜第Ｎの大きさを有するブロックに画像信号を分割する方法を決定し、分割手段１０１は、決定された分割方法に基づいて、画像信号をブロックに分割する。変換基底修正手段１０４は、ブロック内の領域情報に基づいて、変換基底保持手段１０５が保持する変換基底関数を修正し、変換手段１０３は、修正された変換基底関数を用いて、ブロックの画素値を変換係数に変換する。これにより、従来の任意形状領域に対する変換方法を用いた場合よりも、伝送すべき係数の個数を大幅に削減することができる。
【選択図】図１

Description

本発明は、画像信号を符号化または復号化する際に用いる変換符号化方法および変換復号化に関するものである。

ＪＰＥＧ方式、ＭＰＥＧビデオ方式に代表される従来の画像符号化方式においては、画面を予め定められた単位に分割し、その分割単位で符号化を行う。例えば、ＭＰＥＧ−１、ＭＰＥＧ−２方式においては、マクロブロックと呼ばれる水平１６画素、垂直１６画素の単位で処理を行う。イントラマクロブロックでは、マクロブロックに含まれるブロックと呼ばれる矩形領域（水平８画素、垂直８画素）の単位で直交変換（離散コサイン変換）を行う。また、インターマクロブロックでは、マクロブロックを単位として動き補償を行い、動き補償後の残差信号に対して、マクロブロックに含まれるブロックの単位で直交変換を行う。変換係数に量子化等の処理を行うことにより、最終的な符号列を得る。

このような従来の矩形領域（ブロック）に対する直交変換（離散コサイン変換）に代わって、近年、任意形状領域に対する変換方法が提案されている。例えば、特許文献１（従来の方法１）では、従来の離散コサイン変換の直交変換基底を符号化対象領域の形状に合わせるように修正し、変換を実施する方法が提案されている。また、非特許文献１（従来の方法２）では、形状情報に基づいて矩形ブロック内の符号化対象画素をブロック端に移動させ、符号化対象画素数に応じた直交変換基底を用いて離散コサイン変換を施す方法が提案されている。
特開平９−１６３３６９公報 T.Sikora, B.Makai, "Shape-adaptive DCT for generic coding of video," IEEE Trans. on Circuits and Systems for Video Technology, Vol.５, No.１, pp.５９-６２, Feb. １９９５.

しかしながら、上記従来の方法１では、画像をＮ×Ｎ画素の単位に分割して処理を行う場合、Ｎ×Ｎ画素の領域内にＭ個の異なる領域の画像が含まれている場合、Ｎ×Ｎ×Ｍ個の係数を伝送する必要がある。一般に画像信号では、低周波数成分にエネルギーが集中することから、実効的に伝送する係数の個数はＮ×Ｎ×Ｍ個よりも削減することは可能である。しかし、動き補償後の残差画像では、理想的に動き補償が行われた場合、残差信号はホワイトノイズとなるため、エネルギーは全周波数成分に均一に分布する。したがって、上記従来の方法１を用いた場合、実効的に伝送する係数の個数は、ほぼＮ×Ｎ×Ｍ個に等しくなることとなり、符号化効率の向上を図ることができない。

また、上記従来の方法２では、形状情報に基づいて矩形ブロック内の符号化対象画素をブロック端に移動させるため、直交変換においては元の画素の位置の情報は保持されず、また、シフト操作によって位相がずれることになり、相関が低くなる。そのため、ブロックサイズが大きい場合や、領域の形状が複雑な場合では、符号化効率があまり向上しない。

本発明は、上記従来の課題を解決するものであり、従来の方法１のような任意形状領域に対する変換方法を用いた場合よりも、伝送すべき係数の個数を大幅に削減し、かつ同等画質を得ることができ、従来の方法２のような任意形状領域に対する変換方法を用いた場合よりも、高い画質、高い符号化効率を得ることができる、変換符号化方法および変換復号化方法を提供することを目的とする。

この課題を解決するために、
第１の発明は、
Ｍ個の領域からなる画像信号と前記領域情報とを入力とし、前記領域情報に基づいて、第ｎの大きさは第ｎ＋１の大きさよりも大きい第１〜第Ｎ（Ｎは２以上の整数、１≦ｎ＜Ｎ）の大きさを有するブロックに前記画像信号を分割する分割方法決定ステップと、
前記分割方法決定ステップの決定した分割方法に基づいて、前記画像信号をブロックに分割する分割ステップと、
変換基底関数を保持する変換基底保持ステップと、
前記ブロック内の領域情報に基づいて、前記変換基底保持ステップで保持する前記変換基底関数を修正する変換基底修正ステップと、
前記変換基底修正ステップにより修正された変換基底関数を用いて、前記ブロックの画素値を変換係数に変換する変換ステップと、
を具備することを特徴する変換符号化方法
である。

第２の発明は、
Ｍ個の領域からなる画像信号と前記領域情報とを入力とし、前記領域情報に基づいて、第ｎの大きさは第ｎ＋１の大きさよりも大きい第１〜第Ｎ（Ｎは２以上の整数、１≦ｎ＜Ｎ）の大きさを有するブロックに前記画像信号を分割する分割方法決定ステップと、
前記分割方法決定ステップの決定した分割方法に基づいて、前記画像信号をブロックに分割する分割ステップと、
前記ブロック内の領域情報に基づいて、変換基底関数を生成する変換基底決定ステップと、
前記変換基底決定ステップにより生成された変換基底関数を用いて、前記ブロックの画素値を変換係数に変換する変換ステップと、
を具備することを特徴する変換符号化方法
である。

第３の発明は、
Ｍ個の領域からなる画像信号を符号化して得られた符号列と前記領域の情報とを入力とし、
前記領域情報に基づいて、第ｎの大きさは第ｎ＋１の大きさよりも大きい第１〜第Ｎ（Ｎは２以上の整数、１≦ｎ＜Ｎ）の大きさを有するブロックに前記領域情報を分割する分割方法決定ステップと、
逆変換基底関数を保持する逆変換基底保持ステップと、
前記分割方法決定ステップの決定した分割方法に基づいて、前記逆変換基底保持ステップで保持する前記逆変換基底関数を用いて、前記符号列中の変換係数ブロックを復号画像ブロックに変換する逆変換ステップと、
前記分割方法決定ステップの決定した分割方法と領域情報とに基づいて、前記復号画像ブロックを合成し復号画像信号を出力する合成ステップと
を具備することを特徴する変換復号化方法。
である。

第４の発明は、
Ｍ個の領域からなる画像信号を符号化して得られた符号列と前記領域の情報とを入力とし、
前記領域情報に基づいて、第ｎの大きさは第ｎ＋１の大きさよりも大きい第１〜第Ｎ（Ｎは２以上の整数、１≦ｎ＜Ｎ）の大きさを有するブロックに前記領域情報を分割する分割方法決定ステップと、
前記分割方法決定ステップの決定した分割方法と領域情報とに基づいて、逆変換基底関数を生成する逆変換基底決定ステップと、
前記分割方法決定ステップの決定した分割方法と領域情報とに基づいて、前記逆変換基底決定ステップで生成した前記逆変換基底関数を用いて、前記符号列中の変換係数ブロックを復号画像ブロックに変換する逆変換ステップと、
前記分割方法決定ステップの決定した分割方法と領域情報とに基づいて、前記復号画像ブロックを合成し復号画像信号を出力する合成ステップと
を具備することを特徴する変換復号化方法
である。

以上の様に、本発明の変換符号化方法および変換復号化方法は、領域情報を有する画像信号を符号化、復号化する際に、従来の任意形状領域に対する変換方法を用いた場合よりも、伝送すべき係数の個数を大幅に削減し、かつ画質を向上させることができ、その実用的価値が高い。

以下、本発明の実施の形態について、図１から図１５を用いて説明する。
（実施の形態１）
図１は、本発明の変換符号化方法を用いた動画像符号化装置１００のブロック図であり、分割手段１０１、分割方法決定手段１０２、変換手段１０３、変換基底修正手段１０４、変換基底保持手段１０５、可変長符号化手段１０６から構成される。

画像信号は分割手段１０１に入力される。領域情報は分割方法決定手段１０２に入力される。ここで、画像信号は通常の画像信号、または動き補償後の残差信号である。画像信号と領域情報の例を図２（ａ）、図２（ｂ）に示す。領域情報は、画像信号を物体毎の領域や、動境界で分割した領域等を示す情報である。ここでは、図２（ｂ）に示すように、領域２０１〜領域２０４の４つの領域に分割されているものとする。

分割方法決定手段１０２では、領域情報に基づいて、画像信号の分割方法を決定する。この際には、各領域を予め定められたブロック形状に分割し、その分割方法を分割手段１０１に対して出力する。各領域をブロック形状に分割する際には、水平Ｎ画素×垂直Ｎ画素、水平Ｎ／２×垂直Ｎ／２画素のブロックの組み合わせにより分割を行う。例えばＮとしては４、８、１６等の値を取ることが出来る。

分割方法決定手段１０２における、具体的な分割の決定方法の例を説明する。ここでは領域２０３に対して分割方法を決定する場合を例に挙げる。分割方法決定手段１０２では、領域２０３の形状情報をまずＮ×Ｎ画素の矩形ブロック（大ブロック）の組み合わせとなるように分割する。この場合、ブロックの配置方法としては、（１）左上の座標を決定した後、右下側に向かってブロックを配置する、（２）中心部を決定して、そこから周囲に向かってブロックを配置する、（３）画面全体に対して予め設定した方法でブロックを配置する、等の方法がある。（１）、（２）の分割方法を用いる場合には、領域毎に処理をすれば良いし、（３）の分割方法を用いる場合には、領域毎に処理をしてもよいし、画面全体をブロック順に処理しても良い。

図２（ｃ）においては、（１）の場合のブロック分割の例を示している（左上の座標は２１０）。続いて、大ブロックを４つに分割し、（Ｎ／２）×（Ｎ／２）画素ブロック（小ブロック）にする。この様子を図２（ｄ）に示す。例えば、大ブロック２１１は、小ブロック２１２〜２１５に分割される。分割方法決定手段１０２では、各小ブロックに対して、領域２０３の画素を含むか否かの判定を行う。その判定を行い、各大ブロックに含まれる４つの小ブロックの内、すべての小ブロックで領域２０３の画素を含まない場合、その大ブロックは処理しないとする。また、判定を行い、各大ブロックに含まれる４つの小ブロックの内、すべての小ブロックで領域２０３の画素を含む場合、その大ブロックは小ブロックに分割せず、大ブロックとして処理するとする。また、それ以外の場合には、領域２０３の画素を含む小ブロックのみを処理するものとする。例えば、大ブロック２１１においては、小ブロック２１２、２１３、２１４は領域２０３の画素を含まず、小ブロック２１５は領域２０３の画素を含む。そのため、大ブロック２１１は、小ブロック２１５のみを処理すると決定する。また、大ブロック２２０では、すべての小ブロックが、領域２０３の画素を含む。そのため、大ブロック２２０は、大ブロックとして処理すると決定する。また、大ブロック２３０では、すべての小ブロックが領域２０３の画素を含まないので、大ブロック２３０は処理されない。ここで、処理されない大ブロックや小ブロックは、他の領域（この場合は領域２０１）の処理を行う際に処理される。以上の決定方法を用いた結果、処理すべきブロックおよびその形状は、図２（ｅ）の波線となる。ここでは、領域２０３を例として説明したが、分割方法決定手段１０２では、すべての領域に対して同様の処理を行い、分割方法を決定する。この決定された分割方法は、分割手段１０１、変換基底修正手段１０４、変換基底保持手段１０５に対して出力される。

分割手段１０１では、分割方法決定手段１０２から入力された分割方法を基にして、入力画像信号を分割し、各ブロックの画像信号を出力する。例えば領域２０３の画像に対しては、図２（ｅ）のように分割するように、分割方法が指定されるので、小ブロック２１５、大ブロック２４０、大ブロック２２０、と順にブロックの画像信号が出力されることになる。

変換基底保持手段１０５では、水平Ｎ画素×垂直Ｎ画素のブロック（大ブロック）に対応した変換基底と、水平Ｎ／２画素×垂直Ｎ／２画素のブロック（小ブロック）に対応した変換基底とを保持している。例えば、変換が離散コサイン変換である場合、大ブロックに対応した変換基底と、小ブロックに対応した変換基底は、それぞれ（数１）において、Ｍ＝Ｎ、Ｍ＝Ｎ／２とした場合となる。（数１）において、ｕ、ｖは周波数成分であり、ｘ、ｙはブロック内の空間座標を示す。

変換基底修正手段１０４では、変換基底保持手段１０５から変換基底を、分割方法決定手段１０２から、分割された領域情報が入力される。今、領域２０３のブロックとして、ブロック２１５が入力されるとする。この場合の領域情報を図３に示す。図３において、各正方形は画素を示しており、水平８画素、垂直８画素のブロックである事を示している。また、黒の部分が領域２０３を、白の部分が他の領域（この場合には領域２０１）を示している。変換基底修正手段１０４では、ブロック２１５のうち、領域２０３に対応した変換基底を求める。この場合、（数２）、（数３）、（数４）を用いて計算した、G"uv(x,y)を領域２０３に対応した変換基底とする。

ここで（数２）におけるＲは、ブロック中の注目している領域（今の例では領域２０３）に属している画素位置の集合を示す。すなわち、この新しい変換基底は、元の変換基底Guv(x,y)から、対応する領域の変換基底のみを取り出してG'uv(x,y)とし、それをノルムで除して正規化したもの、またはノルムの２乗値で除したものとなる。よって、同じブロックであっても、注目している領域が異なる場合には、新しい変換基底は異なるものとなる。また、ブロック内の画素がすべて同じ領域に属する場合には、Guv(x,y)とG''uv(x,y)は同一となるので、変換基底修正手段１０４では、変換基底の変換を行う必要はない。変換基底修正手段１０４は、修正した新しい変換基底を変換手段１０３に対して出力する。

変換手段１０３は、分割手段１０１から入力されたブロックに対して、変換基底修正手段１０４から入力された領域に対応した変換基底を用いて、変換を行い、変換係数を出力する。
可変長符号化手段１０６は、変換手段１０３から出力された変換係数に対して可変長符号化を施して、符号列を出力する。

領域毎に符号化処理を行う場合には、一つの領域について、すべてのブロックの符号化が終了すると、続いて他の領域について符号化処理を行う。そして、すべての領域について符号化が終了すると、それで一画面分の符号化が終了した事になる。この場合の一画面分の符号列の構成例を図４（ａ）に示す。符号列には、各領域の符号列が、領域中のブロック毎に記述される。領域毎に符号化処理を行うと、各領域を最小のブロックで表現する事ができ、符号量の削減を図ることができる。また、ブロックの切り出し方を符号化装置と復号化装置とで統一しておけば、ブロックの切り出し方は領域情報から一意に決定されるため、ブロックの切り出し方に関する情報は符号列中に記述する必要はない。

また、一画面をブロック順で処理する場合には、所定順（例えば左上から右下に向かう走査順）で処理を行い、一画面内の全ブロックの処理が終了すると、一画面分の符号化が終了した事になる。この場合の一画面分の符号列の構成例を図４（ｂ）に示す。例えば、符号列中に記述するブロックの単位としては、Ｎ×Ｎ画素のブロックとすれば良い。各ブロック毎の符号列が順に記述されるが、一つのブロック中に複数の領域の画素が含まれている場合には、その領域数だけの符号列が記述される。例えば、図４（ｂ）においては、第Ｎブロックには、領域ｎと領域ｍの画素が含まれており、それぞれの領域の符号列が記述される。この場合、各領域に対してＮ×Ｎ画素のブロックで符号化する必要はなく、上記で図２を用いて説明したように、領域に対応する小ブロックの分だけ符号化すれば良い。例えば、Ｎ×Ｎブロックが図２の２１１である場合、領域２０１のデータとしてブロック２１１の符号列を、領域２０３のデータとしてブロック２１５の符号列を記述すれば良い。一画面をブロック順で処理する事により、領域毎にブロックの切り出し方を決定する必要がなく、処理の簡易化を図ることができる。

以上のように、本発明の変換符号化方法においては、領域情報を有する画像信号を符号化する際に、大ブロックで分割し、大ブロックに含まれる小ブロックの内、すべての小ブロックで所定の領域の画素を含む場合、大ブロックのまま処理し、それ以外の場合には、所定の領域の画素を含む小ブロックのみを処理する。また、各ブロックを処理する際には、所定の変換基底をブロック中の所定の領域の画素が存在する位置に対応した変換基底に変換し、変換係数を求める。

このような処理を行うことにより、ブロック内に複数の領域の画素が存在する場合であっても、領域形状を考慮した変換係数を求めることができ、画質の向上を図ることができ、かつ、ブロック形状を領域に合わせて変化させることにより、処理するブロック数（画素数）を従来法よりも大きく削減することができ、それにより全体の符号量を大幅に削減することができる。これにより、領域形状を考慮せずに符号化する場合と比較して、少ない符号量の増加で、大幅に画質を向上されることができる。

なお、本発明の実施の形態においては、Ｎ×Ｎ画素のブロックを基本とし、それを（Ｎ／２）×（Ｎ／２）画素のブロックに分割する場合について説明したが、これは、さらに（Ｎ／４）×（Ｎ／４）画素等のブロックに分割して処理を行ってもよい。また、ブロックの形状は正方形に限るものではなく、（Ｎ／２）×Ｎ画素等の長方形の形状のブロックを使っても良い。

また、本発明の実施の形態においては、基本の変換基底として、離散コサイン変換基底を用いて説明したが、これは他の変換基底であっても良い。例えば、他の変換基底としては、離散フーリエ変換、離散サイン変換、アダマール変換等がある。
また、本発明の実施の形態においては、符号列の形態として、図４（ａ）、図４（ｂ）の２つの形態を用いて説明したが、これは他の形態であっても良い。例えば、領域順に処理しながら、画面内のブロック位置順に符号列を生成しても良い。

また、本発明の実施の形態においては、ブロック内に存在する領域毎に変換係数を求める場合について説明したが、これは例えばブロック内で存在する画素数が少ない領域に対しては、その領域に対する変換係数を求めなくても良い。これは、ブロック内に存在するその領域の画素数が少なければ、領域別に符号化しなくても画質劣化は小さいと考えられ、かつその領域の変換係数を求めないことにより、符号量を減らすことができるためである。このような処理を行うためには、画素数に対するしきい値を設定しておき、ブロック内のある領域の画素数がそのしきい値以上であれば、変換処理を行い、しきい値未満であれば変換処理を施さない、とすれば良い。この場合、符号化側と復号化側とでしきい値を予め設定しておくことや、符号列中にそのしきい値を記述することにより、どのように各ブロックを処理するかは、領域情報から自動的に判定することができる。

また、本発明の実施の形態においては、一画面を領域別に符号化する場合について説明したが、これはカラー画像信号の輝度成分についてのみ行い、色差成分に対しては領域別に符号化せずに処理をしても良い。これは、輝度成分と比較して、色差成分は画質劣化が目につきにくい特性を有しているためであり、色差成分を領域別に処理しないことにより、符号量は削減することができながら、画質劣化も最小限に押さえることができる。この場合の符号化装置の構成を図５に示す。この場合、色差成分の画像信号を処理する変換手段５０１のみが図１の符号化装置とは異なる。そして、変換手段５０１には、変換基底保持手段１０５からは領域情報に関係なく、常に色差成分を変換する際のブロックサイズに相当する変換基底が入力される。

（実施の形態２）
図６は、本発明の変換復号化方法を用いた動画像復号化装置６００のブロック図であり可変長復号化手段６０１、逆変換手段６０２、逆変換基底保持手段６０３、合成手段６０４、分割方法決定手段６０５から構成される。

分割方法決定手段６０５は、領域情報を入力とし、この領域情報に基づいて、符号列がどのようにして画面を分割して作成されたものであるかを決定し、それを復号化画像信号の合成時に用いる。この決定方法は、本発明の実施の形態１で図２を用いて説明したのと同様であるので、ここでは説明は割愛する。よって、水平Ｎ画素×垂直Ｎ画素のブロック（大ブロック）と、水平Ｎ／２画素×垂直Ｎ／２画素のブロック（小ブロック）とを用いて分割方法を決定するものとする。ここで、分割方法は、符号化時の方法と同じでなければならない。このためには、予め符号化装置と復号化装置とでどの方法を用いるかを決定しておいても良いし、符号化装置で複数の方法から選択し、その選択した方法を示す情報を符号列中に記述し、復号化装置では、その情報を符号列から取得すれば良い。決定された分割方法は、可変長復号化手段６０１、逆変換手段６０２、逆変換基底保持手段６０３、合成手段６０４に対して出力される。

可変長復号化手段６０１には、図４（ａ）または図４（ｂ）に示すフォーマットの符号列が入力されるとする。可変長復号化手段６０１は、入力された符号列を、分割方法決定手段６０５で決定された分割方法の情報を用いて可変長復号化していく。例えば、図４（ａ）のフォーマットの符号列が入力された場合、まず領域番号を可変長復号化し、その領域番号に一致した、分割方法決定手段６０５から入力された分割方法情報を用いて、その領域に対応する各ブロックの符号列を順に復号化していく。この際には、ブロックの大きさ等は、分割方法情報から得ることができる。また、図４（ｂ）のフォーマットの符号列が入力された場合、この符号列には画面全体を所定の方法で分割したブロックが、所定の順序で記述されている。そこで可変長復号化手段６０１は、各ブロックを順に可変長復号化していく。この際、ブロックに複数の領域の符号列が存在するか否か、また複数の領域の符号列が存在する際に、いくつの領域の符号列が存在するかは、分割方法情報から得ることができる。可変長復号化を施されて得られた、各ブロックの変換係数は、逆変換手段６０２に対して出力される。

逆変換基底保持手段６０３では、水平Ｎ画素×垂直Ｎ画素のブロック（大ブロック）に対応した変換基底と、水平Ｎ／２画素×垂直Ｎ／２画素のブロック（小ブロック）に対応した逆変換基底とを保持している。例えば、逆変換が逆離散コサイン変換である場合、大ブロックに対応した逆変換基底と、小ブロックに対応した逆変換基底は、それぞれ（数５）において、Ｍ＝Ｎ、Ｍ＝Ｎ／２とした場合となる。

なお、（数５）において、ｕ、ｖは周波数成分であり、ｘ、ｙはブロック内の空間座標を示す。
逆変換手段６０２は、可変長復号化手段６０１から入力されたブロックの変換係数に対して、逆変換基底保持手段６０３から入力された逆変換基底を用いて、逆変換を行い、復号画像部録を生成して、合成手段６０４に出力する。この際、どの大きさのブロックに対応する逆変換基底を用いるかは、分割方法決定手段６０５により決定された分割方法情報から得る。

合成手段６０４では、逆変換手段６０２から出力された復号画像ブロックを分割方法決定手段６０５により決定された分割方法情報を用いて合成する。例えば、第１の実施の形態で説明した方法（３）により、分割方法を決定したとする。この場合、ブロック２１１の位置の画像としては、領域２０１に対するブロック２１１の復号画像ブロックと、領域２０３に対するブロック２１５の復号画像ブロックが存在する。そこで、ブロック２１１から領域２０１に属する画素のみを取り出し、また、ブロック２１５から領域２０３に対属する画素のみを取り出し、これらの画素を合成することによって、ブロック２１１の位置に対応する復号画像とする。合成された復号画像信号は再生画像として出力される。

以上のように、本発明の変換復号化方法においては、領域情報を有する画像信号を符号化して得られた符号列を復号化する際に、領域情報から符号化時にどのようにブロックに分割して符号化されたかを決定する。この場合、大ブロックで分割し、大ブロックに含まれる小ブロックの内、すべての小ブロックで所定の領域の画素を含む場合、大ブロックのまま処理し、それ以外の場合には、所定の領域の画素を含む小ブロックのみを処理するように分割方法を決定する。そして、決定された分割方法（ブロックサイズ）に基づいて、適した逆変換基底を用いて逆変換を施す。また、逆変換された復号画像ブロックを合成する際には、領域情報を用いて重複する画素を除いて合成し、再生画像を生成する。

このような処理を行うことにより、領域形状を考慮して変換係数を求めることにより生成した符号列を正しく復号化することができる。
なお、本発明の実施の形態においては、Ｎ×Ｎ画素のブロックを基本とし、それを（Ｎ／２）×（Ｎ／２）画素のブロックに分割する場合について説明したが、これは、さらに（Ｎ／４）×（Ｎ／４）画素等のブロックに分割して処理を行ってもよい。また、ブロックの形状は正方形に限るものではなく、（Ｎ／２）×Ｎ画素等の長方形の形状のブロックを使っても良い。

また、本発明の実施の形態においては、逆変換基底として、逆離散コサイン変換基底を用いて説明したが、これは他の逆変換基底であっても良い。例えば、他の逆変換基底としては、逆離散フーリエ変換、逆離散サイン変換、逆アダマール変換等がある。
また、本発明の実施の形態においては、符号列の形態として、図４（ａ）、図４（ｂ）の２つの形態を用いて説明したが、これは他の形態であっても良い。

また、本発明の実施の形態においては、ブロック内に存在する領域毎に変換係数を求められている場合について説明したが、これは例えばブロック内で存在する画素数が少ない領域に対しては、その領域に対する変換係数を求められていない符号列を復号化しても良い。このような処理を行うためには、画素数に対するしきい値を設定しておき、ブロック内のある領域の画素数がそのしきい値以上であれば、逆変換処理を行い、しきい値未満であればそのブロックにはその領域の画素は存在しない、とすれば良い。この場合、符号化側と復号化側とでしきい値を予め設定しておくことや、符号列中にそのしきい値を記述することにより、どのように各ブロックを処理するかは、領域情報から自動的に判定することができる。

また、本発明の実施の形態においては、一画面を領域別に復号化する場合について説明したが、これはカラー画像信号の輝度成分についてのみ領域情報を用いて符号化され、色差成分に対しては領域別に符号化されてない符号列を復号化処理しても良い。この場合、復号化装置においては、図６の輝度成分／色差成分情報を用いて、可変長復号化手段６０１、逆変換手段６０２、逆変換基底保持手段６０３、合成手段６０４では、輝度成分に対しては、上記の復号化方法により復号化し、色差成分に対しては、画面全体が領域を考慮せずに分割されているとして復号化処理を行う。

（実施の形態３）
図７は、本発明の変換符号化方法を用いた動画像符号化装置７００のブロック図であり、分割手段１０１、分割方法決定手段１０２、変換手段７０３、変換基底決定手段７０４、可変長符号化手段７０６から構成される。
画像信号が領域情報に基づいて、分割手段１０１、分割方法決定手段１０２により書される方法は、実施の形態１と同様であるので、ここでは説明は割愛する。

変換基底決定手段７０４では、分割方法決定手段１０２から、分割された領域情報が入力される。今、領域２０３のブロックとして、ブロック２１５が入力されるとする。この場合の領域情報を図８（ａ）に示す。図８（ａ）において、各正方形は画素を示しており、水平８画素、垂直８画素のブロックである事を示している。また、黒の部分が領域２０３を、白の部分が他の領域（この場合には領域２０１）を示している。

変換基底決定手段７０４では、ブロック２１５のうち、領域２０３に対応した画素について、垂直方向の変換係数を求めるための変換基底を決定する。まず、分割方法決定手段１０２から入力された領域情報に基づいて、符号化対象画素を垂直方向にブロック端まで移動させる。この場合、図８（ｂ）が符号化対象画素を垂直方向にブロック端まで移動したブロックとなる。そして、列毎に変換基底を決定する。例えば、列８０１については、領域２０３の画素は２個であるので、（数６）においてＭ＝２として変換基底を決定する。また、列８０２については、領域２０３の画素は７個であるので、（数６）においてＭ＝７として変換基底を決定する。（数６）において、ｖは垂直方向の周波数成分であり、ｙはブロック内の垂直方向の空間座標を示す。

変換手段７０３は、分割手段１０１から入力されたブロックに対して、分割方法決定手段１０２から入力された領域情報に基づいて、変換基底決定手段７０４での処理と同様に、符号化対象画素を垂直方向に移動させる。そして、変換基底決定手段７０４から入力された垂直方向の変換基底を用いて、列毎に垂直方向の変換を行い、変換係数を生成する。

続いて変換基底決定手段７０４では、水平方向の変換係数を求めるための変換基底を決定する。まず、分割方法決定手段１０２から入力された領域情報に基づいて、符号化対象画素（垂直方向に変換された変換係数）を水平方向にブロック端まで移動させる。この場合、図８（ｃ）が垂直方向に変換された変換係数水平方向にブロック端まで移動したブロックとなる。そして、行毎に変換基底を決定する。例えば、行８０３については、領域２０３の係数は５個であるので、（数７）においてＭ＝５として変換基底を決定する。また、列８０４については、領域２０３の係数は１個であるので、（数７）においてＭ＝１として変換基底を決定する。（数７）において、ｕは水平方向の周波数成分であり、ｘはブロック内の水平方向の空間座標を示す。

変換手段７０３は、垂直方向に変換した変換係数ブロックに対して、分割方法決定手段１０２から入力された領域情報に基づいて、変換基底決定手段７０４での処理と同様に、係数を水平方向に移動させる。そして、変換基底決定手段７０４から入力された水平方向の変換基底を用いて、行毎に水平方向の変換を行い、２次元の変換係数を生成する。

以上の処理により、変換手段７０３では、２次元の変換係数が得られたことになり、この場合の係数は、図８（ｃ）における斜線部となる。
可変長符号化手段７０６は、変換手段７０３から出力された変換係数に対して可変長符号化を施して、符号列を出力する。
領域毎に符号化処理を行う場合、ブロック順で符号化処理を行う場合における符号列の構成は実施の形態１で説明した通りであるので、ここでは説明は割愛する。

このような処理を行うことにより、ブロック内に複数の領域の画素が存在する場合であっても、領域形状を考慮した変換係数を求めることができ、画質の向上を図ることができ、かつ、ブロック形状を領域に合わせて変化させることにより、複数の領域が存在するブロックの大きさを可能な限り小さくすることができ、それにより全体の符号量の削減と画質の向上を図ることができる。これにより、領域形状を考慮せずに符号化する場合と比較して、少ない符号量の増加で、大幅に画質を向上されることができる。

また、本発明の実施の形態においては、基本の変換基底として、離散コサイン変換基底を用いて説明したが、これは他の変換基底であっても良い。例えば、他の変換基底としては、離散フーリエ変換、離散サイン変換、アダマール変換等がある。
また、本発明の実施の形態においては、ブロック内に存在する領域毎に変換係数を求める場合について説明したが、これは例えばブロック内で存在する画素数が少ない領域に対しては、その領域に対する変換係数を求めなくても良い。これは、ブロック内に存在するその領域の画素数が少なければ、領域別に符号化しなくても画質劣化は小さいと考えられ、かつその領域の変換係数を求めないことにより、符号量を減らすことができるためである。このような処理を行うためには、画素数に対するしきい値を設定しておき、ブロック内のある領域の画素数がそのしきい値以上であれば、変換処理を行い、しきい値未満であれば変換処理を施さない、とすれば良い。この場合、符号化側と復号化側とでしきい値を予め設定しておくことや、符号列中にそのしきい値を記述することにより、どのように各ブロックを処理するかは、領域情報から自動的に判定することができる。

また、本発明の実施の形態においては、一画面を領域別に符号化する場合について説明したが、これはカラー画像信号の輝度成分についてのみ行い、色差成分に対しては領域別に符号化せずに処理をしても良い。これは、輝度成分と比較して、色差成分は画質劣化が目につきにくい特性を有しているためであり、色差成分を領域別に処理しないことにより、符号量は削減することができながら、画質劣化も最小限に押さえることができる。この場合の符号化装置の構成を図９に示す。この場合、色差成分の画像信号を処理する変換手段９０１のみが図７の符号化装置とは異なる。そして、変換手段９０１には、変換基底決定手段７０４からは領域情報に関係なく、常に色差成分を変換する際のブロックサイズに相当する変換基底が入力される。

（実施の形態４）
図１０は、本発明の変換復号化方法を用いた動画像復号化装置１０００のブロック図であり可変長復号化手段６０１、逆変換手段１００２、逆変換基底決定手段１００３、合成手段６０４、分割方法決定手段６０５から構成される。
分割方法決定手段６０５、可変長復号化手段６０１の処理は、実施の形態２で説明した方法と同様であるので、ここでは説明は割愛する。

逆変換基底決定手段１００３では、分割方法決定手段６０５から、分割された領域情報が入力される。また今、可変長復号化手段６０１から、ブロック２１５の領域２０３の変換係数ブロックが入力されるとする。この場合の領域情報を図８（ａ）に示す。図８（ａ）において、各正方形は画素を示しており、水平８画素、垂直８画素のブロックである事を示している。また、黒の部分が領域２０３を、白の部分が他の領域（この場合には領域２０１）を示している。

逆変換基底決定手段１００３では、まず、分割方法決定手段６０５から入力された領域情報に基づいて、符号化対象画素を水平、垂直方向にブロック端まで移動させる。この場合、図８（ｃ）が符号化対象画素を水平、垂直方向にブロック端まで移動したブロックとなる。
逆変換基底決定手段１００３では、続いて、ブロック２１５のうち、領域２０３に対応した係数について、水平方向の変換係数を求めるための変換基底を決定する。例えば、行８０３については、領域２０３の係数は５個であるので、（数８）においてＭ＝５として変換基底を決定する。また、列８０４については、領域２０３の係数は１個であるので、（数８）においてＭ＝１として変換基底を決定する。（数８）において、ｕは水平方向の周波数成分であり、ｘはブロック内の水平方向の空間座標を示す。

逆変換手段１００２は、ブロック２１５の領域２０３の変換係数ブロックに対して（この際の係数は図８（ｃ）の斜線部の位置にある）、逆変換基底決定手段１００３から入力された水平方向の逆変換基底を用いて、行毎に水平方向の逆変換を行い、逆変換係数ブロックを生成する。

続いて逆変換基底決定手段１００３では、垂直方向の変換係数を求めるための変換基底を決定する。まず、分割方法決定手段６０５から入力された領域情報に基づいて、符号化対象画素を垂直方向にブロック端まで移動させる。この場合、図８（ｂ）が符号化対象画素を垂直方向にブロック端まで移動したブロックとなる。例えば、列８０１については、領域２０３の画素は２個であるので、（数９）においてＭ＝２として変換基底を決定する。また、列８０２については、領域２０３の画素は７個であるので、（数９）においてＭ＝７として変換基底を決定する。（数９）において、ｖは垂直方向の周波数成分であり、ｙはブロック内の垂直方向の空間座標を示す。

逆変換手段１００２は、水平方向に逆変換した逆変換係数ブロックに対して、分割方法決定手段６０５から入力された領域情報に基づいて、逆変換基底決定手段１００３での処理と同様に、係数を水平方向に移動させる（図８（ｂ）の状態）。そして、変換基底決定手段７０４から入力された水平方向の変換基底を用いて、行毎に垂直方向の変換を行い、２次元の逆変換係数（復号画素値）を生成する。そして最後に、分割方法決定手段６０５から入力された領域情報に基づいて、復号画素を垂直方向に移動させ、図８（ａ）の状態とする。

合成手段１００４では、逆変換手段６０２から出力された復号画像ブロックを分割方法決定手段６０５により決定された分割方法情報を用いて合成し、再生画像を生成する。
このような処理を行うことにより、領域形状を考慮して変換係数を求めることにより生成した符号列を正しく復号化することができる。
なお、本発明の実施の形態においては、Ｎ×Ｎ画素のブロックを基本とし、それを（Ｎ／２）×（Ｎ／２）画素のブロックに分割する場合について説明したが、これは、さらに（Ｎ／４）×（Ｎ／４）画素等のブロックに分割して処理を行ってもよい。また、ブロックの形状は正方形に限るものではなく、（Ｎ／２）×Ｎ画素等の長方形の形状のブロックを使っても良い。

また、本発明の実施の形態においては、一画面を領域別に復号化する場合について説明したが、これはカラー画像信号の輝度成分についてのみ領域情報を用いて符号化され、色差成分に対しては領域別に符号化されてない符号列を復号化処理しても良い。この場合、復号化装置においては、図１０の輝度成分／色差成分情報を用いて、可変長復号化手段６０１、逆変換手段１００２、逆変換基底決定手段１００３、合成手段１００４では、輝度成分に対しては、上記の復号化方法により復号化し、色差成分に対しては、画面全体が領域を考慮せずに分割されているとして復号化処理を行う。

（実施の形態５）
さらに、上記各実施の形態で示した変換符号化方法および変換復号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１１は、上記各実施の形態の変換符号化方法および変換復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
図１１ (b) は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１１ (a) は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図１１ (c) は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。変換符号化方法および変換復号化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより変換符号化方法および変換復号化方法を実現する上記変換符号化方法および変換復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

（実施の形態６）
さらにここで、上記実施の形態で示した変換符号化方法および変換復号化方法の応用例とそれを用いたシステムを説明する。

図１２は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図１２のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図１３は、上記実施の形態で説明した変換符号化方法および変換復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図１４を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１５に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図１４に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した変換符号化方法および変換復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
なお、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

本発明にかかる変換符号化方法および変換復号化方法は、領域情報を有する画像信号を符号化、復号化する際に、従来の任意形状領域に対する変換方法を用いた場合よりも、伝送すべき係数の個数を大幅に削減し、かつ画質を向上させることができるという効果を有し、蓄積、伝送、通信等における変換符号化方法および変換復号化方法として有用である。

本発明の変換符号化方法を用いた変換符号化装置の一構成例を示すブロック図（実施の形態１）である。本発明の変換符号化方法におけるブロック分割方法を説明するため模式図（実施の形態１）である。本発明の変換符号化方法を説明するためのブロック内の領域形状を示す模式図（実施の形態１）である。本発明の変換符号化方法により生成される、また本発明の変換復号化方法に入力される符号列のフォーマット例を示す模式図（実施の形態１、実施の形態２）である本発明の変換符号化方法を用いた変換符号化装置の他の構成例を示すブロック図（実施の形態１）である。本発明の変換復号化方法を用いた変換復号化装置の一構成例を示すブロック図（実施の形態２）である。本発明の変換符号化方法を用いた変換符号化装置の一構成例を示すブロック図のブロック図（実施の形態３）である。本発明の変換符号化方法を説明するためのブロック内の領域形状を示す模式図（実施の形態３）である。本発明の発明の変換符号化方法を用いた変換符号化装置の他の構成例を示すブロック図（実施の形態３）である。本発明の変換復号化方法を用いた変換復号化装置の一構成例を示すブロック図（実施の形態４）である。上記各実施の形態の変換符号化方法および変換復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図（実施の形態５）である。コンテンツ供給システムの全体構成を示すブロック図（実施の形態６）である。変換符号化方法および変換復号化方法を用いた携帯電話の例（実施の形態６）である。携帯電話のブロック図（実施の形態６）である。ディジタル放送用システムの例（実施の形態６）である。

符号の説明

１０１分割手段
１０２分割方法決定手段
１０３変換手段
１０４変換基底修正手段
１０５変換基底保持手段
１０６可変長符号化手段
６０１可変長復号化手段
６０２逆変換手段
６０３逆変換基底保持手段
６０４合成手段
６０５分割方法決定手段
Ｃｓコンピュータ・システム
ＦＤフレキシブルディスク
ＦDD フレキシブルディスクドライブ

Claims

Ｍ個の領域からなる画像信号と前記領域情報とを入力とし、前記領域情報に基づいて、第ｎの大きさは第ｎ＋１の大きさよりも大きい第１〜第Ｎ（Ｎは２以上の整数、１≦ｎ＜Ｎ）の大きさを有するブロックに前記画像信号を分割する分割方法決定ステップと、
前記分割方法決定ステップの決定した分割方法に基づいて、前記画像信号をブロックに分割する分割ステップと、
変換基底関数を保持する変換基底保持ステップと、
前記ブロック内の領域情報に基づいて、前記変換基底保持ステップで保持する前記変換基底関数を修正する変換基底修正ステップと、
前記変換基底修正ステップにより修正された変換基底関数を用いて、前記ブロックの画素値を変換係数に変換する変換ステップと、
を具備することを特徴する変換符号化方法。
Ｍ個の領域からなる画像信号と前記領域情報とを入力とし、前記領域情報に基づいて、第ｎの大きさは第ｎ＋１の大きさよりも大きい第１〜第Ｎ（Ｎは２以上の整数、１≦ｎ＜Ｎ）の大きさを有するブロックに前記画像信号を分割する分割方法決定ステップと、
前記分割方法決定ステップの決定した分割方法に基づいて、前記画像信号をブロックに分割する分割ステップと、
前記ブロック内の領域情報に基づいて、変換基底関数を生成する変換基底決定ステップと、
前記変換基底決定ステップにより生成された変換基底関数を用いて、前記ブロックの画素値を変換係数に変換する変換ステップと、
を具備することを特徴する変換符号化方法。
前記分割方法決定ステップでは、前記第１の大きさのブロックを用いて分割した場合よりも、少ない画素数で前記領域を表現するように分割方法を決定する
ことを特徴とする請求項１又は請求項２記載の変換符号化方法。
前記分割方法決定ステップでは、前記Ｍ個の領域別に分割方法を決定する
ことを特徴とする請求項１又は請求項２記載の変換符号化方法。
前記分割方法決定ステップは、画面全体を所定の方法で前記第ｎ（１≦ｎ≦Ｎ）の大きさのブロックで分割し、前記ブロック毎に前記ブロック内の領域情報に基づいてさらにブロックを分割する方法を有する
ことを特徴とする請求項１又は請求項２記載の変換符号化方法。
さらに、前記変換ステップの出力を可変長符号化する可変長符号化ステップを具備し、
前記可変長符号化ステップでは、前記Ｍ個の領域順に前記変換係数の符号列を生成する
ことを特徴とする請求項１又は請求項２記載の変換符号化方法。
さらに、前記変換ステップの出力を可変長符号化する可変長符号化ステップを具備し、
前記可変長符号化ステップでは、画面全体のブロックの所定の順序で、前記変換係数の符号列を生成する
ことを特徴とする請求項１又は請求項２記載の変換符号化方法。
前記画像信号は輝度成分と色差成分から構成され、
前記変換ステップでは、色差成分に対しては、前記変換基底保持ステップで保持する前記変換基底関数を用いて、前記領域を考慮せずに、変換係数を出力する
ことを特徴とする請求項１記載の変換符号化方法。
前記画像信号は輝度成分と色差成分から構成され、
前記変換ステップでは、色差成分に対しては、前記領域を考慮せずに前記変換基底決定ステップで決定した変換基底関数を用いて変換係数を出力する
ことを特徴とする請求項２記載の変換符号化方法。
前記分割方法決定ステップでは、ブロック中に所定の画素数以上を含まない領域については分割ブロックを生成しない
ことを特徴とする請求項１又は請求項２記載の変換符号化方法。
前記変換基底保持ステップで保持する前記変換基底関数は、離散コサイン変換基底である
ことを特徴とする請求項１記載の変換符号化方法。
前記変換基底決定ステップで生成する前記変換基底関数は、離散コサイン変換基底である
ことを特徴とする請求項２記載の変換符号化方法。
前記変換基底決定ステップでは、前記ブロック内に属する符号化対象領域の画素数に応じて、前記変換基底を生成する
ことを特徴とする請求項２記載の変換符号化方法。
Ｍ個の領域からなる画像信号を符号化して得られた符号列と前記領域の情報とを入力とし、
前記領域情報に基づいて、第ｎの大きさは第ｎ＋１の大きさよりも大きい第１〜第Ｎ（Ｎは２以上の整数、１≦ｎ＜Ｎ）の大きさを有するブロックに前記領域情報を分割する分割方法決定ステップと、
逆変換基底関数を保持する逆変換基底保持ステップと、
前記分割方法決定ステップの決定した分割方法に基づいて、前記逆変換基底保持ステップで保持する前記逆変換基底関数を用いて、前記符号列中の変換係数ブロックを復号画像ブロックに変換する逆変換ステップと、
前記分割方法決定ステップの決定した分割方法と領域情報とに基づいて、前記復号画像ブロックを合成し復号画像信号を出力する合成ステップと
を具備することを特徴する変換復号化方法。
Ｍ個の領域からなる画像信号を符号化して得られた符号列と前記領域の情報とを入力とし、
前記領域情報に基づいて、第ｎの大きさは第ｎ＋１の大きさよりも大きい第１〜第Ｎ（Ｎは２以上の整数、１≦ｎ＜Ｎ）の大きさを有するブロックに前記領域情報を分割する分割方法決定ステップと、
前記分割方法決定ステップの決定した分割方法と領域情報とに基づいて、逆変換基底関数を生成する逆変換基底決定ステップと、
前記分割方法決定ステップの決定した分割方法と領域情報とに基づいて、前記逆変換基底決定ステップで生成した前記逆変換基底関数を用いて、前記符号列中の変換係数ブロックを復号画像ブロックに変換する逆変換ステップと、
前記分割方法決定ステップの決定した分割方法と領域情報とに基づいて、前記復号画像ブロックを合成し復号画像信号を出力する合成ステップと
を具備することを特徴する変換復号化方法。
前記分割方法決定ステップでは、前記第１の大きさのブロックを用いて分割した場合よりも、少ない画素数で前記領域を表現するように分割方法を決定する
ことを特徴とする請求項１４又は請求項１５記載の変換復号化方法。
前記分割方法決定ステップでは、前記Ｍ個の領域別に分割方法を決定する
ことを特徴とする請求項１４又は請求項１５記載の変換復号化方法。
前記分割方法決定ステップは、画面全体を所定の方法で前記第ｎ（１≦ｎ≦Ｎ）の大きさのブロックで分割し、前記ブロック毎に前記ブロック内の領域情報に基づいてさらにブロックを分割する方法を有する
ことを特徴とする請求項１４又は請求項１５記載の変換復号化方法。
前記画像信号は輝度成分と色差成分から構成され、
前記逆変換ステップでは、色差成分に対しては、前記領域を考慮せずに逆変換を施す
ことを特徴とする請求項１４又は請求項１５記載の変換復号化方法。
前記分割方法決定ステップでは、ブロック中に所定の画素数以上を含まない領域については分割ブロックを生成しない
ことを特徴とする請求項１４又は請求項１５記載の変換復号化方法。
前記逆変換基底保持ステップで保持する前記逆変換基底関数は、逆離散コサイン変換基底である
ことを特徴とする請求項１４記載の変換復号化方法。
前記逆変換基底決定ステップで生成する前記逆変換基底関数は、逆離散コサイン変換基底である
ことを特徴とする請求項１５記載の変換復号化方法。
前記変換基底決定ステップでは、前記ブロック内に属する復号化対象領域の画素数に応じて、前記変換基底を生成する
ことを特徴とする請求項１５記載の変換復号化方法。
コンピュータにより、請求項１記載の変換符号化方法を行うためのプログラムであって、
上記プログラムはコンピュータに、
Ｍ個の領域からなる画像信号と前記領域情報とを入力とし、前記領域情報に基づいて、第ｎの大きさは第ｎ＋１の大きさよりも大きい第１〜第Ｎ（Ｎは２以上の整数、１≦ｎ＜Ｎ）の大きさを有するブロックに前記画像信号を分割する分割方法決定ステップと、
前記分割方法決定ステップの決定した分割方法に基づいて、前記画像信号をブロックに分割する分割ステップと、
変換基底関数を保持する変換基底保持ステップと、
前記ブロック内の領域情報に基づいて、前記変換基底保持ステップで保持する前記変換基底関数を修正する変換基底修正ステップと、
前記変換基底修正ステップにより修正された変換基底関数を用いて、前記ブロックの画素値を変換係数に変換する変換ステップと、
を実行させることを特徴するプログラム
を、行わせるものであることを特徴とするプログラム。
コンピュータにより、請求項２記載の変換符号化方法を行うためのプログラムであって、
上記プログラムはコンピュータに、
Ｍ個の領域からなる画像信号と前記領域情報とを入力とし、前記領域情報に基づいて、第ｎの大きさは第ｎ＋１の大きさよりも大きい第１〜第Ｎ（Ｎは２以上の整数、１≦ｎ＜Ｎ）の大きさを有するブロックに前記画像信号を分割する分割方法決定ステップと、
前記分割方法決定ステップの決定した分割方法に基づいて、前記画像信号をブロックに分割する分割ステップと、
前記ブロック内の領域情報に基づいて、変換基底関数を生成する変換基底決定ステップと、
前記変換基底決定ステップにより生成された変換基底関数を用いて、前記ブロックの画素値を変換係数に変換する変換ステップと、
を実行させることを特徴するプログラム
を、行わせるものであることを特徴とするプログラム。
コンピュータにより、請求項１４記載の変換復号化方法を行うためのプログラムであって、
上記プログラムはコンピュータに、
Ｍ個の領域からなる画像信号を符号化して得られた符号列と前記領域の情報とを入力とし、
前記領域情報に基づいて、第ｎの大きさは第ｎ＋１の大きさよりも大きい第１〜第Ｎ（Ｎは２以上の整数、１≦ｎ＜Ｎ）の大きさを有するブロックに前記領域情報を分割する分割方法決定ステップと、
逆変換基底関数を保持する逆変換基底保持ステップと、
前記分割方法決定ステップの決定した分割方法に基づいて、前記逆変換基底保持ステップで保持する前記逆変換基底関数を用いて、前記符号列中の変換係数ブロックを復号画像ブロックに変換する逆変換ステップと、
前記分割方法決定ステップの決定した分割方法と領域情報とに基づいて、前記復号画像ブロックを合成し復号画像信号を出力する合成ステップと
を実行させることを特徴するプログラム。
を、行わせるものであることを特徴とするプログラム。
コンピュータにより、請求項１５記載の変換復号化方法を行うためのプログラムであって、
上記プログラムはコンピュータに、
Ｍ個の領域からなる画像信号を符号化して得られた符号列と前記領域の情報とを入力とし、
前記領域情報に基づいて、第ｎの大きさは第ｎ＋１の大きさよりも大きい第１〜第Ｎ（Ｎは２以上の整数、１≦ｎ＜Ｎ）の大きさを有するブロックに前記領域情報を分割する分割方法決定ステップと、
前記分割方法決定ステップの決定した分割方法と領域情報とに基づいて、逆変換基底関数を生成する逆変換基底決定ステップと、
前記分割方法決定ステップの決定した分割方法と領域情報とに基づいて、前記逆変換基底決定ステップで生成した前記逆変換基底関数を用いて、前記符号列中の変換係数ブロックを復号画像ブロックに変換する逆変換ステップと、
前記分割方法決定ステップの決定した分割方法と領域情報とに基づいて、前記復号画像ブロックを合成し復号画像信号を出力する合成ステップと
を実行させることを特徴するプログラム
を、行わせるものであることを特徴とするプログラム。
Ｍ個の領域からなる画像信号と前記領域情報とを入力とし、前記領域情報に基づいて、第ｎの大きさは第ｎ＋１の大きさよりも大きい第１〜第Ｎ（Ｎは２以上の整数、１≦ｎ＜Ｎ）の大きさを有するブロックに前記画像信号を分割する分割方法決定ステップと、
前記分割方法決定ステップの決定した分割方法に基づいて、前記画像信号をブロックに分割する分割ステップと、
変換基底関数を保持する変換基底保持ステップと、
前記ブロック内の領域情報に基づいて、前記変換基底保持ステップで保持する前記変換基底関数を修正する変換基底修正ステップと、
前記変換基底修正ステップにより修正された変換基底関数を用いて、前記ブロックの画素値を変換係数に変換する変換ステップと、
を用いて生成し、前記変換係数を前記領域順に記述することを特徴とする符号列フォーマット。
Ｍ個の領域からなる画像信号と前記領域情報とを入力とし、前記領域情報に基づいて、第ｎの大きさは第ｎ＋１の大きさよりも大きい第１〜第Ｎ（Ｎは２以上の整数、１≦ｎ＜Ｎ）の大きさを有するブロックに前記画像信号を分割する分割方法決定ステップと、
前記分割方法決定ステップの決定した分割方法に基づいて、前記画像信号をブロックに分割する分割ステップと、
変換基底関数を保持する変換基底保持ステップと、
前記ブロック内の領域情報に基づいて、前記変換基底保持ステップで保持する前記変換基底関数を修正する変換基底修正ステップと、
前記変換基底修正ステップにより修正された変換基底関数を用いて、前記ブロックの画素値を変換係数に変換する変換ステップと、
を用いて生成し、前記変換係数を画面全体のブロックの所定順で記述することを特徴とする符号列フォーマット。