JP4719854B2 - 動画像符号化装置、動画像符号化プログラム、動画像復号化装置及び動画像復号化プログラム - Google Patents

動画像符号化装置、動画像符号化プログラム、動画像復号化装置及び動画像復号化プログラム Download PDF

Info

Publication number
JP4719854B2
JP4719854B2 JP2006290688A JP2006290688A JP4719854B2 JP 4719854 B2 JP4719854 B2 JP 4719854B2 JP 2006290688 A JP2006290688 A JP 2006290688A JP 2006290688 A JP2006290688 A JP 2006290688A JP 4719854 B2 JP4719854 B2 JP 4719854B2
Authority
JP
Japan
Prior art keywords
orthogonal transform
information
coefficient information
boundary condition
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006290688A
Other languages
English (en)
Other versions
JP2008109424A (ja
Inventor
克 山谷
智 坂爪
基晴 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Victor Company of Japan Ltd
Original Assignee
Shizuoka University NUC
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC, Victor Company of Japan Ltd filed Critical Shizuoka University NUC
Priority to JP2006290688A priority Critical patent/JP4719854B2/ja
Publication of JP2008109424A publication Critical patent/JP2008109424A/ja
Application granted granted Critical
Publication of JP4719854B2 publication Critical patent/JP4719854B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は動画像符号化装置、動画像符号化プログラム、動画像復号化装置及び動画像復号化プログラムに係り、特に動画像に対して符号化を行う際に、ポアソン方程式を満たす条件を境界条件及び動画像に適したソースモデルに基づいて導出し、その結果を符号化及び復号化に適用する動画像符号化装置、動画像符号化プログラム、動画像復号化装置及び動画像復号化プログラムに関する。
近年、ディジタル放送やネットワークを介した様々な動画像配信サービスが一般的となり、より高画質・高品質の動画像をより多く記録したいという要求から、更なる動画像の符号化効率向上が望まれている。
一般に伝送される映像情報は、ディジタル化された音声、画像、その他のデータが組み合わされて作成されたマルチメディア情報であることが多い。このような映像情報の情報量は、単純にデータをディジタル化して換算した場合、一般に文字情報の情報量は１〜２バイトである。音声の場合には電話品質で１秒あたり６４ｋｂｉｔｓである。動画の場合にはＳＤのアナログ地上波テレビ放送品質であっても１秒あたり１００Ｍｂｉｔｓ以上の情報量が必要になる。このような膨大なディジタル情報をそのままの状態で扱うことは、現状における伝送路や記録媒体を利用する際のコストを勘案すると現実的ではない。
そこで、このような膨大な情報量を圧縮するための符号化技術が現在盛んに研究開発されている。映像の符号化技術において代表的なものとしては、ＭＰＥＧ（Moving Picture Experts Group）が挙げられる。ＭＰＥＧは、動画像データの符号化技術に関する国際標準規格である。現在、このＭＰＥＧ標準規格では、主にビデオＣＤなどの１.５Ｍｂｐｓ程度の蓄積メディア向けのＭＰＥＧ−１、ディジタル放送などのような通信や放送などの多様なアプリケーションに対応することを可能にするＭＰＥＧ−２、オブジェクト符号化やその制御によって、より高度なマルチメディアコンテンツを実現することができるＭＰＥＧ−４、コンテンツ記述向けのＭＰＥＧ−７を規定している。このような符号化技術を適用することで膨大な情報量を持つ映像データを効率良く符号化し、情報量を概ね１／２０〜１／４０程度にまで圧縮することが可能になる。
また、従来の符号化技術の符号化効率を大幅に向上させたＭＰＥＧ−４ ＡＶＣ（以後、ＡＶＣもしくはＨ.２６４）などの新たな符号化方法を導入したものも存在し、これらを導入することでより効果的な情報の符号化を行うことができる（例えば、非特許文献１，非特許文献２参照）。
ＭＰＥＧは複数の技術を組み合わせることで、より効果的な圧縮ができるように構成されている。図２９及び図３０はＭＰＥＧによる従来の動画像の符号化装置及び復号化装置の一例のブロック図を示す。図２９は上記ＡＶＣによる従来の動画像符号化装置の基本構成を示すブロック図で、入力画像である入力符号１０１は、減算器１０２に供給され、ここでスイッチ１１３により選択された、動き補償（ＭＣ）予測器１１２もしくはイントラ予測器１１０によって復号及び予測によって生成した予測ピクチャとの間で差分をとられることで、時間方向に含まれる冗長成分が削減された後、直交変換器１０３に供給される。
ここで、ＡＶＣには、面内予測（Intra）符号化、前方向予測（Predictive）符号化、双予測（Bi-Predictive）符号化の３つの予測モードが存在する。面内予測符号化では、動き補償予測器１１２の出力を利用せずに面内の情報及びイントラ予測器１１０による面内からの予測情報を利用した後、後述する直交変換器１０３による変換を行う。このモードで符号化したものをＩピクチャと呼ぶ。Ｉピクチャは、復号化時に他のピクチャに依存することなく復号することができる。ＡＶＣでは通常１ピクチャ内に複数のスライスという単位を含むことができるが、話を簡単にするため以後１ピクチャは１スライスのみで構成されているものとする。
前方向予測符号化では、動き補償予測器１１２により過去に符号化したピクチャを補償し、現在符号化対象となっているピクチャに対する予測を行う。この予測によって生成された予測ピクチャと入力符号１０１との差分ピクチャに対して直交変換器１０３による変換が行われる。直交変換器１０３で行う直交変換は、ＭＰＥＧ−１，−２及び４ではＤＣＴ（Discrete Cosine Transform；離散コサイン変換）が使用される。直交変換は、アダマール基底や、ウェーヴレット基底といった他の変換基底を用いても行うことができる。ＡＶＣでは、整数精度ＤＣＴとアダマール変換を用いて直交変換を行う。前方向予測モードで符号化されたものをＰピクチャと呼ぶ。Ｐピクチャは、他のピクチャに依存するため、Ｉピクチャのように独立して復号することはできないが、Ｉピクチャよりも圧縮率を高めることができる。
双予測符号化では、動き補償予測器１１２により過去と未来の双方向に限らず、任意の符号化された２枚のフレームを補償し、現在符号化対象となっているピクチャに対する予測を行う。この予測によって生成された参照ピクチャと入力符号１０１との差分ピクチャに対して直交変換器１０３による変換が行われる。双予測モードで符号化されたピクチャをＢピクチャと呼ぶ。Ｂピクチャは、過去や未来の他のピクチャに依存するため、Ｉピクチャ、Ｐピクチャのように独立して復号することはできないが、Ｉピクチャ、Ｐピクチャよりも更に圧縮率を高めることができる。
各フレーム及び各スライスは、所定の矩形領域として水平方向１６画素、垂直方向１６画素のＭＢ（マクロブロック）毎に予測処理が行われる。また、更に細かいブロック単位や、サブブロック単位に分割されて予測処理が行われることがある。ここでは以後、ブロック単位で処理が進められるものとして話を進める。予測方向はＩピクチャ、Ｐピクチャ、Ｂピクチャにより異なっている。全てのＭＢを独立して符号化するのがＩピクチャである。過去のピクチャからの予測により符号化するモードと、予測をしないでそのＭＢを独立して符号化するモードの２つのモードが存在するのがＰピクチャである。また、未来からの予測、過去からの予測、両方からの予測、予測をしないでそのＭＢを独立して符号化する４つのモードが存在するのがＢピクチャである。
動き推定は、動き推定（ＭＥ）器１１１により符号化対象となっている動画像フレーム内の各ＭＢに対して、誤差が最小となる領域を参照画像フレームから特定するために、１／２若しくは１／４画素の精度で所定のパターンマッチングを行い、動き情報を生成する。ここで、動き情報は少なくとも、パターンマッチングによって検出した、それぞれのＭＢに対応する領域までの空間位置を特定するための動きベクトル情報と、参照ピクチャを特定するための参照ピクチャ情報とによって構成される。動き補償は、動き補償器１１２により、動き推定器１１１によって推定した動き情報に基づいて、参照画像フレームから予測画像フレームを生成することで行う。
前述したように、減算器１０２から出力される差分ピクチャに対して、直交変換器１０３により直交変換が行われる。この直交変換は、ＭＰＥＧ−１，−２及び−４ではＤＣＴを利用するが、ＡＶＣでは整数精度ＤＣＴ及びアダマール変換を利用する。ＤＣＴは、余弦関数を基底とした積分変換を有限空間への離散変換する直交変換である。ＭＰＥＧ−１，−２及び−４では、ＭＢを４分割して所定の矩形領域である、水平方向８画素、垂直方向８画素のＤＣＴブロックに対して、２次元ＤＣＴを行う。ＡＶＣでは、水平方向４画素、垂直方向４画素のブロックに対して、２次元整数精度ＤＣＴ及びアダマール変換を行う。一般に、ビデオ信号は低域成分が多く高域成分が少ないため、ＤＣＴを行うことで係数を低域成分に集中させることができ、その後の量子化器１０４により効率のよい情報量の削減ができる。
直交変換器１０３によって得られたＤＣＴ係数は、量子化器１０４により量子化される。量子化は量子化マトリックスというＭＰＥＧ−１，−２及び−４では水平方向８画素、垂直方向８画素の２次元周波数を視覚特性で重み付けした値、ＡＶＣでは水平方向４画素、垂直方向４画素の２次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、ＤＣＴ係数をその量子化値で除算する。デコーダで逆量子化するときは量子化値で乗算することにより、元のＤＣＴ係数に近い値を得ることになる。
量子化器１０４で量子化されたデータは、エントロピー符号化器１１６で符号化される。一般に、エントロピー符号化は、ＶＬＣ（Variable Length Code；可変長符号）器であり、量子化されたデータに対して可変長符号化を行う。可変長符号化においては、一般にＤＣＴ係数の低域から高域にジグザグスキャンを行い、ゼロのラン長及び有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。また、このエントロピー符号化器１１６では、ハフマン符号化の代わりに算術符号化を利用することで、より高い情報の圧縮を行うことも可能である。ＡＶＣでは、このエントロピー符号化にＣＡＶＬＣ（Context-Adaptive Variable Length Coding;コンテキスト適応型可変長符号化方式）及びＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding;コンテキスト適応型２値算術符号化方式）を用いることで効率を高めている。
エントロピー符号化されたデータは、所定の転送レートで出力符号（符号化データ）１１７として出力される。図２９は、符号化データを蓄積し、符号量を制御するための符号量制御器を備えることもできる。出力される符号化データのマクロブロック毎の符号量は、図２９では記載していない符号量制御器に通知し、通知された符号量と目標とする符号量との誤差符号量を量子化器１０４に通知する。量子化器１０４は、通知された誤差符号量の情報を基に量子化スケールを調整することで符号量を制御することが可能となる。
また、量子化器１０４から出力される量子化されたデータは、逆量子化器１０５によって逆量子化される。更に、逆直交変換器１０６によって直交変換器１０３に対応する変換基底により逆直交変換される。逆直交変換器１０６から出力された信号は、加算器１０７において、スイッチ１１３により選択された、動き補償器１１２若しくはイントラ予測器１１０からのフレームと加算された後、イントラ予測器１１０に供給される一方、デブロッキングフィルタ１０８によって、符号化時に発生したブロック歪みを低減するためのデブロッキング処理を施された後にフレームメモリ１０９に格納される。フレームメモリ１０９に格納されたフレームは、動き推定器１１１及び動き補償器１１２において、予測ピクチャを求めるための参照フレーム（参照ピクチャ）として使用される。
このようにして出力された出力符号１１７は、符号化ビットストリームとして蓄積媒体やネットワークによる伝送により配信され、端末装置によって再生されることになる。端末装置で再生する場合には、配信された符号化ビットストリームは端末装置の復号化装置によって復号された後に再生される。図３０は従来の復号化装置の例としてＡＶＣの復号化装置の構成例を示し、以下に簡単に説明する。
図３０において、符号化ビットストリームは、入力符号２０１として復号化装置に入力されると、エントロピー符号化された動きベクトル情報やテクスチャ情報などの各情報に分離され、各情報がエントロピー復号化器２０２に通知される。エントロピー復号化器２０２は、エントロピー符号化されたテクスチャ情報を復号し、逆量子化器２０３に通知する。また、エントロピー復号化器２０２は、エントロピー符号化された動きベクトル情報を復号し、動き補償予測器２０６に通知する。一般に、エントロピー復号化は、逆ＶＬＣ器であり、多重化分離されたデータに対して可変長復号化を行う。ＡＶＣでは、逆ＣＡＶＬＣもしくは逆ＣＡＢＡＣによって可変長復号化を行う。
逆量子化器２０３では、エントロピー復号化されたテクスチャ情報に対して量子化値で乗算することにより、元の直交変換係数に近い値を計算した後に、逆直交変換器２０４に供給する。逆直交変換器２０４は、供給された直交変換係数を逆直交変換することにより元のフレーム情報、もしくはフレーム間差分情報を得る。この逆直交変換は、ＭＰＥＧ−１，−２及び−４ではＩＤＣＴ（逆離散コサイン変換）を利用する。ＡＶＣでは、整数精度のＩＤＣＴ及びアダマール変換を利用する。
逆直交変換器２０４によって得られたフレーム情報又はフレーム間差分情報は、加算器２０５に供給され、スイッチ２０７により選択された、動き補償予測器２０６もしくはイントラ予測器２０８からの予測フレームと加算された後に、イントラ予測器２０８に供給されると共に、デブロッキングフィルタ２０９によりブロック歪み低減のためのデブロッキング処理が施された後フレームメモリ２１０に格納される。
動き補償器２０６は、エントロピー復号化器２０２から得られる動きベクトル情報と、フレームメモリ２１０から得られる参照フレームを利用して、動きベクトル情報に基づいて対応する領域をシフトしてから予測することで、予測フレームを作成する。この予測フレームはスイッチ２０７を介して加算器２０５に供給される。このようにして、入力符号２０１は、端末装置の復号化装置によって復号され、映像情報が再生される。
また、近年、自然画像の符号化方式として知られるＪＰＥＧ（Joint Photographic Experts Group）方式の符号化に対して、多重調和局所直交変換、特に多重調和局所余弦変換を用いて更なる符号化効率の向上を試みる手法が提案されている（例えば、非特許文献３参照）。この多重調和局所余弦変換手法では、ポアソン方程式の概念を導入してブロック内の原信号に対する推定信号を求め、原信号と求めた推定信号との差分である残差信号を生成することで、ＤＣＴを導入した際により高い周波数のＤＣＴ係数を早く収束させることが可能となり、結果として符号化効率を向上させることができる。
図３１は、この多重調和局所余弦変換手法の基本概念を示すための概念図である。図３１は、原画像フレーム内のある特定のブロックにおいて、その中のある特定のラインに注目し、注目したラインの原信号と、ブロック境界上にあるその原信号の境界の状態が、この手法によってどのように推移するかを示している。
図３１（ａ）に示す原信号３０１に対して、ブロック境界３０４、３０５に対応する原信号の両端部分における画像信号の傾き３０２、３０３を求める。この両端部分の画像信号の傾き３０２、３０３を境界条件とする。多重調和局所余弦変換手法では、ブロック内の信号の振る舞いを規定する所定のソースモデルを適用し、ブロック内の信号をブロックの境界条件に基づいて推定信号を生成する。
ここでは、図３１（ｂ）に示すような原信号の両端部分の画像信号の傾きを境界条件として、ポアソン方程式を満たすような推定信号３０６を生成する。所定のソースモデルは、境界条件の下で原信号３０１に最も近い信号を推定することができるモデルを採用することが望ましい。一般に、図３１のような１次元の信号の場合には、所定のソースモデルとして２次関数を適用することで容易に求めることが可能であるが、ここでは特にこのモデルに限定されるものではないことに注意する。このように、所定のソースモデルを導入することで膨大な演算量を費やしてポアソン方程式を数値的に解くことなく、解析的にブロック内の推定信号を生成している。
図３１（ｂ）に示すような境界条件に基づいた推定信号３０６を生成した後、原信号３０１と推定信号３０６との間で差分を求めることで、図３１（ｃ）に示すような残差信号３０７を生成する。このようにして求めた残差信号３０７に対して通常の直交変換であるＤＣＴや量子化及びエントロピー符号化を行うことで、この多重調和局所余弦変換手法を用いた自然画像の符号化が完了する。
図３２及び図３３は、多重調和局所余弦変換手法を用いることで通常のＤＣＴとどのような違いが生じるかを示すための図である。図３２は、図３１（ａ）に示した原信号に対して、通常のＤＣＴを行った場合の例を示す。図３２中、横軸はｘ方向にのみ注目した際の画像信号のｘ方向のｘ、縦軸は画像信号の１ラインの各画素の値（輝度値）を示す。また、図３２では便宜上、波形を連続関数で示しているが、実際は離散値である（図３３も同様）。
通常、ＤＣＴのタイプは、ＤＣＴ−IIを利用することから、図３２（ａ）が示すようなブロックで区切られた有限な原信号に対してＤＣＴを行う場合には、原信号のブロック境界の片方、ここでは右側を軸として原信号を偶接続し、図３２（ｂ）に示すような原信号の周期波形信号とする。
このような周期波形信号とすることにより、図３２（ｃ）に示すようなＤＣＴ級数で表現することが可能となる。通常、図３２（ｂ）の点線部４０１〜４０３に示すように、原信号を偶接続した場合に信号の滑らかさが必ずしも十分でない部分が生じる。この影響から、図３２（ｃ）に示すＤＣＴ級数の各振幅であるＤＣＴ係数は、信号の偶接続によって本来原信号がもつ信号成分とは異なる信号成分が混入することから、図３２（ｃ）の点線部４０４が示すような高い周波数成分領域であっても、ＤＣＴ係数の収束が必ずしも十分ではない状態となる。従って、このようなＤＣＴ係数に対して所定の量子化及びエントロピー符号化を行った場合には相応の符号量が発生することになる。
次に、多重調和局所余弦変換手法を用いた場合が図３３である。この手法を用いて図３１（ｂ）に示すような推定信号３０６を生成した後、図３１（ａ）との差分をとることで図３１（ｃ）及び図３３（ａ）に示すような残差信号３０７を得る。この残差信号３０７を利用することで、図３３（ａ）に示すように、図３２（ａ）と同様にこの残差信号３０７を仮に信号の右側を軸として偶接続し、図３３（ｂ）に示すような残差信号の周期波形信号が得られる。
得られた残差信号の周期波形信号は、周期接続部分である図３３（ｂ）の点線部５０１〜５０３において、図３２（ｂ）に示した原信号の周期波形信号の対応する部分の波形よりも滑らかさが向上すると共に、本来原信号には含まれない不要な信号成分の混入を防ぐことが可能となる。従って、図３３（ｂ）に示した残差信号の周期波形信号を離散周期波形とみなしてＤＣＴを行い、そのスペクトルを表現すると、図３３（ｃ）にIで示すようなＤＣＴ係数列、すなわち残差直交変換係数（ここでは、残差ＤＣＴ係数情報）が得られる。図３３（ｃ）にIで示す残差ＤＣＴ係数情報は、通常のＤＣＴを行った場合の同図（ｃ）にIIで示すＤＣＴ係数列と比較すると、図３３（ｃ）の点線部５０５が示すような高い周波数成分領域でＤＣＴ係数が十分抑制され、より低い周波数成分をもつＤＣＴ係数に偏った状態となる。
従って、このように多重調和局所余弦変換手法を用いたＤＣＴ係数に対して所定の量子化及びエントロピー符号化を行うことで、通常のＤＣＴによる符号化を行った場合よりも発生する符号量を抑制することが可能となり、符号化効率の向上につながる。
以上が多重調和局所余弦変換手法を用いた場合の基本概念である。ここでは、多重調和局所余弦変換手法の基本概念を簡単に説明するために、原信号の境界条件に基づいて推定信号を生成し、原信号との差分により残差信号を生成した後にＤＣＴを行うことで実現することを示した。
また、ブロック内の原信号と境界条件からの推定信号に対してそれぞれＤＣＴを行うことでそれぞれのＤＣＴ係数を求めた後に差分をとることで、上記残差信号に対してＤＣＴを行った場合と同様の結果が得られるような方法が、従来開示されている（例えば、非特許文献３参照）。
以下に、簡単ではあるが非特許文献３で示される方法について説明する。まず、入力される動画像フレームに対して、数１によって表現される図３４に示される各ブロックとして画像フレーム信号をとらえる。
Figure 0004719854
 図３４のΩ（０，０）が現在処理対象となっているブロックであるものとする。また、各ブロック内の各画素は、数２で表現される。
Figure 0004719854
 まず、各ブロックの画像信号に対して直交変換を行う。ここでは数３に示すようなＤＣＴを行う。
Figure 0004719854
 次に、境界条件である画像信号の傾きを周波数領域で議論することができるように、ＤＣＴ級数で表現する。ここでは数４に示した境界条件のＤＣＴ級数展開の式を利用して画像信号の傾きをｇとした場合に数４に示した式中のＧｋのようなＤＣＴ係数で表現する。
Figure 0004719854
 また、ポアソン方程式の概念を導入してブロック内の原信号に対する推定信号を求める。ここで、ポアソン方程式は、処理対象ブロックΩｊにおいて、ブロック内の推定信号ｕのラプラシアンであるΔｕｊがソース項Ｋｊとの間において、次式が成立する方程式である。
Δｕｊ＝Ｋｊ
ブロック内の推定信号ｕはノイマンの境界条件とＤＣＴ級数表記を用いることで、数６に示す式のように表現することができる。これは、数５で示すような各境界からの推定信号のＤＣＴ級数展開成分を足し合わせることで求められる。
Figure 0004719854
Figure 0004719854
 このような推定信号ｕに対してＤＣＴを行うことで、次式で表される推定信号Ｕを得ることができる。
Ｕk1,k2＝Ｇk1 (1)ηk1,k2＋Ｇk1 (2)η* k1,k2＋Ｇk2 (3)ηk2,k1＋Ｇk2 (4)η* k2,k1 （１）
ただし、（１）式中、ηk,m、η* k,mは次式で表される。
Figure 0004719854
 ここで、数７に示した式から、η及びη*はブロック内の位置情報のみに依存し、ブロック内の画像信号には依存しないことから、予め一意に計算して求めておくことができる。従って、推定信号Ｕを求めるためには、傾きのＤＣＴ係数情報Ｇｋを求めることが重要となる。
ここで、Ｇｋをブロック内の原信号に対してＤＣＴを行った後のＤＣＴ係数情報を利用して求めることを可能にするため、境界条件であるブロック境界における画像信号の傾きを求める際に、数８の式で示されるようなブロック内の各方向の信号成分の平均値を代表値としてブロック間の傾きを算出し、この傾きをブロック境界での傾きとして近似することでｇを求める。
Figure 0004719854
 続いて、この近似されたｇに対してＤＣＴを行うことでＧを求める。ここで、Ｇを求める際に数８に示した式を考慮して数９に示した式変形を行うことで、ＧをＦ、つまりブロック内のＤＣＴ係数情報を利用して求めることが可能となる。
Figure 0004719854
 大久保榮 監修、角野眞也、菊池義浩、鈴木輝彦 共編"Ｈ.２６４／ＡＶＣ教科書"、株式会社インプレス、２００４年８月 小野定康、村上篤道、浅井光太郎 共著"動画像の高能率符号化"、株式会社オーム社、２００５年４月 山谷 克、斉藤 直樹、"Improvement of DCT-based Compression Algorithms Using Poisson's Equation"
ところで、従来の動画像符号化では直交変換にＤＣＴを利用することが多い。ＭＰＥＧ−４ ＡＶＣでは、整数ＤＣＴを利用している。従来の動画像符号化で用いられている直交変換は、自然画像に対する符号化に適したものである。動画像符号化では、一般にブロック単位での動き推定・動き補償により空間方向において必ずしも信号の連続性が保たれていない予測画像と、符号化対象となるピクチャとの間から生成する差分画像が主に直交変換の対象となる。この差分画像は自然画像とは異なる性質を持つと考えられるため、直交変換に通常のＤＣＴを用いることは必ずしも効果が高いとは言い切れない。
従来の直交変換を用いてブロック領域を変換する際に、符号化対象のブロック領域に対して周波数領域では周期拡張が行われるため、画像全体としてみた場合にはブロック境界において不必要な高周波数成分が発生する。また、このような不必要な高周波数成分も符号化対象となるために、本来必要としない符号量が発生し、符号化効率が低下する。
更に、ＤＣＴでは、解析単位であるブロック領域を変換する際に、このブロック領域を周期波形とみなして直交変換を行う。つまり、図３２と共に説明したように、ブロック領域に対して周期拡張を行うために、ブロック境界で滑らかな接続とはならずに不連続点が生じる。つまり、このブロック境界で画像全体としてみた場合には不必要な高周波数成分が発生し、符号化の際に障害となる。
また、従来法としてＪＰＥＧに対して更なる符号化効率の向上を試みる多重調和局所余弦変換手法を適用することで、自然画像に対する符号化の問題点を改善している。しかし、この多重調和局所余弦変換手法では、一般的な自然画像に対する適用を想定しており、ブロックノイズの発生を抑制するために、ブロック間の低周波数成分に依存した符号化が行われる。
このようなブロックノイズの発生を抑制するため、ＭＤＣＴ（修正ＤＣＴ）やＬＯＴ（重複直交変換）などのように、符号化対象をオーバラップさせながら符号化することで低ビットレート時の符号化劣化を低減する方法が存在する。しかし、一般に利用されている動画像符号化では、ブロック単位での動き推定・動き補償により空間方向において必ずしも信号の連続性が保てず、オーバラップさせながら符号化した場合に十分な符号化効率を得られないことがある。
また、従来の多重調和局所余弦変換手法は、一般的な自然画像のように、符号化対象となる画像フレームのブロック間の連続性が保たれていることを想定している。ここで、動き推定・動き補償予測を伴う一般的な動画像符号化に対して従来の多重調和局所余弦変換手法の適用を考える。動き推定・動き補償の予測精度が十分高くない場合には、フレーム内の隣接ブロック間において必ずしも連続性が保たれていない予測画像フレームが生成される。
この予測画像フレームと符号化対象となっている原画像フレームとの差分から残差成分を含む差分画像フレームを生成するが、この差分画像フレームにおいても隣接ブロック間において必ずしも連続性が保たれるとは限らず、ブロック境界で不連続な状態となる場合がある。このような差分画像フレームに対して従来の多重調和局所余弦変換手法を適用すると、本来ブロック間の不連続な状態を保つように符号化を行う必要があるにもかかわらず、ブロック間の相関が高く、連続性が保たれていることを想定して符号化処理を行うため、自然画像の場合と比較して十分な符号化効率が得られないことがある。
また、符号化時にブロック間の不連続性を再現するために必要な符号量を量子化などの処理によって削減してしまった場合、復号化側ではブロック間の連続性を想定して復号してしまうため、ブロック間の不連続性を再現することができず、動画像復号化の動き補償予測によって、この影響が誤差として伝播するという問題が生じる。
また、入力動画像に対してイントラ符号化を行う場合には、一般に符号化対象となっているピクチャの空間方向の相関を利用して符号化を行う。しかし、符号化対象となるピクチャにおける空間方向の相関は、ピクチャ全体にわたって必ずしも連続的な信号成分によって構成されているとは限らない。例えば、符号化対象となっているピクチャは、所定の物体と背景が存在していると仮定する。このようなピクチャにおいて、この物体内の信号成分はお互い相関が高く、また、この背景部分においても信号成分はお互い相関が高いが、物体内の信号成分と背景部分の信号成分との相関は低い場合を考えると、この物体と背景との境界部分において、急激な信号変化、つまり信号成分の不連続が起こる。このような不連続で急激な変化を伴う信号成分を表現するには、一般に低い周波数の信号成分から高い周波数の信号成分まで幅広く必要とし、信号成分の偏りが小さくなることから、このような信号成分を含むピクチャに対して通常のイントラ符号化を行うと、十分な符号化効率が得られないという問題が生じる。
更に、従来のＡＶＣによる動画像符号化および復号化で利用しているイントラ予測では、所定の方向および所定の重み付けによって生成された予測ブロックの中から、符号化対象ブロックに最も近いものを選択し、イントラ符号化における符号化効率の改善を図っている。しかし、この予測ブロックは、限られた方向および限られた重み付けによって生成されることから、符号化対象ブロックに画像の形状を特徴付ける輪郭部分を含んでいたり、複雑な変化を含んでいたりする場合には、必ずしも符号化対象ブロックの良い近似とはならず、十分な符号化効率を得られないことがある。
本発明は以上の点に鑑みなされたもので、符号化対象となっているブロックに含まれる画像信号における境界部分の不連続性を相殺することで、多重調和局所余弦変換手法を適用した符号化、復号化を行い得る動画像符号化装置、動画像符号化プログラム、動画像復号化装置及び動画像復号化プログラムを提供することを目的とする。
また、本発明の他の目的は、符号化効率を向上し得る動画像符号化装置、動画像符号化プログラム、動画像復号化装置及び動画像復号化プログラムを提供することにある。
更に、本発明の他の目的は、多重調和局所余弦変換手法を適用した場合に、ブロック間の不連続性が動画像復号化の動き補償予測によって誤差が伝播するという現象を改善し得る動画像符号化装置、動画像符号化プログラム、動画像復号化装置及び動画像復号化プログラムを提供することにある。
また、更に、本発明の他の目的は、不連続で急激な変化を伴う信号成分を含むピクチャに対して通常のイントラ符号化を行った場合に十分な符号化効率を得ると共に、より高速な符号化及び復号化を行い得る動画像符号化装置、動画像符号化プログラム、動画像復号化装置及び動画像復号化プログラムを提供することにある。
更にまた、本発明の他の目的は、符号化対象ブロックに画像の形状を特徴付ける輪郭部分を含んでいたり、複雑な変化を含んでいても、十分な符号化効率が得られる動画像符号化装置、動画像符号化プログラム、動画像復号化装置及び動画像復号化プログラムを提供することにある。
上記の目的を達成するため、第１の発明の動画像符号化装置は、入力された符号化対象の動画像信号の一画面領域を、所定の画素数からなる矩形領域を単位として細分割し、矩形領域を処理単位として局所復号画像信号から生成された予測画像信号と符号化対象の動画像信号との差分信号である差分画像信号を生成し、差分画像信号に対して符号化を行う符号化装置において、
差分画像信号に対して矩形領域を処理単位として直交変換を行って直交変換係数情報を出力する直交変換手段と、符号化対象となっている矩形領域の隣接する他の矩形領域との境界における直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、符号化対象となっている矩形領域内の推定信号を直交変換した近似直交変換係数情報を生成する際に、その生成する近似直交変換係数情報を、局部復号過程で行う逆多重調和局所直交変換で得られる近似直交変換係数情報に近づけるために、直交変換手段から取得した直交変換係数情報に対して、量子化で用いる量子化パラメータに基づいて量子化後に逆量子化を行った直交変換係数情報を推定し、この推定結果を用いて近似直交変換係数情報を生成し、直交変換係数情報と生成した近似直交変換係数情報との差分をとることで残差直交変換係数情報を生成する多重調和局所直交変換手段と、残差直交変換係数情報を所定の量子化パラメータに基づいて量子化する量子化手段と、量子化手段から出力された量子化後の残差直交変換係数情報に対して、エントロピー符号化を行うことで、所定のエントロピー符号化後情報を生成するエントロピー符号化手段と、エントロピー符号化手段から出力されたエントロピー符号化後情報に対して、所定の構文構造に従って所定の多重化を行うことで符号化ビットストリームを生成する多重化手段と、量子化手段から出力された量子化後の残差直交変換係数情報を所定の量子化パラメータに基づいて逆量子化する逆量子化手段と、復号化対象となっている矩形領域の隣接する他の矩形領域との境界における逆量子化後の残差直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている矩形領域内の推定信号に対して、直交変換した近似直交変換係数情報を、逆量子化手段によって生成された逆量子化後の残差直交変換係数情報を利用して生成し、逆量子化後の残差直交変換係数情報と、生成した近似直交変換係数情報との合成を行うことで直交変換係数情報を復号する逆多重調和局所直交変換手段と、逆多重調和局所直交変換手段により生成された直交変換係数情報を逆直交変換することにより、局所復号画像信号を生成する逆直交変換手段とを有することを特徴とする。
この発明では、多重調和局所直交変換の手法を用い、符号化対象となっている矩形領域の隣接する他の矩形領域との境界における直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、符号化対象となっている矩形領域内の推定信号に対して、直交変換した近似直交変換係数情報を、直交変換手段から取得した直交変換係数情報を利用して生成した後、直交変換係数情報と生成した近似直交変換係数情報との差分をとることで残差直交変換係数情報を生成し、その残差直交変換係数情報を所定の量子化パラメータに基づいて量子化した後、量子化後残差直交変換係数情報に対して、エントロピー符号化を行うことで、所定のエントロピー符号化後情報を生成し、更に多重化手段によりエントロピー符号化後情報に対して所定の構文構造に従って所定の多重化を行うことで符号化ビットストリームを生成する。
ここで、上記の推定信号に対して直交変換した近似直交変換係数情報と、直交変換係数情報との差分である残差直交変換係数情報は、矩形領域の境界における傾きがゼロであり、この残差直交変換係数情報の周期波形信号は、周期接続部分において波形の滑らかさが向上し、元の信号には含まれない不要な信号成分の混入を防ぐことができる。これにより、残差直交変換係数情報は、高い周波数成分が抑制され、より低い周波数成分をもつ直交変換係数に偏らせることができる。
また、上記の目的を達成するため、第２の発明の動画像符号化装置は、第１の発明に更に、直交変換手段によって生成された直交変換係数情報に基づいて、符号化対象となっている矩形領域と隣接する周囲の矩形領域との間の動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための第１の境界条件補正情報を生成する境界条件解析手段と、第１の境界条件補正情報が有効でない場合には、逆量子化手段による逆量子化後の残差直交変換係数情報に基づいて復号化対象となっている矩形領域と隣接する周囲の矩形領域との間の動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための第２の境界条件補正情報を生成し、生成した第２の境界条件補正情報又は有効である第１の境界条件補正情報を境界条件判定情報とする境界条件判定手段とを付加したものであり、多重調和局所直交変換手段は、境界条件解析手段によって得られた第１の境界条件補正情報に基づいて各矩形領域の境界条件である直交変換係数情報から求める動画像信号の傾きを制御すると共に、各矩形領域の境界条件に基づいてポアソン方程式を満たすような符号化対象となっている矩形領域内の推定信号に対して直交変換した近似直交変換係数情報を、直交変換後の直交変換係数情報を利用して生成し、直交変換によって得られた直交変換係数情報と生成した近似直交変換係数情報との差分をとることで残差直交変換係数情報を生成する手段であり、逆多重調和局所直交変換手段は、境界条件判定手段から取得した境界条件判定情報から矩形領域の境界部分の不連続性を特定し、注目する境界部分が不連続である場合には、残差直交変換係数情報から求める動画像信号の傾きを補正すると共に、復号化対象となっている矩形領域の隣接する他の矩形領域との境界における逆量子化後の残差直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている矩形領域内の推定信号に対して、直交変換した近似直交変換係数情報を、逆量子化手段によって生成された逆量子化後の残差直交変換係数情報を利用して生成し、逆量子化後の残差直交変換係数情報と、生成した近似直交変換係数情報との合成を行うことで直交変換係数情報を復号する手段であることを特徴とする。
この発明では、符号化対象となっている矩形領域と隣接する周囲の矩形領域との間の動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するようにしたため、隣接する矩形領域間の信号の不連続性を正しく再現できる。ここで、上記の直交変換係数情報はＤＣＴ係数情報、また、近似直交変換係数情報は、近似ＤＣＴ係数情報とし、それらの差分をとることで残差ＤＣＴ係数情報を生成するようにしてもよい。
また、上記の目的を達成するため、第３の発明は入力された符号化対象の動画像信号の一画面領域を、所定の画素数からなる矩形領域を単位として細分割し、矩形領域を処理単位としてイントラ符号化を行う符号化装置において、矩形領域を処理単位として直交変換を行い、符号化対象となっている動画像信号の一画面領域全体にわたって予め矩形領域毎の直交変換係数情報を出力する直交変換手段と、符号化対象となっている動画像信号の一画面領域内に存在する、動画像信号の不連続性を解析するために、符号化対象となっている矩形領域の周囲に存在する矩形領域との間の動画像信号の不連続性を解析し、所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定するとともに、境界条件の補正が必要であるか否かを特定するための第１の境界条件補正情報を生成する境界条件解析手段と、符号化対象となっている矩形領域の隣接する他の矩形領域との境界における直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、符号化対象となっている矩形領域内の推定信号に対して、直交変換した近似直交変換係数情報を、直交変換手段から取得した直交変換係数情報を利用して生成した後、直交変換係数情報と生成した近似直交変換係数情報との差分をとることで残差直交変換係数情報を生成する多重調和局所直交変換手段と、残差直交変換係数情報を所定の量子化パラメータに基づいて量子化する量子化手段と、量子化手段から出力された量子化後の残差直交変換係数情報に対して、エントロピー符号化を行うことで、所定のエントロピー符号化後情報を生成するエントロピー符号化手段と、エントロピー符号化手段から出力されたエントロピー符号化後情報に対して、所定の構文構造に従って所定の多重化を行うことで符号化ビットストリームを生成する多重化手段と、量子化手段から出力された量子化後の残差直交変換係数情報を所定の量子化パラメータに基づいて逆量子化する逆量子化手段と、第１の境界条件補正情報が有効でない場合には、逆量子化手段による逆量子化後の残差直交変換係数情報に基づいて復号化対象となっている矩形領域と隣接する周囲の矩形領域との間の動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための第２の境界条件補正情報を生成し、生成した第２の境界条件補正情報又は有効である第１の境界条件補正情報を境界条件判定情報とする境界条件判定手段と、復号化対象となっている矩形領域の隣接する他の矩形領域との境界における逆量子化後の残差直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている矩形領域内の推定信号に対して、直交変換した近似直交変換係数情報を、逆量子化手段によって生成された逆量子化後の残差直交変換係数情報を利用して生成し、逆量子化後の残差直交変換係数情報と、生成した近似直交変換係数情報との合成を行うことで直交変換係数情報を復号する逆多重調和局所直交変換手段と、逆多重調和局所直交変換手段により生成された直交変換係数情報を逆直交変換することにより、局所復号画像信号を生成する逆直交変換手段とを有することを特徴とする。
この発明では、通常のイントラ符号化においてイントラ予測を行う替わりに、イントラ符号化の符号化対象となっている一画面領域の動画像信号に対して所定画素数からなる矩形領域単位で直交変換を行うと共に、符号化対象の矩形領域とその隣接、および周囲の矩形領域との不連続性の解析を行うことで、境界条件の補正が必要であるか否か判定し、隣接矩形領域間の相関が高く境界条件の補正が不要な場合には、符号化対象矩形領域に対し、隣接する矩形領域の境界条件に基づいて所定の多重調和局所直交変換を行って残差直交変換係数を生成し、境界条件の解析の結果、隣接矩形領域間の相関が低く境界条件の補正が必要な場合には、多重調和局所直交変換で利用する境界条件を補正した後にこの変換処理を行う。
また、上記の目的を達成するため、第４の発明の動画像符号化装置は、第３の発明において直交変換手段は、矩形領域を処理単位として直交変換を行い、生成した直交変換係数情報を矩形領域の処理単位で出力する手段であり、境界条件解析手段は、符号化対象となっている動画像信号内に存在する不連続性を解析する際に、処理対象となっている矩形領域と、隣接する直交変換済みの所定の矩形領域との間の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための第１の境界条件補正情報を生成する手段であり、量子化手段は、残差直交変換係数情報を所定の量子化パラメータに基づいて量子化を行い、生成した量子化後情報を矩形領域の処理単位で出力する手段であり、逆量子化手段は、量子化手段から出力された量子化後の残差直交変換係数情報を所定の量子化パラメータに基づいて逆量子化を行い、生成した逆量子化後の残差直交変換係数情報を矩形領域の処理単位で出力する手段であり、境界条件判定手段は、第１の境界条件補正情報が有効でない場合には、逆量子化手段により生成された逆量子化後の残差直交変換係数情報に基づいて、復号化対象となっている矩形領域と隣接する周囲の矩形領域との間の動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための第２の境界条件補正情報を生成し、生成した第２の境界条件補正情報又は有効である第１の境界条件補正情報を境界条件判定情報とする手段であり、所定の矩形領域を処理単位として符号化を行うことを特徴とする。
この発明では、符号化処理を矩形処理単位で行う場合に、符号化対象となっている矩形領域とその隣接、および周囲の矩形領域との境界条件の解析を行う際に、直交変換後の矩形領域との間のみ境界条件の解析を行い、それ以外の矩形領域との間は不連続であると解釈するものである。
また、上記の目的を達成するため、第５の発明の動画像符号化装置は、第３、第４の発明において、多重調和局所直交変換手段が、ポアソン方程式を満たすような符号化対象となっている矩形領域内の推定信号を直交変換して得られた近似直交変換係数情報を、直交変換後の前記直交変換係数情報を利用して生成する際に、直交変換後の前記直交変換係数情報に対して量子化で用いる量子化パラメータに基づいて量子化後の直交変換係数情報を推定し、この推定結果に基づいて前記近似直交変換係数情報を生成する手段としたことを特徴とする。
この発明では、符号化対象矩形領域内の信号成分は、多重調和局所直交変換を行うことによって、隣接する矩形領域との境界条件に基づいた推定により信号成分の近似を行うことで残差直交変換係数を生成するようにしたため、従来のイントラ予測のように、所定の方向及び所定の重み付けによって生成された予測矩形領域の中から、符号化対象矩形領域に最も近いものを選択する場合よりも、より複雑な推定信号に基づいて残差直交変換係数を生成することができる。
また、上記の目的を達成するため、第６の発明は第１〜第５の発明のうちのいずれかの発明の各構成手段を、コンピュータにより実行させる動画像符号化プログラムを構成する。
また、上記の目的を達成するため、第７の発明の動画像復号化装置は、第１の発明の動画像符号化装置、又は第６の発明の動画像符号化プログラムにより動作する情報処理装置によって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した符号化ビットストリームに対して復号化動作を行って、復号した動画像信号を出力する動画像復号化装置であって、
符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行う多重化分離手段と、多重化分離手段から取得した多重化分離後の情報に対して、所定のエントロピー復号化を行い、量子化後情報、動きベクトル情報、及び所定の構文構造を構成するために必要なパラメータ情報を生成するエントロピー復号化手段と、エントロピー復号化手段から取得した量子化後情報に対して逆量子化を行うことにより、逆量子化後の残差直交変換係数情報として残差ＤＣＴ係数情報を生成する逆量子化手段と、直交変換基底としてＤＣＴ基底を用い、復号化対象となっている矩形領域の隣接する他の矩形領域との境界における直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている矩形領域内の推定信号に対して、直交変換した近似ＤＣＴ係数情報を、逆量子化後の残差ＤＣＴ係数情報を利用して生成した後、逆量子化によって得られた残差ＤＣＴ係数情報と生成した近似ＤＣＴ係数情報との合成を行うことで復号ＤＣＴ係数情報を生成する逆多重調和局所直交変換手段と、、逆多重調和局所直交変換手段から取得した復号ＤＣＴ係数情報に対して逆直交変換を行うことで一画面分の復号差分画像信号を生成する逆直交変換手段と、エントロピー復号化手段から取得した動きベクトル情報を利用した所定の動き補償により生成した予測画像信号、又はイントラ予測によって生成した予測画像信号と、復号差分画像信号とを合成して復号動画像信号を生成する画像復号手段とを有することを特徴とする。
この発明では、動き推定・動き補償予測を伴う動画像符号化の際に、多重調和局所直交変換手法を適用して符号化された符号化ビットレートから、直交変換係数情報を復号し、更に逆直交変換をして差分画像信号を復号して予測画像信号と合成することにより、動画像信号を復号することができる。ここで、上記の直交変換係数情報はＤＣＴ係数情報としてもよい。
また、上記の目的を達成するため、第８の発明の動画像復号化装置は、第２の発明の動画像符号化装置、又は第６の発明の動画像符号化プログラムにより動作する情報処理装置によって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した符号化ビットストリームに対して復号化動作を行って、復号した動画像信号を出力する動画像復号化装置であって、
符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行う多重化分離手段と、多重化分離手段から取得した多重化分離後の情報に対して、所定のエントロピー復号化を行い、量子化後情報、動きベクトル情報及び所定の構文構造を構成するために必要なパラメータ情報を生成すると共に、及び符号化されて組み込まれた境界条件補正情報を抽出するエントロピー復号化手段と、エントロピー復号化手段から取得した量子化後情報に対して逆量子化を行うことにより、逆量子化後の残差直交変換係数情報を生成する逆量子化手段と、エントロピー復号化手段から取得した境界条件補正情報が有効でない場合には、逆量子化手段から取得した量子化後の残差直交変換係数情報に基づいて、復号化対象となっている矩形領域と隣接する周囲の矩形領域との間の動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための境界条件補正情報を生成し、生成された境界条件補正情報又はエントロピー復号化手段から取得した有効である境界条件補正情報を境界条件判定情報とする境界条件判定手段と、境界条件判定情報及び逆量子化後の残差直交変換係数情報を取得し、復号化対象となっている矩形領域の隣接する他の矩形領域との境界における直交変換係数情報の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている矩形領域内の推定信号に対して、直交変換した近似直交変換係数情報を、逆量子化後の残差直交変換係数情報を利用して生成した後、逆量子化後の残差直交変換係数情報と生成した近似直交変換係数情報との合成を行うことで復号直交変換係数情報を生成する逆多重調和局所直交変換手段と、逆多重調和局所直交変換手段から取得した復号直交変換係数情報に対して逆直交変換を行うことで一画面分の復号差分画像信号を生成する逆直交変換手段と、エントロピー復号化手段から取得した動きベクトル情報を利用した所定の動き補償により生成した予測画像信号、又はイントラ予測によって生成した予測画像信号と、復号差分画像信号とを合成して復号動画像信号を生成する画像復号手段とを有することを特徴とする。
この発明では、エントロピー復号化手段から取得した境界条件補正情報が有効でない場合には、逆量子化手段から取得した量子化後の残差直交変換係数情報に基づいて、復号化対象となっている矩形領域と隣接する周囲の矩形領域との間の動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための境界条件補正情報を生成し、生成された境界条件補正情報又はエントロピー復号化手段から取得した有効である境界条件補正情報を境界条件判定情報とすることにより、隣接する矩形領域間の信号の不連続性を正しく再現して復号できる。ここで、上記の復号直交変換係数情報は復号ＤＣＴ係数情報、また、復号近似直交変換係数情報は、復号近似ＤＣＴ係数情報としてもよい。
また、上記の目的を達成するため、第９の発明の動画像復号化装置は、第３、第４、第５の発明の動画像符号化装置、又は第６の発明の動画像符号化プログラムにより動作する情報処理装置によって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した符号化ビットストリームに対して復号化動作を行って、復号した動画像信号を出力する動画像復号化装置であって、
符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行う多重化分離手段と、多重化分離手段から取得した多重化分離後の情報に対して、所定のエントロピー復号化を行い、量子化後情報及び所定の構文構造を構成するために必要なパラメータ情報を生成すると共に、符号化されて組み込まれた境界条件補正情報を抽出するエントロピー復号化手段と、エントロピー復号化手段から取得した量子化後情報に対して逆量子化を行うことにより、逆量子化後の残差直交変換係数情報を生成する逆量子化手段と、エントロピー復号化手段から取得した境界条件補正情報が有効でない場合には、逆量子化手段から取得した量子化後の残差直交変換係数情報に基づいて、復号化対象となっている矩形領域と隣接する周囲の矩形領域との間の動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための境界条件補正情報を生成し、生成された境界条件補正情報又はエントロピー復号化手段から取得した有効である境界条件補正情報を境界条件判定情報とする境界条件判定手段と、境界条件判定情報及び逆量子化後の残差直交変換係数情報を取得し、復号化対象となっている矩形領域の隣接する他の矩形領域との境界における直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている矩形領域内の推定信号に対して、直交変換した近似直交変換係数情報を、逆量子化後の残差直交変換係数情報を利用して生成した後、逆量子化後の残差直交変換係数情報と生成した近似直交変換係数情報との合成を行うことで復号直交変換係数情報を生成する逆多重調和局所直交変換手段と、逆多重調和局所直交変換手段から取得した復号直交変換係数情報に対して逆直交変換を行うことで一画面分の復号画像信号を生成する逆直交変換手段とを有することを特徴とする。
また、第１０の発明の動画像復号化プログラムは、第７〜第９の発明の動画像復号化装置のいずれか一の動画像復号化装置の各構成手段を、コンピュータにより実行させる動画像復号化プログラムを構成することを特徴とする。
本発明によれば、多重調和局所直交変換の手法を用い、符号化対象となっている矩形領域の隣接する他の矩形領域との境界における直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、符号化対象となっている矩形領域内の推定信号に対して、直交変換した近似直交変換係数情報を、直交変換手段から取得した直交変換係数情報を利用して生成する。上記の推定信号は符号化対象となっている矩形領域の境界部分の不連続性を相殺し、境界部分における波形の滑らかさを向上させるような近似波形であり、この推定信号の直交変換係数である近似直交変換係数を生成した後、直交変換係数情報と生成した近似直交変換係数情報との差分をとることで残差直交変換係数情報を生成するようにしたため、従来法で問題となっていた直交変換係数の不必要な高周波数成分の発生を抑制することができる。
また、本発明によれば、不必要な高周波数成分が抑えられた残差直交変換係数情報を、従来の直交変換係数の代わりに符号化対象として所定の量子化パラメータに基づいて量子化した後、量子化後残差直交変換係数情報に対して、エントロピー符号化を行うことで、所定の構文構造に従って符号化ビットストリームを生成するようにしたため、従来に比べて少ない符号量で動画像符号化を行うことができ、これにより符号化効率を改善することができる。
また、本発明によれば、符号化対象となっている矩形領域と隣接する周囲の矩形領域との間の動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するようにしたため、隣接する矩形領域間の信号の不連続性を正しく再現できる。
すなわち、本発明では、符号化対象となっている矩形領域と隣接する周囲の矩形領域との間において、原信号の連続性が保たれないような場合に対して、符号化対象となっている矩形領域の境界条件と、その周囲の矩形領域の境界条件とを比較し、例えば、矩形領域の境界条件である画像信号の傾きが小さい方を符号化対象となっている矩形領域の境界条件とする、もしくは傾きを比較して所定の閾値を越える場合に傾きをゼロとし、これを境界条件として採用して、多重調和局所余弦変換手法を適用するようにしたため、符号化効率を改善しつつ、正しく矩形領域間の不連続性を再現し、動画像復号化の動き補償予測によって、この影響が誤差として伝播するという問題を改善することができる。
更に、本発明によれば、多重調和局所直交変換の変換基底としてＤＣＴを用いることで、従来の動画像符号化方式で一般的に用いられる直交変換との互換性を保ちながら、従来の動画像符号化における符号化効率を改善することができる。
また、本発明の動画像符号化装置及び動画像符号化プログラムによって生成した符号化ビットストリームを、所定の伝送路または記録媒体から取得し、本発明の動画像復号化装置又は本発明の動画像復号化プログラムを用いたコンピュータによって復号化することで、従来よりも少ない符号量をもつ符号化ビットストリームを効率良く伝送、受信、再生することを可能にすることができる。
また、本発明によれば、通常のイントラ符号化においてイントラ予測を行う替わりに、イントラ符号化の符号化対象となっている一画面領域の動画像信号に対して所定画素数からなる矩形領域単位で直交変換を行うと共に、符号化対象の矩形領域とその隣接、および周囲の矩形領域との不連続性の解析を行うことで、境界条件の補正が必要であるか否か判定し、隣接矩形領域間の相関が高く境界条件の補正が不要な場合には、符号化対象矩形領域に対し、隣接する矩形領域の境界条件に基づいて所定の多重調和局所直交変換を行って残差直交変換係数を生成し、境界条件の解析の結果、隣接矩形領域間の相関が低く境界条件の補正が必要な場合には、多重調和局所直交変換で利用する境界条件を補正した後にこの変換処理を行うことにより、矩形領域間の不連続性を考慮しながら処理を行うことで、生成される残差直交変換係数の信号成分の偏りを、従来のイントラ符号化で用いられるイントラ予測よりも大きくし、十分な符号化効率を得ることができる。
また、本発明によれば、符号化処理を矩形処理単位で行う場合に、符号化対象となっている矩形領域とその隣接、および周囲の矩形領域との境界条件の解析を行う際に、直交変換後の矩形領域との間のみ境界条件の解析を行い、それ以外の矩形領域との間は不連続であると解釈することで、本発明の処理を軽減し、より高速な符号化及び復号化を実現することができる。
更に、本発明によれば、符号化対象矩形領域内の信号成分は、多重調和局所直交変換を行うことによって、隣接する矩形領域との境界条件に基づいた推定により信号成分の近似を行うことで残差直交変換係数を生成するようにしたため、従来のイントラ予測のように、所定の方向および所定の重み付けによって生成された予測矩形領域の中から、符号化対象矩形領域に最も近いものを選択する場合よりも、より複雑な推定信号に基づいて残差直交変換係数を生成することができるため、より高い符号化効率を得ることができる。
次に、本発明の実施の形態について図面と共に詳細に説明する。図１は本発明になる動画像の符号化装置の一実施の形態のブロック図を示す。同図中、図２９と同一構成部分には同一符号を付してある。図１に示すように、本実施の形態は図２９に示した従来の符号化装置と比較すると、直交変換器１０３と量子化器１０４との間に多重調和局所直交変換器１２１が設けられ、逆量子化器１０５と逆直交変換器１０６との間に逆多重調和局所直交変換器１２２が設けられている点が異なり、また、エントロピー符号化器１２３の出力符号が多重化器１２４を通して出力伝送器１２５に入力される。
スイッチ１１３は、イントラ予測器１１０及び動き補償器（ＭＣ器）１１２がそれぞれ生成する予測画像フレームを符号化対象となるピクチャの符号化モードに応じて切り替える機能を有する。ここで、ピクチャの符号化モードがイントラ符号化である場合は、スイッチ１１３を端子ａに切り替える。ピクチャの符号化モードがイントラ符号化ではない場合は、スイッチ１１３を端子ｂに切り替える。
直交変換器１０３は、入力符号１０１として得られる動画像フレームと、イントラ予測器もしくはＭＣ器１１２から得られる予測画像フレームとの差分画像フレームを取得し、その取得した差分画像フレームに対して所定の直交変換を行う機能を有する。ここでは所定の直交変換をＤＣＴであるものとする。直交変換器１０３は、直交変換後の係数情報を後述する多重調和局所直交変換器１２１に通知する機能を有する。ここで直交変換後の係数情報は、ＤＣＴ係数情報である。
多重調和局所直交変換器１２１は、直交変換器１０３から直交変換後の係数情報（ここでは、ＤＣＴ係数情報）を取得する機能を有し、また、各ブロックの境界条件に基づいてポアソン方程式を解析的に解くことでブロック内の近似直交変換係数情報（ここでは、近似ＤＣＴ係数情報）を求める機能を有する。更に、多重調和局所直交変換器１２１は、取得したＤＣＴ係数情報と、求めた近似ＤＣＴ係数情報との差分から残差直交変換係数情報（ここでは、残差ＤＣＴ係数情報）を生成して、その残差ＤＣＴ係数情報を量子化器１０４に通知する機能を有する。
また、多重調和局所直交変換器１２１は、ポアソン方程式を満たすような符号化対象となっている所定の矩形領域内の推定信号を直交変換（ここでは、ＤＣＴ）して得られる近似ＤＣＴ係数情報を、直交変換後のＤＣＴ係数情報を利用して生成する際に、直交変換後のＤＣＴ係数情報に対して量子化で用いる量子化パラメータを取得し、この量子化パラメータに基づいて量子化後のＤＣＴ係数情報を推定し、この推定結果に基づいて近似ＤＣＴ係数情報を生成するような機能を有すると更によい構成となる。
この多重調和局所余弦変換手法は、前述した非特許文献３に記載された手法であり、ポアソン方程式の概念を導入してブロック内の原信号に対する推定信号を求め、原信号と求めた推定信号との差分である残差信号を生成することで、ＤＣＴを導入した際により高い周波数のＤＣＴ係数を早く収束させることが可能となり、結果として符号化効率を向上させることができる。
すなわち、前述したように、多重調和局所余弦変換手法では、図３１（ａ）に示した原信号３０１に対して、ブロック境界３０４、３０５に対応する原信号３０１の両端部分における画像信号の傾き３０２、３０３を求め、その傾き３０２、３０３を境界条件としてポアソン方程式の概念を導入して図３１（ｂ）に示すような推定信号３０６を生成した後、図３１（ｃ）に示すように、原信号３０１と推定信号３０６との残差信号３０７を得る。
そして、この残差信号３０７に対して直交変換してＤＣＴを行う場合は、図３３（ａ）に示した残差信号３０７のブロック境界の片方（ここでは、信号の右側）を軸として偶接続して同図（ｂ）に示すような残差信号の周期波形信号とすることで、ＤＣＴ級数で表現することが可能となる。この残差信号の周期波形信号は、周期接続部分である図３３（ｂ）の点線部５０１〜５０３において、原信号に対してＤＣＴを行った場合よりも滑らかさが向上すると共に、本来原信号には含まれない不要な信号成分の混入を防ぐことが可能となる。
従って、ＤＣＴ級数でスペクトルを表現した場合は、図３３（ｃ）にIで示すようになり、通常のＤＣＴを行った場合のIIと比較して、図３３（ｃ）の点線部５０５が示すような高い周波数成分領域でもＤＣＴ係数が十分収束した状態となり、多重調和局所余弦変換手法を用いたＤＣＴ係数に対して所定の量子化及びエントロピー符号化を行うことで、通常のＤＣＴによる符号化を行った場合よりも発生する符号量を抑制することが可能となり、符号化効率の向上につながる。
なお、本実施の形態では、従来の符号化装置からの拡張が比較的容易であることから、一例として上述のようなブロック内の原信号と境界条件からの推定信号に対してそれぞれＤＣＴを行うことでそれぞれのＤＣＴ係数を求めた後に差分をとる構成を採用しているが、本発明は特にこの構成に限定されるものではなく、上述の原信号と推定信号との差分である残差信号に対してＤＣＴを行うような構成であっても構わない。
再び図１に戻って説明するに、量子化器１０４は、多重調和局所直交変換器１２１から残差ＤＣＴ係数情報を取得し、その取得した残差ＤＣＴ係数情報に対して所定の量子化を行うことで量子化後の残差ＤＣＴ係数情報である量子化後情報を生成する機能を有する。また、量子化器１０４は、生成した量子化後情報を逆量子化器１０５及びエントロピー符号化器１２３にそれぞれ供給する機能を有する。逆量子化器１０５は、量子化器１０４から取得した量子化後情報に対して所定の逆量子化を行うことで、逆量子化後の残差ＤＣＴ係数情報である逆量子化後情報を生成して逆多重調和局所直交変換器１２２に供給する機能を有する。
逆多重調和局所直交変換器１２２は、逆量子化器１０５から逆量子化後情報を取得し、その取得した逆量子化後情報に対して、所定の逆多重調和局所直交変換を行うことで、逆量子化後の残差ＤＣＴ係数情報から復号して得られた復号ＤＣＴ係数情報を生成する。すなわち、逆多重調和局所直交変換器１２２は、復号化対象となっているブロックの隣接する他のブロックとの境界における逆量子化後の残差直交変換係数情報（ここでは、残差ＤＣＴ係数情報）の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっているブロック内の推定信号に対して、直交変換した近似直交変換係数情報（ここでは、近似ＤＣＴ係数情報）を、逆量子化器１０５によって生成された逆量子化後の残差直交変換係数情報（ここでは、残差ＤＣＴ係数情報）を利用して生成し、逆量子化後の残差直交変換係数情報（ここでは、残差ＤＣＴ係数情報）と、生成した近似直交変換係数情報（ここでは、近似ＤＣＴ係数情報）との合成を行うことで復号直交変換係数情報（ここでは、ＤＣＴ係数情報）を生成する。また、逆多重調和局所直交変換器１２２は、生成した復号ＤＣＴ係数情報を逆直交変換器１０６に供給する。
逆直交変換器１０６は、逆多重調和局所直交変換器１２２から復号ＤＣＴ係数情報を取得し、その取得した復号ＤＣＴ係数情報に対して逆直交変換を行うことで復号差分画像フレームを生成する機能を有する。また、逆直交変換器１０６は、生成した復号差分画像フレームを加算器１０７に供給する機能を有する。加算器１０７は、スイッチ１１３で選択されたイントラ予測器１１０又はＭＣ器１１２の出力信号と加算し復号画像フレームを生成し、イントラ予測器１１０、デブロッキングフィルタ１０８に供給する機能を有する。
ＭＥ（動き推定）器１１１は、入力符号１０１として得られる現在符号化対象となっている動画像フレームと、フレームメモリ１０９に格納されている所定の参照画像フレームを取得し、その取得した動画像フレームと参照画像フレームとの間で所定のＭＥを行い、動きベクトル情報を生成する機能を有する。また、ＭＥ器１１１は、生成した動きベクトル情報を、ＭＣ器１１２、エントロピー符号化器１２３に通知する機能を有する。
ＭＣ（動き補償）器１１２は、ＭＥ器１１１から動きベクトル情報を取得する機能を有する。また、ＭＥ器１１１が動きベクトル情報を生成した際に利用した参照画像フレームをフレームメモリ１０９から取得する機能を有する。取得した動きベクトル情報、参照画像フレームから、予測画像フレームを生成し、スイッチ１１３の端子ｂ側に出力する機能を有する。フレームメモリ１０９は、デブロッキングフィルタ１０８からデブロック後の画像フレームを参照画像フレームとして取得及び蓄積する機能を有する。また、必要に応じてＭＥ器１１１、ＭＣ器１１２、イントラ予測器１１０に参照画像フレームを通知する機能を有する。ここで、フレームメモリ１０９は、少なくとも１フレーム以上の参照画像フレームを蓄積し、各部の要求に応じて必要な参照画像フレームを通知できることが望ましい。
エントロピー符号化器１２３は、量子化器１０４から量子化後情報、ＭＥ器１１１から動きベクトル情報を少なくとも取得し、その取得した量子化後情報及び動きベクトル情報、及びその他の所定の構文構造を構成するために必要なパラメータ情報などに対して、所定のエントロピー符号化を行い、エントロピー符号化後情報を生成する。また、エントロピー符号化器１２３は、生成したエントロピー符号化情報を多重化器１２４に通知する機能を有する。
多重化器１２４は、エントロピー符号化器１２３からエントロピー符号化後情報を取得し、その取得したエントロピー符号化後情報に対して所定の構文構造に基づいて符号化情報の多重化を行うことで、符号化ビットストリームを生成する機能を有する。ここで、所定の構文構造を構成するために必要なパラメータ情報としては、マクロブロックの各種状態を特定するためのマクロブロック情報、量子化及び逆量子化を行う際に用いる量子化パラメータ情報、イントラ予測の方法を特定するためのイントラ予測モード情報、参照画像フレームの参照順を特定するためのフレーム順序情報、などが含まれると更によい。多重化器１２４は、生成した符号化ビットストリームを出力伝送器１２５に通知する機能を有する。
出力伝送器１２５は、多重化器１２４から符号化ビットストリームを取得し、その取得した符号化ビットストリームを出力符号として所定の伝送路や所定の記録媒体などに出力するため、所定のパケットヘッダ及びペイロードをもつ構成とするようにパケット化処理を行い、パケット情報を生成する機能を有する。ここで、パケット情報は、パケットヘッダ及びペイロードを１単位として扱う。通常、取得した符号化ビットストリームをより細かい単位に分割し、ペイロードに格納し、所定のパケットヘッダを付加することでパケット化処理を行う。また、出力伝送器１２５は、生成した各パケット情報を出力符号として所定の出力先である伝送路や記録媒体の状態に応じて出力する機能を有する。
イントラ予測器１１０は、逆直交変換器１０６が生成した復号差分画像フレーム、スイッチ１１３によって選択されたイントラ予測器１１０もしくはＭＣ器１１２が生成する予測画像フレームから合成した復号画像フレームを取得し、その取得した復号画像フレーム内において、まだ符号化が完了していないブロックに対し、符号化が完了した領域の復号画像を予測に利用してイントラ予測を行う機能を有する。その際、イントラ予測の方法を特定するためのイントラ予測モード情報を生成し、エントロピー符号化器１２３に通知するような機能を備えると更によい。
また、イントラブロックに対する予測処理や、スケーラブル符号化などのような下位階層の復号画像情報を利用してイントラ予測処理を行う場合には、フレームメモリ１０９から現在符号化対象となっている動画像フレームを符号化するために必要な参照画像フレームを取得する機能を有しても構わない。この参照画像フレームは、スケーラブル符号化のような場合では、符号化が完了した階層の復号画像フレームであることも考えられる。また、イントラ予測器１１０は、イントラ予測によって得られた予測画像フレームを、スイッチ１１３の端子ａ側に出力する機能を有する。
デブロッキングフィルタ１０８は、逆直交変換器１０６が生成した復号差分画像フレーム、スイッチ１１３によって選択されたイントラ予測器１１０もしくはＭＣ器１１２が生成する予測画像フレームから合成した復号画像フレームを取得する機能をし、取得した復号画像フレームに対して所定のデブロック処理を行うことで、デブロック処理後の復号画像フレームを生成する機能を有する。ここで、所定のデブロック処理は、現在符号化対象となっているフレームやブロックの符号化モード、量子化パラメータの状態、周囲の符号化済みブロック内の画像情報の状態などに応じて、デブロック処理のオン・オフやフィルタ処理の強度を切り替えられる構成であるとよい。
また、多重調和局所直交変換器１２１において正しく変換処理が行われた場合には、一般にデブロック処理の必要がないと判定され、デブロック処理を行わずに単に全帯域通過フィルタとして機能するように構成されるとよい。デブロッキングフィルタ１０８は、生成したデブロック処理後の復号画像フレームを参照画像フレームとして利用できるようにするために、フレームメモリ１０９に通知する機能を有する。
次に、図１の本発明の符号化装置の一実施の形態の動作を図２のフローチャートに従って説明する。まず、入力符号１０１として、符号化対象となる画像フレームを準備し（ステップＳ１１）、イントラ符号化か否かを判定する（ステップＳ１２）。イントラ符号化である場合には、イントラ予測処理を行う（ステップＳ１３）。イントラ予測器１１０によって得られた予測画像フレームを、スイッチ１１３の端子ａ側に出力する。また、スイッチ１１３を端子ａ側に切り替える。その後ステップＳ１６に進む。
一方、ステップＳ１２でイントラ符号化ではないと判定した場合には、ＭＥ器１１１が現在符号化対象となっている動画像フレームと、フレームメモリ１０９に格納されている所定の参照画像フレームを取得し、動き推定を行う（ステップＳ１４）。ＭＥ器１１１は、動き推定処理によって生成した動きベクトル情報をＭＣ器１１２に通知する。また、動きベクトル情報をエントロピー符号化するために、エントロピー符号化器１２３に通知する。
ＭＣ器１１２は、ＭＥ器１１１が動き推定処理によって生成した動きベクトル情報を取得する。また、ＭＥ器１１１が動きベクトル情報を生成した際に利用した参照画像フレームをフレームメモリ１０９から取得する。ＭＣ器１１２は、取得した動きベクトル情報、参照画像フレームから、予測画像フレームを生成し（ステップＳ１５）、スイッチ１１３の端子ｂ側に出力する。また、スイッチ１１３を端子ｂ側に切り替える。その後ステップＳ１６に進む。
直交変換器１０３は、入力符号１０１として得られる動画像フレームと、スイッチ１１３の端子ａと接続されたイントラ予測器１１０もしくはスイッチ１１３の端子ｂと接続されたＭＣ器１１２から得られる予測画像フレームとの差分画像フレームを取得する。取得した差分画像フレームに対して所定の直交変換を行う（ステップＳ１６）。直交変換器１０３は、直交変換後の係数情報を多重調和局所直交変換器１２１に通知する。ここで直交変換後の係数情報は、ＤＣＴ係数情報であるものとする。
多重調和局所直交変換器１２１は、直交変換器１０３から直交変換後の係数情報、ここではＤＣＴ係数情報を取得し、多重調和局所直交変換処理を行う（ステップＳ１７）。生成した残差ＤＣＴ係数情報を後述する量子化器１０４に通知する。量子化器１０４は、多重調和局所直交変換器１２１から残差ＤＣＴ係数情報を取得して、その残差ＤＣＴ係数情報に対して所定の量子化を行うことで量子化後の残差ＤＣＴ係数情報である量子化後情報を生成する（ステップＳ１８）。生成された量子化後情報は、逆量子化器１０５及びエントロピー符号化器１２３に供給される。
逆量子化器１０５は、量子化器１０４から量子化後情報を取得し、その量子化後情報に対して所定の逆量子化を行うことで、逆量子化後の残差ＤＣＴ係数情報である逆量子化後情報を生成する（ステップＳ１９）。生成された逆量子化後情報は、逆多重調和局所直交変換器１２２に供給される。
逆多重調和局所直交変換器１２２は、逆量子化器１０５から逆量子化後情報を取得し、その逆量子化後情報に対して、所定の逆多重調和局所直交変換処理を行うことで、逆量子化後の残差ＤＣＴ係数情報から復号して得られた復号ＤＣＴ係数情報を生成する（ステップＳ２０）。生成された復号ＤＣＴ係数情報は、逆直交変換器１０６に供給される。
逆直交変換器１０６は、逆多重調和局所直交変換器１２２から復号ＤＣＴ係数情報を取得し、その復号ＤＣＴ係数情報に対して逆直交変換を行うことで復号差分画像フレームを生成する（ステップＳ２１）。生成された復号差分画像フレームは、イントラ予測器１１０及びデブロッキングフィルタ１０８にそれぞれ供給される。
デブロッキングフィルタ１０８は、逆直交変換器１０６が生成した復号差分画像フレームと、スイッチ１１３によって選択されたイントラ予測器１１０もしくはＭＣ器１１２が生成する予測画像フレームとを加算器１０７で合成した復号画像フレームを取得し、必要に応じて取得した復号画像フレームに対して所定のデブロッキング処理を行うことで、デブロック処理後の復号画像フレームを生成する（ステップＳ２２）。ただし、通常デブロック処理の必要がないと判定され、デブロック処理を行わずに単に全帯域通過フィルタとして機能することが多い。デブロッキングフィルタ１０８は、生成したデブロック処理後の復号画像フレームを参照画像フレームとして利用できるようにするためにフレームメモリ１０９に格納する。
エントロピー符号化器１２３は、量子化器１０４から量子化後情報、ＭＥ器１１１から動きベクトル情報を少なくとも取得して、その量子化後情報及び動きベクトル情報に対して、所定のエントロピー符号化を行う（ステップＳ２３）。多重化器１２４はエントロピー符号化器１２３から取得したエントロピー符号化後情報に対して、所定の構文構造に基づいて符号化情報の多重化を行うことで、符号化ビットストリームを生成する（ステップＳ２４）。生成した符号化ビットストリームは出力符号として出力伝送器１２５によって所定の伝送路や記録媒体などに出力される。
以上のような符号化処理を符号化対象となる動画像フレームに対して順次行うことで、本実施の形態の符号化装置は従来の符号化装置よりも符号化効率のよい符号化ビットストリームを出力符号として得ることができる。
次に、本発明になる復号化装置の一実施の形態について説明する。図３は本発明になる復号化装置の一実施の形態のブロック図を示す。同図中、図３０と同一構成部分には同一符号を付してある。図３において、入力受信器２２２は、所定の伝送路及び所定の記録媒体などから入力符号２２１としてパケット情報を取得し、取得したパケット情報から本発明の符号化装置によって生成した符号化ビットストリームとして再構成する機能を有する。また、入力受信器２２２は、再構成された符号化ビットストリームを多重化分離器２２３に供給する。
多重化分離器２２３は、入力受信器２２２から符号化ビットストリームを取得し、その取得した符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行い、多重化分離後の情報をエントロピー復号化器２２４に通知する機能を有する。エントロピー復号化器２２４は、多重化分離器２２３から多重化分離後の情報を取得し、その取得した多重化分離後の情報に対して所定のエントロピー復号化を行い、量子化後情報及び動きベクトル情報、及びその他の所定の構文構造を構成するために必要なパラメータ情報などを生成する機能を有する。
ここで、所定の構文構造を構成するために必要なパラメータ情報としては、マクロブロックの各種状態を特定するためのマクロブロック情報、量子化及び逆量子化を行う際に用いる量子化パラメータ情報、イントラ予測の方法を特定するためのイントラ予測モード情報、参照画像フレームの参照順を特定するためのフレーム順序情報、などが含まれると更によい。また、エントロピー復号化器２２４は、少なくとも生成した量子化後情報を逆量子化器２２５に通知する機能を有すると共に、少なくとも生成した動きベクトル情報をＭＣ器２０６に通知する機能を有する。
逆量子化器２２５は、エントロピー復号化器２２４から量子化後情報を取得し、その取得した量子化後情報に対して所定の逆量子化を行うことで、逆量子化後の残差ＤＣＴ係数情報である逆量子化後情報を生成する機能を有する。逆量子化器２２５は、生成した逆量子化後情報を逆多重調和局所直交変換器２２６に供給する。
逆多重調和局所直交変換器２２６は、逆量子化器２２５から逆量子化後情報を取得し、その取得した逆量子化後情報に対して、所定の逆多重調和局所直交変換を行うことで、逆量子化後の残差ＤＣＴ係数情報から復号して得られた復号ＤＣＴ係数情報を生成する。逆多重調和局所直交変換器２２６は、生成した復号ＤＣＴ係数情報を逆直交変換器２０４に供給する。
逆直交変換器２０４は、逆多重調和局所直交変換器２２６から復号ＤＣＴ係数情報を取得し、その取得した復号ＤＣＴ係数情報に対して逆直交変換を行うことで復号差分画像フレームを生成する機能を有する。逆直交変換器２０４は、生成した復号差分画像フレームを、イントラ予測器２０８及びデブロッキングフィルタ２０９に供給する。ここで、逆直交変換器２０４が生成した復号差分画像フレームに対して、スイッチ２０７によって選択されたイントラ予測器２０８もしくはＭＣ器２０６が生成する予測画像フレームを加算器２０５によって合成して復号画像フレームを生成した後に、イントラ予測器２０８及びデブロッキングフィルタ２０９に供給するような構成であることが望ましい。本実施の形態では、加算器２０５により生成された復号画像フレームがイントラ予測器２０８及びデブロッキングフィルタ２０９に供給されるものとして話を進める。
ＭＣ（動き補償）器２０６は、エントロピー復号化器２２４から動きベクトル情報を取得し、その取得した動きベクトル情報を生成した際に利用した参照画像フレームと同等の参照画像フレームを構成するように復号及び格納された参照画像フレームをフレームメモリ２１０から取得する機能を有する。また、ＭＣ器２０６は、取得した動きベクトル情報、参照画像フレームから、予測画像フレームを生成し、スイッチ２０７の端子ｂ側に出力する機能を有する。
スイッチ２０７は、イントラ予測器２０８及びＭＣ器２０６がそれぞれ生成する予測画像フレームを符号化ビットストリームから得られるピクチャの符号化モードに応じて切り替える機能を有する。ここで、ピクチャの符号化モードがイントラ符号化である場合は、スイッチ２０７を端子ａに切り替える。ピクチャの符号化モードがイントラ符号化ではない場合は、スイッチ２０７を端子ｂに切り替える。
イントラ予測器２０８は、逆直交変換器２０４が生成した復号差分画像フレーム、スイッチ２０７によって選択されたイントラ予測器２０８もしくはＭＣ器２０６が生成する予測画像フレームから合成した復号画像フレームを取得し、取得した復号画像フレーム内において、まだ符号化が完了していないブロックに対し、符号化が完了した領域の復号画像を予測に利用してイントラ予測を行う機能を有する。その際、イントラ予測の方法を特定するためのイントラ予測モード情報を取得するために、符号化ビットストリームからエントロピー復号化器２２４によって多重化分離及びエントロピー復号処理によって得られるイントラ予測モード情報を取得するような機能を備えると更によい。
また、イントラブロックに対する予測処理や、スケーラブル符号化などのような下位階層の復号画像情報を利用してイントラ予測処理を行う場合には、フレームメモリ２１０から現在復号化対象となっている動画像フレームを復号化するために必要な参照画像フレームを取得する機能を有しても構わない。この参照画像フレームは、スケーラブル符号化のような場合では、既に復号化が完了した階層の復号画像フレームであることも考えられる。イントラ予測によって得られた予測画像フレームを、スイッチ２０７の端子ａ側に出力する機能を有する。
デブロッキングフィルタ２０９は、逆直交変換器２０４が生成した復号差分画像フレーム、スイッチ２０７によって選択されたイントラ予測器２０８もしくはＭＣ器２０６が生成する予測画像フレームから合成した復号画像フレームを取得し、取得した復号画像フレームに対して所定のデブロック処理を行うことで、デブロック処理後の復号画像フレームを生成する機能を有する。
ここで、所定のデブロック処理は、現在復号化対象となっているフレームやブロックの符号化モード、量子化パラメータの状態、周囲の復号化済みブロック内の画像情報の状態などに応じて、デブロック処理のオン・オフやフィルタ処理の強度を切り替えられる構成であるとよい。また、多重調和局所直交変換器１２１において正しく変換処理が行われた場合には、一般にデブロック処理の必要がないと判定され、デブロック処理を行わずに単に全帯域通過フィルタとして機能するように構成されるとよい。デブロッキングフィルタ２０９は、生成したデブロック処理後の復号画像フレームを参照画像フレームとして利用できるようにするために、フレームメモリ２１０に通知する機能を有する。
フレームメモリ２１０は、デブロッキングフィルタ２０９からデブロック後の画像フレームを参照画像フレームとして取得及び蓄積する機能を有する。また、必要に応じてＭＣ器２０６、イントラ予測器２０８に参照画像フレームを通知する機能を有する。ここで、フレームメモリ２１０は、少なくとも１フレーム以上の参照画像フレームを蓄積し、各構成要素の要求に応じて必要な参照画像フレームを通知できることが望ましい。また、復号画像フレームの表示タイミングに応じて、表示に必要な画像フレームを出力符号２１１として外部の出力表示器に通知する機能を有することが望ましい。
次に、図３に示した本発明の復号化装置の一実施の形態の動作を図４のフローチャートに従って説明する。まず、入力受信器２２２は、入力符号２２１として所定の伝送路もしくは所定の記録媒体などから所定のパケット情報を順次取得し、符号化ビットストリームを再構成する。その後、符号化ビットストリームを多重化分離器２２３に通知する。多重化分離器２２３は、入力受信器２２２によって再構成された符号化ビットストリームを取得し、取得した符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行い（ステップＳ３１）、多重化分離後の情報をエントロピー復号化器２２４に供給する。
エントロピー復号化器２２４は、多重化分離後の情報を取得し、所定のエントロピー復号化を行うことで、量子化後情報及び動きベクトル情報、及びその他の所定の構文構造を構成するために必要なパラメータ情報などを生成する（ステップＳ３２）。その後、エントロピー復号化器２２４は、少なくとも量子化後情報を逆量子化器２２５に供給すると共に、動きベクトル情報をＭＣ器２０６に供給する。
逆量子化器２２５は、エントロピー復号化器２２４から量子化後情報を取得し、取得した量子化後情報に対して所定の逆量子化を行うことで、逆量子化後の残差ＤＣＴ係数情報である逆量子化後情報を生成し（ステップＳ３３）、生成した逆量子化後情報を逆多重調和局所直交変換器２２６に供給する。
その後、イントラ復号化か否かを判定する（ステップＳ３４）。イントラ復号化であると判定した場合には、イントラ予測処理を行う（ステップＳ３５）。イントラ予測器２０８によりイントラ予測によって得られた予測画像フレームは、スイッチ２０７の端子ａ側に供給される。また、スイッチ２０７を端子ａ側に切り替える。その後ステップＳ３７に進む。
一方、ステップＳ３４でイントラ復号化ではないと判定した場合には、ＭＣ器２０６が、エントロピー復号化器２２４から動きベクトル情報を取得すると共に、動きベクトル情報を生成した際に利用した参照画像フレームと同等の参照画像フレームを構成するように復号及び格納された参照画像フレームをフレームメモリ２１０から取得し、取得したこれら動きベクトル情報と参照画像フレームから、動き補償を行う（ステップＳ３６）。これにより、ＭＣ器２０６により予測画像フレームが生成され、スイッチ２０７の端子ｂ側に供給される。また、スイッチ２０７を端子ｂ側に切り替える。その後ステップＳ３７に進む。
次に、逆多重調和局所直交変換器２２６は、逆量子化器２２５から逆量子化後情報を取得し、その逆量子化後情報に対して、所定の逆多重調和局所直交変換を行い（ステップＳ３７）、これにより逆量子化後の残差ＤＣＴ係数情報から復号して得られた復号ＤＣＴ係数情報を生成し、生成した復号ＤＣＴ係数情報を逆直交変換器２０４に供給する。
逆直交変換器２０４は、逆多重調和局所直交変換器２２６から復号ＤＣＴ係数情報を取得し、その復号ＤＣＴ係数情報に対して逆直交変換を行い（ステップＳ３８）、これにより復号差分画像フレームを生成し、生成した復号差分画像フレームを、イントラ予測器２０８及びデブロッキングフィルタ２０９に供給する。
ここで、図３に示すように、逆直交変換器２０４が生成した復号差分画像フレームと、スイッチ２０７によって選択されたイントラ予測器２０８もしくはＭＣ器２０６が生成する予測画像フレームとを加算器２０５で合成して復号画像フレームを生成した後に、イントラ予測器２０８及びデブロッキングフィルタ２０９に供給するような構成であることが望ましい。
デブロッキングフィルタ２０９は、逆直交変換器２０４が生成した復号差分画像フレームと、スイッチ２０７によって選択されたイントラ予測器２０８もしくはＭＣ器２０６が生成する予測画像フレームとを合成した復号画像フレームを加算器２０５から取得し、その復号画像フレームに対して所定のデブロック処理を行い（ステップＳ３９）、これによりデブロック処理後の復号画像フレームを生成する。
ここで、所定のデブロック処理は、現在復号化対象となっているフレームやブロックの符号化モード、量子化パラメータの状態、周囲の復号化済みブロック内の画像情報の状態などに応じて、デブロック処理のオン・オフやフィルタ処理の強度を切り替えられる構成であるとよい。また、多重調和局所直交変換器１２１において正しく変換処理が行われた場合には、一般にデブロック処理の必要がないと判定され、デブロック処理を行わずに単に全帯域通過フィルタとして機能するように構成されるとよい。デブロッキングフィルタ２０９は、生成したデブロック処理後の復号画像フレームを参照画像フレームとして利用できるようにするために、フレームメモリ２１０に供給する。
フレームメモリ２１０は、デブロッキングフィルタ２０９からデブロック後の画像フレームを参照画像フレームとして取得して蓄積する。また、フレームメモリ２１０は、必要に応じて蓄積した参照画像フレームが読み出され、ＭＣ器２０６及びイントラ予測器２０８に供給する。ここで、フレームメモリ２１０は、少なくとも１フレーム以上の参照画像フレームを蓄積し、各構成要素の要求に応じて必要な参照画像フレームを供給できることが望ましい。また、フレームメモリ２１０は、復号画像フレームの表示タイミングに応じて復号画像フレームを出力する（ステップＳ４０）。表示に必要な画像フレームは、出力符号２１１として外部の出力表示器に出力される。
その後、更に復号化対象となる符号化ビットストリームが存在するか否か判定される（ステップＳ４１）。復号化の必要がある場合には、ステップＳ３１に戻ることで再びステップＳ３１以降の復号化処理を継続し、復号化対象となる符号化ビットストリームが存在しないときは復号化の必要がないものとして一連の復号化処理を終了する。
以上のような構成に基づいて動画像フレームに対する符号化・復号化処理を行うことで、本実施の形態では符号化対象となる動画像フレーム内のブロック領域に対して直交変換を行う際に境界部分の不連続性を相殺し、境界部分における波形の滑らかさを向上させるような近似波形をブロック間の境界条件から特定できる。その後、元の直交変換係数との差分から残差直交変換係数を生成できる。本実施の形態は、このような残差直交変換係数を生成することで、従来法で問題となっていた不必要な高周波数成分の発生を抑制できる。
また、生成した残差直交変換係数を、従来の直交変換係数の代わりに符号化対象として所定の量子化及び所定のエントロピー符号化を行うことで、従来の動画像符号化における符号化効率を改善できる。
次に、本発明の符号化装置を実現するための他の実施の形態として、図５及び図６を用いて以下に説明する。図５は本発明になる動画像符号化装置の他の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。ところで、一般に、動き推定・動き補償の予測精度が十分高くない場合には、フレーム内の隣接ブロック間において必ずしも連続性が保たれていない予測画像フレームが生成される。この予測画像フレームと符号化対象となっている原画像フレームとの差分から残差成分を含む差分画像フレームを生成するが、この差分画像フレームにおいても隣接ブロック間において必ずしも連続性が保たれるとは限らず、ブロック境界で不連続な状態となる場合がある。
このような差分画像フレームに対して従来の多重調和局所直交変換手法を適用すると、本来ブロック間の不連続な状態を保つように符号化を行う必要があるにもかかわらず、ブロック間の相関が高く、連続性が保たれていることを想定して符号化処理を行うため、自然画像の場合と比較して十分な符号化効率が得られないことがある。また、符号化時にブロック間の不連続性を再現するために必要な符号量を量子化などの処理によって削減してしまった場合、復号化側ではブロック間の連続性を想定して復号してしまうため、ブロック間の不連続性を再現することができず、動画像復号化の動き補償予測によって、この影響が誤差として伝播するという問題が生じる。
このような問題を解決するために、図５に示す実施の形態では図１に示した符号化装置に対して、少なくとも境界条件解析器１３１と境界条件判定器１３２を更に追加した点に特徴がある。図５において、直交変換器１０３は、直交変換後の係数情報を多重調和局所直交変換器１２１に供給する代わりに、境界条件解析器１３１に供給する機能を有する。ここで、直交変換後の係数情報は、ＤＣＴ係数情報であるものとする。これ以外の機能は図１の構成の場合と同様であるため説明を省略する。
境界条件解析器１３１は、直交変換器１０３から直交変換後の係数情報、ここではＤＣＴ係数情報を取得する機能を有する。また、境界条件解析器１３１は、本発明で用いるＭＣ処理もしくはイントラ予測処理に基づいて生成される動画像の予測画像フレームのように、ブロック間において必ずしも連続性が保たれないような場合に対して、符号化対象となっているブロックと隣接する周囲のブロックとの間の画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるかを判定する機能を有すると共に、境界条件の補正が必要であるかを特定するための境界条件補正情報を生成する機能を有する。境界条件解析器１３１が生成した境界条件補正情報は、多重調和局所直交変換器１２１及び境界条件判定器１３２にそれぞれ出力される。
更に、境界条件解析器１３１は、生成した境界条件補正情報を必要に応じてエントロピー符号化器１２３に供給する機能を備えてもよい。このように境界条件補正情報をエントロピー符号化器１２３に供給することで、復号結果からブロック境界の状態の推定が難しい場合であっても、ブロック境界の不連続性を復号側で一意に特定できるような情報を符号化後のビットストリームから得られるようにすることができる。
境界条件解析器１３１が、境界条件の補正が必要であるか否かを判定する際の判定条件に関しては、一般にブロックの境界条件であるブロック境界における画像信号の傾きに注目し、符号化対象となっているブロック間の画像信号の傾きと周囲のブロック間の画像信号の傾きとを比較して、画像信号の傾きの変化が所定の閾値を超えた場合には画像信号の傾きがゼロであるものとし、画像信号の傾きの変化が所定の閾値以内である場合には、そのまま符号化対象となっているブロック間の画像信号の傾きを利用して、後段の多重調和局所直交変換器１２１の処理を行うようにするとよい。
より具体的に説明するために、図７〜図１１で示されるような処理対象に対して符号化対象となっている値のブロックの境界条件の解析処理及び多重調和局所直交変換処理を行うことを考える。図７〜図１１では、符号化対象となっている動画像フレームを所定のブロックサイズ、ここでは例として水平方向４画素、垂直方向４画素（４ｘ４）のブロックサイズ毎に分割し、各ブロックに対して直交変換処理、ここではＤＣＴ処理を行うことで、ブロック毎にＤＣＴ係数情報が得られているものとする。
図７は、一例としての４ｘ４のブロックに対するＤＣＴによって生成される各ＤＣＴ係数情報の位置関係及びブロック配置を表すための概念図である。ここで、現在処理対象となっているブロックは、図７の中央のブロック（左から２番目、上から２番目に相当）６００であるものとする。また各ブロックは、４ｘ４のＤＣＴ係数情報によって構成されている。各ブロックの白丸は、ブロック全体のＤＣ成分に相当するＤＣＴ係数情報である。
横方向の黒丸は、ブロックの縦方向のＤＣ成分を横方向にＤＣＴした成分に相当するＤＣＴ係数情報である。縦方向の黒丸は、ブロックの横方向のＤＣ成分を縦方向にＤＣＴした成分に相当するＤＣＴ係数情報である。各ブロックの斜線部分は、残りの高周波数成分に相当するＤＣＴ係数情報である。
図８は、図７における中央の処理対象ブロック６００において、ブロックの斜線部である高周波数成分のＤＣＴ係数情報に対して横方向に多重調和局所直交変換処理を行う過程を示すための概念図である。ここでは、処理対象である斜線部の１行目に相当するＤＣＴ係数情報に対して多重調和局所直交変換処理を行う過程を示す。前述した数９で示した式が境界条件である画像信号の傾きのＤＣＴ係数情報は、ＤＣＴ係数情報から近似的に求めることができる。よって、図８のａ及びｂのＤＣＴ係数情報を利用して左側の境界条件である画像信号の傾きのＤＣＴ係数情報を求める。同様に右側の境界条件をａ及びｃのＤＣＴ係数情報を利用して求める。
その後、（１）式を利用して斜線部の１行目に相当するＤＣＴ係数情報の推定信号である近似ＤＣＴ係数情報を求める。同様に２行目以降に対しても、２行目以降のそれぞれに対応するａ及びｂ、そしてａ及びｃの位置にあるＤＣＴ係数情報を利用して２行目以降の近似ＤＣＴ係数情報を求める。
図９は、図８と同様の処理を縦方向に行う過程を示すための概念図である。処理自体は、横方向に行っていた処理を同様に縦方向に行うことで縦方向の近似ＤＣＴ係数情報を求めることができるため、ここでは説明を省略する。
図１０は、ブロックの横方向のＤＣ成分を縦方向にＤＣＴした成分に相当するＤＣＴ係数情報を多重調和局所直交変換の処理対象とした場合の概念図である。図１０の処理対象に対する処理は、各ブロック全体のＤＣ成分であるＤＣＴ係数情報を利用して境界条件を近似的に求めるようにするとよい。ここでは、Ａ及びＢのＤＣＴ係数情報を利用して上側の境界条件である画像信号の傾きのＤＣＴ係数情報を求める。同様に下側の境界条件をＡ及びＣのＤＣＴ係数情報を利用して求める。その後、（１）式を利用して同様に処理対象になっている領域の近似ＤＣＴ係数情報を求める。
図１１は、図１０と同様の処理を横方向に行う過程を示すための概念図である。図１０の縦方向に行う処理を同様に横方向に行うことで近似ＤＣＴ係数情報を求めることができるため、ここでは説明を省略する。
図１２は、図７と同様に一例として４ｘ４ＤＣＴによって生成される各ＤＣＴ係数情報の位置関係及びブロック配置を表すための概念図である。図１２において、各ブロックの白丸は、ブロック全体のＤＣ成分に相当するＤＣＴ係数情報である。横方向の黒丸は、ブロックの縦方向のＤＣ成分を横方向にＤＣＴした成分に相当するＤＣＴ係数情報である。縦方向の黒丸は、ブロックの横方向のＤＣ成分を縦方向にＤＣＴした成分に相当するＤＣＴ係数情報である。各ブロックの斜線部分は、残りの高周波数成分に相当するＤＣＴ係数情報である。
ここで、現在処理対象となっているブロックは、図１３の中央のブロック（左から３番目、上から３番目に相当）６１０であるものとする。図１３〜図１６では、符号化対象となっている動画像フレームを所定のブロックサイズ、ここでは例として４ｘ４のブロックサイズ毎に分割し、各ブロックに対して直交変換処理、ここではＤＣＴ処理を行うことで、ブロック毎にＤＣＴ係数情報が得られているものとする。
以上のような条件の下で、図３４に示したブロック間境界であるΓ（３）の境界条件の解析処理について考える。通常は図８のように隣接するブロックに注目するだけであるが、ここでは図１３に示すように、符号化対象となっているブロック６１０を図３４に示した基準ブロックΩ（０，０）であるものとして左側２ブロックについて注目している。図１３の係数情報Ａは符号化対象となっているブロックΩ（０，０）全体のＤＣ成分Ｆ０，０ （０，０）である。また、係数情報Ｂは符号化対象ブロックから１つ左のブロックΩ（−１，０）全体のＤＣ成分Ｆ０，０ （−１，０）、係数情報Ｄは符号化対象ブロックから２つ左のブロックΩ（−２，０）全体のＤＣ成分Ｆ０，０ （−２，０）である。
前述した数９の式が示すように、ＤＣＴ係数情報Ｆｋ１，ｋ２から近似的に境界条件である傾きＧｋ （３）を求めることができることから、Ω（０，０）におけるＧ０ （３）と、Ω（−１，０）におけるＧ０ （３）とを係数情報Ａ，係数情報Ｂ、係数情報Ｄから求める。その後、Ω（０，０）におけるＧ０ （３）と、Ω（−１，０）におけるＧ０ （３）とを比較し、画像信号の傾きの変化が所定の閾値を超えた場合にはΓ（３）の境界が不連続であると判定すると共に、境界条件補正情報を取得することによって境界部分の不連続性を特定し、画像信号の傾きをゼロとすべきことを特定できる情報を生成する。
画像信号の傾きの変化が所定の閾値以内である場合には、そのまま符号化対象となっているブロック間の画像信号の傾きを利用して、後段の多重調和局所直交変換器１２１の処理を行うようにするとよい。境界条件補正情報としては、境界毎に連続／不連続を０／１などのフラグ情報を生成するように構成することが望ましい。以上のような解析処理を右側の境界のΓ（４），上側の境界のΓ（１），下側の境界のΓ（２）に対しても同様に行うことでブロックΩ（０，０）の境界条件の解析処理を進めることができる。
ここで、解析処理を簡単にするためにＧ０のみを利用して境界の不連続性を判定しているが、更に必要に応じて図１３の係数情報ａ〜ｅのようなＦ０，ｓ （ｔ，０）｛ｓ＝１，２，・・・，Ｎ−１， ｔ＝−２，−１，０，１，２｝から求められるＧｋ｛ｋ＝１，２，・・・，Ｎ−１｝を利用してブロックΩ（０，０）境界の不連続性を判定するような構成であっても構わない。これは、図１４〜図１６にも同様に適用することができる。
また、図５に示す境界条件解析器１３１は、境界条件の解析処理を行う際に、復号化時においてより正確に境界条件の特定及び境界の不連続性の判定ができるようにするために、量子化器１０４が量子化処理を行う際に利用する固定もしくは所定の符号量制御に応じて変動する量子化パラメータを取得し、この量子化パラメータに基づいて量子化・逆量子化後のＤＣＴ係数情報を推定した上で、符号化対象となっているブロックと隣接する周囲のブロックとの間の画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるかを判定する機能を有すると更によい。
図５の構成における多重調和局所直交変換器１２１は、直交変換器１０３、もしくは境界条件解析器１３１を経由して直交変換後の係数情報（ここではＤＣＴ係数情報）を取得する機能と、境界条件解析器１３１から境界条件補正情報を取得する機能と、取得した境界条件補正情報に基づいて各ブロックの境界条件である画像信号の傾きを制御すると共に、各ブロックの境界条件に基づいてポアソン方程式を解析的に解くことでブロック内の近似直交変換係数情報（ここでは近似ＤＣＴ係数情報）を求める機能と、取得したＤＣＴ係数情報と、求めた近似ＤＣＴ係数情報との差分から残差ＤＣＴ係数情報を生成する機能と、生成した残差ＤＣＴ係数情報を量子化器１０４に通知する機能とを有する。
ここで、取得した境界条件補正情報に基づいた画像信号の傾き制御は、取得した境界条件補正情報から境界部分の不連続性を特定し、注目する境界部分が不連続である場合には画像信号の傾きを補正する。画像信号の傾きの補正は、通常は傾きをゼロとするように補正することが望ましい。また、全ての境界部分が不連続であった場合には、多重調和局所直交変換処理を行わず、取得したＤＣＴ係数情報をそのまま量子化器１０４に通知する機能を有すると更によい構成となる。
また、図５の構成における多重調和局所直交変換器１２１は、ポアソン方程式を満たすような符号化対象となっている所定の矩形領域内の推定信号を直交変換する（ここではＤＣＴを行う）ことで得られる近似ＤＣＴ係数情報を、直交変換後のＤＣＴ係数情報を利用して生成する際に、直交変換後のＤＣＴ係数情報に対して量子化で用いる量子化パラメータを取得し、この量子化パラメータに基づいて量子化後のＤＣＴ係数情報を推定し、この推定結果に基づいて近似ＤＣＴ係数情報を生成するような機能を有すると更によい構成となる。
図５の構成における量子化器１０４は、量子化時に利用する量子化パラメータを境界条件解析器１３１、多重調和局所直交変換器１２１に通知する機能を有すると更によい構成となる。これ以外の機能は図１の構成の場合と同様であるため説明を省略する。また、図５の構成における逆量子化器１０５は、生成した逆量子化後情報を境界条件判定器１３２に通知する機能を有する。これ以外の機能は図１の構成の場合と同様であるため説明を省略する。
境界条件判定器１３２は、境界条件解析器１３１から境界条件補正情報を取得する機能と、逆量子化器１０５から逆量子化後情報を取得する機能と、境界条件補正情報が取得できる場合（有効な場合）には、取得した境界条件補正情報を境界条件判定情報として逆多重調和局所直交変換器１２２に通知する機能と、境界条件補正情報が取得できない場合（有効でない場合）には、取得した逆量子化後情報を利用して復号化対象となっているブロックと隣接する周囲のブロックとの間の画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるかを判定する機能とを有する。
また、境界条件判定器１３２は、境界条件の補正が必要であるかを特定するための境界条件補正情報を生成し、境界条件判定情報として逆多重調和局所直交変換器１２２に通知する機能を有する。ここで、境界条件判定情報は取得した逆量子化情報、つまり、逆量子化後の残差ＤＣＴ係数情報におけるＤＣ成分を利用してＧ０に相当する情報を生成し、ブロック間の不連続性の判定を行って境界条件判定情報を生成することが望ましい。このような不連続性の判定に基づいて境界条件判定情報を生成するような機能を有すると更によい構成となる。更に、境界条件判定器１３２は、取得した逆量子化後情報を逆多重調和局所直交変換器１２２に通知する機能を有する。
図５の構成における逆多重調和局所直交変換器１２２は、境界条件判定器１３２から境界条件判定情報及び逆量子化後情報を取得する機能を有する。ここで、取得した境界条件判定情報に基づいた画像信号の傾き制御は、取得した境界条件判定情報から境界部分の不連続性を特定し、注目する境界部分が不連続である場合には画像信号の傾きを補正する。画像信号の傾きの補正は、通常は傾きをゼロとするように補正することが望ましい。これ以外の機能は図１の構成の場合と同様であるため説明を省略する。
図５の構成におけるエントロピー符号化器１２３は、境界条件解析器１３１から必要に応じて通知された境界条件補正情報を取得する機能を備えてもよい。このように境界条件補正情報をエントロピー符号化器１２３が取得することで、復号結果からブロック境界の状態の推定が難しい場合であってもブロック境界の不連続性を復号側で一意に特定できるような情報を所定の構文構造に基づいて符号化後のビットストリームに組み入れることができる。これ以外の機能は図１の構成の場合と同様であるため説明を省略する。
次に、図５に示す本発明の符号化装置の他の実施の形態の動作を、図６のフローチャートに従って説明する。まず、図５の符号化装置の入力符号１０１として、符号化対象となる画像フレームを準備し（ステップＳ７１）、続いて、イントラ符号化か否かを判定する（ステップＳ７２）。イントラ符号化である場合には、イントラ予測器１１０によりイントラ予測処理を行う（ステップＳ７３）。イントラ予測によって得られた予測画像フレームは、図５のスイッチ１１３の端子ａ側に出力される。また、スイッチ１１３を端子ａ側に切り替える。その後ステップＳ７６に進む。
イントラ符号化ではない場合には、図５のＭＥ器１１１が現在符号化対象となっている動画像フレームと、フレームメモリ１０９に格納されている所定の参照画像フレームを取得し、動き推定を行う（ステップＳ７４）。この動き推定処理によって生成された動きベクトル情報は、ＭＣ器１１２に供給されると共に、エントロピー符号化器１２３に供給されてエントロピー符号化される。
ＭＣ器１１２は、ＭＥ器１１１が動き推定処理によって生成した動きベクトル情報を取得すると共に、ＭＥ器１１１が動きベクトル情報を生成した際に利用した参照画像フレームをフレームメモリ１０９から取得し、これら動きベクトル情報と参照画像フレームとから動き補償を行って、予測画像フレームを生成する（ステップＳ７５）。この予測画像フレームは、スイッチ１１３の端子ｂ側に出力される。また、スイッチ１１３は端子ｂ側に切り替えられ、その後ステップＳ７６に進む。
図５の直交変換器１０３は、入力符号１０１として得られる動画像フレームと、スイッチ１１３の端子ａと接続されたイントラ予測器１１０もしくはスイッチ１１３の端子ｂと接続されたＭＣ器１１２から得られる予測画像フレームとの差分画像フレームを減算器１０２から取得し、その差分画像フレームに対して所定の直交変換を行う（ステップＳ７６）。直交変換器１０３は、直交変換後の係数情報を境界条件解析器１３１に供給する。ここで直交変換後の係数情報は、ＤＣＴ係数情報であるものとする。
境界条件解析器１３１は、直交変換後の係数情報、ここではＤＣＴ係数情報を直交変換器１０３から取得し、そのＤＣＴ係数情報に基づいて境界条件の解析を行い（ステップＳ７７）、境界条件補正情報を生成する。ここで、境界条件の解析を行う際に、量子化器１０４が利用する量子化パラメータを取得し、この量子化パラメータに基づいて直交変換後の係数情報（ここではＤＣＴ係数情報）に対して量子化・逆量子化を行った後のＤＣＴ係数情報を推定し、この推定されたＤＣＴ係数情報に基づいて境界条件の解析を行うようにしてもよい。
生成された境界条件補正情報は、多重調和局所直交変換器１２１及び境界条件判定器１３２に供給される。また、必要に応じて境界条件補正情報はエントロピー符号化器１２３に供給されるようにしても構わない。また、境界条件解析器１３１は、取得した直交変換後の係数情報（ここではＤＣＴ係数情報）を多重調和局所直交変換器１２１に通知する機能を有する。
多重調和局所直交変換器１２１は、境界条件解析器１３１から直交変換後の係数情報（ここではＤＣＴ係数情報）と、境界条件補正情報とを取得し、その境界条件補正情報に基づいて注目するブロックの境界部分の解析を行って境界条件の不連続性を判定し、境界部分が不連続である場合には境界条件の補正を行った後に、多重調和局所直交変換処理を行う（ステップＳ７８）。ここで、多重調和局所直交変換処理を行う際に、量子化器１０４が利用する量子化パラメータを取得し、この量子化パラメータに基づいて直交変換後の係数情報（ここではＤＣＴ係数情報）に対して量子化・逆量子化を行った後のＤＣＴ係数情報を推定し、この推定されたＤＣＴ係数情報に基づいて処理を行うようにしてもよい。生成した残差ＤＣＴ係数情報は量子化器１０４に供給される。
量子化器１０４は、多重調和局所直交変換器１２１から残差ＤＣＴ係数情報を取得し、残差ＤＣＴ係数情報に対して所定の量子化を行うことで、量子化後の残差ＤＣＴ係数情報である量子化後情報を生成する（ステップＳ７９）。生成された量子化後情報は逆量子化器１０５とエントロピー符号化器１２３に供給される。
逆量子化器１０５は、量子化器１０４から量子化後情報を取得し、その量子化後情報に対して所定の逆量子化を行うことで、逆量子化後の残差ＤＣＴ係数情報である逆量子化後情報を生成する（ステップＳ８０）。生成した逆量子化後情報は境界条件判定器１３２に供給される。
境界条件判定器１３２は、逆量子化器１０５から逆量子化後情報を取得すると共に、境界条件解析器１３１から境界条件補正情報を取得し、取得した境界条件補正情報に基づいて境界条件の判定を行う（ステップＳ８１）。ここで、境界条件補正情報が取得できる場合には、取得した境界条件補正情報を境界条件判定情報として逆多重調和局所直交変換器１２２に供給し、境界条件補正情報が取得できない場合には、取得した逆量子化後情報を利用して復号化対象となっているブロックと隣接する周囲のブロックとの間の画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるかを判定する。また、境界条件判定器１３２は、境界条件の補正が必要であるかを特定するための境界条件補正情報を生成し、境界条件判定情報として逆多重調和局所直交変換器１２２に供給すると共に、取得した逆量子化後情報を逆多重調和局所直交変換器１２２に供給する。
逆多重調和局所直交変換器１２２は、境界条件判定器１３２から境界条件判定情報と逆量子化後情報を取得し、それら境界条件判定情報及び逆量子化後情報に基づいて、所定の逆多重調和局所直交変換処理を行う（ステップＳ８２）。これにより、逆多重調和局所直交変換器１２２は、逆量子化後の残差ＤＣＴ係数情報から復号して得られた復号ＤＣＴ係数情報を生成し、その復号ＤＣＴ係数情報を逆直交変換器１０６に供給する。
逆直交変換器１０６は、逆多重調和局所直交変換器１２２から復号ＤＣＴ係数情報を取得し、その復号ＤＣＴ係数情報に対して逆直交変換を行う（ステップＳ８３）。これにより、逆直交変換器１０６は、復号差分画像フレームを生成し、その復号差分画像フレームを加算器１０７を経由してイントラ予測器１１０及びデブロッキングフィルタ１０８に供給する。デブロッキングフィルタ１０８は、逆直交変換器１０６が生成した復号差分画像フレームとスイッチ１１３によって選択されたイントラ予測器１１０もしくはＭＣ器１１２が生成する予測画像フレームとを合成した復号画像フレームを加算器１０７から取得し、必要に応じて取得した復号画像フレームに対して所定のデブロッキング処理を行う（ステップＳ８４）。
ただし、通常デブロック処理の必要がないと判定され、デブロック処理を行わずに単に全帯域通過フィルタとして機能することが多い。デブロッキングフィルタ１０８は、生成したデブロック処理後の復号画像フレームを参照画像フレームとして利用できるようにするためにフレームメモリ１０９に格納する。
エントロピー符号化器１２３は、量子化器１０４から量子化後情報、ＭＥ器１１１から動きベクトル情報を少なくとも取得し、また、必要に応じて境界条件解析器１３１から通知される境界条件補正情報を取得するようにしてもよい。エントロピー符号化器１２３は、少なくとも取得した量子化後情報及び動きベクトル情報に対して、所定のエントロピー符号化を行う（ステップＳ８５）。生成されたエントロピー符号化後情報は、多重化器１２４に供給される。
多重化器１２４は、エントロピー符号化器１２３からエントロピー符号化後情報を取得し、所定の構文構造に基づいて符号化情報の多重化を行うことで、符号化ビットストリームを生成する（ステップＳ８６）。生成された符号化ビットストリームは、出力伝送器１２５へ出力される。出力伝送器１２５は、多重化器１２４から符号化ビットストリームを取得し、所定のパケット化処理に基づいてパケット情報を生成し、出力符号１２６として所定の伝送路や所定の記録媒体などに出力する。
以上のような符号化処理を符号化対象となる動画像フレームに対して順次行うことで本発明の符号化装置は従来の符号化装置よりも符号化効率の良い符号化ビットストリームを出力符号として得ることができる。
次に、本発明の復号化装置の他の実施の形態について、図１７及び図１８を用いて以下に説明する。図１７は本発明になる復号化装置の他の実施の形態のブロック図を示す。同図中、図３と同一構成部分には同一符号を付し、その説明を省略する。図１７において、エントロピー復号化器２２４は、図５の符号化装置のエントロピー符号化器１２３において必要に応じて符号化されて組み込まれた境界条件補正情報を、多重化分離器２２３から取得する多重化分離後の情報から抽出する機能と、取得した境界条件補正情報を境界条件判定器２３１に通知する機能とを有するとよい。これ以外の機能は図３の構成の場合と同様であるため説明を省略する。逆量子化器２２５は、生成した逆量子化後情報を境界条件判定器２３１に通知する機能を有する。これ以外の機能は図３の構成の場合と同様であるため説明を省略する。
境界条件判定器２３１は、エントロピー復号化器２２４から境界条件補正情報を取得する機能と、逆量子化器２２５から逆量子化後情報を取得する機能と、境界条件補正情報が取得できる場合には、取得した境界条件補正情報を境界条件判定情報として逆多重調和局所直交変換器２２６に供給する機能と、境界条件補正情報が取得できない場合には、取得した逆量子化後情報を利用して復号化対象となっているブロックと隣接する周囲のブロックとの間の画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるかを判定する機能とを有する。また、境界条件判定器２３１は、境界条件の補正が必要であるかを特定するための境界条件補正情報を生成し、境界条件判定情報として逆多重調和局所直交変換器２２６に供給する機能を有する。
ここで、境界条件判定情報は、取得した逆量子化情報、つまり、逆量子化後の残差ＤＣＴ係数情報におけるＤＣ成分を利用してＧ０に相当する情報を生成し、ブロック間の不連続性の判定を行って境界条件判定情報を生成することが望ましい。境界条件判定器２３１は、このような不連続性の判定に基づいて境界条件判定情報を生成するような機能を有すると更によい構成となり、また取得した逆量子化後情報を逆多重調和局所直交変換器２２６に通知する機能を有する。
逆多重調和局所直交変換器２２６は、境界条件判定器２３１から境界条件判定情報を取得する機能を有する。これ以外の機能は図３の構成の場合と同様であるため説明を省略する。
次に、図１７に示した本発明の復号化装置の他の実施の形態の動作を図１８のフローチャートに従って説明する。まず、入力受信器２２２は、入力符号として所定の伝送路もしくは所定の記録媒体などから所定のパケット情報を順次取得し、符号化ビットストリームを再構成し、その後、符号化ビットストリームを多重化分離器２２３に供給する。多重化分離器２２３は、入力受信器２２２によって再構成された符号化ビットストリームを取得し、取得した符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行い（ステップＳ７１）、多重化分離後の情報をエントロピー復号化器２２４に供給する。
エントロピー復号化器２２４は、多重化分離後の情報を取得し、所定のエントロピー復号化を行うことで、量子化後情報及び動きベクトル情報、及びその他の所定の構文構造を構成するために必要なパラメータ情報などを生成する（ステップＳ７２）。また、エントロピー復号化器２２４は、必要に応じて多重化分離後の情報から境界条件補正情報を生成するとよい。その後、少なくとも量子化後情報を逆量子化器２２５に供給すると共に、動きベクトル情報をＭＣ器２０６に供給する。また、必要に応じて境界情報補正情報を境界情報判定器２３１に供給するとよい。
逆量子化器２２５は、エントロピー復号化器２２４から取得した量子化後情報に対して所定の逆量子化を行うことで、逆量子化後の残差ＤＣＴ係数情報である逆量子化後情報を生成する（ステップＳ７３）。生成された逆量子化後情報は境界条件判定器２３１に供給される。その後、イントラ復号化か否かを判定する（ステップＳ７４）。
イントラ復号化である場合には、イントラ予測器２０８でイントラ予測処理を行い（ステップＳ７５）、イントラ予測によって得られた予測画像フレームが、スイッチ２０７の端子ａ側に供給される。また、スイッチ２０７を端子ａ側に切り替える。その後ステップＳ７７に進む。
ステップＳ７５でイントラ符号化ではないと判定された場合には、ＭＣ器２０６が、エントロピー復号化器２２４から動きベクトル情報を取得すると共に、取得した動きベクトル情報を生成した際に利用した参照画像フレームと同等の参照画像フレームを構成するように復号及び格納された参照画像フレームをフレームメモリ２１０から取得し、取得したこれら動きベクトル情報及び参照画像フレームから、動き補償を行う（ステップＳ７６）。これにより、ＭＣ器２０６は予測画像フレームを生成し、スイッチ２０７の端子ｂ側に供給する。また、スイッチ２０７を端子ｂ側に切り替える。その後ステップＳ７７に進む。
次に、境界条件判定器２３１は、エントロピー復号化器２２４から境界条件補正情報を取得すると共に、逆量子化器２２５から逆量子化後情報を取得し、取得したこれら境界条件補正情報及び逆量子化後情報に基づいて、境界条件の判定を行う（ステップＳ７７）。境界条件判定器２３１は、境界条件補正情報が取得できる場合には、取得した境界条件補正情報を境界条件判定情報として逆多重調和局所直交変換器２２６に供給し、境界条件補正情報が取得できない場合には、取得した逆量子化後情報を利用して復号化対象となっているブロックと隣接する周囲のブロックとの間の画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるかを判定する。また、境界条件判定器２３１は、境界条件の補正が必要であるかを特定するための境界条件補正情報を生成し、境界条件判定情報として逆多重調和局所直交変換器２２６に供給すると共に、取得した逆量子化後情報を逆多重調和局所直交変換器２２６に供給する。
逆多重調和局所直交変換器２２６は、境界条件判定器２３１から取得した境界条件判定情報及び逆量子化後情報に基づいて、所定の逆多重調和局所直交変換を行うことで、逆量子化後の残差ＤＣＴ係数情報から復号して得られた復号ＤＣＴ係数情報を生成する（ステップＳ７８）。生成した復号ＤＣＴ係数情報は逆直交変換器２０４に供給される。
逆直交変換器２０４は、逆多重調和局所直交変換器２２６から復号ＤＣＴ係数情報を取得し、取得した復号ＤＣＴ係数情報に対して逆直交変換を行うことで復号差分画像フレームを生成する（ステップＳ７９）。生成された復号差分画像フレームは、加算器２０５に供給され、ここでスイッチ２０７によって選択されたイントラ予測器２０８もしくはＭＣ器２０６が生成する予測画像フレームと合成されて、復号画像フレームとして生成される。この復号画像フレームは、イントラ予測器２０８とデブロッキングフィルタ２０９に供給される。
デブロッキングフィルタ２０９は、逆直交変換器２０４が生成した復号差分画像フレームと、スイッチ２０７によって選択されたイントラ予測器２０８もしくはＭＣ器２０６が生成する予測画像フレームとを合成した復号画像フレームを取得し、その復号画像フレームに対して所定のデブロック処理を行うことで、デブロック処理後の復号画像フレームを生成する（ステップＳ８０）。
ここで、所定のデブロック処理は、現在復号化対象となっているフレームやブロックの符号化モード、量子化パラメータの状態、周囲の復号化済みブロック内の画像情報の状態などに応じて、デブロック処理のオン・オフやフィルタ処理の強度を切り替えられる構成であるとよい。また、逆多重調和局所直交変換器２２６において正しく変換処理が行われた場合には、一般にデブロック処理の必要がないと判定され、デブロック処理を行わずに単に全帯域通過フィルタとして機能するように構成されるとよい。デブロッキングフィルタ２０９は、生成したデブロック処理後の復号画像フレームを参照画像フレームとして利用できるようにするためにフレームメモリ２１０に供給して格納する。
フレームメモリ２１０では、デブロッキングフィルタ２０９からデブロック後の画像フレームを参照画像フレームとして取得及び蓄積し、必要に応じてＭＣ器２０６及びイントラ予測器２０８に参照画像フレームを供給する。ここで、フレームメモリ２１０は、少なくとも１フレーム以上の参照画像フレームを蓄積し、各構成要素の要求に応じて必要な参照画像フレームを供給できることが望ましい。また、復号画像フレームの表示タイミングに応じて復号画像フレームを出力する（ステップＳ８１）。フレームメモリ２１０からの復号画像フレームは、表示に必要な画像フレームである出力符号２１１として外部の出力表示器に出力される。
その後、更に復号化対象となる符号化ビットストリームが存在するかどうかを判定する（ステップＳ８２）。復号化対象となる符号化ビットストリームが存在する場合には、ステップＳ７１に戻り、再びステップＳ７１〜Ｓ８２の復号化処理を継続し、復号化対象となる符号化ビットストリームが存在しない場合には、一連の復号化処理を終了する。
以上のような構成に基づいて動画像フレームに対する符号化・復号化処理を行うことで、ブロック間において必ずしも連続性が保たれないような場合に対して、符号化対象となっているブロックの境界条件と、その周囲のブロックの境界条件とを比較し、ブロックの境界条件である画像信号の傾きが小さい方を符号化対象となっているブロックの境界条件として採用し、多重調和局所余弦変換手法を適用する。このような符号化対象ブロックの境界条件判定を行うことで、符号化効率を改善しつつ、正しくブロック間の不連続性を再現し、動画像復号化の動き補償予測によって、この影響が誤差として伝播するという問題を改善することができる。
なお、本発明は、上記図１、図３、図５、図１７が示す符号化装置及び復号化装置の機能を図１９、図２０、図２１、図２２に示すコンピュータである中央処理制御装置１９０３，２００３，２１０３，２２０３に実現させるためのプログラムを含むものである。このプログラムは記録媒体から取り込んでもよいし、通信ネットワークを介して配信されているものを取り込んでもよい。
図１９は本発明になる符号化プログラムにより動作する情報処理装置の一例の構成図を示す。同図において、情報処理装置１９００は、各種の情報を入力するための入力装置１９０１と、各種の情報を出力するための出力装置１９０２と、本発明の符号化プログラムの一実施の形態により動作する中央処理制御装置１９０３と、外部記憶装置１９０４と、中央処理制御装置１９０３による演算処理の際の作業領域など用いる一時記憶装置１９０５と、外部と通信するための通信装置１９０６とが、双方向のバス１９０７により接続された構成とされている。
中央処理制御装置１９０３は、本発明の符号化プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置１９０６により取り込まれ、図１の直交変換器１０３に相当する直交変換手段１９０８、多重調和局所直交変換器１２１に相当する多重調和局所直交変換手段１９０９、量子化器１０４に相当する量子化手段１９１０、逆量子化器１０５に相当する逆量子化手段１９１１、逆多重調和局所直交変換器１２２に相当する逆多重調和局所直交変換手段１９１２、逆直交変換器１０６に相当する逆直交変換手段１９１３、イントラ予測器１１０に相当するイントラ予測手段１９１４、ＭＥ器１１１に相当するＭＥ手段１９１５、ＭＣ器１１２に相当するＭＣ手段１９１６、デブロッキングフィルタ１０８に相当するデブロッキングフィルタ手段１９１７、エントロピー符号化器１２３に相当するエントロピー符号化手段１９１８、多重化器１２４に相当する多重化手段１９１９、出力装置１９０２や通信装置１９０６を制御して出力伝送器１２５に相当する機能を実現するための出力伝送手段１９２０の各機能を少なくとも有し、図１に示した本発明の符号化装置と同様の動作をソフトウェア処理により実行する。
図２０は本発明になる復号化プログラムにより動作する情報処理装置の一例の構成図を示す。同図において、情報処理装置２０００は、各種の情報を入力するための入力装置２００１と、各種の情報を出力するための出力装置２００２と、本発明の復号化プログラムにより動作する中央処理制御装置２００３と、外部記憶装置２００４と、中央処理制御装置２００３による演算処理の際の作業領域など用いる一時記憶装置２００５と、外部と通信するための通信装置２００６とが、双方向のバス２００７により接続された構成とされている。
中央処理制御装置２００３は、本発明の復号化プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置２００６により取り込まれ、図３のエントロピー復号化器２２４に相当するエントロピー復号化手段２００８、逆量子化器２２５に相当する逆量子化手段２００９、逆多重調和局所直交変換器２２６に相当する逆多重調和局所直交変換手段２０１０、逆直交変換器２０４に相当する逆直交変換手段２０１１、イントラ予測器２０８に相当するイントラ予測手段２０１２、デブロッキングフィルタ２０９に相当するデブロッキングフィルタ手段２０１３、ＭＣ器２０６に相当するＭＣ手段２０１４、入力受信器２２２に相当し、入力装置２００１や通信装置２００６を制御して入力受信器２２２に相当する機能を実現するための入力受信手段２０１５、多重化分離器２２３に相当する多重化分離手段２０１６の各機能を少なくとも有し、図３に示した本発明の復号化装置と同様の動作をソフトウェア処理により実行する。
図２１は本発明になる符号化プログラムにより動作する情報処理装置の他の例の構成図を示す。同図中、図１９と同一構成部分には同一符号を付してある。図２１において、情報処理装置２１００は、各種の情報を入力するための入力装置２１０１と、各種の情報を出力するための出力装置２１０２と、本発明の符号化プログラムにより動作する中央処理制御装置２１０３と、外部記憶装置２１０４と、中央処理制御装置２１０３による演算処理の際の作業領域など用いる一時記憶装置２１０５と、外部と通信するための通信装置２１０６とが、双方向のバス２１０７により接続された構成とされている。
中央処理制御装置２１０３は、本発明の符号化プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置２１０６により取り込まれ、図５の直交変換器１０３に相当する直交変換手段１９０８、多重調和局所直交変換器１２１に相当する多重調和局所直交変換手段１９０９、量子化器１０４に相当する量子化手段１９１０、逆量子化器１０５に相当する逆量子化手段１９１１、逆多重調和局所直交変換器１２２に相当する逆多重調和局所直交変換手段１９１２、逆直交変換器１０６に相当する逆直交変換手段１９１３、イントラ予測器１１０に相当するイントラ予測手段１９１４、ＭＥ器１１１に相当するＭＥ手段１９１５、ＭＣ器１１２に相当するＭＣ手段１９１６、デブロッキングフィルタ１０８に相当するデブロッキングフィルタ手段１９１７、エントロピー符号化器１２３に相当するエントロピー符号化手段１９１８、多重化器１２４に相当する多重化手段１９１９、出力装置２１０２や通信装置２１０６を制御して出力伝送器１２５に相当する機能を実現するための出力伝送手段１９２０、更に、境界条件解析器１３１に相当する境界条件解析手段２１０８、境界条件判定器１３２に相当する境界条件判定手段２１０９の各機能を少なくとも有し、図５に示した本発明の符号化装置と同様の動作をソフトウェア処理により実行する。
図２２は本発明になる復号化プログラムにより動作する情報処理装置の他の例の構成図を示す。同図中、図２０と同一構成部分には同一符号を付してある。図２２において、情報処理装置２２００は、各種の情報を入力するための入力装置２２０１と、各種の情報を出力するための出力装置２２０２と、本発明の復号化プログラムにより動作する中央処理制御装置２２０３と、外部記憶装置２２０４と、中央処理制御装置２２０３による演算処理の際の作業領域など用いる一時記憶装置２２０５と、外部と通信するための通信装置２２０６とが、双方向のバス２２０７により接続された構成とされている。
中央処理制御装置２２０３は、本発明の復号化プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置２２０６により取り込まれ、図１７のエントロピー復号化器２２４に相当するエントロピー復号化手段２００８、逆量子化器２２５に相当する逆量子化手段２００９、逆多重調和局所直交変換器２２６に相当する逆多重調和局所直交変換手段２０１０、逆直交変換器２０４に相当する逆直交変換手段２０１１、イントラ予測器２０８に相当するイントラ予測手段２０１２、デブロッキングフィルタ２０９に相当するデブロッキングフィルタ手段２０１３、ＭＣ器２０６に相当するＭＣ手段２０１４、入力受信器２２２に相当し、入力装置２２０１や通信装置２２０６を制御して入力受信器２２２に相当する機能を実現するための入力受信手段２０１５、多重化分離器２２３に相当する多重化分離手段２０１６、更に、境界条件判定器２３１に相当する境界条件判定手段２２０８の各機能を少なくとも有し、図１７に示した本発明の復号化装置と同様の動作をソフトウェア処理により実行する。
次に、本発明の第２の実施の形態について説明する。図２３は本発明になる動画像符号化装置の第２の実施の形態の機能ブロック図を示す。本実施の形態は、図１の実施の形態の動画像符号化装置と比較すると、イントラ予測器１１０及びデブロッキングフィルタ１０８を除いた構成となっている。図２３の動画像符号化装置の各構成要素は、図１に示した実施の形態の動画像符号化装置の対応する構成要素と同様であるため、ここでは説明を省略する。
本実施の形態は、イントラ符号化に特徴があり、不連続で急激な変化を伴う信号成分を含むピクチャに対して通常のイントラ符号化を行うと、必ずしも十分な符号化効率が得られず、また、ＡＶＣによるイントラ予測で予測ブロックの中から符号化対象ブロックに最も近いものを選択する際に、必ずしも良く近似した予測ブロックを選択できるとは限らないために十分な符号化効率が得られないという、前述した課題を解決する実施の形態である。
次に、図２３の動画像符号化装置の動作を図２４のフローチャートに従って説明する。まず、入力符号７０１として、符号化対象となる画像フレームを準備し（ステップＳ７１）、イントラ符号化か否かを判定する（ステップＳ７２）。イントラ符号化である場合には、スイッチ７１５を端子ａ側に切り替えた後ステップＳ７５に進む。
一方、ステップＳ７２でイントラ符号化ではないと判定した場合には、ＭＥ器７１３が現在符号化対象となっている動画像フレームと、フレームメモリ７１２に格納されている所定の参照画像フレームを取得し、動き推定を行う（ステップＳ７３）。また、ＭＣ器７１４は、ＭＥ器７１３が動き推定処理によって生成した動きベクトル情報を取得し、ＭＥ器１１１が動きベクトル情報を生成した際に利用した参照画像フレームをフレームメモリ７１２から取得し、これらに基づいて動き補償を行い（ステップＳ７４）、スイッチ７１５の端子ｂ側に出力する。また、スイッチ７１５を端子ｂ側に切り替える。その後ステップＳ７５に進む。
イントラ符号化ではない場合の動作は、図１の実施の形態と同様であるため、ここでは説明を省略する。以下、イントラ符号化である場合の動作を説明する。直交変換器７０３は、入力符号７０１として得られる画像フレームを取得し、その取得した画像フレームに対して所定の直交変換を行う（ステップＳ７６）。イントラ符号化である場合、スイッチ７１５は端子ａに接続、つまり予測フレームを取得しないように切断されているため、差分フレームではなく入力符号７０１として得られる画像フレームが、直交変換器７０３の入力になることに注意する。直交変換器７０３は、直交変換後の係数情報を境界条件解析器７０４に通知する。ここで直交変換後の係数情報は、ＤＣＴ係数情報であるものとする。
境界条件解析器７０４は、直交変換後の係数情報（ここでは、ＤＣＴ係数情報）を直交変換器７０３から取得し、取得したＤＣＴ係数情報に基づいて境界条件の解析を行い（ステップＳ７６）、境界条件補正情報を生成する。通常は、現在符号化対象となっているブロックの上下左右に隣接するブロックとの間の境界条件についてそれぞれ解析を行い、それぞれの境界毎に必要な境界条件補正情報を生成する。ここで、境界条件の解析を行う際に、量子化器７０６が利用する量子化パラメータを取得し、この量子化パラメータに基づいて直交変換後の係数情報（ここでは、ＤＣＴ係数情報）に対して量子化・逆量子化を行った後のＤＣＴ係数情報を推定し、この推定されたＤＣＴ係数情報に基づいて境界条件の解析を行うようにしてもよい。
境界条件解析器７０４は、生成した境界条件補正情報を、多重調和局所直交変換器７０５と境界条件判定器７０８に通知する。また、必要に応じて生成した境界条件補正情報をエントロピー符号化器７１６に通知するようにしても構わない。また、境界条件解析器７０４は、取得した直交変換後の係数情報（ここでは、ＤＣＴ係数情報）を多重調和局所直交変換器７０５に通知する。
多重調和局所直交変換器７０５は、境界条件解析器７０４から直交変換後の係数情報（ここではＤＣＴ係数情報）と、境界条件補正情報を取得し、取得した境界条件補正情報に基づいて注目するブロックの境界部分の不連続性を判定し、境界部分が不連続である場合には境界条件の補正を行った後に、多重調和局所直交変換処理を行う（ステップＳ７７）。ここで、多重調和局所直交変換処理を行う際に、量子化器７０６が利用する量子化パラメータを取得し、この量子化パラメータに基づいて直交変換後の係数情報（ここでは、ＤＣＴ係数情報）に対して量子化・逆量子化を行った後のＤＣＴ係数情報を推定し、この推定されたＤＣＴ係数情報に基づいて処理を行うようにしてもよい。その後、多重調和局所直交変換器７０５は、多重調和局所直交変換処理により生成した残差ＤＣＴ係数情報を後述する量子化器７０６に通知する。
量子化器７０６は、多重調和局所直交変換器７０５から残差ＤＣＴ係数情報を取得し、取得した残差ＤＣＴ係数情報に対して所定の量子化を行い（ステップＳ７８）、量子化後の残差ＤＣＴ係数情報である量子化後情報を生成する。量子化器７０６は、生成した量子化後情報を逆量子化器７０６とエントロピー符号化器７１６に通知する。
逆量子化器７０６は、量子化器７０６から量子化後情報を取得し、取得した量子化後情報に対して所定の逆量子化を行い（ステップＳ７９）、逆量子化後の残差ＤＣＴ係数情報である逆量子化後情報を生成する。逆量子化器７０６は、生成した逆量子化後情報を境界条件判定器７０８に通知する。
境界条件判定器７０８は、逆量子化器７０６から逆量子化後情報を取得し、境界条件解析器７０４から境界条件補正情報を取得し、取得した境界条件補正情報に基づいて境界条件の判定を行う（ステップＳ８０）。ここで、境界条件判定器７０８は、境界条件補正情報が取得できる場合には、取得した境界条件補正情報を境界条件判定情報として逆多重調和局所直交変換器７０９に通知する。境界条件判定器７０８は、境界条件補正情報が取得できない場合には、取得した逆量子化後情報を利用して復号化対象となっているブロックと隣接する周囲のブロックとの間の画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるかを判定する。
また、境界条件判定器７０８は、境界条件の補正が必要であるかを特定するための境界条件補正情報を生成し、境界条件判定情報として逆多重調和局所直交変換器７０９に通知する。通常は、現在符号化対象となっているブロックの上下左右に隣接するブロックとの間の境界条件についてそれぞれ解析を行い、それぞれの境界毎に必要な境界条件補正情報の生成を行う。境界条件判定器７０８は、取得した逆量子化後情報を逆多重調和局所直交変換器７０９に通知する。
逆多重調和局所直交変換器７０９は、境界条件判定器７０８から境界条件判定情報と逆量子化後情報をそれぞれ取得し、取得した境界条件判定情報及び逆量子化後情報に基づいて、所定の逆多重調和局所直交変換処理を行う（ステップＳ８１）。これにより、逆多重調和局所直交変換器７０９は、逆量子化後の残差ＤＣＴ係数情報から復号して得られた復号ＤＣＴ係数情報を生成し、生成した復号ＤＣＴ係数情報を逆直交変換器７１０に通知する。
逆直交変換器７１０は、逆多重調和局所直交変換器７０９から復号ＤＣＴ係数情報を取得し、取得した復号ＤＣＴ係数情報に対して逆直交変換を行い（ステップＳ８２）、復号画像フレームを生成する。逆直交変換器７１０は、生成した復号画像フレームを、参照画像フレームとして利用できるようにするために加算器７１１を介してフレームメモリ７１２に供給して格納する。
エントロピー符号化器７１６は、イントラ符号化である場合には、量子化器７０６から量子化後情報を少なくとも取得し、また、必要に応じて境界条件解析器７０４から通知される境界条件補正情報を取得するようにしてもよい。エントロピー符号化器７１６は、少なくとも取得した量子化後情報に対して、所定のエントロピー符号化を行い（ステップＳ８３）、生成したエントロピー符号化後情報を多重化器７１７に通知する。
多重化器７１７は、エントロピー符号化器７１６からエントロピー符号化後情報を取得し、所定の構文構造に基づいて符号化情報の多重化を行う（ステップＳ８４）ことで、符号化ビットストリームを生成する。生成した符号化ビットストリームは出力伝送器７１８に通知される。出力伝送器７１８は、多重化器７１７から符号化ビットストリームを取得し、所定のパケット化処理に基づいてパケット情報を生成し、出力符号７１９として所定の伝送路や所定の記録媒体などに出力する。
以上のような符号化処理を符号化対象となる動画像フレームに対して順次行うことで本実施の形態の符号化装置は従来の符号化装置よりもイントラ符号化を行う際に、符号化効率の良い符号化ビットストリームを出力符号として得ることができる。
なお、図２３の動画像符号化装置の上記の説明では、符号化処理をフレーム単位としたが、これに限定されるものではなく、マクロブロック、ブロック、サブブロックといった、フレームより小さい画像単位で行うように構成しても構わない。また、複数のマクロブロックをまとめたスライス単位で行うように構成しても構わない。例えば、ＡＶＣ（Ｈ.２６４）では、マクロブロック（ＭＢ）は横１６画素、縦１６画素（以下、１６×１６等と表記）を扱えるようになっており、このＭＢには複数の種類（ＭＢタイプ）が存在していて、このＭＢタイプに応じて、１６×１６、１６×８、８×１６、及び８×８の各領域に分割して取り扱うことができるようになっている。この各領域を通常はブロックと呼ぶ。更に、ＭＢモードが８×８の場合には、ブロックは複数の種類（Ｓｕｂ ＭＢタイプ）が存在することがあり、Ｓｕｂ ＭＢタイプに応じて８×８、８×４、４×８、及び４×４の各領域に分割して取り扱うことができるようになっている。この各領域を通常はサブブロックと呼ぶ。このようなＭＢモード、Ｓｕｂ ＭＢモードを駆使して様々な分割方法を利用して動き推定及び動き補償を行うことで、従来のＭＰＥＧ−１、−２、−４（ＡＶＣでないもの）よりも、推定精度を向上させることができるようになっている。また、整数ＤＣＴを行う際の処理単位は、４×４を単位としている。
そこで、次に、図２３の動画像符号化装置の符号化処理を、マクロブロック単位で行い、直交変換である整数ＤＣＴや、多重調和局所直交変換等を行う際の処理単位は４×４のサブブロック単位で行う場合を例として、動作を図２４のフローチャートと共に説明する。まず、入力符号７０１として、符号化対象となる画像フレームを準備する（ステップＳ７１）。ここで、直交変換である整数ＤＣＴの処理単位を４×４のサブブロック単位で行うため、まず符号化対象となるマクロブロックを画像フレームの左上のマクロブロックとする。符号化処理の順序を、ここではラスタ順、つまり左上から一つずつ右のマクロブロックに移動し、その行の右端に達した際は、次の行の左端のマクロブロックに移動しながら順次処理を行い、右下のマクロブロックに到達するまで移動するような順序であるものとして話を進める。また、マクロブロック内のブロックの処理順序は、左上、右上、左下、右下の順であり、ブロック内のサブブロックの処理順序は、左上、右上、左下、右下の順であるものとして話を進める。このような符号化対象となるマクロブロックを、直交変換器７０３に通知する。
次に、現在符号化対象となっているマクロブロックは、イントラ符号化か（ステップＳ７２）を判定する。イントラ符号化である場合には、スイッチ７１５を端子ａ側に切り替える。その後ステップＳ７５に進む。イントラ符号化ではない場合の動作は、図１の実施の形態と同様であるため、ここでは説明を省略する。以下、イントラ符号化である場合の動作を説明する。
直交変換器７０３は、入力符号７０１として得られる画像フレームの現在符号化対象となっているマクロブロックを取得する。イントラ符号化である場合、スイッチ７１５は端子ａに接続、つまり予測ブロックを取得しないように切断されているため、差分ブロックではなく入力符号７０１として得られる画像フレームの現在符号化対象となっているマクロブロックが、直交変換器７０３の入力になることに注意する。取得したマクロブロックに対して４×４のサブブロック毎に所定の直交変換を行う（ステップＳ７５）。直交変換器７０３は、直交変換後の係数情報を境界条件解析器７０４に通知する。ここで直交変換後の係数情報は、ＤＣＴ係数情報であるものとする。
境界条件解析器７０４は、符号化対象となっているマクロブロック内の直交変換後の係数情報、ここではＤＣＴ係数情報を直交変換器７０３から取得する。また、ここでは予め直交変換済みのマクロブロック情報を保持していることが望ましい。更に、符号化対象となっているサブブロックの上側及び左側に隣接する直交変換済みのサブブロックの情報を保持し、境界条件の解析に利用できるようにすることが望ましい。また、更に詳しい不連続性の解析が必要な場合には、符号化対象となっているサブブロックの上方に近接する２つの直交変換済みのサブブロックと、左方に近接する２つの直交変換済みのサブブロックの情報を保持し、境界条件の解析に利用できるようにすることで、より良い構成となる。境界条件解析器７０４は、取得したＤＣＴ係数情報に基づいて境界条件の解析を行い（ステップＳ７６）、境界条件補正情報を生成する。ここで、境界条件の解析を行う際に、量子化器７０６が利用する量子化パラメータを取得し、この量子化パラメータに基づいて直交変換後の係数情報（ここではＤＣＴ係数情報）に対して量子化・逆量子化を行った後のＤＣＴ係数情報を推定し、この推定されたＤＣＴ係数情報に基づいて境界条件の解析を行うようにしてもよい。
また、本発明のイントラ符号化において、各マクロブロックの符号化順が、左上の1行目のマクロブロックから横方向に順番に符号化し、順次２行目、３行目と符号化を進めていくラスタ順によって符号化を行う場合には、符号化済みの隣接サブブロックのみに対して境界条件の解析を行い、符号化前の隣接サブブロックとの境界条件ついては、解析を行わずに境界条件の補正を行うようにするとよい。つまり、少なくとも直交変換済みの隣接する上側と左側のサブブロックとの間の境界条件の解析を行い、下側と右側に隣接する直交変換前のサブブロックとの間の境界条件の解析は行わずに、常に境界条件の補正を行うようにすることで、より良い構成となる。また、同一マクロブロック内で、符号化対象となっているサブブロックの下側と右側に隣接するサブブロックが直交変換済みである場合には、上側、左側と同様にサブブロックとの間の境界条件の解析を行うようにすることで、更に良い構成となる。
境界条件解析器７０４は、生成した境界条件補正情報を、多重調和局所直交変換器７０５及び境界条件判定器７０８に通知する。また、必要に応じて境界条件補正情報をエントロピー符号化器７１６に通知するようにしても構わない。ここで、通知する境界条件補正情報は、直交変換後のサブブロックとの境界条件から求めた情報のみを通知するようにし、直交変換前のサブブロックとの境界条件に対しては必ず補正を行うようにすると、通知する情報量を少なくすることができ、より良い構成となる。また、境界条件解析器７０４は、取得した直交変換後の係数情報（ここでは、ＤＣＴ係数情報）を多重調和局所直交変換器７０５に通知する。
多重調和局所直交変換器７０５は、境界条件解析器７０４から符号化対象となっているサブブロックにおける直交変換後の係数情報（ここでは、ＤＣＴ係数情報）と境界条件補正情報を取得し、取得した境界条件補正情報に基づいて注目するサブブロックの境界部分の不連続性を判定し、境界部分が不連続である場合には境界条件の補正を行った後に、多重調和局所直交変換処理を行う（ステップＳ７７）。ここで、多重調和局所直交変換処理を行う際に、量子化器７０６が利用する量子化パラメータを取得し、この量子化パラメータに基づいて直交変換後の係数情報（ここでは、ＤＣＴ係数情報）に対して量子化・逆量子化を行った後のＤＣＴ係数情報を推定し、この推定されたＤＣＴ係数情報に基づいて処理を行うようにしてもよい。
また、イントラ符号化の場合において、通知される境界条件補正情報に基づいて行われる、注目するサブブロックの境界部分の不連続性の判定を、直交変換済みのサブブロックとの境界部分においてのみ行い、直交変換前のサブブロックとの境界部分においては不連続であると判断して、必ず境界条件の補正を行うようにすると、更に良い構成となる。つまり、符号化対象となっているサブブロックの上側と左側のサブブロックは直交変換済みのサブブロックであるため、この境界部分の不連続性の判定を行う。符号化対象となっているサブブロックの下側と右側のサブブロックは直交変換前のサブブロックであることから、これらの境界部分の不連続性の判定は行わずに、常に不連続であるものとして処理を行うことが望ましい。ただし、下側と右側のサブブロックが同一マクロブロック内であり、直交変換済みのサブブロックである場合には、上側と左側と同様に境界部分の不連続性の判定を行うことが望ましい。このような処理によって処理負荷を軽減し、より高速な符号化及び復号化を実現できるからである。その後、多重調和局所直交変換器７０５は、生成した残差ＤＣＴ係数情報を後述する量子化器７０６に通知する。
量子化器７０６は、多重調和局所直交変換器７０５から残差ＤＣＴ係数情報を取得し、取得した残差ＤＣＴ係数情報に対して所定の量子化を行い（ステップＳ７８）、量子化後の残差ＤＣＴ係数情報である量子化後情報を生成する。生成した量子化後情報は逆量子化器７０６、エントロピー符号化器７１６に通知される。
逆量子化器７０６は、量子化器７０６から量子化後情報を取得し、取得した量子化後情報に対して所定の逆量子化を行い（ステップＳ７９）、逆量子化後の残差ＤＣＴ係数情報である逆量子化後情報を生成する。生成した逆量子化後情報は境界条件判定器７０８に通知される。
境界条件判定器７０８は、逆量子化器７０６から逆量子化後情報を取得する。また境界条件解析器７０４から境界条件補正情報を取得する。取得した境界条件補正情報に基づいて境界条件の判定を行う（ステップＳ８０）。ここで、境界条件判定器７０８は、境界条件補正情報が取得できる場合には、取得した境界条件補正情報を境界条件判定情報として逆多重調和局所直交変換器７０９に通知する。境界条件判定器７０８は、境界条件補正情報が取得できない場合には、取得した逆量子化後情報を利用して復号化対象となっているサブブロックと隣接する周囲のサブブロックとの間の画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるかを判定する。また、境界条件判定器７０８は、境界条件の補正が必要であるかを特定するための境界条件補正情報を生成し、境界条件判定情報として逆多重調和局所直交変換器７０９に通知する。
ここで、ラスタ順によってイントラ符号化を行っている場合には、符号化済みの隣接サブブロックのみに対して境界条件の解析を行い、符号化前の隣接サブブロックとの境界条件ついては、解析を行わずに境界条件の補正を行うようにするとよい。また、境界条件判定器７０８は、取得した逆量子化後情報を逆多重調和局所直交変換器７０９に通知する。
逆多重調和局所直交変換器７０９は、境界条件判定器から境界条件判定情報、逆量子化後情報を取得し、取得した境界条件判定情報、逆量子化後情報に基づいて、所定の逆多重調和局所直交変換処理を行い（ステップＳ８１）、逆量子化後の残差ＤＣＴ係数情報から復号して得られた復号ＤＣＴ係数情報を生成する。生成した復号ＤＣＴ係数情報は逆直交変換器７１０に通知される。
逆直交変換器７１０は、逆多重調和局所直交変換器７０９から復号ＤＣＴ係数情報を取得し、取得した復号ＤＣＴ係数情報に対して逆直交変換を行い（ステップＳ８２）、復号画像ブロックを生成する。逆直交変換器７１０は、生成した復号画像ブロックを、参照画像フレームとして利用できるようにするために、加算器７１１を介してフレームメモリ７１２に供給しその対応する位置に格納する。
エントロピー符号化器７１６は、イントラ符号化である場合には、量子化器７０６から量子化後情報を少なくとも取得する。また、必要に応じて境界条件解析器７０４から通知される境界条件補正情報を取得するようにしてもよい。エントロピー符号化器７１６は、少なくとも取得した量子化後情報に対して、所定のエントロピー符号化を行い（ステップＳ８３）、それにより生成したエントロピー符号化後情報を多重化器７１７に通知する。
多重化器７１７は、エントロピー符号化器７１６からエントロピー符号化後情報を取得し、所定の構文構造に基づいて符号化情報の多重化を行い（ステップＳ８４）、符号化ビットストリームを生成する。生成した符号化ビットストリームは出力伝送器７１８に供給され、ここで所定のパケット化処理に基づいてパケット情報に変換された後、出力符号７１９として所定の伝送路や所定の記録媒体などに出力される。
以上のような符号化処理を符号化対象となる動画像フレームの各ブロックに対して順次行うことで本発明の符号化装置は従来の符号化装置よりもイントラ符号化を行う際に、符号化効率の良い符号化ビットストリームを出力符号として得ることができる。すなわち、本実施の形態では、通常のイントラ符号化においてイントラ予測を行う替わりに、イントラ符号化の符号化対象となっているフレームに対して所定のブロック単位で直交変換を行うと共に、符号化対象のブロックとその隣接、および周囲のブロックとの境界条件の解析を行うことで、隣接ブロック間の相関の高さを解析し、隣接ブロック間の相関が高い場合には、符号化対象ブロックに対し、隣接するブロックの境界条件に基づいて所定の多重調和局所直交変換を行い、残差直交変換係数を生成し、境界条件の解析の結果、隣接ブロック間の相関が低い場合には、多重調和局所直交変換で利用する境界条件を補正した後にこの変換処理を行うことにより、ブロック間の不連続性を考慮しながら処理を行うことで、生成される残差直交変換係数の信号成分の偏りを、従来のイントラ符号化で用いられるイントラ予測よりも大きくし、十分な符号化効率を得ることができる。
また、本実施の形態では、符号化処理を所定のブロック単位で行う場合に、符号化対象となっているブロックとその隣接、及び周囲のブロックとの境界条件の解析を行う際に、直交変換済みのブロックとの間のみ境界条件の解析を行い、それ以外のブロックとの間は不連続であると解釈することで、本実施の形態の処理を軽減し、より高速な符号化を実現することができる。
更に、本実施の形態によれば、符号化対象ブロック内の信号成分は、多重調和局所直交変換を行うことによって、隣接するブロックとの境界条件に基づいた推定により信号成分の近似を行うことで残差直交変換係数を生成するようにしたため、従来のイントラ予測のように、所定の方向および所定の重み付けによって生成された予測ブロックの中から、符号化対象ブロックに最も近いものを選択する場合よりも、より複雑な推定信号に基づいて残差直交変換係数を生成することができるため、より高い符号化効率を得ることができる。
次に、本発明の動画像復号化装置の第２の実施の形態について説明する。図２５は本発明になる動画像復号化装置の第２の実施の形態の機能ブロック図を示す。この実施の形態の動画像復号化装置は、図３に示した動画像復号化装置と比較すると、イントラ予測器２０８及びデブロッキングフィルタ２０９を除いた構成となっている。図２５の動画像復号化装置の各構成要素は、図３に示した実施の形態の動画像復号化装置の対応する構成要素と同様であるため、ここでは説明を省略する。
次に、図２５の動画像復号化装置の動作を図２６のフローチャートに従って説明する。まず、入力受信器８０２は、入力符号８０１として所定の伝送路もしくは所定の記録媒体などから所定のパケット情報を順次取得し、符号化ビットストリームを再構成する。その後、符号化ビットストリームを多重化分離器８０３に通知する。
多重化分離器８０３は、入力受信器８０２によって再構成された符号化ビットストリームを取得し、取得した符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行い（ステップＳ９１）、多重化分離後の情報をエントロピー復号化器８０４に通知する。
エントロピー復号化器８０４は、多重化分離後の情報を取得し、所定のエントロピー復号化を行う（ステップＳ９２）ことで、量子化後情報及び動きベクトル情報、及びその他の所定の構文構造を構成するために必要なパラメータ情報などを生成する。また、必要に応じて多重化分離後の情報から境界条件補正情報を生成するとよい。その後、少なくとも量子化後情報を逆量子化器８０５に通知すると共に、動きベクトル情報をＭＣ器８１１に通知する。また、必要に応じて境界情報補正情報を境界情報判定器８０６に通知するとよい。
逆量子化器８０５は、エントロピー復号化器８０４から量子化後情報を取得し、取得した量子化後情報に対して所定の逆量子化を行い（ステップＳ９３）、逆量子化後の残差ＤＣＴ係数情報である逆量子化後情報を生成する。逆量子化器８０５は、生成した逆量子化後情報を境界条件判定器８０６に通知する。
その後、イントラ復号化か否かを判定する（ステップＳ９４）。イントラ復号化である場合には、スイッチ８１２を端子ａ側に切り替える。つまり、予測フレームを取得しないようにスイッチ８１２を切断する。その後ステップＳ９６に進む。
イントラ復号化ではない場合には、ＭＣ器８１１が、エントロピー復号化器８０４から取得した動きベクトル情報とフレームメモリ８１０から取得した参照画像フレームから、動き補償を行う（ステップＳ９５）。これにより、ＭＣ器８１１により予測画像フレームが生成され、スイッチ８１２の端子ｂ側に供給される。また、スイッチ８１２を端子ｂ側に切り替える。以後の動作は図３に示した実施の形態と同様であるため、ここでは説明を省略する。以下、イントラ復号化である場合の動作を説明する。
境界条件判定器８０６は、エントロピー復号化器８０４から境界条件補正情報を取得すると共に、逆量子化器８０５から逆量子化後情報を取得し、取得したこれら境界条件補正情報と逆量子化後情報に基づいて境界条件の判定を行う（ステップＳ９６）。この境界条件の判定において、境界条件判定器８０６は境界条件補正情報が取得できる場合には、取得した境界条件補正情報を境界条件判定情報として逆多重調和局所直交変換器８０７に通知し、境界条件補正情報が取得できない場合には、取得した逆量子化後情報を利用して復号化対象となっているブロックと隣接する周囲のブロックとの間の画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるかを判定する。
また、境界条件判定器８０６は、境界条件の補正が必要であるかを特定するための境界条件補正情報を生成し、境界条件判定情報として逆多重調和局所直交変換器８０７に通知する。通常は、現在復号化対象となっているブロックの上下左右に隣接するブロックとの間の境界条件についてそれぞれ解析を行い、それぞれの境界ごとに必要な境界条件補正情報の生成を行う。また、境界条件判定器８０６は、取得した逆量子化後情報を逆多重調和局所直交変換器８０７に通知する。
逆多重調和局所直交変換器８０７は、境界条件判定器８０６から取得した境界条件判定情報と逆量子化後情報に基づいて、所定の逆多重調和局所直交変換を行い（ステップＳ９７）、逆量子化後の残差ＤＣＴ係数情報から復号して得られた復号ＤＣＴ係数情報を生成する。逆多重調和局所直交変換器８０７は、生成した復号ＤＣＴ係数情報を逆直交変換器８０８に通知する。
逆直交変換器８０８は、逆多重調和局所直交変換器８０７から復号ＤＣＴ係数情報を取得し、取得した復号ＤＣＴ係数情報に対して逆直交変換を行い（ステップＳ９８）、復号画像フレームを生成し、その復号画像フレームを参照画像フレームとして利用できるようにするために、加算器８０９を通してフレームメモリ８１０に通知する。
フレームメモリ８１０では、画像フレームを参照画像フレームとして取得及び蓄積する。また、必要に応じてＭＣ器８１１に参照画像フレームを通知する。ここで、フレームメモリ８１０は、少なくとも１フレーム以上の参照画像フレームを蓄積し、各構成要素の要求に応じて必要な参照画像フレームを通知できることが望ましい。また、フレームメモリ８１０は、復号画像フレームの表示タイミングに応じて復号画像フレームを出力し（ステップＳ９９）、表示に必要な画像フレームを出力符号８１３として外部の出力表示器に通知する。
その後、更に復号化対象となる符号化ビットストリームが存在するかを判定する（ステップＳ１００）。復号化対象となる符号化ビットストリームが存在する場合にはステップＳ９１に進むことで復号化処理を継続し、復号化の必要がない場合には一連の復号化処理を終了する。
ところで、図２５に示した動画像復号化装置の上記の説明では、復号化処理をフレーム単位で行うものとして説明したが、これに限定されるものではなく、マクロブロック、ブロック、サブブロックといったフレームより小さい画像単位で行うように構成しても構わない。また、複数のマクロブロックをまとめたスライス単位で行うように構成しても構わない。そこで、次に復号化処理を、マクロブロック単位で行い、逆直交変換である逆整数ＤＣＴや、逆多重調和局所直交変換等を行う際の処理単位は４×４のサブブロック単位で行った場合の図２３の動画像復号化装置の動作を図２６のフローチャートと共に説明する。
まず、入力受信器８０２は、入力符号８０１として所定の伝送路もしくは所定の記録媒体などから所定のパケット情報を順次取得し、符号化ビットストリームを再構成する。その後、符号化ビットストリームを多重化分離器８０３に通知する。多重化分離器８０３は、入力受信器８０２によって再構成された符号化ビットストリームを取得し、取得した符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行い（ステップＳ９１）、多重化分離後の情報をエントロピー復号化器８０４に通知する。
エントロピー復号化器８０４は、多重化分離後の情報を取得し、所定のエントロピー復号化を行う（ステップＳ９２）ことで、復号化対象ブロックを構成するための、量子化後情報及び動きベクトル情報、及びその他の所定の構文構造を構成するために必要なパラメータ情報などを生成する。また、必要に応じて多重化分離後の情報から境界条件補正情報を生成するとよい。その後、少なくとも量子化後情報を逆量子化器８０５に通知するとともに、動きベクトル情報をＭＣ器８１１に通知する。また、必要に応じて境界情報補正情報を境界情報判定器８０６に通知するとよい。
逆量子化器８０５は、エントロピー復号化器８０４から復号化対象となっているブロックの量子化後情報を取得する。取得した量子化後情報に対して所定の逆量子化を行い（ステップＳ９３）、逆量子化後の残差ＤＣＴ係数情報である逆量子化後情報を生成し、その逆量子化後情報を境界条件判定器８０６に通知する。
その後、イントラ復号化か否かを判定する（ステップＳ９４）。イントラ復号化である場合には、スイッチ８１２を端子ａ側に切り替える。つまり、予測フレームを取得しないようにスイッチ８１２を切断する。その後ステップＳ９６に進む。イントラ復号化ではない場合には、上記の説明と同様であるため、ここでは説明を省略する。以下、イントラ復号化である場合の動作を説明する。
境界条件判定器８０６は、エントロピー復号化器８０４から取得した境界条件補正情報と、逆量子化器８０５から取得した復号化対象となっているサブブロックの逆量子化後情報とに基づいて、境界条件の判定を行う（ステップＳ９６）。ここで、境界条件判定器８０６は、境界条件補正情報が取得できる場合には、取得した境界条件補正情報を境界条件判定情報として逆多重調和局所直交変換器８０７に通知し、境界条件補正情報が取得できない場合には、取得した逆量子化後情報を利用して復号化対象となっているサブブロックと隣接する周囲のサブブロックとの間の画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるかを判定する。
また、境界条件判定器８０６は、境界条件の補正が必要であるかを特定するための境界条件補正情報を生成し、境界条件判定情報として逆多重調和局所直交変換器８０７に通知する。ここで、マクロブロック単位のラスタ順によってイントラ復号化を行っている場合には、逆量子化済みの隣接サブブロックのみに対して境界条件の解析を行い、復号化前の隣接サブブロックとの境界条件ついては、解析を行わずに境界条件の補正を行うようにするとよい。ただし、同一マクロブロック内で、復号化済みの隣接サブブロックに対しては、境界条件の解析を行うようにすることが望ましい。境界条件判定器８０６は、取得した逆量子化後情報を逆多重調和局所直交変換器８０７に通知する。
逆多重調和局所直交変換器８０７は、境界条件判定器８０６から取得した境界条件判定情報、逆量子化後情報に基づいて、所定の逆多重調和局所直交変換を行い（ステップＳ９７）、逆量子化後の残差ＤＣＴ係数情報から復号して得られた復号ＤＣＴ係数情報を生成し、その生成した復号ＤＣＴ係数情報を逆直交変換器８０８に通知する。
逆直交変換器８０８は、逆多重調和局所直交変換器８０７から復号ＤＣＴ係数情報を取得し、取得した復号ＤＣＴ係数情報に対して逆直交変換を行い（ステップＳ９８）、復号画像ブロックを生成する。逆直交変換器８０８は、生成した復号画像ブロックを参照画像フレームとして利用できるようにするために加算器８０９を通してフレームメモリ８１０に供給する。
フレームメモリ８１０では、復号画像ブロックを参照画像フレームとして利用するために取得及び蓄積する。ここで、フレームメモリ８１０は、少なくとも１フレーム以上の参照画像フレームを蓄積し、各構成要素の要求に応じて必要な参照画像フレームを通知できることが望ましい。また、フレームメモリ８１０は、復号画像フレームの表示タイミングに応じて復号画像フレームを出力し（ステップＳ９９）、表示に必要な画像フレームを出力符号８１３として外部の出力表示器に通知する。
その後、更に復号化対象となる符号化ビットストリームが存在するか否かを判定する（ステップＳ１００）。復号化対象となる符号化ビットストリームが存在する場合にはステップＳ９１に進むことで復号化処理を継続し、復号化の必要がない場合には一連の復号化処理を終了する。
本実施の形態では、復号化処理をマクロブロック単位で行う場合に、復号化対象となっているサブブロックとその隣接、及び周囲のサブブロックとの境界条件の解析を行う際に、マクロブロック単位でのラスタ順によってイントラ復号化を行っている場合には、逆量子化済みの隣接サブブロックのみに対して境界条件の解析を行い、復号化前の隣接サブブロックとの境界条件ついては、解析を行わずに境界条件の補正を行うことで、本実施の形態の処理を軽減し、より高速な復号化を実現することができる。
なお、本発明は、上記図２３、図２５が示す動画像符号化装置及び動画像復号化装置の機能を図２７、図２８に示すコンピュータである中央処理制御装置２３０３、２４０３に実現させるためのプログラムを含むものである。このプログラムは記録媒体から取り込んでもよいし、通信ネットワークを介して配信されているものを取り込んでもよい。
図２７は本発明になる符号化プログラムにより動作する情報処理装置の一例の構成図を示す。同図において、情報処理装置２３００は、各種の情報を入力するための入力装置２３０１と、各種の情報を出力するための出力装置２３０２と、本発明の符号化プログラムの一実施の形態により動作する中央処理制御装置２３０３と、外部記憶装置２３０４と、中央処理制御装置２３０３による演算処理の際の作業領域などに用いる一時記憶装置２３０５と、外部と通信するための通信装置２３０６とが、双方向のバス２３０７により接続された構成とされている。
中央処理制御装置２３０３は、本発明の符号化プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置２３０６により取り込まれ、図２３の直交変換器７０３に相当する直交変換手段２３０８、多重調和局所直交変換器７０５に相当する多重調和局所直交変換手段２３０９、量子化器７０６に相当する量子化手段２３１０、
逆量子化器７０７に相当する逆量子化手段２３１１、逆多重調和局所直交変換器７０９に相当する逆多重調和局所直交変換手段２３１２、逆直交変換器７１０に相当する逆直交変換手段２３１３、ＭＥ器７１３に相当するＭＥ手段２３１４、ＭＣ器７１４に相当するＭＣ手段２３１５、エントロピー符号化器７１６に相当するエントロピー符号化手段２３１６、多重化器７１７に相当する多重化手段２３１７、出力伝送器７１８に相当する出力伝送手段２３１８、境界条件解析器７０４に相当する境界条件解析手段２３１９、境界条件判定器７０８に相当する境界条件判定手段２３２０の各機能を少なくとも有し、図２３に示した本発明の符号化装置と同様の動作をソフトウェア処理により実行する。
図２８は本発明になる復号化プログラムにより動作する情報処理装置の一例の構成図を示す。同図において、情報処理装置２４００は、各種の情報を入力するための入力装置２４０１と、各種の情報を出力するための出力装置２４０２と、本発明の復号化プログラムにより動作する中央処理制御装置２４０３と、外部記憶装置２４０４と、中央処理制御装置２４０３による演算処理の際の作業領域などに用いる一時記憶装置２４０５と、外部と通信するための通信装置２４０６とが、双方向バス２４０７により接続された構成とされている。
中央処理制御装置２４０３は、本発明の復号化プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置２３０６により取り込まれ、図２５のエントロピー復号化器８０４に相当するエントロピー復号化手段２４０８、逆量子化器８０５に相当する逆量子化手段２４０９、逆多重調和局所直交変換器８０７に相当する逆多重調和局所直交変換手段２４１０、逆直交変換器８０８に相当する逆直交変換手段２４１１、ＭＣ器８１１に相当するＭＣ手段２４１２、入力受信器８０２に相当する入力受信手段２４１３、多重化分離器８０３に相当する多重化分離手段２４１４、境界条件判定器８０６に相当する境界条件判定手段２４１５の各機能を少なくとも有し、図２５に示した本発明の復号化装置と同様の動作をソフトウェア処理により実行する。
本発明の符号化装置の一実施の形態の機能ブロック図である。 本発明の符号化装置の一実施の形態の動作説明用フローチャートである。 本発明の復号化装置の一実施の形態の機能ブロック図である。 本発明の復号化装置の一実施の形態の動作説明用フローチャートである。 本発明の符号化装置の他の実施の形態の機能ブロック図である。 本発明の符号化装置の他の実施の形態の動作説明用フローチャートである。 ４ｘ４ＤＣＴによって生成される、各ＤＣＴ係数情報の位置関係及びブロックの配置を表すための概念図である。（３ｘ３ブロック） 図７の処理対象に対して横方向の多重調和局所直交変換を行う様子を示すための一例の概念図である。 図７の処理対象に対して縦方向の多重調和局所直交変換を行う様子を示すための一例の概念図である。 図７の処理対象に対して縦方向の多重調和局所直交変換を行う様子を示すための他の例の概念図である。 図７の処理対象に対して横方向の多重調和局所直交変換を行う様子を示すための他の例の概念図である。 ４ｘ４ＤＣＴによって生成される、各ＤＣＴ係数情報の位置関係及びブロックの配置を表すための概念図である。（５ｘ５ブロック） 図１２の処理対象に対して横方向の多重調和局所直交変換を行う様子を示すための一例の概念図である。 図１２の処理対象に対して縦方向の多重調和局所直交変換を行う様子を示すための一例の概念図である。 図１２の処理対象に対して縦方向の多重調和局所直交変換を行う様子を示すための他の例の概念図である。 図１２の処理対象に対して横方向の多重調和局所直交変換を行う様子を示すための他の例の概念図である。 本発明の復号化装置の他の実施の形態の機能ブロック図である。 本発明の復号化装置の他の実施の形態の動作説明用フローチャートである。 本発明の符号化装置の一実施の形態が備える機能を、本発明の符号化プログラムを実行させることにより実現する情報処理装置の基本構成を表す機能ブロック図である。 本発明の復号化装置の一実施の形態が備える機能を、本発明の復号化プログラムを実行させることにより実現する情報処理装置の基本構成を表す機能ブロック図である。 本発明の符号化装置の他の実施の形態が備える機能を、本発明の符号化プログラムを実行させることにより実現する情報処理装置の基本構成を表す機能ブロック図である。 本発明の復号化装置の他の実施の形態が備える機能を、本発明の復号化プログラムを実行させることにより実現する情報処理装置の基本構成を表す機能ブロック図である。 本発明の符号化装置における、第２の実施の形態の機能ブロック図である。 本発明の符号化装置における、第２の実施の形態の動作説明用フローチャートである。 本発明の復号化装置における、第２の実施の形態の機能ブロック図である。 本発明の復号化装置における、第２の実施の形態の動作説明用フローチャートである。 本発明の符号化装置における、第２の実施の形態が備える機能を、本発明の符号化プログラムを実行させることにより実現する情報処理装置の基本構成を表す機能ブロック図である。 本発明の復号化装置における、第２の実施の形態が備える機能を、本発明の復号化プログラムを実行させることにより実現する情報処理装置の基本構成を表す機能ブロック図である。 従来の符号化装置の一例（ＡＶＣ）の機能ブロック図である。 従来の復号化装置の一例（ＡＶＣ）の機能ブロック図である。 多重調和局所直交変換の基本概念を表すための概念図である。 通常のＤＣＴを行った場合の信号の取り扱いと影響を示すための概念図である。 多重調和局所直交変換を行った場合の信号の取り扱いと影響を示すための概念図である。 各ブロック及びブロック間の境界に関する定義を示すための概念図である。
符号の説明
１０１、２２１、７０１、８０１ 入力符号
１０２ 減算器
１０３、７０３ 直交変換器
１０４、７０６ 量子化器
１０５、２２５、７０７、８０５ 逆量子化器
１０６、２０４、７１０、８０８ 逆直交変換器
１０７、２０５、７１１、８０９ 加算器
１０８、２０９ デブロッキングフィルタ
１０９、２１０、７１２、８１０ フレームメモリ
１１０、２０８ イントラ予測器
１１１、７１３ 動き推定（ＭＥ）器
１１２、２０６、７１４、８１１ 動き補償（ＭＣ）器
１１３、２０７、７１５、８１２ スイッチ
１２１、７０５ 多重調和局所直交変換器
１２２、２２６、７０９、８０７ 逆多重調和局所直交変換器
１２３、７１６ エントロピー符号化器
１２４、７１７ 多重化器
１２５、７１９ 出力伝送器
１２６、２１１、７１９、８１３ 出力符号
１３１、７０４ 境界条件解析器
１３２、２３１、７０８、８０６ 境界条件判定器
２２２、８０２ 入力受信器
２２３、８０３ 多重化分離器
２２４、８０４ エントロピー復号化器
１９００、２０００、２１００、２２００、２３００、２４００ 情報処理装置
１９０１、２００１、２１０１、２２０１、２３０１、２４０１ 入力装置
１９０２、２００２、２１０２、２２０２、２３０２、２４０２ 出力装置
１９０３、２００３、２１０３、２２０３、２３０３、２４０３ 中央処理制御装置
１９０４、２００４、２１０４、２２０４、２３０４、２４０４ 外部記憶装置
１９０５、２００５、２１０５、２２０５、２３０５、２４０５ 一時記憶装置
１９０６、２００６、２１０６、２２０６、２３０６、２４０６ 通信装置

Claims (24)

  1. 入力された符号化対象の動画像信号の一画面領域を、所定の画素数からなる矩形領域を単位として細分割し、前記矩形領域を処理単位として局所復号画像信号から生成された予測画像信号と前記符号化対象の動画像信号との差分信号である差分画像信号を生成し、前記差分画像信号に対して符号化を行う符号化装置において、
    前記差分画像信号に対して前記矩形領域を処理単位として直交変換を行って直交変換係数情報を出力する直交変換手段と、
    符号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、前記符号化対象となっている矩形領域内の推定信号を直交変換した近似直交変換係数情報を生成する際に、その生成する近似直交変換係数情報を、局部復号過程で行う逆多重調和局所直交変換で得られる近似直交変換係数情報に近づけるために、前記直交変換手段から取得した前記直交変換係数情報に対して、量子化で用いる量子化パラメータに基づいて量子化後に逆量子化を行った直交変換係数情報を推定し、この推定結果を用いて前記近似直交変換係数情報を生成し、前記直交変換係数情報と生成した前記近似直交変換係数情報との差分をとることで残差直交変換係数情報を生成する多重調和局所直交変換手段と、
    前記残差直交変換係数情報を所定の量子化パラメータに基づいて量子化する量子化手段と、
    前記量子化手段から出力された量子化後の残差直交変換係数情報に対して、エントロピー符号化を行うことで、所定のエントロピー符号化後情報を生成するエントロピー符号化手段と、
    前記エントロピー符号化手段から出力されたエントロピー符号化後情報に対して、所定の構文構造に従って所定の多重化を行うことで符号化ビットストリームを生成する多重化手段と、
    前記量子化手段から出力された量子化後の残差直交変換係数情報を所定の量子化パラメータに基づいて逆量子化する逆量子化手段と、
    復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記逆量子化後の残差直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した近似直交変換係数情報を、前記逆量子化手段によって生成された逆量子化後の残差直交変換係数情報を利用して生成し、前記逆量子化後の残差直交変換係数情報と、生成した前記近似直交変換係数情報との合成を行うことで前記直交変換係数情報を復号する逆多重調和局所直交変換手段と、
    前記逆多重調和局所直交変換手段により生成された前記直交変換係数情報を逆直交変換することにより、前記局所復号画像信号を生成する逆直交変換手段と
    を有することを特徴とする動画像符号化装置。
  2. 前記直交変換手段は、直交変換基底をＤＣＴ基底とし、前記直交変換係数情報としてＤＣＴ係数情報を生成する手段であり、
    前記多重調和局所直交変換手段は、直交変換基底をＤＣＴ基底とし、符号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記ＤＣＴ係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、符号化対象となっている前記矩形領域内の前記推定信号を直交変換した近似ＤＣＴ係数情報を生成する際に、その生成する近似ＤＣＴ係数情報を、局部復号過程で行う逆多重調和局所直交変換で得られる近似ＤＣＴ係数情報に近づけるために、前記直交変換手段から取得した前記ＤＣＴ係数情報に対して、量子化で用いる量子化パラメータに基づいて量子化後に逆量子化を行ったＤＣＴ係数情報を推定し、この推定結果を用いて前記近似ＤＣＴ係数情報を生成し、前記直交変換手段によって得られたＤＣＴ係数情報と生成した前記近似ＤＣＴ係数情報との差分をとることで前記残差ＤＣＴ係数情報を生成する手段であり、
    前記逆多重調和局所直交変換手段は直交変換基底をＤＣＴ基底とし、復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記ＤＣＴ係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の前記推定信号に対して、直交変換した近似ＤＣＴ係数情報を、前記逆量子化手段によって逆量子化して得られた逆量子化後の前記残差ＤＣＴ係数情報を利用して生成し、前記逆量子化によって得られた逆量子化後の前記残差ＤＣＴ係数情報と、生成した前記近似ＤＣＴ係数情報との合成を行うことで前記ＤＣＴ係数情報を生成する手段である
    ことを特徴とする請求項１記載の動画像符号化装置。
  3. 前記直交変換手段によって生成された前記直交変換係数情報に基づいて、符号化対象となっている前記矩形領域と隣接する周囲の矩形領域との間の前記動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための第１の境界条件補正情報を生成する境界条件解析手段と、
    前記第１の境界条件補正情報が有効でない場合には、前記逆量子化手段による逆量子化後の前記残差直交変換係数情報に基づいて復号化対象となっている前記矩形領域と隣接する周囲の矩形領域との間の前記動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための第２の境界条件補正情報を生成し、生成した前記第２の境界条件補正情報又は有効である前記第１の境界条件補正情報を境界条件判定情報とする境界条件判定手段と、
    を更に有し、
    前記多重調和局所直交変換手段は、前記境界条件解析手段によって得られた前記第１の境界条件補正情報に基づいて各矩形領域の境界条件である前記直交変換係数情報から求める動画像信号の傾きを制御すると共に、前記各矩形領域の境界条件に基づいて前記ポアソン方程式を満たすような符号化対象となっている前記矩形領域内の前記推定信号に対して直交変換した近似直交変換係数情報を、直交変換後の前記直交変換係数情報を利用して生成し、直交変換によって得られた前記直交変換係数情報と生成した前記近似直交変換係数情報との差分をとることで前記残差直交変換係数情報を生成する手段であり、
    前記逆多重調和局所直交変換手段は、前記境界条件判定手段から取得した前記境界条件判定情報から前記矩形領域の境界部分の不連続性を特定し、注目する境界部分が不連続である場合には、前記残差直交変換係数情報から求める動画像信号の傾きを補正すると共に、復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記逆量子化後の残差直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した近似直交変換係数情報を、前記逆量子化手段によって生成された逆量子化後の残差直交変換係数情報を利用して生成し、前記逆量子化後の残差直交変換係数情報と、生成した前記近似直交変換係数情報との合成を行うことで前記直交変換係数情報を復号する手段であることを特徴とする請求項１記載の動画像符号化装置。
  4. 入力された符号化対象の動画像信号の一画面領域を、所定の画素数からなる矩形領域を単位として細分割し、前記矩形領域を処理単位としてイントラ符号化を行う符号化装置において、
    前記矩形領域を処理単位として直交変換を行い、符号化対象となっている動画像信号の一画面領域全体にわたって予め前記矩形領域毎の直交変換係数情報を出力する直交変換手段と、
    符号化対象となっている動画像信号の一画面領域内に存在する、該動画像信号の不連続性を解析するために、符号化対象となっている前記矩形領域の周囲に存在する該矩形領域との間の前記動画像信号の不連続性を解析し、所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定するとともに、境界条件の補正が必要であるか否かを特定するための第１の境界条件補正情報を生成する境界条件解析手段と、
    符号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、前記符号化対象となっている矩形領域内の推定信号を直交変換した近似直交変換係数情報を生成する際に、その生成する近似直交変換係数情報を、局部復号過程で行う逆多重調和局所直交変換で得られる近似直交変換係数情報に近づけるために、前記直交変換手段から取得した前記直交変換係数情報に対して、量子化で用いる量子化パラメータに基づいて量子化後に逆量子化を行った直交変換係数情報を推定し、この推定結果を用いて前記近似直交変換係数情報を生成し、前記直交変換係数情報と生成した前記近似直交変換係数情報との差分をとることで残差直交変換係数情報を生成する多重調和局所直交変換手段と、
    前記残差直交変換係数情報を所定の量子化パラメータに基づいて量子化する量子化手段と、
    前記量子化手段から出力された量子化後の残差直交変換係数情報に対して、エントロピー符号化を行うことで、所定のエントロピー符号化後情報を生成するエントロピー符号化手段と、
    前記エントロピー符号化手段から出力されたエントロピー符号化後情報に対して、所定の構文構造に従って所定の多重化を行うことで符号化ビットストリームを生成する多重化手段と、
    前記量子化手段から出力された量子化後の残差直交変換係数情報を所定の量子化パラメータに基づいて逆量子化する逆量子化手段と、
    前記第１の境界条件補正情報が有効でない場合には、前記逆量子化手段による逆量子化後の前記残差直交変換係数情報に基づいて復号化対象となっている前記矩形領域と隣接する周囲の矩形領域との間の前記動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための第２の境界条件補正情報を生成し、生成した前記第２の境界条件補正情報又は有効である前記第１の境界条件補正情報を境界条件判定情報とする境界条件判定手段と、
    復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記逆量子化後の残差直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した近似直交変換係数情報を、前記逆量子化手段によって生成された逆量子化後の残差直交変換係数情報を利用して生成し、前記逆量子化後の残差直交変換係数情報と、生成した前記近似直交変換係数情報との合成を行うことで前記直交変換係数情報を復号する逆多重調和局所直交変換手段と、
    前記逆多重調和局所直交変換手段により生成された前記直交変換係数情報を逆直交変換することにより、前記局所復号画像信号を生成する逆直交変換手段と、
    を有し、イントラ符号化を実現することを特徴とする動画像符号化装置。
  5. 前記直交変換手段は、前記矩形領域を処理単位として直交変換を行い、生成した直交変換係数情報を前記矩形領域の処理単位で出力する手段であり、前記境界条件解析手段は、符号化対象となっている動画像信号内に存在する不連続性を解析する際に、処理対象となっている前記矩形領域と、隣接する直交変換済みの所定の矩形領域との間の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための第１の境界条件補正情報を生成する手段であり、前記量子化手段は、前記残差直交変換係数情報を前記所定の量子化パラメータに基づいて量子化を行い、生成した量子化後情報を前記矩形領域の処理単位で出力する手段であり、前記逆量子化手段は、前記量子化手段から出力された前記量子化後の残差直交変換係数情報を前記所定の量子化パラメータに基づいて逆量子化を行い、生成した逆量子化後の前記残差直交変換係数情報を前記矩形領域の処理単位で出力する手段であり、前記境界条件判定手段は、前記第１の境界条件補正情報が有効でない場合には、前記逆量子化手段により生成された逆量子化後の前記残差直交変換係数情報に基づいて、復号化対象となっている前記矩形領域と隣接する周囲の矩形領域との間の前記動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための第２の境界条件補正情報を生成し、生成した前記第２の境界条件補正情報又は有効である前記第１の境界条件補正情報を境界条件判定情報とする手段であり、所定の前記矩形領域を処理単位として符号化を行うことを特徴とする請求項４記載の動画像符号化装置。
  6. 前記直交変換手段は直交変換基底としてＤＣＴ基底を用いて直交変換することにより、前記直交変換係数情報としてＤＣＴ係数情報を生成し、前記境界条件解析手段は、前記直交変換手段によって生成された前記ＤＣＴ係数情報に基づいて、符号化対象となっている前記矩形領域と隣接する周囲の矩形領域との間の動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定するとともに、境界条件の補正が必要であるか否かを特定するための前記第１の境界条件補正情報を生成し、
    前記多重調和局所直交変換手段は、直交変換基底をＤＣＴ基底とし、前記第１の境界条件補正情報に基づいて各矩形領域の境界条件である前記ＤＣＴ係数情報から求める動画像信号の傾きを制御すると共に、符号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記ＤＣＴ係数情報から求める動画像信号の傾きを境界条件とする前記ポアソン方程式を満たすような、符号化対象となっている前記矩形領域内の前記推定信号に対して、直交変換した前記近似ＤＣＴ係数情報を、前記直交変換後のＤＣＴ係数情報を利用して生成した後、前記直交変換後のＤＣＴ係数情報と生成した前記近似ＤＣＴ係数情報との差分をとることで前記残差ＤＣＴ係数情報を生成する手段であり、
    前記境界条件判定手段は、前記第１の境界条件補正情報が有効でない場合には前記残差ＤＣＴ係数情報に基づいて復号化対象となっている前記矩形領域と隣接する周囲の矩形領域との間の動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための第２の境界条件補正情報を生成し、第２の境界条件補正情報又は有効である前記第１の境界条件補正情報を前記境界条件判定情報とする手段であり、
    前記逆多重調和局所直交変換手段は、直交変換基底をＤＣＴ基底とし、前記境界条件判定手段から取得した前記境界条件判定情報から前記矩形領域の境界部分の不連続性を特定し、注目する境界部分が不連続である場合には前記残差ＤＣＴ係数情報から求める動画像信号の傾きを補正すると共に、復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記逆量子化後の残差ＤＣＴ係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した近似ＤＣＴ係数情報を、前記逆量子化手段によって生成された逆量子化後の残差ＤＣＴ係数情報を利用して生成し、前記逆量子化後の残差ＤＣＴ係数情報と、生成した前記近似ＤＣＴ係数情報との合成を行うことで前記ＤＣＴ係数情報を復号する手段であることを特徴とする請求項３乃至５のうちいずれか一項記載の動画像符号化装置。
  7. 入力された符号化対象の動画像信号の一画面領域を、所定の画素数からなる矩形領域を単位として細分割し、前記矩形領域を処理単位として局所復号画像信号から生成された予測画像信号と前記符号化対象の動画像信号との差分信号である差分画像信号を生成し、前記差分画像信号に対して符号化を行うことを、コンピュータにより実行させるための動画像符号化プログラムにおいて、
    前記コンピュータを、
    前記差分画像信号に対して前記矩形領域を処理単位として直交変換を行って直交変換係数情報を出力する直交変換手段と、
    符号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、前記符号化対象となっている矩形領域内の推定信号を直交変換した近似直交変換係数情報を生成する際に、その生成する近似直交変換係数情報を、局部復号過程で行う逆多重調和局所直交変換で得られる近似直交変換係数情報に近づけるために、前記直交変換手段から取得した前記直交変換係数情報に対して、量子化で用いる量子化パラメータに基づいて量子化後に逆量子化を行った直交変換係数情報を推定し、この推定結果を用いて前記近似直交変換係数情報を生成し、前記直交変換係数情報と生成した前記近似直交変換係数情報との差分をとることで残差直交変換係数情報を生成する多重調和局所直交変換手段と、
    前記残差直交変換係数情報を所定の量子化パラメータに基づいて量子化する量子化手段と、
    前記量子化手段から出力された量子化後の残差直交変換係数情報に対して、エントロピー符号化を行うことで、所定のエントロピー符号化後情報を生成するエントロピー符号化手段と、
    前記エントロピー符号化手段から出力されたエントロピー符号化後情報に対して、所定の構文構造に従って所定の多重化を行うことで符号化ビットストリームを生成する多重化手段と、
    前記量子化手段から出力された量子化後の残差直交変換係数情報を所定の量子化パラメータに基づいて逆量子化する逆量子化手段と、
    復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記逆量子化後の残差直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した近似直交変換係数情報を、前記逆量子化手段によって生成された逆量子化後の残差直交変換係数情報を利用して生成し、前記逆量子化後の残差直交変換係数情報と、生成した前記近似直交変換係数情報との合成を行うことで前記直交変換係数情報を復号する逆多重調和局所直交変換手段と、
    前記逆多重調和局所直交変換手段により生成された前記直交変換係数情報を逆直交変換することにより、前記局所復号画像信号を生成する逆直交変換手段と
    して機能させることを特徴とする動画像符号化プログラム。
  8. 前記コンピュータを、
    前記直交変換手段は直交変換基底をＤＣＴ基底とし、前記直交変換係数情報としてＤＣＴ係数情報を生成する手段として機能させ、
    前記多重調和局所直交変換手段は直交変換基底をＤＣＴ基底とし、符号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記ＤＣＴ係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、符号化対象となっている前記矩形領域内の前記推定信号を直交変換した近似ＤＣＴ係数情報を生成する際に、その生成する近似ＤＣＴ係数情報を、局部復号過程で行う逆多重調和局所直交変換で得られる近似ＤＣＴ係数情報に近づけるために、前記直交変換手段から取得した前記ＤＣＴ係数情報に対して、量子化で用いる量子化パラメータに基づいて量子化後に逆量子化を行ったＤＣＴ係数情報を推定し、この推定結果を用いて前記近似ＤＣＴ係数情報を生成し、前記直交変換手段によって得られたＤＣＴ係数情報と生成した前記近似ＤＣＴ係数情報との差分をとることで前記残差ＤＣＴ係数情報を生成する手段として機能させ、
    前記逆多重調和局所直交変換手段は直交変換基底をＤＣＴ基底とし、復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記ＤＣＴ係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の前記推定信号に対して、直交変換した近似ＤＣＴ係数情報を、前記逆量子化手段によって逆量子化して得られた逆量子化後の前記残差ＤＣＴ係数情報を利用して生成し、前記逆量子化によって得られた逆量子化後の前記残差ＤＣＴ係数情報と、生成した前記近似ＤＣＴ係数情報との合成を行うことで前記ＤＣＴ係数情報を生成する手段として機能させることを特徴とする請求項７記載の動画像符号化プログラム。
  9. 前記コンピュータを、
    前記直交変換手段によって生成された前記直交変換係数情報に基づいて、符号化対象となっている前記矩形領域と隣接する周囲の矩形領域との間の前記動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための第１の境界条件補正情報を生成する境界条件解析手段と、
    前記第１の境界条件補正情報が有効でない場合には、前記逆量子化手段による逆量子化後の前記残差直交変換係数情報に基づいて復号化対象となっている前記矩形領域と隣接する周囲の矩形領域との間の前記動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための第２の境界条件補正情報を生成し、その第２の境界条件補正情報又は有効である前記第１の境界条件補正情報を境界条件判定情報とする境界条件判定手段と、
    して更に機能させ、
    前記多重調和局所直交変換手段は、前記境界条件解析手段によって得られた前記第１の境界条件補正情報に基づいて各矩形領域の境界条件である前記動画像信号の傾きを制御すると共に、前記各矩形領域の境界条件に基づいて前記ポアソン方程式を満たすような符号化対象となっている前記矩形領域内の前記推定信号に対して直交変換した近似直交変換係数情報を、直交変換後の前記直交変換係数情報を利用して生成し、直交変換によって得られた前記直交変換係数情報と生成した前記近似直交変換係数情報との差分をとることで前記残差直交変換係数情報を生成する手段として機能させ、
    前記逆多重調和局所直交変換手段は、前記境界条件判定手段から取得した前記境界条件判定情報から前記矩形領域の境界部分の不連続性を特定し、注目する境界部分が不連続である場合には前記動画像信号の傾きを補正すると共に、復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の前記推定信号に対して、直交変換した近似直交変換係数情報を、逆量子化後の前記残差直交変換係数情報及び前記境界条件判定手段によって得られた前記境界条件判定情報を利用して生成し、逆量子化後の前記残差直交変換係数情報と生成した前記近似直交変換係数情報との合成を行うことで前記直交変換係数情報を生成する手段として機能させることを特徴とする請求項７記載の動画像符号化プログラム。
  10. 入力された符号化対象の動画像信号の一画面領域を、所定の画素数からなる矩形領域を単位として細分割し、前記矩形領域を処理単位としてイントラ符号化を行うことを、コンピュータにより実行させるための動画像符号化プログラムにおいて、
    前記コンピュータを、
    前記矩形領域を処理単位として直交変換を行い、符号化対象となっている動画像信号の一画面領域全体にわたって予め前記矩形領域毎の直交変換係数情報を出力する直交変換手段と、
    符号化対象となっている動画像信号の一画面領域内に存在する、該動画像信号の不連続性を解析するために、符号化対象となっている前記矩形領域の周囲に存在する該矩形領域との間の前記動画像信号の不連続性を解析し、所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定するとともに、境界条件の補正が必要であるか否かを特定するための第１の境界条件補正情報を生成する境界条件解析手段と、
    符号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、前記符号化対象となっている矩形領域内の推定信号を直交変換した近似直交変換係数情報を生成する際に、その生成する近似直交変換係数情報を、局部復号過程で行う逆多重調和局所直交変換で得られる近似直交変換係数情報に近づけるために、前記直交変換手段から取得した前記直交変換係数情報に対して、量子化で用いる量子化パラメータに基づいて量子化後に逆量子化を行った直交変換係数情報を推定し、この推定結果を用いて前記近似直交変換係数情報を生成し、前記直交変換係数情報と生成した前記近似直交変換係数情報との差分をとることで残差直交変換係数情報を生成する多重調和局所直交変換手段と、
    前記残差直交変換係数情報を所定の量子化パラメータに基づいて量子化する量子化手段と、
    前記量子化手段から出力された量子化後の残差直交変換係数情報に対して、エントロピー符号化を行うことで、所定のエントロピー符号化後情報を生成するエントロピー符号化手段と、
    前記エントロピー符号化手段から出力されたエントロピー符号化後情報に対して、所定の構文構造に従って所定の多重化を行うことで符号化ビットストリームを生成する多重化手段と、
    前記量子化手段から出力された量子化後の残差直交変換係数情報を所定の量子化パラメータに基づいて逆量子化する逆量子化手段と、
    前記第１の境界条件補正情報が有効でない場合には、前記逆量子化手段による逆量子化後の前記残差直交変換係数情報に基づいて復号化対象となっている前記矩形領域と隣接する周囲の矩形領域との間の前記動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための第２の境界条件補正情報を生成し、生成した前記第２の境界条件補正情報又は有効である前記第１の境界条件補正情報を境界条件判定情報とする境界条件判定手段と、
    復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記逆量子化後の残差直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した近似直交変換係数情報を、前記逆量子化手段によって生成された逆量子化後の残差直交変換係数情報を利用して生成し、前記逆量子化後の残差直交変換係数情報と、生成した前記近似直交変換係数情報との合成を行うことで前記直交変換係数情報を復号する逆多重調和局所直交変換手段と、
    前記逆多重調和局所直交変換手段により生成された前記直交変換係数情報を逆直交変換することにより、前記局所復号画像信号を生成する逆直交変換手段と
    して機能させることを特徴とする動画像符号化プログラム。
  11. 前記コンピュータを、
    前記直交変換手段は、前記矩形領域を処理単位として直交変換を行い、生成した直交変換係数情報を前記矩形領域の処理単位で出力する手段として機能させ、前記境界条件解析手段は、符号化対象となっている動画像信号内に存在する不連続性を解析する際に、処理対象となっている前記矩形領域と、隣接する直交変換済みの所定の矩形領域との間の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための第１の境界条件補正情報を生成する手段として機能させ、前記量子化手段は、前記残差直交変換係数情報を前記所定の量子化パラメータに基づいて量子化を行い、生成した量子化後情報を前記矩形領域の処理単位で出力する手段として機能させ、前記逆量子化手段は、前記量子化手段から出力された前記量子化後の残差直交変換係数情報を前記所定の量子化パラメータに基づいて逆量子化を行い、生成した逆量子化後の前記残差直交変換係数情報を前記矩形領域の処理単位で出力する手段として機能させ、前記境界条件判定手段は、前記第１の境界条件補正情報が有効でない場合には、前記逆量子化手段により生成された逆量子化後の前記残差直交変換係数情報に基づいて、復号化対象となっている前記矩形領域と隣接する周囲の矩形領域との間の前記動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための第２の境界条件補正情報を生成し、生成した前記第２の境界条件補正情報又は有効である前記第１の境界条件補正情報を境界条件判定情報とする手段として機能させることにより、所定の前記矩形領域を処理単位として符号化を行うことを特徴とする請求項１０記載の動画像符号化プログラム。
  12. 前記コンピュータを、
    前記直交変換手段は直交変換基底としてＤＣＴ基底を用いて直交変換することにより、前記直交変換係数情報としてＤＣＴ係数情報を生成するように機能させ、前記境界条件解析手段は、前記直交変換手段によって生成された前記ＤＣＴ係数情報に基づいて、符号化対象となっている前記矩形領域と隣接する周囲の矩形領域との間の動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定するとともに、境界条件の補正が必要であるか否かを特定するための前記第１の境界条件補正情報を生成するように機能させ、
    前記多重調和局所直交変換手段は、直交変換基底をＤＣＴ基底とし、前記第１の境界条件補正情報に基づいて各矩形領域の境界条件である前記ＤＣＴ係数情報から求める動画像信号の傾きを制御すると共に、符号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記ＤＣＴ係数情報から求める動画像信号の傾きを境界条件とする前記ポアソン方程式を満たすような、符号化対象となっている前記矩形領域内の前記推定信号に対して、直交変換した前記近似ＤＣＴ係数情報を、前記直交変換後のＤＣＴ係数情報を利用して生成した後、前記直交変換後のＤＣＴ係数情報と生成した前記近似ＤＣＴ係数情報との差分をとることで前記残差ＤＣＴ係数情報を生成する手段として機能させ、
    前記境界条件判定手段は、前記第１の境界条件補正情報が有効でない場合には前記残差ＤＣＴ係数情報に基づいて復号化対象となっている前記矩形領域と隣接する周囲の矩形領域との間の動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための第２の境界条件補正情報を生成し、その第２の境界条件補正情報又は有効である前記第１の境界条件補正情報を前記境界条件判定情報とする手段として機能させ、
    前記逆多重調和局所直交変換手段は、直交変換基底をＤＣＴ基底とし、前記境界条件判定手段から取得した前記境界条件判定情報から前記矩形領域の境界部分の不連続性を特定し、注目する境界部分が不連続である場合には前記残差ＤＣＴ係数情報から求める動画像信号の傾きを補正すると共に、復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における逆量子化後の前記残差ＤＣＴ係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の前記推定信号に対して、直交変換した近似ＤＣＴ係数情報を、前記逆量子化手段によって逆量子化して得られた前記逆量子化後の前記残差ＤＣＴ係数情報及び前記境界条件判定手段によって得られた前記境界条件判定情報を利用して生成した後、逆量子化後の前記残差ＤＣＴ係数情報と生成した前記近似直交変換係数情報との合成を行うことで前記ＤＣＴ係数情報を生成する手段として機能させることを特徴とする請求項９乃至１１のうちいずれか一項記載の動画像符号化プログラム。
  13. 請求項１又は２記載の動画像符号化装置、又は請求項７又は８記載の動画像符号化プログラムにより動作する情報処理装置によって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した前記符号化ビットストリームに対して復号化動作を行って、復号した動画像信号を出力する動画像復号化装置であって、
    前記符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行う多重化分離手段と、
    前記多重化分離手段から取得した多重化分離後の情報に対して、所定のエントロピー復号化を行い、量子化後情報、動きベクトル情報、及び所定の構文構造を構成するために必要なパラメータ情報を生成するエントロピー復号化手段と、
    前記エントロピー復号化手段から取得した前記量子化後情報に対して逆量子化を行うことにより、逆量子化後の前記残差直交変換係数情報として残差ＤＣＴ係数情報を生成する逆量子化手段と、
    直交変換基底としてＤＣＴ基底を用い、復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した近似ＤＣＴ係数情報を、前記逆量子化後の残差ＤＣＴ係数情報を利用して生成した後、逆量子化によって得られた前記残差ＤＣＴ係数情報と生成した前記近似ＤＣＴ係数情報との合成を行うことで復号ＤＣＴ係数情報を生成する逆多重調和局所直交変換手段と、
    前記逆多重調和局所直交変換手段から取得した前記復号ＤＣＴ係数情報に対して逆直交変換を行うことで一画面分の復号差分画像信号を生成する逆直交変換手段と、
    前記エントロピー復号化手段から取得した前記動きベクトル情報を利用した所定の動き補償により生成した予測画像信号、又はイントラ予測によって生成した予測画像信号と、前記復号差分画像信号とを合成して復号動画像信号を生成する画像復号手段と
    を有することを特徴とする動画像復号化装置。
  14. 請求項３又は６記載の動画像符号化装置、又は請求項９又は１２記載の動画像符号化プログラムにより動作する情報処理装置によって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した前記符号化ビットストリームに対して復号化動作を行って、復号した動画像信号を出力する動画像復号化装置であって、
    前記符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行う多重化分離手段と、
    前記多重化分離手段から取得した多重化分離後の情報に対して、所定のエントロピー復号化を行い、量子化後情報、動きベクトル情報及び所定の構文構造を構成するために必要なパラメータ情報を生成すると共に、及び符号化されて組み込まれた前記境界条件補正情報を抽出するエントロピー復号化手段と、
    前記エントロピー復号化手段から取得した前記量子化後情報に対して逆量子化を行うことにより、逆量子化後の前記残差直交変換係数情報を生成する逆量子化手段と、
    前記エントロピー復号化手段から取得した境界条件補正情報が有効でない場合には、前記逆量子化手段から取得した前記量子化後の残差直交変換係数情報に基づいて、復号化対象となっている矩形領域と隣接する周囲の矩形領域との間の動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための境界条件補正情報を生成し、生成された前記境界条件補正情報又は前記エントロピー復号化手段から取得した有効である境界条件補正情報を境界条件判定情報とする境界条件判定手段と、
    前記境界条件判定情報及び前記逆量子化後の残差直交変換係数情報を取得し、復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した前記近似直交変換係数情報を、前記逆量子化後の残差直交変換係数情報を利用して生成した後、前記逆量子化後の残差直交変換係数情報と前記生成した近似直交変換係数情報との合成を行うことで復号直交変換係数情報を生成する逆多重調和局所直交変換手段と、
    前記逆多重調和局所直交変換手段から取得した前記復号直交変換係数情報に対して逆直交変換を行うことで一画面分の復号差分画像信号を生成する逆直交変換手段と、
    前記エントロピー復号化手段から取得した前記動きベクトル情報を利用した所定の動き補償により生成した予測画像信号、又はイントラ予測によって生成した予測画像信号と、前記復号差分画像信号とを合成して復号動画像信号を生成する画像復号手段と
    を有することを特徴とする動画像復号化装置。
  15. 前記逆量子化手段によって得られる逆量子化後の残差直交変換係数情報は、残差ＤＣＴ係数情報であり、前記境界条件判定手段は、前記境界条件補正情報が有効でない場合には前記残差ＤＣＴ係数情報に基づいて復号化対象となっている矩形領域と隣接する周囲の矩形領域との間の画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための境界条件補正情報を生成し、得られる境界条件補正情報を境界条件判定情報とする手段であり、前記逆多重調和局所直交変換手段は、直交変換基底としてＤＣＴ基底を用い、前記ポアソン方程式を満たすような復号化対象となっている前記矩形領域内の推定信号に対して直交変換した近似ＤＣＴ係数情報を、前記逆量子化後の残差ＤＣＴ係数情報を利用して生成した後、逆量子化によって得られた前記残差ＤＣＴ係数情報と生成した前記近似ＤＣＴ係数情報との合成を行うことで復号ＤＣＴ係数情報を生成する手段であることを特徴とする請求項１４記載の動画像復号化装置。
  16. 請求項４記載の動画像符号化装置、又は請求項１０記載の動画像符号化プログラムにより動作する情報処理装置によって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した前記符号化ビットストリームに対して復号化動作を行って、復号した動画像信号を出力する動画像復号化装置であって、
    前記符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行う多重化分離手段と、
    前記多重化分離手段から取得した多重化分離後の情報に対して、所定のエントロピー復号化を行い、量子化後情報及び所定の構文構造を構成するために必要なパラメータ情報を生成すると共に、符号化されて組み込まれた前記境界条件補正情報を抽出するエントロピー復号化手段と、
    前記エントロピー復号化手段から取得した前記量子化後情報に対して逆量子化を行うことにより、逆量子化後の前記残差直交変換係数情報を生成する逆量子化手段と、
    前記エントロピー復号化手段から取得した境界条件補正情報が有効でない場合には、前記逆量子化手段から取得した前記量子化後の残差直交変換係数情報に基づいて、復号化対象となっている矩形領域と隣接する周囲の矩形領域との間の動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための境界条件補正情報を生成し、生成された前記境界条件補正情報又は前記エントロピー復号化手段から取得した有効である境界条件補正情報を境界条件判定情報とする境界条件判定手段と、
    前記境界条件判定情報及び前記逆量子化後の残差直交変換係数情報を取得し、復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した前記近似直交変換係数情報を、前記逆量子化後の残差直交変換係数情報を利用して生成した後、前記逆量子化後の残差直交変換係数情報と前記生成した近似直交変換係数情報との合成を行うことで復号直交変換係数情報を生成する逆多重調和局所直交変換手段と、
    前記逆多重調和局所直交変換手段から取得した前記復号直交変換係数情報に対して逆直交変換を行うことで一画面分の復号画像信号を生成する逆直交変換手段と
    を有することを特徴とする動画像復号化装置。
  17. 請求項５記載の動画像符号化装置、又は請求項１１記載の動画像符号化プログラムにより動作する情報処理装置によって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した前記符号化ビットストリームに対して復号化動作を行って、復号した動画像信号を出力する動画像復号化装置であって、
    前記符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行う多重化分離手段と、
    前記多重化分離手段から取得した多重化分離後の情報に対して、所定のエントロピー復号化を行い、量子化後情報および所定の構文構造を構成するために必要なパラメータ情報を生成すると共に、符号化されて組み込まれた前記境界条件補正情報を抽出するエントロピー復号化手段と、
    前記エントロピー復号化手段から取得した前記量子化後情報に対して、所定の矩形領域を処理単位として逆量子化を行うことにより、逆量子化後の前記残差直交変換係数情報を生成し、その逆量子化後の残差直交変換係数情報を前記矩形領域の処理単位で出力する逆量子化手段と、
    前記エントロピー復号化手段から取得した境界条件補正情報が有効でない場合には、前記逆量子化手段から取得した前記逆量子化後の残差直交変換係数情報に基づいて、復号化対象となっている前記矩形領域と隣接する周囲の矩形領域との間の動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための境界条件補正情報を生成し、生成された前記境界条件補正情報又は前記エントロピー復号化手段から取得した有効である境界条件補正情報を境界条件判定情報とする境界条件判定手段と、
    前記境界条件判定情報及び前記逆量子化後の残差直交変換係数情報を取得し、復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した前記近似直交変換係数情報を、前記逆量子化後の残差直交変換係数情報を利用して生成した後、前記逆量子化後の残差直交変換係数情報と前記生成した近似直交変換係数情報との合成を行うことで復号直交変換係数情報を生成する逆多重調和局所直交変換手段と、
    前記逆多重調和局所直交変換手段から取得した前記復号直交変換係数情報に対して逆直交変換を行うことで一画面分の復号画像信号を生成する逆直交変換手段と
    を備え、前記所定の矩形領域を処理単位として復号化を行うことを特徴とする動画像復号化装置。
  18. 前記逆量子化手段によって得られる逆量子化後の残差直交変換係数情報は、残差ＤＣＴ係数情報であり、前記境界条件判定手段は、前記境界条件補正情報が有効でない場合には前記残差ＤＣＴ係数情報に基づいて復号化対象となっている矩形領域と隣接する周囲の矩形領域との間の画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための境界条件補正情報を生成し、得られる境界条件補正情報を境界条件判定情報とする手段であり、前記逆多重調和局所直交変換手段は、直交変換基底としてＤＣＴ基底を用い、前記ポアソン方程式を満たすような復号化対象となっている前記矩形領域内の推定信号に対して直交変換した近似ＤＣＴ係数情報を、前記逆量子化後の残差ＤＣＴ係数情報を利用して生成した後、逆量子化によって得られた前記残差ＤＣＴ係数情報と生成した前記近似ＤＣＴ係数情報との合成を行うことで復号ＤＣＴ係数情報を生成する手段であることを特徴とする請求項１６又は１７記載の動画像復号化装置。
  19. 請求項１又は２記載の動画像符号化装置、又は請求項７又は８記載の動画像符号化プログラムにより動作する情報処理装置によって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した前記符号化ビットストリームに対して復号化動作を行って、復号した動画像信号を出力する動画像復号化を、コンピュータにより実行させる動画像復号化プログラムであって、
    前記コンピュータを、
    前記符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行う多重化分離手段と、
    前記多重化分離手段から取得した多重化分離後の情報に対して、所定のエントロピー復号化を行い、量子化後情報、動きベクトル情報、及び所定の構文構造を構成するために必要なパラメータ情報を生成するエントロピー復号化手段と、
    前記エントロピー復号化手段から取得した前記量子化後情報に対して逆量子化を行うことにより、逆量子化後の前記残差直交変換係数情報として残差ＤＣＴ係数情報を生成する逆量子化手段と、
    直交変換基底としてＤＣＴ基底を用い、復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した近似ＤＣＴ係数情報を、前記逆量子化後の残差ＤＣＴ係数情報を利用して生成した後、逆量子化によって得られた前記残差ＤＣＴ係数情報と生成した前記近似ＤＣＴ係数情報との合成を行うことで復号ＤＣＴ係数情報を生成する逆多重調和局所直交変換手段と、
    前記逆多重調和局所直交変換手段から取得した前記復号ＤＣＴ係数情報に対して逆直交変換を行うことで一画面分の復号差分画像信号を生成する逆直交変換手段と、
    前記エントロピー復号化手段から取得した前記動きベクトル情報を利用した所定の動き補償により生成した予測画像信号、又はイントラ予測によって生成した予測画像信号と、前記復号差分画像信号とを合成して復号動画像信号を生成する画像復号手段と
    して機能させることを特徴とする動画像復号化プログラム。
  20. 請求項３又は６記載の動画像符号化装置、又は請求項９又は１２記載の動画像符号化プログラムにより動作する情報処理装置によって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した前記符号化ビットストリームに対して復号化動作を行って、復号した動画像信号を出力する動画像復号化を、コンピュータにより実行させる動画像復号化プログラムであって、
    前記コンピュータを、
    前記符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行う多重化分離手段と、
    前記多重化分離手段から取得した多重化分離後の情報に対して、所定のエントロピー復号化を行い、量子化後情報、動きベクトル情報及び所定の構文構造を構成するために必要なパラメータ情報を生成すると共に、及び符号化されて組み込まれた前記境界条件補正情報を抽出するエントロピー復号化手段と、
    前記エントロピー復号化手段から取得した前記量子化後情報に対して逆量子化を行うことにより、逆量子化後の前記残差直交変換係数情報を生成する逆量子化手段と、
    前記エントロピー復号化手段から取得した境界条件補正情報が有効でない場合には、前記逆量子化手段から取得した前記量子化後の残差直交変換係数情報に基づいて、復号化対象となっている矩形領域と隣接する周囲の矩形領域との間の動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための境界条件補正情報を生成し、生成された前記境界条件補正情報又は前記エントロピー復号化手段から取得した有効である境界条件補正情報を境界条件判定情報とする境界条件判定手段と、
    前記境界条件判定情報及び前記逆量子化後の残差直交変換係数情報を取得し、復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記直交変換係数情報の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した前記近似直交変換係数情報を、前記逆量子化後の残差直交変換係数情報を利用して生成した後、前記逆量子化後の残差直交変換係数情報と前記生成した近似直交変換係数情報との合成を行うことで復号直交変換係数情報を生成する逆多重調和局所直交変換手段と、
    前記逆多重調和局所直交変換手段から取得した前記復号直交変換係数情報に対して逆直交変換を行うことで一画面分の復号差分画像信号を生成する逆直交変換手段と、
    前記エントロピー復号化手段から取得した前記動きベクトル情報を利用した所定の動き補償により生成した予測画像信号、又はイントラ予測によって生成した予測画像信号と、前記復号差分画像信号とを合成して復号動画像信号を生成する画像復号手段と
    して機能させることを特徴とする動画像復号化プログラム。
  21. 前記コンピュータを、
    前記逆量子化手段によって得られる逆量子化後の残差直交変換係数情報は、残差ＤＣＴ係数情報であり、前記境界条件判定手段は、前記境界条件補正情報が有効でない場合には前記残差ＤＣＴ係数情報に基づいて復号化対象となっている矩形領域と隣接する周囲の矩形領域との間の画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための境界条件補正情報を生成し、得られる境界条件補正情報を境界条件判定情報とする手段として機能させ、
    前記逆多重調和局所直交変換手段は、直交変換基底としてＤＣＴ基底を用い、前記ポアソン方程式を満たすような復号化対象となっている前記矩形領域内の推定信号に対して直交変換した近似ＤＣＴ係数情報を、前記逆量子化後の残差ＤＣＴ係数情報を利用して生成した後、逆量子化によって得られた前記残差ＤＣＴ係数情報と生成した前記近似ＤＣＴ係数情報との合成を行うことで復号ＤＣＴ係数情報を生成する手段として機能させることを特徴とする請求項２０記載の動画像復号化プログラム。
  22. 請求項４記載の動画像符号化装置、又は請求項１０記載の動画像符号化プログラムにより動作する情報処理装置によって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した前記符号化ビットストリームに対して復号化動作を行って、復号した動画像信号を出力する動画像復号化を、コンピュータにより実行させる動画像復号化プログラムであって、
    前記コンピュータを、
    前記符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行う多重化分離手段と、
    前記多重化分離手段から取得した多重化分離後の情報に対して、所定のエントロピー復号化を行い、量子化後情報及び所定の構文構造を構成するために必要なパラメータ情報を生成すると共に、符号化されて組み込まれた前記境界条件補正情報を抽出するエントロピー復号化手段と、
    前記エントロピー復号化手段から取得した前記量子化後情報に対して逆量子化を行うことにより、逆量子化後の前記残差直交変換係数情報を生成する逆量子化手段と、
    前記エントロピー復号化手段から取得した境界条件補正情報が有効でない場合には、前記逆量子化手段から取得した前記量子化後の残差直交変換係数情報に基づいて、復号化対象となっている矩形領域と隣接する周囲の矩形領域との間の動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための境界条件補正情報を生成し、生成された前記境界条件補正情報又は前記エントロピー復号化手段から取得した有効である境界条件補正情報を境界条件判定情報とする境界条件判定手段と、
    前記境界条件判定情報及び前記逆量子化後の残差直交変換係数情報を取得し、復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した前記近似直交変換係数情報を、前記逆量子化後の残差直交変換係数情報を利用して生成した後、前記逆量子化後の残差直交変換係数情報と前記生成した近似直交変換係数情報との合成を行うことで復号直交変換係数情報を生成する逆多重調和局所直交変換手段と、
    前記逆多重調和局所直交変換手段から取得した前記復号直交変換係数情報に対して逆直交変換を行うことで一画面分の復号画像信号を生成する逆直交変換手段と
    して機能させることを特徴とする動画像復号化プログラム。
  23. 請求項５記載の動画像符号化装置、又は請求項１１載の動画像符号化プログラムにより動作する情報処理装置によって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した前記符号化ビットストリームに対して復号化動作を行って、復号した動画像信号を出力する動画像復号化を、コンピュータにより実行させる動画像復号化プログラムであって、
    前記コンピュータを、
    前記符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行う多重化分離手段と、
    前記多重化分離手段から取得した多重化分離後の情報に対して、所定のエントロピー復号化を行い、量子化後情報および所定の構文構造を構成するために必要なパラメータ情報を生成すると共に、符号化されて組み込まれた前記境界条件補正情報を抽出するエントロピー復号化手段と、
    前記エントロピー復号化手段から取得した前記量子化後情報に対して、所定の矩形領域を処理単位として逆量子化を行うことにより、逆量子化後の前記残差直交変換係数情報を生成し、その逆量子化後の残差直交変換係数情報を前記矩形領域の処理単位で出力する逆量子化手段と、
    前記エントロピー復号化手段から取得した境界条件補正情報が有効でない場合には、前記逆量子化手段から取得した前記逆量子化後の残差直交変換係数情報に基づいて、復号化対象となっている前記矩形領域と隣接する周囲の矩形領域との間の動画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための境界条件補正情報を生成し、生成された前記境界条件補正情報又は前記エントロピー復号化手段から取得した有効である境界条件補正情報を境界条件判定情報とする境界条件判定手段と、
    前記境界条件判定情報及び前記逆量子化後の残差直交変換係数情報を取得し、復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における前記直交変換係数情報から求める動画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した前記近似直交変換係数情報を、前記逆量子化後の残差直交変換係数情報を利用して生成した後、前記逆量子化後の残差直交変換係数情報と前記生成した近似直交変換係数情報との合成を行うことで復号直交変換係数情報を生成する逆多重調和局所直交変換手段と、
    前記逆多重調和局所直交変換手段から取得した前記復号直交変換係数情報に対して逆直交変換を行うことで一画面分の復号画像信号を生成する逆直交変換手段と
    して機能させることを特徴とする動画像復号化プログラム。
  24. 前記コンピュータを、
    前記逆量子化手段は、前記逆量子化後の残差直交変換係数情報として残差ＤＣＴ係数情報を生成する手段として機能させ、
    前記境界条件判定手段は、前記境界条件補正情報が有効でない場合には前記残差ＤＣＴ係数情報に基づいて復号化対象となっている矩形領域と隣接する周囲の矩形領域との間の画像信号の不連続性を解析し、少なくとも１つの所定の判定条件に基づいて境界条件の補正が必要であるか否かを判定すると共に、境界条件の補正が必要であるか否かを特定するための境界条件補正情報を生成し、得られる境界条件補正情報を境界条件判定情報とする手段として機能させ、
    前記逆多重調和局所直交変換手段は、直交変換基底としてＤＣＴ基底を用い、前記ポアソン方程式を満たすような復号化対象となっている前記矩形領域内の推定信号に対して直交変換した近似ＤＣＴ係数情報を、前記逆量子化後の残差ＤＣＴ係数情報を利用して生成した後、逆量子化によって得られた前記残差ＤＣＴ係数情報と生成した前記近似ＤＣＴ係数情報との合成を行うことで復号ＤＣＴ係数情報を生成する手段として機能させることを特徴とする請求項２２又は２３記載の動画像復号化プログラム。
JP2006290688A 2006-10-26 2006-10-26 動画像符号化装置、動画像符号化プログラム、動画像復号化装置及び動画像復号化プログラム Active JP4719854B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006290688A JP4719854B2 (ja) 2006-10-26 2006-10-26 動画像符号化装置、動画像符号化プログラム、動画像復号化装置及び動画像復号化プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006290688A JP4719854B2 (ja) 2006-10-26 2006-10-26 動画像符号化装置、動画像符号化プログラム、動画像復号化装置及び動画像復号化プログラム

Publications (2)

Publication Number Publication Date
JP2008109424A JP2008109424A (ja) 2008-05-08
JP4719854B2 true JP4719854B2 (ja) 2011-07-06

Family

ID=39442413

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006290688A Active JP4719854B2 (ja) 2006-10-26 2006-10-26 動画像符号化装置、動画像符号化プログラム、動画像復号化装置及び動画像復号化プログラム

Country Status (1)

Country Link
JP (1) JP4719854B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9736500B2 (en) 2009-07-06 2017-08-15 Thomson Licensing Methods and apparatus for spatially varying residue coding
JP6294810B2 (ja) * 2014-11-11 2018-03-14 日本電信電話株式会社 動画像符号化装置、動画像復号装置及びコンピュータプログラム
JP6846134B2 (ja) * 2016-08-22 2021-03-24 日本放送協会 映像符号化装置及び映像復号装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8059903B2 (en) * 2004-11-17 2011-11-15 National University Corporation Shizuoka University Data compression-decompression method, program, and electronic device

Also Published As

Publication number Publication date
JP2008109424A (ja) 2008-05-08

Similar Documents

Publication Publication Date Title
JP6254668B2 (ja) イントラ予測モードにおける映像復号化方法
JP4146444B2 (ja) 動画像符号化の方法及び装置
JP2022033108A (ja) ビデオ符号化での分割ブロック符号化方法、ビデオ復号化での分割ブロック復号化方法及びこれを実現する記録媒体
WO2018061588A1 (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
KR101196429B1 (ko) 동영상 트랜스코딩 방법 및 그 장치, 이에 사용되는움직임 벡터 보간방법
JP4927207B2 (ja) 符号化方法、復号化方法及び装置
JP5792319B2 (ja) ビデオデータのブロック係数のモード依存型スキャニング
WO2010137323A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法
US20100118945A1 (en) Method and apparatus for video encoding and decoding
KR20060109290A (ko) 화상 복호 장치 및 화상 복호 방법과 화상 복호 프로그램
KR20120079180A (ko) 동화상 복호화 방법 및 장치
JP2010016454A (ja) 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
KR20140110221A (ko) 비디오 인코더, 장면 전환 검출 방법 및 비디오 인코더의 제어 방법
JP2007312362A (ja) 動画像符号化装置、方法、プログラム、動画像復号化装置、方法、およびプログラム
KR101372082B1 (ko) 복호 장치 및 복호 방법
JP2008219205A (ja) 画像情報符号化装置及び画像情報符号化方法
JP4719854B2 (ja) 動画像符号化装置、動画像符号化プログラム、動画像復号化装置及び動画像復号化プログラム
JP2008004984A (ja) 画像理装置および方法、プログラム、並びに記録媒体
JP4768779B2 (ja) 動画像符号化／復号化の方法及び装置
KR101204385B1 (ko) 인트라 예측 모드에서의 영상 복호화 방법
JP5937926B2 (ja) 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
CA2895856C (en) Video encoding and decoding apparatus and method using quantization in sub-blocks
JP4561688B2 (ja) 動画像符号化装置、動画像符号化プログラム、動画像復号化装置、及び動画像復号化プログラム
JP2005348207A (ja) 符号化装置、およびプログラム
Padia Complexity reduction for VP6 to H. 264 transcoder using motion vector reuse

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110223

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4719854

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250