JP2005102159A - 動画像符号化方法および動画像復号化方法 - Google Patents

Abstract

【課題】 インターレースで表示する画像に対してフレーム構造で符号化および復号化する場合であっても、デブロッキング処理において最適なフィルタの種類を適用することを可能とする動画像符号化方法および動画像復号化方法を提供する。
【解決手段】 輝度成分に対して適用したデブロッキングフィルタを色差成分で参照して使用する際に、対象とする色差成分の画素位置を同じフィールドに属する輝度成分の画素位置にあたるように変換（Ｆ７ａ）して参照することにより、インターレースとして表示したときに、輝度成分と色差成分とが同じ強さでフィルタ処理が施されることになり、より自然な画像を生成することを可能とする。
【選択図】 図１

Description

本発明は、輝度成分と色差成分とによって構成される動画像信号をブロックに分割して符号化する動画像符号化方法、および符号化された符号化データを復号化する動画像復号化方法に関するものである。

近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４kbits（電話品質）、さらに動画については１秒当たり１００Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４kbps〜１．５Mbpsの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ:Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）で国際標準化されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、ＭＰＥＧ（Moving Picture Experts Group）とは、動画像信号のディジタル圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Mbpsまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格を対象とする伝送速度が主として約１．５Mbpsに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号が２〜１５Mbpsに圧縮される。

さらに現状では、ＭＰＥＧ−１，ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１）によって、より圧縮率が高いＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートで効率の高い符号化が可能になるだけでなく、伝送路誤りが発生しても主観的な画質劣化を小さくできる強力な誤り耐性技術も導入されている。また、現在は、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔの共同で次世代画面符号化方式として、Ｈ．２６４の標準化活動が進んでいる。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象のブロックとの差分値に対して符号化を行う。また空間的な冗長性の削減を目的とする画面内予測符号化では、周辺の符号化済みブロックの画素情報から予測画像の生成を行い、得られた予測画像と符号化対象のブロックとの差分値に対して符号化を行う。

ここで、ピクチャとは、１枚の画面を表す用語であり、フレーム構造として符号化する場合は１枚のフレームを意味し、フィールド構造として符号化する場合は１枚のフィールドを意味する。

各々のピクチャはマクロブロックと呼ばれる例えば水平１６×垂直１６画素のブロックに分割されブロック単位で処理が行われる。フィールド構造のピクチャは全てのマクロブロックをフィールドマクロブロックとして符号化を行う。一方、フレーム構造のピクチャは全てのマクロブロックをフレームマクロブロックとして符号化を行うだけでなく、上下に連続する２つのマクロブロックを１つの単位（マクロブロックペア）としてフレームまたはフィールドに切り替えて符号化を行うことも可能である。

図１１は従来の動画像符号化方法を実現する動画像符号化装置の構成を示すブロック図である。この動画像符号化装置は、ピクチャメモリ１０１、予測残差符号化部１０２、符号列生成部１０３、予測残差復号化部１０４、デブロッキング処理部１０５、ピクチャメモリ１０６、符号化モード制御部１０７、画面間予測画像生成部１０８、画面内予測画像生成部１０９を備えている。

符号化対象となる画像列は表示を行う順にピクチャ単位でピクチャメモリ１０１に入力され、符号化を行う順にピクチャの並び替えを行われる。さらに各々のピクチャはマクロブロックに分割され以降の処理が適用される。

符号化方法は大きく分けて、画面間予測符号化および画面内予測符号化の２種類がある。ここではまず始めに画面間予測符号化について説明する。
ピクチャメモリ１０１から読み出された入力画像信号は差分演算部１１０に入力され、画面間予測画像生成部１０８の出力である予測画像信号との差分を取ることによって得られる差分画像信号を予測残差符号化部１０２に出力する。予測残差符号化部１０２では周波数変換、量子化等の画像符号化処理を行い残差信号を出力する。残差信号は予測残差復号化部１０４に入力され、逆量子化、逆周波数変換等の画像復号化処理を行い残差復号化信号を出力する。加算演算部１１１では前記残差復号化信号と予測画像信号との加算を行い再構成画像信号を生成する。再構成画像信号は参照用のピクチャとしてピクチャメモリ１０６に格納される前に、デブロッキング処理部１０５において符号化を行う際に分割されたブロックとブロックとの境界に発生する歪を緩和するための処理が行われる。

一方、ピクチャメモリ１０１から読み出されたマクロブロック単位の入力画像信号は画面間予測画像生成部１０８にも入力される。ここでは、ピクチャメモリ１０６に格納されている１枚もしくは複数枚の符号化済みピクチャを探索対象とし、最も入力画像信号に近い画像領域を検出し、それを予測画像として出力する。前記予測画像は差分演算部１１０において差分画像信号を生成するため、および加算演算部１１１において再構成画像信号を生成するために使用される。

上記の一連の処理によって出力された各種の符号化情報に対して符号列生成部１０３において可変長符号化を施すことにより、符号化処理によって出力される符号列（動画像符号化データ）が得られる。

以上の処理の流れは画面間予測符号化を行った場合の動作であったが、スイッチ１１２によって画面内予測符号化との切り替えがなされる。以下、画面内予測符号化について説明する。

ピクチャメモリ１０１から読み出された入力画像信号は差分演算部１１０に入力され、画面内予測画像生成部１０９の出力である予測画像信号との差分を取ることによって得られる差分画像信号を予測残差符号化部１０２に出力する。予測残差符号化部１０２では周波数変換、量子化等の画像符号化処理を行い残差信号を出力する。残差信号は予測残差復号化部１０４に入力され、逆量子化、逆周波数変換等の画像復号化処理を行い残差復号化信号を出力する。加算演算部１１１では前記残差復号化信号と予測画像信号との加算を行い再構成画像信号を生成する。再構成画像信号は参照用のピクチャとしてピクチャメモリ１０６に格納される前に、デブロッキング処理部１０５において符号化を行う際に分割されたブロックとブロックとの境界に発生する歪を緩和するための処理が行われる。

一方、ピクチャメモリ１０１から読み出されたマクロブロック単位の入力画像信号は画面内予測画像生成部１０９にも入力される。ここでは、加算演算部１１１の出力として生成された同一ピクチャ内の周辺ブロックの再構成画像信号を参照して予測画像を生成する。前記予測画像は差分演算部１１０において差分画像信号を生成するため、および加算演算部１１１において再構成画像信号を生成するために使用される。

上記の一連の処理によって出力された各種の符号化情報に対して符号列生成部１０３において可変長符号化を施すことにより、符号化処理によって出力される符号列が得られる。

なお、画面間予測符号化および画面内予測符号化の各符号化モードは符号化モード制御部１０７によって制御され、マクロブロック単位で切り替えられる。
図１２は従来の動画像復号化方法を実現する動画像復号化装置の構成を示すブロック図である。この動画像復号化装置は、符号列解析部２０１、予測残差復号化部２０２、デブロッキング処理部２０３、ピクチャメモリ２０４、復号化モード制御部２０５、画面間予測画像生成部２０６、画面内予測画像生成部２０７を備えている。

まず入力された符号列（動画像符号化データ）から符号列解析部２０１によって各種の情報が抽出され、復号化モードに関する情報は復号化モード制御部２０５に、残差符号化信号は予測残差復号化部２０２にそれぞれ出力される。

復号化方法には画面間予測復号化および画面内予測復号化の２種類がある。ここではまず始めに画面間予測復号化について説明する。
予測残差復号化部２０２では入力された残差符号化信号に対して、逆量子化、逆周波数変換等の画像復号化処理を施し残差復号化信号を出力する。加算演算部２０８では前記残差復号化信号と画面間予測画像生成部２０６から出力される予測画像信号との加算を行い復号化画像信号を生成する。復号化画像信号は参照用および表示用のピクチャとしてピクチャメモリ２０４に格納される前に、デブロッキング処理部２０３においてブロックとブロックとの境界に発生する歪を緩和するための処理が行われる。

一方、画面間予測画像生成部２０６では、ピクチャメモリ２０４に格納されている１枚もしくは複数枚の復号化済みピクチャから、指定された画像領域を取り出して予測画像を生成する。前記予測画像は加算演算部２０８において復号化画像信号を生成するために使用される。

上記の一連の処理によって生成された復号化済みピクチャはピクチャメモリ２０４から表示されるタイミングに従って表示用画像信号として出力される。
以上の処理の流れは画面間予測復号化を行った場合の動作であったが、スイッチ２０９によって画面内予測復号化との切り替えがなされる。以下、画面内予測符号化について説明する。

予測残差復号化部２０２では入力された残差符号化信号に対して、逆量子化、逆周波数変換等の画像復号化処理を施し残差復号化信号を出力する。加算演算部２０８では前記残差復号化信号と画面内予測画像生成部２０７から出力される予測画像信号との加算を行い復号化画像信号を生成する。復号化画像信号は表示用のピクチャとしてピクチャメモリ２０４に格納される前に、デブロッキング処理部２０３においてブロックとブロックとの境界に発生する歪を緩和するための処理が行われる。

一方、画面内予測画像生成部２０７では、加算演算部２０８の出力として生成された同一ピクチャ内の周辺ブロックの復号化画像信号を参照して予測画像を生成する。前記予測画像は加算演算部２０８において復号化画像信号を生成するために使用される。

上記の一連の処理によって生成された復号化済みピクチャはピクチャメモリ２０４から表示されるタイミングに従って表示用画像信号として出力される。
なお、画面間予測復号化および画面内予測復号化の各復号化モードは復号化モード制御部２０５によって制御され、マクロブロック単位で切り替えられる。

次に、デブロッキング処理部１０５および２０３における処理について詳しく説明する。なお、符号化処理における処理内容、および復号化処理における処理内容は全く共通であるため、ここではまとめて説明する。

図１３はデブロッキング処理において使用するフィルタの種類を決定する方法を説明するため図である。ここでは例として５種類のフィルタがあるものとし、ブロック境界の特性により前記フィルタを切り替えて使用する。ブロック歪が顕著に発生する可能性の高い部分にはより強いフィルタ（ここではFilter４）が、ブロック歪が顕著に発生する可能性の低い部分には弱いフィルタ（ここではFilter０）が適用されるように構成されている。

図１３（ａ）はフィルタを適用するブロックの境界を図示したものであり、中央の線がブロックの境界を、右側のＱで示される画素は対象ブロック内の境界に隣接する画素を、左側のＰで示される画素は隣接ブロック内の境界に隣接する画素を示している。図１３（ｂ）は、図１３（ａ）における画素Ｐと画素Ｑがどのような条件を持っていた場合にどのフィルタが選択されるかを示した表である。たとえば、境界が垂直エッジで画素Ｐと画素Ｑのどちらかが画面内予測符号化されたブロックに属する場合はFilter４が選択されることになる。同様に、境界が水平エッジで画素ＰとＱのどちらかが画面内予測符号化されたブロックに属する場合はFilter３が選択されることになる。また、画素ＰとＱのどちらかが周波数変換により変換された空間周波数成分の係数が０以外の係数を持つブロックに属する場合はFilter２が選択されることになる。また、画素ＰとＱが画面間予測符号化されたブロックに属し、それぞれ異なるピクチャを参照していた場合、または異なる動きベクトルを参照していた場合はFilter１が選択されることになる。また、上記のいずれにも該当しなかった場合はFilter０が選択されることになる。

なお、図１３（ｂ）における表はフィルタの選択方法の一例を示したものであり、フィルタの個数および選択条件はこれに限ったものでなく、それ以外の場合でも同様に扱うことが可能である。

次に、デブロッキング処理の流れを図１４のフローチャートを用いて説明する。対象とするデータは輝度のデータと色差のデータとに分かれて管理されているため、デブロッキング処理もそれぞれの成分に対して独立に適用される。

まず、輝度成分に対してデブロッキング処理を施すために、対象とするブロック境界に隣接する輝度成分の画素の個数だけのループを回し（Ｆ１およびＦ４）、各ループの中で図１３を用いて説明したフィルタの種類の選択を行い（Ｆ２）、フィルタを適用する（Ｆ３）。このとき選択されたフィルタの種類の情報は、対象とする輝度成分の画素に対してフィルタリング処理を適用するために使用すると同時に、後の処理で参照することを可能とする記憶領域に格納しておく（Ｆ５）。ブロックごとに左側の垂直エッジからなる境界と上側の水平エッジからなる境界とを対象とするため、例えば水平４×垂直４画素からなるブロックであった場合、上記の処理が８回適用されることになる。

次に、色差成分に対してデブロッキング処理を施すために、対象とするブロック境界に隣接する色差成分の画素の個数だけのループを回し（Ｆ６およびＦ１０）、各ループの中でフィルタの種類の選択を行い（Ｆ８）、フィルタを適用する（Ｆ９）。このとき、色差成分では輝度成分で使用したフィルタの種類にしたがって適用されるフィルタが決定される。つまり輝度成分での処理において決定されたフィルタの種類の情報が格納された記憶領域から、対応する輝度成分の画素位置で適用されたフィルタの種類をそのまま参照して使用する。そのとき、対象とする色差成分の画素位置から対応する輝度成分の画素位置に変換する（Ｆ７）ために下記の式を使用する。ただし、ＸＬは輝度の水平座標値、ＸＣは色差の水平座標値、ＹＬは輝度の垂直座標値、ＹＣは色差の垂直座標値を示す記号とする。
ＸＬ＝２×ＸＣ （式１（ａ））
ＹＬ＝２×ＹＣ （式１（ｂ））
上記の処理によって決定されたフィルタを適用することにより、色差成分に対するデブロッキング処理がなされる。

つぎに、輝度成分と色差成分との関係について説明する。図１５は、輝度成分と色差成分の位置関係を説明するための図である。図中の×記号は輝度成分のサンプル位置、○記号は色差成分のサンプル位置を示している。

一般に人間の目は色差成分の変化に対して鈍感であるため、色差成分を間引いて使用することが多い。間引きの方法としては様々なものがあるが、図１５（ａ）は縦横方向ともに１／２に間引く場合の位置関係、図１５（ｂ）は横方向のみ１／２に間引く場合の位置関係、図１５（ｃ）は間引きを行わない場合の位置関係を示している。図１５（ａ）に示すような位置関係の場合、色差成分のデブロッキング処理において対応する輝度成分の画素位置を算出する場合に式１（ａ）および式１（ｂ）が使用されることになる。

さらに図１６では、縦横方向ともに１／２に間引く場合のフレーム構造とフィールド構造とでの位置の関係を表している。色差成分を間引いて処理を行った場合のフレーム構造は図１６（ａ）のようになり、それをフィールド構造に置き換えると図１６（ｂ）のようになる。つまり、輝度成分の０、２、４列目はトップフィールドに、１、３、５列目はボトムフィールドに割り当てられ、色差成分の０、２列目はトップフィールドに、１列目はボトムフィールドに割り当てられている。（例えば、非特許文献１参照。）。
ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC Draft Text of Final Draft International Standard (FDIS) of Joint Video Specification (2003-3-31)

しかしながら前記従来の構成では、式１（ａ）および式１（ｂ）を用いて変換した画素位置の輝度成分で使用したフィルタの種類を色差成分の画素に適用していたため、インターレースで表示する画像に対してフレーム構造で符号化および復号化する場合に、ボトムフィールドの色差成分がトップフィールドの輝度成分を参照して適用するフィルタを決定するという不整合が発生するという課題を有していた。図１７はそのときの参照関係を説明するための図である。図１７（ａ）はフレーム構造で符号化および復号化したときの輝度成分と色差成分の位置の関係を、図１７（ｂ）は前記画像をフィールド構造に置き換えたときの輝度成分と色差成分の位置の関係を示している。Ｌ＿０は輝度成分の０列目の位置を、Ｃ＿０は色差成分の０列目の位置を表す。Ｃ＿１の色差成分に対してデブロッキングフィルタを適用する場合、式１（ｂ）より、Ｌ＿２の輝度成分を参照することが指示されている。しかし、そのときの画素をフィールド構造に置き換えると、ボトムフィールドに属するＣ＿１の色差成分がトップフィールドに属するＬ＿２の輝度成分を参照してフィルタの種類を決定していることが分かる。

上記にも述べたが、フレーム構造のピクチャでは全てのマクロブロックをフレームマクロブロックとして符号化を行うだけでなく、マクロブロックペア単位にフレーム構造またはフィールド構造に切り替えて符号化を行うことも可能である。また、フィールド構造で符号化する場合には、トップフィールドおよびボトムフィールドにおいて異なる符号化モードを使用することが可能である。

よって、例えばトップフィールドが画面内予測符号化モードであり、ボトムフィールドが画面間予測符号化モードであるというような場合に、ボトムフィールドに属する色差成分において画質劣化が発生することになる。すなわち、基本的に画面内予測符号化モードであれば強いフィルタが適用され、画面間予測符号化モードであれば弱いフィルタが適用されることになるので、ボトムフィールドに属する色差成分においては本来弱いフィルタが適用されるべきである。ところが、上記のようにボトムフィールドに属する色差成分ではトップフィールドに属する輝度成分を参照してフィルタの種類を決定することになるために、強いフィルタが適用されることになる。これによって、ボトムフィールドに属する色差成分において画質劣化が発生することになり、インターレースとして表示するときに違和感のある画像になってしまう。

また、対象マクロブロックのトップフィールドおよびボトムフィールドが同じ符号化モードであっても、隣接するマクロブロックがフィールド構造で符号化され、トップフィールドおよびボトムフィールドが異なる符号化モードである場合も、同様である。

以上のように、インターレースで表示する画像に対してフレーム構造で符号化および復号化する場合において、色差成分に適用するフィルタの種類を異なるフィールドに属する輝度成分を参照して決定する場合があるため、不適切なフィルタの種類が適用されてしまうという課題がある。

そこで、本発明は前記従来の課題を解決するもので、インターレースで表示する画像に対してフレーム構造で符号化および復号化する場合であっても、デブロッキング処理において最適なフィルタの種類を適用することを可能とする動画像符号化方法および動画像復号化方法を提供することを目的とする。

上記目的を達成するために、本発明に係る動画像符号化方法は、入力される輝度成分と色差成分とによって構成される動画像をブロックに分割して符号化する動画像符号化方法であって、同じピクチャの符号化済み領域、もしくは符号化済みの異なるピクチャを参照して符号化を行う予測符号化ステップと、前記予測符号化ステップによって生成された符号化データを用いて、対象のピクチャの再構成を行う再構成画像生成ステップと、前記再構成画像生成ステップによって生成された再構成画像に対して、ブロックの境界にフィルタをかけることによって歪を緩和させるデブロッキング処理ステップとを有し、前記デブロッキング処理ステップでは、輝度成分と色差成分とに対して個別にフィルタを適用し、前記輝度成分に対しては適用する前記フィルタの種類を前記輝度成分の符号化情報に基づいて選択して適用し、前記色差成分に対しては同じフィールドに属しかつ当該色差成分に対応する輝度成分において選択されたフィルタを適用することを特徴とする。

これによって、同じフィールドに属する輝度成分と色差成分に対して同じ種類のデブロッキングフィルタが適用されるため、復号化を行った後にインターレースとして表示するときに違和感の無い画像を生成するような符号化が可能となる。さらに、従来の構成に対する変更点が非常に少ないため容易に本発明の構成を組み込みことが可能である。

また、本発明に係る動画像復号化方法は、輝度成分と色差成分とによって構成される動画像がブロックに分割されて符号化された動画像符号化データを復号化する動画像復号化方法であって、同じピクチャの復号化済み領域、もしくは復号化済みの異なるピクチャを参照して復号化を行う予測復号化ステップと、前記予測復号化ステップによって生成された復号化画像に対して、ブロックの境界にフィルタをかけることによって歪を緩和させるデブロッキング処理ステップとを有し、前記デブロッキング処理ステップでは、輝度成分と色差成分とに対して個別にフィルタを適用し、前記輝度成分に対しては適用する前記フィルタの種類を前記輝度成分の符号化情報に基づいて選択して適用し、前記色差成分に対しては同じフィールドに属しかつ当該色差成分に対応する輝度成分において選択されたフィルタを適用することを特徴とする。

これによって、同じフィールドに属する輝度成分と色差成分に対して同じ種類のデブロッキングフィルタが適用されるため、インターレースとして表示する際に違和感の無い画像を生成する可能となる。さらに、従来の構成に対する変更点が非常に少ないため容易に本発明の構成を組み込みことが可能である。

なお、本発明は、このような動画像符号化方法および動画像復号化方法として実現することができるだけでなく、このような動画像符号化方法および動画像復号化方法が含む特徴的なステップを手段として備える動画像符号化装置および動画像復号化装置として実現することもできる。また、それらのステップをコンピュータに実行させるプログラムとして実現したり、前記動画像符号化方法により符号化した動画像符号化データとして実現したりすることもできる。そして、そのようなプログラムおよび動画像符号化データは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することもできる。

本発明による動画像符号化方法によれば、同じフィールドに属する輝度成分と色差成分に対して同じ種類のデブロッキングフィルタが適用されるため、復号化を行った後にインターレースとして表示する際に違和感の無い画像を生成するような符号化が可能となる。さらに従来の構成に対する変更点が非常に少ないため容易に本発明の構成を組み込みことが可能である。

また、本発明による動画像復号化方法によれば、同じフィールドに属する輝度成分と色差成分に対して同じ種類のデブロッキングフィルタが適用されるため、インターレースとして表示する際に違和感の無い画像を生成する可能となる。さらに従来の構成に対する変更点が非常に少ないため容易に本発明の構成を組み込みことが可能である。

以下、本発明の具体的な実施の形態について、図面を参照しながら説明する。
（実施の形態１）
本発明における実施の形態１の符号化処理全体の流れに係わる動画像符号化装置の構成は、図１１を用いて説明した従来の構成と全く同様であるため、ここでは説明を省略する。従来の構成と異なる点は、図１１のデブロッキング処理部１０５におけるデブロッキングの処理方法のみである。また、復号化処理全体の流れに係わる動画像復号化装置の構成は、図１２を用いて説明した従来の構成と全く同様であるため、ここでは説明を省略する。従来の構成と異なる点は、図１２のデブロッキング処理部２０３におけるデブロッキングの処理方法のみである。

デブロッキング処理部１０５および２０３における処理について下記で詳しく説明する。なお、符号化処理における処理内容、および復号化処理における処理内容は全く共通であるため、ここではまとめて説明する。

前記デブロッキングの処理は入力とする動画像データの構成における色差成分の間引きの方法によって異なるが、ここでは３種類の間引きの方法に対してそれぞれ説明する。（１）では図１５（ａ）に示したように色差成分が縦横方向ともに１／２に間引かれている動画像データを入力とした場合の説明を行い、（２）では図１５（ｂ）に示したように色差成分が横方向のみ１／２に間引かれている動画像データを入力とした場合の説明を行い、（３）では図１５（ｃ）に示したように色差成分が間引かれていない動画像データを入力とした場合の説明を行う。なお、以下の説明では対象とするブロックをフレーム構造として符号化および復号化を行ったものとする。
（１）縦横１／２間引きの場合
図１は、色差成分を縦横方向ともに１／２間引きを行った動画像を入力とした場合のデブロッキング処理の流れを説明するためのフローチャートである。対象とする動画像データは輝度成分と色差成分とに分かれて管理されているため、デブロッキング処理もそれぞれの成分に対して独立に適用される。

まず、輝度成分に対してデブロッキング処理を施すために、対象とするブロック境界に隣接する輝度成分の画素の個数だけのループを回し（Ｆ１およびＦ４）、各ループの中で対象とする輝度成分の画素の符号化情報を用いてフィルタの種類の選択を行い（Ｆ２）、フィルタを適用する（Ｆ３）。このとき選択されたフィルタの種類の情報は、対象とする輝度成分の画素に対してフィルタリング処理を適用するために使用すると同時に、後の処理で参照することを可能とする記憶領域に格納しておく（Ｆ５）。ブロックごとに左側の垂直エッジからなる境界と上側の水平エッジからなる境界とを対象とするため、例えば水平４×垂直４画素からなるブロックであった場合、上記の処理が８回適用されることになる。

上記のフィルタの種類を決定するための方法を図１３を用いて説明する。ここでは例として５種類のフィルタがあるものとし、ブロック境界の特性により前記フィルタを切り替えて使用する。ブロック歪が顕著に発生する可能性の高い部分にはより強いフィルタ（ここではFilter４）が、ブロック歪が顕著に発生する可能性の低い部分には弱いフィルタ（ここではFilter０）が適用されるように構成されている。

図１３（ａ）はフィルタを適用するブロックの境界を図示したものであり、中央の線がブロックの境界を、右側のＱで示される画素は対象ブロック内の境界に隣接する画素を、左側のＰで示される画素は隣接ブロック内の境界に隣接する画素を示している。図１３（ｂ）は、図１３（ａ）における画素Ｐと画素Ｑがどのような条件を持っていた場合にどのフィルタが選択されるかを示した表である。たとえば、境界が垂直エッジで画素Ｐと画素Ｑのどちらかが画面内予測符号化されたブロックに属する場合はFilter４が選択されることになる。

なお、図１３（ｂ）における表はフィルタの選択方法の一例を示したものであり、フィルタの個数および選択条件はこれに限ったものでなく、それ以外の場合でも同様に扱うことが可能である。

上記処理によって決定されたフィルタの種類の情報は、対象とする輝度成分の画素に対してフィルタリング処理を適用するために使用すると同時に、後の処理で参照することを可能とする記憶領域に格納しておく。

次に、色差成分に対してデブロッキング処理を施すために、対象とするブロック境界に隣接する色差成分の画素の個数だけのループを回し（Ｆ６およびＦ１０）、各ループの中でフィルタの種類の選択を行い（Ｆ８）、フィルタを適用する（Ｆ９）。このとき、色差成分では輝度成分で使用したフィルタの種類にしたがって適用されるフィルタが決定される。つまり輝度成分での処理において決定されたフィルタの種類の情報が格納された記憶領域から、対応する輝度成分の画素位置で適用されたフィルタの種類をそのまま参照して使用する。そのとき、対象とする色差成分の画素位置から対応する輝度成分の画素位置に変換する（Ｆ７ａ）。

画素の位置の情報の変換は、対象とするブロックをフィールド構造に置き換えたときに対象とする色差成分の画素に割り当てられるフィールドと同じフィールドに割り当てられる輝度成分の画素の位置になるようになされる。ここでは色差成分を縦横方向ともに１／２に間引いているため、下記の式を使用することによって変換がなされる。ただし、ＸＬは輝度の水平座標値、ＸＣは色差の水平座標値、ＹＬは輝度の垂直座標値、ＹＣは色差の垂直座標値を示す記号とする。また式２（ｂ）における％の記号は除算を行ったときの余りの値を返す演算子を表すものとする。
ＸＬ＝２×ＸＣ （式２（ａ））
ＹＬ＝２×ＹＣ＋ＹＣ％２ （式２（ｂ））
上記の処理によって決定されたフィルタを適用することにより、色差成分に対するデブロッキング処理がなされる。ブロックごとに左側の垂直エッジからなる境界と上側の水平エッジからなる境界とを対象とするため、例えば輝度成分が水平４×垂直４画素からなるブロックであった場合、ここでは色差成分を縦横方向ともに１／２に間引いた場合の例で説明しているため、色差成分が水平２×垂直２画素となるため上記の処理が４回適用されることになる。

図２は、対象とする色差成分の画素の位置と、式２（ａ）と式２（ｂ）によって変換された参照する輝度成分の画素の位置との関係を説明するための図である。図２（ａ）はフレーム構造のときの輝度成分と色差成分の位置の関係を、図２（ｂ）は前記画像をフィールド構造に置き換えたときの輝度成分と色差成分の位置の関係を示している。Ｌ＿０は輝度成分の０列目の位置を、Ｃ＿０は色差成分の０列目の位置を表す。Ｃ＿１の色差成分に対してデブロッキングフィルタを適用する場合、式２（ｂ）より、Ｌ＿３の輝度成分を参照することが指示されている。そのときの画素をフィールド構造に置き換えると、ボトムフィールドに属するＣ＿１の色差成分が同じボトムフィールドに属するＬ＿３の輝度成分を参照してフィルタの種類を決定していることが分かる。

従来の方法では、図１７を用いて説明したように、Ｃ＿１の色差成分に対してデブロッキングフィルタを適用する場合、式１（ｂ）より、Ｌ＿２の輝度成分を参照することになっていた。デブロッキングの処理では、対象とするブロックがフレーム構造であっても、隣接するブロックがフィールド構造の場合は、フィールドごとに適用するフィルタの種類が異なる可能性がある。つまり、色差成分Ｃ＿１に対して適用するフィルタをトップフィールドに属する輝度成分で使用したものに従うか、ボトムフィールドに属する輝度成分で使用したものに従うかによって大きく結果が異なってしまう。これによって、ボトムフィールドにおける輝度成分と色差成分とで使用するフィルタが異なり、画素値の補正の度合いにギャップが生じることとなる。

しかし、本発明における変換の方法を用いることによって、同じフィールドの同じ画素を構成する輝度成分と色差成分とに対して同じ種類のデブロッキングフィルタが適用されることになるため、インターレースとして表示を行う際に違和感の無い画像を生成するような符号化および復号化が可能となる。

なお、対象とする色差成分の画素位置から対応する輝度成分の画素位置に変換するために式２（ａ）および式２（ｂ）を使用する替わりに、下記の式を用いることも可能である。ただし、ＸＬは輝度の水平座標値、ＸＣは色差の水平座標値、ＹＬは輝度の垂直座標値、ＹＣは色差の垂直座標値を示す記号とする。
ＸＬ＝２×ＸＣ （式２（ａ１））
ＹＬ＝２×ＹＣ （式２（ｂ１））
ＹＬ＝２×ＹＣ＋１ （式２（ｂ２））
色差成分がトップフィールドに属する場合は、式２（ａ１）と式２（ｂ１）を使用し、色差成分がボトムフィールドに属する場合は、式２（ａ２）と式２（ｂ２）を使用することによって変換がなされる。
（２）横１／２間引きの場合
図３（ａ）は、色差成分を横方向のみ１／２間引きを行った画像を入力とした場合のデブロッキング処理の流れを説明するためのフローチャートである。図１と異なる点は色差成分に対するデブロッキング処理のみであり、それ以外の同じ処理に関しては説明を省略する。

色差成分に対してデブロッキング処理を施すために、対象とするブロック境界に隣接する色差の画素の個数だけのループを回し（Ｆ６およびＦ１０）、各ループの中でフィルタの種類の選択を行い（Ｆ８）、フィルタを適用する（Ｆ９）。このとき、色差成分では輝度成分で使用したフィルタの種類にしたがって適用されるフィルタが決定される。つまり輝度成分での処理において決定されたフィルタの種類の情報が格納された記憶領域から、対応する輝度成分の画素位置で適用されたフィルタの種類をそのまま参照して使用する。そのとき、対象とする色差成分の画素位置から対応する輝度成分の画素位置に変換する（Ｆ７ｂ）。

画素の位置の情報の変換は、対象とするブロックをフィールド構造に置き換えたときに対象とする色差成分の画素に割り当てられるフィールドと同じフィールドに割り当てられる輝度成分の画素の位置になるようになされる。ここでは色差成分を横方向のみ１／２に間引いているため、下記の式を使用することによって変換がなされる。ただし、ＸＬは輝度の水平座標値、ＸＣは色差の水平座標値、ＹＬは輝度の垂直座標値、ＹＣは色差の垂直座標値を示す記号とする。
ＸＬ＝２×ＸＣ （式３（ａ））
ＹＬ＝ＹＣ （式３（ｂ））
上記の処理によって決定されたフィルタを適用することにより、色差成分に対するデブロッキング処理がなされる。ブロックごとに左側の垂直エッジからなる境界と上側の水平エッジからなる境界とを対象とするため、例えば輝度成分が水平４×垂直４画素からなるブロックであった場合、ここでは色差成分を横方向のみ１／２に間引いた場合の例で説明しているため、色差成分が水平２×垂直４画素となるため上記の処理が６回適用されることになる。

図４は、対象とする色差成分の画素の位置と、式３（ａ）と式３（ｂ）によって変換された参照する輝度成分の画素の位置との関係を説明するための図である。図４（ａ）はフレーム構造のときの輝度成分と色差成分の位置の関係を、図４（ｂ）は前記画像をフィールド構造に置き換えたときの輝度成分と色差成分の位置の関係を示している。Ｌ＿０は輝度成分の０列目の位置を、Ｃ＿０は色差成分の０列目の位置を表す。Ｃ＿１の色差成分に対してデブロッキングフィルタを適用する場合、式３（ｂ）より、Ｌ＿１の輝度成分を参照することが指示されている。そのときの画素をフィールド構造に置き換えると、ボトムフィールドに属するＣ＿１の色差成分が同じボトムフィールドに属するＬ＿１の輝度成分を参照してフィルタの種類を決定していることが分かる。

上記変換の方法を用いることによって、同じフィールドの同じ画素を構成する輝度成分と色差成分とに対して同じ種類のデブロッキングフィルタが適用されることになるため、インターレースとして表示を行う際に違和感の無い画像を生成するような符号化および復号化が可能となる。
（３）間引きなしの場合
図３（ｂ）は、色差成分を間引きを行っていない画像を入力とした場合のデブロッキング処理の流れを説明するためのフローチャートである。図１と異なる点は色差成分に対するデブロッキング処理のみであり、それ以外の同じ処理に関しては説明を省略する。

色差成分に対してデブロッキング処理を施すために、対象とするブロック境界に隣接する色差の画素の個数だけのループを回し（Ｆ６およびＦ１０）、各ループの中でフィルタの種類の選択を行い（Ｆ８）、フィルタを適用する（Ｆ９）。このとき、色差成分では輝度成分で使用したフィルタの種類にしたがって適用されるフィルタが決定される。つまり輝度成分での処理において決定されたフィルタの種類の情報が格納された記憶領域から、対応する輝度成分の画素位置で適用されたフィルタの種類をそのまま参照して使用する。そのとき、対象とする色差成分の画素位置から対応する輝度成分の画素位置に変換する（Ｆ７ｃ）。

画素の位置の情報の変換は、対象とするブロックをフィールド構造に置き換えたときに対象とする色差成分の画素に割り当てられるフィールドと同じフィールドに割り当てられる輝度成分の画素の位置になるようになされる。ここでは色差成分の間引きを行っていないため、下記の式を使用することによって変換がなされる。ただし、ＸＬは輝度の水平座標値、ＸＣは色差の水平座標値、ＹＬは輝度の垂直座標値、ＹＣは色差の垂直座標値を示す記号とする。
ＸＬ＝ＸＣ （式４（ａ））
ＹＬ＝ＹＣ （式４（ｂ））
上記の処理によって決定されたフィルタを適用することにより、色差成分に対するデブロッキング処理がなされる。ブロックごとに左側の垂直エッジからなる境界と上側の水平エッジからなる境界とを対象とするため、例えば輝度成分が水平４×垂直４画素からなるブロックであった場合、ここでは色差成分の間引きを行っていない場合の例で説明しているため、色差成分が水平４×垂直４画素となるため上記の処理が８回適用されることになる。

図５は、対象とする色差成分の画素の位置と、式４（ａ）と式４（ｂ）によって変換された参照する輝度成分の画素の位置との関係を説明するための図である。図５（ａ）はフレーム構造のときの輝度成分と色差成分の位置の関係を、図５（ｂ）は前記画像をフィールド構造に置き換えたときの輝度成分と色差成分の位置の関係を示している。Ｌ＿０は輝度成分の０列目の位置を、Ｃ＿０は色差成分の０列目の位置を表す。Ｃ＿１の色差成分に対してデブロッキングフィルタを適用する場合、式４（ｂ）より、Ｌ＿１の輝度成分を参照することが指示されている。そのときの画素をフィールド構造に置き換えると、ボトムフィールドに属するＣ＿１の色差成分が同じボトムフィールドに属するＬ＿１の輝度成分を参照してフィルタの種類を決定していることが分かる。

上記変換の方法を用いることによって、同じフィールドの同じ画素を構成する輝度成分と色差成分とに対して同じ種類のデブロッキングフィルタが適用されることになるため、インターレースとして表示を行う際に違和感の無い画像を生成するような符号化および復号化が可能となる。

（実施の形態２）
さらに、上記各実施の形態で示した動画像符号化方法または動画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図６は、上記各実施の形態の動画像符号化方法および動画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図である。

図６（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図６（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての動画像符号化方法が記録されている。

また、図６（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての動画像符号化方法または動画像復号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク内のプログラムにより上記動画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

さらにここで、上記実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。
図７は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。

このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０７〜ex１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図７のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、動画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。

図８は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図９を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。

携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声データに変換した後、これを音声出力部ex２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した動画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した動画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信データを変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。

また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した動画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号化することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１０に示すようにディジタル放送用システムにも上記実施の形態の少なくとも動画像符号化装置または動画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報のビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録したビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した動画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に動画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した動画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した動画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図９に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。

また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
また、図１１および図１２に示したブロック図の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

以上のように、本発明に係る動画像符号化方法および動画像復号化方法は、例えば携帯電話、ＤＶＤ装置、およびパーソナルコンピュータ等で、入力画像を構成する各ピクチャを符号化し、動画像符号化データとして出力したり、この動画像符号化データを復号化したりするための方法として有用である。

実施の形態１の動画像符号化装置および動画像復号化装置におけるデブロッキング処理の流れを説明するためのフローチャートである。 色差成分の画素位置を輝度成分の画素位置に変換したときの関係を示す別の模式図である。 実施の形態１の動画像符号化装置および動画像復号化装置における別のデブロッキング処理の流れを説明するためのフローチャートである。 色差成分の画素位置を輝度成分の画素位置に変換したときの関係を示す別の模式図である。 色差成分の画素位置を輝度成分の画素位置に変換したときの関係を示す別の模式図である。 各実施の形態の動画像符号化方法および動画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図であり、(a)記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図、(b)フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、(c)フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示した説明図である。 コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。 携帯電話の一例を示す概略図である。 携帯電話の内部構成を示すブロック図である。 ディジタル放送用システムの全体構成を示すブロック図である。 従来の動画像符号化装置の構成を示すブロック図である。 従来の動画像復号化装置の構成を示すブロック図である。 デブロッキングフィルタの種類を決定する方法を示すための模式図である。 従来の動画像符号化装置および動画像復号化装置におけるデブロッキング処理の流れを説明するためのフローチャートである。 色差成分と輝度成分のサンプル位置の関係を示すための模式図である。 色差成分と輝度成分のサンプル位置の関係を示すための別の模式図である。 色差成分の画素位置を輝度成分の画素位置に変換したときの関係を示す模式図である。

符号の説明

１０１、１０６、２０４ ピクチャメモリ
１０２ 予測残差符号化部
１０３ 符号列生成部
１０４、２０２ 予測残差復号化部
１０５、２０３ デブロッキング処理部
１０７ 符号化モード制御部
１０８、２０６ 画面間予測画像生成部
１０９、２０７ 画面内予測画像生成部
２０１ 符号列解析部
２０５ 復号化モード制御部
Ｃｓ コンピュータ・システム
ＦＤ フレキシブルディスク
ＦＤＤ フレキシブルディスクドライブ

Claims (14)

1. 入力される輝度成分と色差成分とによって構成される画像をブロックに分割して符号化する動画像符号化方法であって、
   同じピクチャの符号化済み領域、もしくは符号化済みの異なるピクチャを参照して符号化を行う予測符号化ステップと、
   前記予測符号化ステップによって生成された符号化データを用いて、対象のピクチャの再構成を行う再構成画像生成ステップと、
   前記再構成画像生成ステップによって生成された再構成画像に対して、ブロックの境界にフィルタをかけることによって歪を緩和させるデブロッキング処理ステップとを有し、
   前記デブロッキング処理ステップでは、輝度成分と色差成分とに対して個別にフィルタを適用し、前記輝度成分に対しては適用する前記フィルタの種類を前記輝度成分の符号化情報に基づいて選択して適用し、前記色差成分に対しては同じフィールドに属しかつ当該色差成分に対応する輝度成分において選択されたフィルタを適用する
   ことを特徴とする動画像符号化方法。
2. 前記デブロッキング処理ステップでは、前記フィルタの種類に応じて前記フィルタの強さが相違する
   ことを特徴とする請求項１記載の動画像符号化方法。
3. 前記デブロッキング処理ステップでは、符号化の対象とする画像が色差成分を輝度成分に対して垂直方向に半分に間引かれている場合、色差成分に適用するフィルタの種類を決定するために参照する輝度成分の画素の垂直位置を、フレーム単位で符号化を行なう場合であっても、トップフィールドおよびボトムフィールドの各空間に分割したときの画素構成に基づいて決定する
   ことを特徴とする請求項１記載の動画像符号化方法。
4. 前記デブロッキング処理ステップでは、符号化の対象とする画像が色差成分を輝度成分に対して垂直方向に間引かれていない場合、色差成分に適用するフィルタの種類を決定するために参照する輝度成分の画素の垂直位置を、色差成分の垂直位置と同じ位置として決定する
   ことを特徴とする請求項１記載の動画像符号化方法。
5. 輝度成分と色差成分とによって構成される画像がブロックに分割されて符号化された動画像符号化データを復号化する動画像復号化方法であって、
   同じピクチャの復号化済み領域、もしくは復号化済みの異なるピクチャを参照して復号化を行う予測復号化ステップと、
   前記予測復号化ステップによって生成された復号化画像に対して、ブロックの境界にフィルタをかけることによって歪を緩和させるデブロッキング処理ステップとを有し、
   前記デブロッキング処理ステップでは、輝度成分と色差成分とに対して個別にフィルタを適用し、前記輝度成分に対しては適用するフィルタの種類を前記輝度成分の符号化情報に基づいて選択して適用し、前記色差成分に対しては同じフィールドに属しかつ当該色差成分に対応する輝度成分において選択されたフィルタを適用する
   ことを特徴とする動画像復号化方法。
6. 前記デブロッキング処理ステップでは、前記フィルタの種類に応じて前記フィルタの強さが相違する
   ことを特徴とする請求項５記載の動画像復号化方法。
7. 前記デブロッキング処理ステップでは、復号化の対象とする動画像符号化データが、色差成分を輝度成分に対して垂直方向に半分に間引かれた画像が符号化されている場合、色差成分に適用するフィルタの種類を決定するために参照する輝度成分の画素の垂直位置を、フレーム単位で復号化を行なう場合であっても、トップフィールドおよびボトムフィールドの各空間に分割したときの画素構成に基づいて決定する
   ことを特徴とする請求項５記載の動画像復号化方法。
8. 前記デブロッキング処理ステップでは、復号化の対象とする動画像符号化データが、色差成分を輝度成分に対して垂直方向に間引かれていない画像が符号化されている場合、色差成分に適用するフィルタの種類を決定するために参照する輝度成分の画素の垂直位置を、色差成分の垂直位置と同じ位置として決定する
   ことを特徴とする請求項５記載の動画像復号化方法。
9. 入力される輝度成分と色差成分とによって構成される画像をブロックに分割して符号化する動画像符号化装置であって、
   同じピクチャの符号化済み領域、もしくは符号化済みの異なるピクチャを参照して符号化を行う予測符号化手段と、
   前記予測符号化手段によって生成された符号化データを用いて、対象のピクチャの再構成を行う再構成画像生成手段と、
   前記再構成画像生成手段によって生成された再構成画像に対して、ブロックの境界にフィルタをかけることによって歪を緩和させるデブロッキング処理手段とを備え、
   前記デブロッキング処理手段は、輝度成分と色差成分とに対して個別にフィルタを適用し、前記輝度成分に対しては適用する前記フィルタの種類を前記輝度成分の符号化情報に基づいて選択して適用し、前記色差成分に対しては同じフィールドに属しかつ当該色差成分に対応する輝度成分において選択されたフィルタを適用する
   ことを特徴とする動画像符号化装置。
10. 輝度成分と色差成分とによって構成される画像がブロックに分割されて符号化された動画像符号化データを復号化する動画像復号化装置であって、
    同じピクチャの復号化済み領域、もしくは復号化済みの異なるピクチャを参照して復号化を行う予測復号化手段と、
    前記予測復号化手段によって生成された復号化画像に対して、ブロックの境界にフィルタをかけることによって歪を緩和させるデブロッキング処理手段とを備え、
    前記デブロッキング処理手段は、輝度成分と色差成分とに対して個別にフィルタを適用し、前記輝度成分に対しては適用する前記フィルタの種類を前記輝度成分の符号化情報に基づいて選択して適用し、前記色差成分に対しては同じフィールドに属しかつ当該色差成分に対応する輝度成分において選択されたフィルタを適用する
    ことを特徴とする動画像復号化装置。
11. 入力される輝度成分と色差成分とによって構成される画像をブロックに分割して符号化するためのプログラムであって、
    同じピクチャの符号化済み領域、もしくは符号化済みの異なるピクチャを参照して符号化を行う予測符号化ステップと、
    前記予測符号化ステップによって生成された符号化データを用いて、対象のピクチャの再構成を行う再構成画像生成ステップと、
    前記再構成画像生成ステップによって生成された再構成画像に対して、ブロックの境界にフィルタをかけることによって歪を緩和させるデブロッキング処理ステップとをコンピュータに実行させ、
    前記デブロッキング処理ステップでは、輝度成分と色差成分とに対して個別にフィルタを適用し、前記輝度成分に対しては適用する前記フィルタの種類を前記輝度成分の符号化情報に基づいて選択して適用し、前記色差成分に対しては同じフィールドに属しかつ当該色差成分に対応する輝度成分において選択されたフィルタを適用する
    ことを特徴とするプログラム。
12. 輝度成分と色差成分とによって構成される画像がブロックに分割されて符号化された動画像符号化データを復号化するためのプログラムであって、
    同じピクチャの復号化済み領域、もしくは復号化済みの異なるピクチャを参照して復号化を行う予測復号化ステップと、
    前記予測復号化ステップによって生成された復号化画像に対して、ブロックの境界にフィルタをかけることによって歪を緩和させるデブロッキング処理ステップとをコンピュータに実行させ、
    前記デブロッキング処理ステップでは、輝度成分と色差成分とに対して個別にフィルタを適用し、前記輝度成分に対しては適用するフィルタの種類を前記輝度成分の符号化情報に基づいて選択して適用し、前記色差成分に対しては同じフィールドに属しかつ当該色差成分に対応する輝度成分において選択されたフィルタを適用する
    ことを特徴とするプログラム。
13. 入力される輝度成分と色差成分とによって構成される画像をブロックに分割して符号化する集積回路であって、
    同じピクチャの符号化済み領域、もしくは符号化済みの異なるピクチャを参照して符号化を行う予測符号化手段と、
    前記予測符号化手段によって生成された符号化データを用いて、対象のピクチャの再構成を行う再構成画像生成手段と、
    前記再構成画像生成手段によって生成された再構成画像に対して、ブロックの境界にフィルタをかけることによって歪を緩和させるデブロッキング処理手段とを備え、
    前記デブロッキング処理手段は、輝度成分と色差成分とに対して個別にフィルタを適用し、前記輝度成分に対しては適用する前記フィルタの種類を前記輝度成分の符号化情報に基づいて選択して適用し、前記色差成分に対しては同じフィールドに属しかつ当該色差成分に対応する輝度成分において選択されたフィルタを適用する
    ことを特徴とする集積回路。
14. 輝度成分と色差成分とによって構成される画像がブロックに分割されて符号化された動画像符号化データを復号化する集積回路であって、
    同じピクチャの復号化済み領域、もしくは復号化済みの異なるピクチャを参照して復号化を行う予測復号化手段と、
    前記予測復号化手段によって生成された復号化画像に対して、ブロックの境界にフィルタをかけることによって歪を緩和させるデブロッキング処理手段とを備え、
    前記デブロッキング処理手段は、輝度成分と色差成分とに対して個別にフィルタを適用し、前記輝度成分に対しては適用する前記フィルタの種類を前記輝度成分の符号化情報に基づいて選択して適用し、前記色差成分に対しては同じフィールドに属しかつ当該色差成分に対応する輝度成分において選択されたフィルタを適用する
    ことを特徴とする集積回路。
    
    
    

Images