JPH10327411A

JPH10327411A - 画像符号化方法及び装置、画像復号方法及び装置、並びに記録媒体

Info

Publication number: JPH10327411A
Application number: JP7268398A
Authority: JP
Inventors: Kazuhisa Hosaka; 和寿保坂
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-03-26
Filing date: 1998-03-20
Publication date: 1998-12-08
Anticipated expiration: 2018-03-20
Also published as: JP3304870B2

Abstract

(57)【要約】【課題】画像を効率よく符号化可能にする。【解決手段】シェイプ画像をシェイプ符号化器４にて
マクロブロック毎に符号化する際に、そのマクロブロッ
クのモードを示す情報をモード符号化器７で符号化す
る。このとき、符号化するシェイプ画像のマクロブロッ
クを、そのマクロブロックに対して空間もしくは時間方
向における相関の強いマクロブロックのモード若しくは
復号画素を使用して符号化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像信号を、アナ
ログおよびディジタルの電話回線、専用のデータ伝送回
線などの種々の転送レートを持った伝送装置を使って伝
送すること、また、光／磁気ディスクやＲＡＭ（ランダ
ムアクセスメモリ）などの種々の記憶容量を持った蓄積
メディアに記録すること、を前提とした場合に重要な、
ディジタル画像信号の画像符号化方法及び装置、画像復
号方法及び装置、並びに記録媒体に関する。

【０００２】

【従来の技術】画像の符号化方法の１つとして、オブジ
ェクトスケーラブルな符号化というものがある。これは
画像をオブジェクトと呼ばれるまとまりに分割し、オブ
ジェクト毎に符号化を行うものである。

【０００３】例えば、図８のように、人と背景とからな
る画像Ｖ１をオブジェクトスケーラブルに符号化するに
は、画像Ｖ１を人というオブジェクトと背景というオブ
ジェクトとに分割する。その後、これら人のオブジェク
トを構成する画像Ｖ２と上記背景のオブジェクトを構成
する画像Ｖ３のそれぞれを、独立に符号化する。これに
より、人オブジェクト画像Ｖ２については細かく量子化
し、背景オブジェクト画像Ｖ３については荒く量子化し
て符号化するという制御が可能になる。更に、人オブジ
ェクト画像Ｖ２については全フレームを符号化し、背景
オブジェクト画像Ｖ３については何枚かに１枚を符号化
するという制御が可能になる。この符号化手法によれ
ば、同じ符号発生量で主観的な画質を向上させたり、同
じ主観的な画質で符号発生量を減少させたりできるとい
う利点がある。

【０００４】このオブジェクトスケーラブルな符号化を
実現するためには、通常符号化している画像の明るさお
よび色合いを表すテクスチャ画像（または単にテクスチ
ャ）以外に、オブジェクトの形状を符号化する必要があ
る。オブジェクトの形状はシェイプ画像（または単にシ
ェイプ、或いはキー信号と呼ばれることもある）と呼ば
れている。図８の例では、人オブジェクト画像Ｖ２をテ
クスチャ画像Ｖ２ａとシェイプ画像Ｖ２ｂとに分け、こ
れらのテクスチャ画像Ｖ２ａとシェイプ画像Ｖ２ｂをそ
れぞれ符号化する。

【０００５】また、上記シェイプを表すデータとして
は、ハードキー信号とソフトキー信号とがある。ハード
キー信号はオブジェクトの内部であるか、外部であるか
を２値で表した２値画像である。ハードキー信号によっ
てオブジェクトの内部と示された画素においてはそのオ
ブジェクトのテクスチャ画像が出力画像に使われる。ハ
ードキー信号によってオブジェクトの外部と示された画
素においては背景のテクスチャ画像が出力画像に使われ
る。ソフトキー信号はオブジェクトの内部のテクスチャ
画像と、外部のテクスチャ画像を合成する割合を多値で
表した多値画像である。ソフトキー信号の値が最大値で
ある画素においては、オブジェクトのテクスチャ画像の
画素値がそのまま出力画像に使われ、最小値である画素
においては背景のテクスチャ画像の画素値がそのまま出
力画像に使われる。中間の画素値のときにはその値によ
って双方のテクスチャ画像の画素値を合成されたものが
出力画像に使われる。

【０００６】一方、動画像信号を伝送又は蓄積するシス
テムでは、例えば動画像信号のフレーム内相関やフレー
ム間相関を利用して、画像信号を圧縮符号化することに
より、伝送路および蓄積媒体の効率的な使用が可能とな
る。例えば、このような動画像信号の圧縮符号化手法と
しては、いわゆるＭＰＥＧ（Moving Picture ImageCodi
ng Experts Group）と呼ばれる動画像符号化の検討組織
にて標準化された符号化方式が存在する。このＭＰＥＧ
は、基本的には、ＤＣＴ（Discrete CosineTransform）
及び動き補償予測符号化からなるハイブリット符号化技
術である。

【０００７】上記フレーム内相関を利用した画像信号の
符号化方法では、テクスチャについては、ＤＣＴなど
の、符号化すべき係数を集中させる働きのある直交変換
が多く用いられており、シェイプ画像については、いわ
ゆるＭＭＲ(Modified ModifiedREAD)に基づく符号化方
法、いわゆるＪＢＩＧ(Joint Bi-Level Image Coding E
xperts Group)に基づく符号化方法などが考えられてい
る。

【０００８】また、上記フレーム間相関を利用した方法
では、いわゆる動き補償予測が多く用いられている。こ
こで、この動き補償フレーム間予測の原理を図９を用い
て説明する。

【０００９】この図９に示すように、時刻ｔ１，ｔ２に
おいて、画像Ｐ１，Ｐ２が発生し、既に画像Ｐ１は符号
化伝送されているものとし、画像Ｐ２はこれから新規に
符号化伝送するものとする。このとき、画像Ｐ２を複数
のブロックに分割し、これら各ブロックについて、画像
Ｐ１との間の動き量（動きベクトル）を検出する。そし
て、画像Ｐ１を上記動きベクトルの分だけ並行移動させ
たものを、そのブロックに対する予測画像とし、当該予
測画像と上記画像Ｐ２のブロックとの差分画像を求め
る。そして、この差分画像と上記動きベクトルとを符号
化伝送するものが、上記動き補償フレーム間予測であ
る。

【００１０】ここで、上述の動き補償フレーム間予測と
動きベクトルの予測を利用したシェイプ画像の符号化装
置の構成を図１０に示す。この符号化装置では、符号化
方法として上記ＭＰＥＧが用いられ、符号化単位はマク
ロブロック単位で行われる。また、シェイプ画像の符号
化はフレーム全体について行われるわけではなく、例え
ば図１１に示されるようにオブジェクトを囲む長方形領
域（図１１の例では人型のオブジェクトを囲む白抜き領
域）についてのみ行われている。この長方形領域画像は
ＶＯＰ（Video Object Plan）と呼ばれる。

【００１１】図１０に示したシェイプ画像の符号化装置
（シェイプ符号化装置）は、シェイプ入力端子４１から
入力されたシェイプ画像を符号化して、符号信号として
符号出力端子５０から出力するものである。

【００１２】シェイプ入力端子４１から入力されたシェ
イプ画像は、動き検出器４２とシェイプ符号化器４４に
入力される。

【００１３】動き検出器４２では、入力されたシェイプ
画像と既にシェイプ符号化器４４で符号化され更に局所
復号されて局所復号シェイプ画像メモリ４５に保持され
ている局所復号シェイプ画像との間の動き量の検出がマ
クロブロック単位で行われる。そして、その検出された
動きベクトル、マクロブロックのモード及びマクロブロ
ックの右上端の座標とが出力される。なお、マクロブロ
ックのモードについては後述する。

【００１４】このマクロブロックのモードは、シェイプ
符号化器４４に入力されると共に、モードメモリ４６及
びモード符号化器４７に入力される。マクロブロックの
左上端の座標は、モード符号化器４７に入力される。ま
た、検出された動きベクトルは、動きベクトル符号化器
４８、動き補償器４３に入力される。動きベクトル符号
化器４８は、入力された動きベクトルを符号化し、符号
化された動きベクトルを多重化器４９に供給する。ま
た、動き補償器４３は、入力された動きベクトルを用い
て、局所復号画像メモリ４５に保持された局所復号シェ
イプ画像から予測シェイプ画像を生成し、その予測シェ
イプ画像をシェイプ符号化器４４に供給する。この予測
シェイプ画像及びマクロブロックのモードをもとに、入
力されたシェイプ画像がシェイプ符号化器４４で符号化
され、符号化されたシェイプ画像が多重化器４９に供給
される。さらに、シェイプ符号化器４４では、符号化さ
れた画像を局所復号し、その局所復号シェイプ画像を局
所復号画像メモリ４５に供給する。

【００１５】シェイプ画像のマクロブロックのモードと
しては、マクロブロック中の全ての画素はオブジェクト
の外部であることを示すモードＭ０、マクロブロック中
の全ての画素はオブジェクトの内部であることを示すモ
ードＭ１、フレーム内で符号化する（フレーム内相関を
用いて符号化する）ことを示すモードＭintra、動き補
償を行ったシェイプ画像を参照して符号化する（フレー
ム間相関を用いて符号化する）ことを示すモードＭinte
r、動き補償を行ったシェイプ画像をそのまま用いるこ
とを示すモードＭskipなどがある。また、マクロブロッ
クのモードは、動きベクトルを送るかどうかによって細
分化されることも多い。

【００１６】モード符号化器４７は、入力されたマクロ
ブロックのモードを参照したフレーム（参照フレーム）
におけるマクロブロックのモードを用いて符号化する。
つまり、動き検出器４２から出力されたマクロブロック
のモードは、モードメモリ４６にも供給されており、参
照フレームのマクロブロックのモードとして記憶され
る。また、パラメータx_org(t)、y_org(t)、w(t)、h(t)
がモードメモリ４６に供給されて記憶される。これらの
パラメータは、各フレームにおけるＶＯＰ（長方形領
域）の大きさを表すためのパラメータであり、パラメー
タx_org(t)、y_org(t)は、時間ｔのフレームにおけるＶ
ＯＰの存在する長方形領域の左上角の座標を表してお
り、w(t)は、この長方形領域の幅、h(t)は、この長方形
領域の高さを表している。これらのパラメータは、ＶＯ
Ｐの長方形領域を特定するために利用される。

【００１７】まず、モード符号化器４７には、モードメ
モリ４６からの参照フレームのＶＯＰの左上角の座標と
動き検出器４２からの符号化するマクロブロックのモー
ドとそのマクロブロックの左上端の座標が入力される。
そして、後述するモード符号化器４７内の参照マクロブ
ロック決定方法に従って参照するマクロブロックを決定
して、その決定された参照するマクロブロックのモード
をモードメモリ４６から読み出す。そして、モード符号
化器４７は、この決定された参照するマクロブロックの
参照フレームのマクロブロックのモードに基づいてマク
ロブロックのモードを符号化する。

【００１８】そして、モード符号化器４７は、例えば、
ＶＣＬ（可変長コード）符号化を用いる場合には、参照
フレームのマクロブロックのモードによってＶＬＣテー
ブルを切り替え、参照フレームのマクロブロックのモー
ドと同じモードであれば短い符号が割り当てられるよう
なＶＬＣテーブルを使用して、マクロブロックのモード
の符号化を行う。また、例えば、算術符号化を用いる場
合には、同様に算術符号化のための確率テーブルを切り
替えることにより、マクロブロックのモードの符号化を
行う。その後、符号化したマクロブロックのモードは、
多重化器４９に入力される。

【００１９】多重化器４９には、シェイプ符号化器４４
からの符号化されたシェイプ画像、動きベクトル符号化
器４８からのマクロブロック毎の符号化された動きベク
トル及びモード符号化器４７からのマクロブロック毎の
符号化されたマクロブロックのモードが入力され、これ
らが多重化されて、符号化ビットストリームとして符号
化出力端子５０から出力される。このビットストリーム
は、その後、図示しない伝送路を介して受信機に送信さ
れたり、記録装置によって記録媒体に記録される。

【００２０】次に、マクロブロックのモードの符号化に
ついて詳しく説明する。上述したようにマクロブロック
の符号化は、参照フレームにおけるマクロブロックのモ
ードを参照して行われる。また、シェイプ画像の符号化
は、オブジェクトを囲む長方形領域（ＶＯＰ）について
のみ行われる。図１１中（Ａ）は、時間ｔ＝１のときの
長方形領域の例を示しており、図１１中（Ｂ）は、時間
ｔ＝２のときの長方形領域の例を示している。

【００２１】この図１１中（Ａ）と図１１中（Ｂ）から
わかるように、長方形領域の左上角の座標も、また符号
化されるＶＯＰの大きさ（長方形領域の大きさ）も、フ
レームによって変わる。すなわち、図１１中（Ａ）に示
す時間ｔ＝１のときのＶＯＰの存在する長方形領域は、
左上角の座標が(x_org(1), y_org(1))で幅がw(1)、高さ
がh(1)であるのに対して、図１１中（Ｂ）に示す時間ｔ
＝２のときのＶＯＰの存在する長方形領域は、左上角の
座標が(x_org(2), y_org(2))で幅がw(2)、高さがh(2)と
なっており、フレームによって上記長方形領域の左上角
の座標と大きさが変わっていることがわかる。

【００２２】そのため、上述のような場合、符号化しよ
うとするマクロブロックと参照フレーム上のマクロブロ
ックの対応関係が自明でなくなる問題が発生する。

【００２３】このことを、図１２を用いてより具体的に
説明する。なお、図１２には、時間ｔ＝０，１，２のよ
うに連続する各フレーム内のオブジェクト（例えば人型
のオブジェクト）と、この人型オブジェクトが存在して
いる画像内のＶＯＰの長方形領域とを示している。上記
長方形領域は、図中格子状に区切って表す複数のマクロ
ブロックからなっている。

【００２４】図１２中（Ａ）に示す時間ｔ＝０における
人型オブジェクトは両手（両腕）に当たる部分を水平に
上げた状態を表しており、この人型オブジェクトは図１
２中（Ｂ）に示す時間ｔ＝１から図１２中（Ｃ）に示す
時間ｔ＝２のように時間の経過に伴って、向かって左側
の手（左側の腕）に当たる部分を徐々に上げていってい
る様子を表している。これら図１２中（Ａ），（Ｂ），
（Ｃ）から、人型オブジェクトの動きに応じて上記ＶＯ
Ｐの長方形領域の左上角の座標と幅及び高さが変化して
いくことがわかる。なお、図１２中（Ｃ）と（Ｄ）は同
一時間のフレームであり、またこの図１２中（Ｂ）のフ
レームは前記図１１中（Ａ）と対応しており、図１２中
（Ｃ）及び（Ｄ）のフレームは前記図１１中（Ｂ）と対
応している。

【００２５】この図１２において、最初の時間ｔ＝０の
フレームから、次の時間ｔ＝１のフレームの長方形領域
内の各マクロブロックを符号化する場合、当該時間ｔ＝
１のフレームの長方形領域内の各マクロブロックのモー
ドは、１フレーム前の時間ｔ＝０のフレームの長方形領
域内の各マクロブロックに対応した各マクロブロック内
のオブジェクトの存在の有無及びオブジェクトの動き
（変化）によって決定されている。すなわち、図１２中
（Ｂ）に示すように、時間ｔ＝１のフレームの長方形領
域内の各マクロブロックにおいて、オブジェクト（オブ
ジェクトの一部）が存在しないマクロブロックは前記モ
ードＭ０（図１２ではマクロブロック中に単に０を記入
して表す）に、オブジェクトが１フレーム前と全く変化
していないマクロブロックは前記モードＭskip（図１２
ではマクロブロック中に単にＳを記入して表す）に、オ
ブジェクトが１フレーム前よりも少し変化したマクロブ
ロックは前記モードＭinter（図１２ではマクロブロッ
ク中に単にＩを記入して表す）に、オブジェクトが１フ
レーム前よりも大きく変化したマクロブロックは前記モ
ードＭintra（図１２ではマクロブロック中に単に文字
Ｃを記入して表す）に決定される。これら図１２中
（Ａ）と（Ｂ）の各長方形領域の場合、それぞれの左上
角の座標と幅及び高さは変化していない。

【００２６】ここで、その次の時間ｔ＝２のフレームの
長方形領域内の各マクロブロックを符号化する場合、図
１２中（Ｂ）と（Ｃ）の各長方形領域を比較してわかる
ように、それぞれの左上角の座標と幅及び高さが変化し
ている。このため、当該時間ｔ＝２のフレームの長方形
領域内の各マクロブロックを符号化する場合には、当該
時間ｔ＝２のフレームの長方形領域内の各マクロブロッ
クのモードとして、本来ならば図１２中（Ｃ）に示すよ
うな各モードに決定されることが望ましい。

【００２７】しかしながら、前述したようにマクロブロ
ックのモード決定の際には参照フレームにおけるマクロ
ブロックのモードを参照するようになされているので、
上記時間ｔ＝２のフレームにおける長方形領域内の各マ
クロブロックのモードとしては、図１２中（Ｄ）に示す
ように、その１フレーム前の時間ｔ＝１の各マクロブロ
ックのモード（図１２中（Ｂ）に示す各モード）が参照
されてしまうことになる。すなわち、時間ｔ＝２のフレ
ームのように左上角の座標が前記(x_org(2), y_org(2))
で幅がw(2)、高さがh(2)の長方形領域内の各マクロブロ
ックを符号化する場合には、参照する時間ｔ＝１のフレ
ームの長方形領域の左上角の座標(x_org(1), y_org(1))
と幅w(1)及び高さh(1)が、当該時間ｔ＝２のフレームの
長方形領域の左上角の座標(x_org(2), y_org(2))と幅w
(2)及び高さh(2)と同じであるかどうかに関わらず、上
記時間ｔ＝１の参照フレームの長方形領域の左上角から
の横方向および縦方向の変移が同じであるマクロブロッ
クのモードをそのまま対応付けることが行われる。な
お、対応するマクロブロックが時間ｔ＝１のフレームで
はＶＯＰの長方形領域の外になって存在しない場合につ
いては、ＶＯＰの長方形領域の端のマクロブロックのモ
ードと同じであるとする。

【００２８】これら図１２中（Ｄ）と図１２中（Ｃ）を
比べてわかるように、図１２中（Ｄ）の場合には多数の
マクロブロックにおいて正しくないモードを参照してし
まうことになる。

【００２９】なお、時間ｔ＝２のフレームの長方形領域
内のマクロブロックのモードに対する参照マクロブロッ
クの決定のための実際の処理は、図１０のモード符号化
器４７にて行われており、ここでは、符号化するマクロ
ブロックに対するモードメモリ４６に保存されている参
照フレームの参照マクロブロックが、符号化するマクロ
ブロックの左上端の座標（x(t),y(t)）及び参照フレー
ムの長方形領域の左上角の座標(x_org(t), y_org
(t)）、幅w(t)及び高さh(t)に基づいて、図１３に示す
ようなフローチャートの処理で行われる。なお、図１３
のフローチャートは参照マクロブロックのｘ座標のみを
決定するものである。

【００３０】この図１３において、時間ｔ＝１のフレー
ムの長方形領域（ＶＯＰ）内の左上角の座標が（x_org
(1),y_org(1)）であり、時間ｔ＝２のフレームの長方形
領域内の符号化するマクロブロックの左上端の座標が
（x(2),ｙ(2)）、時間ｔ＝２のフレームの長方形領域
（ＶＯＰ）内の左上角の座標が（x_org(2)，y_org(1)）
であるとき、先ずステップＳＴ１１では、時間ｔ＝２の
フレームの長方形領域内の符号化するマクロブロックの
左上端の座標が（x(2)，y(2)）と、この時間ｔ＝２のフ
レームの長方形領域の左上角のｘ座標x_org(2)と、時間
ｔ＝１の参照フレームの長方形領域の幅w(1)とを用い
て、x(2)−x_org(2)の演算を行い、さらにその計算結果
とw(1)の値の大小比較を行う。ここで、（x(2)−x_org
(2)）＜w(1)のときにはステップＳＴ２の処理に進み、
それ以外のときにはステップＳＴ３の処理に進む。

【００３１】ステップＳＴ２では、時間ｔ＝１の参照フ
レームの長方形領域（ＶＯＰ）内で左上角に位置するｘ
座標x_org(1)と、時間ｔ＝２のフレームの長方形領域内
の符号化するマクロブロックの左上端のｘ座標x(2)と、
時間ｔ＝２のフレームの長方形領域の左上角のｘ座標x_
org(2)とを用いたx_org(1)＋x(2)−x_org(2)の演算を行
う。これにより上記時間ｔ＝１のフレームの長方形領域
内の参照するマクロブロックの左上端のｘ座標x(1)を求
める。

【００３２】また、ステップＳＴ３では、時間ｔ＝１の
参照フレームの長方形領域の左上角のｘ座標x_org(1)
と、当該時間ｔ＝１のフレームの長方形領域の幅w(1)及
び、マクロブロック内の横方向の画素数に対応する値１
６とを用いたx_org(1)＋w(1)−１６の演算を行う。これ
により、時間ｔ＝１のフレームの長方形領域内の参照す
るマクロブロックの左上端のｘ座標x(1)を求める。

【００３３】なお、上述した説明は、ｘ軸方向のみの説
明であるが、w(1)の代わりにh(1)の値を用いて同様に時
間ｔ＝１のフレームの長方形領域内の参照するマクロブ
ロックの左上端のｙ座標y(1)を求めることができる。

【００３４】次に、図１０の符号化装置での符号化によ
り得られた符号化ビットストームを復号する復号装置の
構成及び動作について図１４を用いて説明する。

【００３５】図１４に示した従来のシェイプ復号装置
は、符号入力端子８０に入力された符号から復号したシ
ェイプ画像を、シェイプ出力端子８８から出力するもの
であり、この復号装置も前記符号化装置と同様に、マク
ロブロックのモードを参照して復号を行う。

【００３６】すなわちこの図１４において、符号入力端
子８０に入力された符号は逆多重化器８１にて、シェイ
プ画像の符号と、動きベクトルの符号と、マクロブロッ
クのモードの符号とにそれぞれ分離される。

【００３７】これら分離された各符号は、それぞれ対応
するシェイプ復号器８４、動きベクトル復号器８２、モ
ード復号器８７に入力される。

【００３８】動きベクトル復号器８２は、動きベクトル
の符号を復号して、復号された動きベクトルを動き補償
器８３に供給する。また、モード復号器８７は、マクロ
ブロックのモードを既に復号されてモードメモリ８６に
記憶されている参照フレームのマクロブロックのモード
を用いて復号する。なお、モード復号器８７の復号は、
モード符号化器４７の参照マクロブロック決定方法と同
一の方法に従って参照マクロブロックが決定される。そ
して、その決定された参照マクロブロックのモードがモ
ードメモリ４６から読み出され、このモードが用いられ
る。

【００３９】モード復号器８７にて復号されたマクロブ
ロックのモードは、シェイプ復号器８４に送られると共
に、モードメモリ８６に入力されて、参照フレームのマ
クロブロックのモードとして記憶される。また、このモ
ードメモリ８６には、ＶＯＰの長方形領域の左上角の座
標(x_org(t), y_org(t)）と幅w(t)、高さh(t)も記憶さ
れる。これらパラメータは、ＶＯＰの長方形領域を特定
するために使用される。

【００４０】動き補償器８３は、動きベクトル復号器８
２で復号された動きベクトルを用いてシェイプ復号器８
４にて復号されて復号画像メモリ８５に蓄えられている
復号シェイプ画像を用いて予測シェイプ画像を生成し
て、この予測シェイプ画像をシェイプ復号器８４に供給
する。

【００４１】シェイプ復号器８４には、シェイプ画像の
符号、モード復号器８７によって復号されたマクロブロ
ックのモード及び動き補償器８３からの予測シェイプ画
像が入力される。そして、シェイプ復号器８４は、復号
されたマクロブロックのモード及び予測シェイプ画像を
用いて、マクロブロック毎にシェイプ画像の符号を復号
し、復号されたシェイプ画像を生成する。この復号され
たシェイプ画像は、シェイプ出力端子に供給されて、そ
の後外部に出力される。また、復号されたシェイプ画像
は、動き補償器８３で予測シェイプ画像を生成するため
に利用されるように、復号画像メモリ８５に入力され、
記憶される。

【００４２】

【発明が解決しようとする課題】図１２にて説明したよ
うに、上述した符号化装置では、符号化するフレームと
参照するフレームとでＶＯＰの長方形領域の左上角の座
標が異なる場合には、参照したマクロブロックのモード
が実際と異なることが多くなり、符号化効率が悪くなっ
てしまうという問題があった。

【００４３】また、動き補償のための動きベクトルの符
号化においては、ＶＯＰの長方形領域の左上角からの変
移についてではなく、フレームの左上角からの変移につ
いて符号化しているため、動きベクトルの取り扱いとマ
クロブロックのモードの取り扱いが一貫しないという問
題もあった。

【００４４】そこで、本発明はこのような状況に鑑みて
なされたものであり、画像を効率よく符号化することが
できる画像符号化方法及び装置、符号化された画像を正
確に復号することができる画像復号方法及び装置、並び
に、再生装置によって再生可能な効率よく符号化された
画像が記録された記録媒体を提供することを目的とす
る。

【００４５】

【課題を解決するための手段】本発明の画像符号化方法
及び装置は、符号化する画像を所定の符号化単位毎に時
間方向の参照画像を用いて符号化し、符号化する画像の
符号化単位の符号化モードを示す情報を符号化する画像
の符号化単位と最も重なり部分の広い上記参照画像の符
号化単位の符号化モードを示す情報を用いて符号化する
ことを特徴とする。

【００４６】また、本発明の画像復号方法及び装置は、
復号する画像の符号化単位の符号化モードを示す情報を
復号する画像の符号化単位と最も重なり部分の広い上記
参照画像の符号化単位の符号化モードを示す情報を用い
て復号し、復号された符号化モードを示す情報に基づい
て復号する画像を所定の符号化単位毎に時間方向の参照
画像を用いて復号することを特徴とする。

【００４７】さらに、本発明の画像符号化方法及び装
置、符号化する画像を所定の符号化単位毎に符号化し、
符号化する画像の符号化単位の符号化モードを示す情報
を符号化する画像の符号化単位と空間的に隣接する符号
化単位の符号化モードを示す情報を用いて符号化するこ
とを特徴とする。

【００４８】また、本発明の画像復号方法及び装置は、
復号する画像の符号化単位の符号化モードを示す情報を
上記復号する画像の符号化単位と空間的に隣接する符号
化単位の符号化モードを示す情報を用いて復号し、復号
された符号化モードを示す情報に基づいて復号する画像
を所定の符号化単位毎に復号する特徴とする。

【００４９】さらに、本発明の画像符号化方法及び装置
は、符号化する画像を所定の符号化単位毎に符号化し、
符号化する画像の符号化単位の符号化モードを示す情報
を符号化する画像の符号化単位の空間的に隣接する既に
局所復号された符号化単位の復号画素を用いて符号化す
ることを特徴とする。

【００５０】また、本発明の画像復号方法及び装置は、
復号する画像の符号化単位の符号化モードを示す情報を
復号する画像の符号化単位の空間的に隣接する既に局所
復号された符号化単位の復号画素を用いて復号し、復号
された符号化モードを示す情報に基づいて符号化する画
像を所定の符号化単位毎に符号化することを特徴とす
る。

【００５１】さらに、本発明の記録媒体は、本発明の画
像復号方法によって復号される符号化信号が記録されて
いることを特徴とする。

【００５２】

【発明の実施の形態】以下に、本発明を実現する実施の
形態について、図面を参照しながら説明する。

【００５３】本発明の画像符号化方法は、例えば図１に
示すような第１の実施の形態の画像符号化装置（シェイ
プ符号化装置）で実現される。このシェイプ符号化装置
はシェイプ入力端子１から入力されたシェイプ動画像を
符号化して符号出力端子１０から出力するものである。
なお、この符号化装置では、符号化方法として、ＤＣＴ
と動き補償予測符号化からなるハイブリット符号化（例
えばＭＰＥＧ符号化）が用いられ、符号化単位はマクロ
ブロック単位で行われる。また、シェイプ画像の符号化
は、フレーム全体について行われるのではなく、オブジ
ェクトを囲む長方形領域（ＶＯＰ）についてのみ行われ
る。

【００５４】シェイプ入力端子１から入力されたシェイ
プ画像は、動き検出器２とシェイプ符号化器４に入力さ
れる。

【００５５】動き検出器２では、入力されたシェイプ画
像と既にシェイプ符号化器４で符号化され更に局所復号
されて局所復号画像メモリ５に保持されている局所復号
画像との間の動き量の検出がマクロブロック単位で行わ
れる。そして、その検出された動きベクトルとマクロブ
ロックのモードとが出力される。なお、マクロブロック
のモードについては、既に説明したモードと同一である
のでここでは省略する。

【００５６】このマクロブロックのモードは、シェイプ
符号化器４に入力されると共に、モードメモリ６及びモ
ード符号化器７に入力される。また、検出された動きベ
クトルは、動きベクトル符号化器８及び動き補償器３に
入力される。動きベクトル符号器８は、入力された動き
ベクトルを符号化し、符号化された動きベクトルを多重
化器９に供給する。また、動き補償器３は、入力された
動きベクトルを用いて、局所復号画像メモリ５に保持さ
れた局所復号シェイプ画像から予測シェイプ画像を生成
し、その予測シェイプ画像をシェイプ符号化器４に供給
する。この予測シェイプ画像及びマクロブロックのモー
ドをもとに、入力されたシェイプ画像がシェイプ符号化
器４で符号化され、符号化されたシェイプ画像が多重化
器９に供給される。さらにシェイプ符号化器４では符号
化されたシェイプ画像を局所復号し、その局所復号シェ
イプ画像を局所復号画像メモリ５に供給する。

【００５７】動き検出器２からのマクロブロックのモー
ドは、モードメモリ６及びモード符号器７に入力され
る。モードメモリ６には、入力されたマクロブロックの
モードは参照フレームのマクロブロックのモードとして
記憶される。また、パラメータx_org(t)、y_org(t)、w
(t)、h(t)は、モードメモリ６に入力される。モードメ
モリ６には、入力されるパラメータx_org(t)、y_org
(t)、w(t)、h(t)が参照フレームのパラメータとして記
憶される。これらのパラメータはＶＯＰ（長方形領域）
の大きさを表すパラメータであり、パラメータx_org
(t)、y_org(t)は、時間ｔのフレームにおけるＶＯＰの
存在する長方形領域の左上角の座標を表しており、w(t)
はこの長方形領域の幅、h(t)はこの長方形領域の高さを
表している。これらのパラメータは、ＶＯＰの長方形領
域を特定するために利用される。

【００５８】モード符号化器７は、入力されたマクロブ
ロックのモードを参照したフレーム（参照フレーム）に
おけるマクロブロックのモードに基づいて符号化する。
さらに、モード符号化器７は、参照するマクロブロック
を決定する際に、参照フレ−ムのＶＯＰの左上角の座標
と符号化するマクロブロックの左上端の座標に基づいて
参照するマクロブロックを決定する。そして、この決定
された参照するマクロブロックの参照フレームのマクロ
ブロックのモードに基づいてマクロブロックのモードが
符号化される。

【００５９】つまり、モード符号化器７は、例えば、Ｖ
ＬＣ（可変長コード）符号化を用いる場合には、参照フ
レームのマクロブロックのモードによってＶＬＣテーブ
ルを切り替え、参照フレームのマクロブロックのモード
と同じモードであれば短い符号が割り当てられるような
ＶＬＣテーブルを使用して、マクロブロックのモードの
符号化を行う。また、例えば、算術符号化を用いる場合
には、同様に算術符号化のための確率テーブルを切り替
えることにより、マクロブロックのモードの符号化を行
う。このモード符号化器７の詳細については後述する。
その後、符号化したマクロブロックのモードは、多重化
器９に入力される。

【００６０】多重化器９には、シェイプ符号化器４から
の符号化されたシェイプ画像、動きベクトル符号化器８
からのマクロブロック毎の符号化された動きベクトル及
びモード符号化器７からのマクロブロック毎の符号化さ
れたマクロブロックのモードが入力され、これらが多重
化されて、符号化ビットストリームとして符号化出力端
子１０から出力される。

【００６１】この符号化ビットストリームは、その後誤
り訂正符号が付加され、さらに所定の変調処理が施され
た後、図示しない記録装置によって、本発明の画像記録
媒体としての例えばＣＤ−ＲＯＭ（compact disc read
only memory）、ＤＶＤ（digital versatile disc）、
光ディスク、磁気ディスク、光磁気ディスク、ＲＡＭ、
その他様々な蓄積メディアに記録されるか、或いは伝送
媒体を介して受信機に伝送される。

【００６２】本発明実施の形態の図１の符号化装置にお
いては、モード符号化器７でのマクロブロックのモード
の符号化のときに参照される参照フレームのマクロブロ
ックが、図１０に示した符号化装置の場合と異なる。以
下に、モード符号化器７の符号化について詳しくしく説
明する。

【００６３】すなわち、本発明の第１の実施の形態のシ
ェイプ符号化装置におけるモード符号化器７では、参照
フレームのマクロブロックのうち、符号化しようとする
マクロブロックと最も重なり部分の広いマクロブロック
のモードを参照して、符号化するようにしており、これ
によりマクロブロックのモードの符号化効率を向上させ
るようにしている。

【００６４】まず、モード符号化器７には、参照フレー
ムのＶＯＰの左上角の座標及び符号化するマクロブロッ
クのモードとそのマクロブロックの左上端の座標が入力
される。そして、後述するモード符号化器７内の参照マ
クロブロック決定器で参照フレームのＶＯＰの左上角の
座標と符号化するマクロブロックの左上端の座標から参
照するマクロブロックを決定して、その決定された参照
するマクロブロックのモードをモードメモリ６から読み
出す。そして、モード符号化器７は、この決定された参
照するマクロブロックの参照フレームのマクロブロック
のモードに基づいてマクロブロックのモードを符号化す
る。

【００６５】次に、モード符号化器７内の参照マクロブ
ロック決定器１４に構成について、図２を用いて説明す
る。なお、図２は、参照マクロブロックのｘ座標のみを
決定する構成であり、ここで(x(t), y(t))は時間ｔのフ
レームの長方形領域（ＶＯＰ）内のマクロブロックの左
上端の座標であり、(x_org(t), y_org(t)）は時間ｔの
フレームの長方形領域（ＶＯＰ）の左上角の座標であ
る。図２の例では、時間ｔ＝１,２のように時間的に前
後する２つのフレームを例に挙げて説明する。

【００６６】この図２の構成によれば、演算器１１にお
いて、まず、上記時間ｔ＝１のフレームの長方形領域の
左上角のｘ座標x_org(1)と、上記時間ｔ＝２のフレーム
の長方形領域内の左上角に位置するマクロブロックの左
上端のｘ座標x(2)と、マクロブロック内の横方向の画素
数の半分に対応する値８とを用いたx(2)−x_org(1)＋８
の演算が行われる。そして、その演算値Ａが、演算器１
２に入力される。演算器１２では、演算器１１にて求め
られた値Ａに対して値１６の除算を行い、かつ小数点以
下を切り捨て、その値に対して値１６の乗算を行う。そ
の後、演算器１３では、上記演算器１２にて求められた
値とｘ座標x_org(1)とを加算して、時間ｔ＝１のフレー
ムの長方形領域内の参照するマクロブロックの左上端の
ｘ座標x(1)を演算する。

【００６７】この図２の構成によれば、時間ｔ＝１のフ
レームの長方形領域内で左上角に位置するマクロブロッ
クの左上端のｘ座標x(1)が求められる。この図２の構成
では横方向（ｘ軸方向）のみ説明したが、当該図２の構
成においてy_org(1)，ｙ(2)を用いて同様の演算を行え
ば、縦方向（ｙ軸方向）についても同様に時間ｔ＝１の
フレームの長方形領域内の参照するマクロブロックの左
上端のｙ座標y(1)を求めることができる。

【００６８】これらをまとめると、次の式(1),(2)とな
る。

【００６９】 x(1)＝ x_org(1)＋(x(2)−x_org(1)＋８)／１６×１６ (1) y(1)＝ y_org(1)＋(y(2)−y_org(1)＋８)／１６×１６ (2) また、演算器１２における演算（／１６×１６）は、演
算器１１の２値により表される出力値の下位４ビットを
０に置き換えることにより簡単に実現できる。上述した
ようなマクロブロックモードの参照の方法を用いること
により、図３の例で示されるように参照したマクロブロ
ックのモードが正しいモードであることが多くなり、符
号化にかかるビット数が減る。

【００７０】なお、この図３中（Ａ），（Ｂ），
（Ｃ），（Ｄ）は、前記図１２中（Ａ），（Ｂ），
（Ｃ），（Ｄ）にそれぞれ対応している。

【００７１】すなわちこの図３には、時間ｔ＝０，１，
２のように連続する各フレーム内のオブジェクト（例え
ば人型のオブジェクト）と、この人型オブジェクトが存
在している画像内のＶＯＰの長方形領域とを示してい
る。上記長方形領域は、図中格子状に区切って表す複数
のマクロブロックからなっている。図３中（Ａ）に示す
時間ｔ＝０における人型オブジェクトは両手（両腕）に
当たる部分を水平に上げた状態を表しており、この人型
オブジェクトは図３中（Ｂ）に示す時間ｔ＝１から図３
中（Ｃ）に示す時間ｔ＝２のように時間の経過に伴っ
て、向かって左側の手（左側の腕）に当たる部分を徐々
に上げていっている様子を表している。これら図３中
（Ａ），（Ｂ），（Ｃ）から、人型オブジェクトの動き
に応じて上記ＶＯＰの長方形領域の左上角の座標と幅及
び高さが変化していくことがわかる。なお、図３中
（Ｃ）と（Ｄ）は同一時間のフレームであり、またこの
図３中（Ｂ）のフレームは前記図１１中（Ａ）と対応し
ており、図３中（Ｃ）及び（Ｄ）のフレームは前記図１
１中（Ｂ）と対応している。

【００７２】この図３において、最初の時間ｔ＝０のフ
レームから、次の時間ｔ＝１のフレームの長方形領域内
の各マクロブロックを符号化する場合、当該時間ｔ＝１
のフレームの長方形領域内の各マクロブロックのモード
は、１フレーム前の時間ｔ＝０のフレームの長方形領域
内の各マクロブロックに対応した各マクロブロック内の
オブジェクトの存在の有無及びオブジェクトの動き（変
化）によって決定されている。すなわち、図３中（Ｂ）
に示すように、時間ｔ＝１のフレームの長方形領域内の
各マクロブロックにおいて、オブジェクト（オブジェク
トの一部）が存在しないマクロブロックはモードＭ０
（図３ではマクロブロック中に単に０を記入して表す）
に、オブジェクトが１フレーム前と全く変化していない
マクロブロックはモードＭskip（図３ではマクロブロッ
ク中に単にＳを記入して表す）に、オブジェクトが１フ
レーム前よりも少し変化したマクロブロックはモードＭ
inter（図３ではマクロブロック中に単にＩを記入して
表す）に、オブジェクトが１フレーム前よりも大きく変
化したマクロブロックにはモードＭintra（図３ではマ
クロブロック中に単に文字Ｃを記入して表す）に決定さ
れる。これら図３中（Ａ）と（Ｂ）の各長方形領域の場
合、それぞれの左上角の座標と幅及び高さは変化してい
ない。

【００７３】その次の時間ｔ＝２のフレームの長方形領
域内の各マクロブロックを符号化する場合、この図３中
（Ｂ）と（Ｃ）の各長方形領域を比較してわかるよう
に、それぞれの左上角の座標と幅及び高さが変化してい
る。このため、当該時間ｔ＝２のフレームの長方形領域
内の各マクロブロックを符号化する場合には、当該時間
ｔ＝２のフレームの長方形領域内の各マクロブロックの
モードとして、本来ならば図３中（Ｃ）に示すような各
モードに決定されることが望ましい。

【００７４】ここで本発明の第１の実施の形態の図１及
び図２を用いて説明したマクロブロックのモードの参照
方法を用いれば、上記時間ｔ＝２のフレームにおける長
方形領域内の各マクロブロックのモードとしては、図３
中（Ｄ）に示すように、図３中（Ｃ）とほぼ同じモード
が各マクロブロックにて決定されることになる。すなわ
ち、これら図３中（Ｄ）と図３の（Ｃ）を比べてわかる
ように、本発明の第１の実施の形態のマクロブロックの
モードの参照方法によれば、ほぼ全てのマクロブロック
において正しいモードを参照できる。

【００７５】次に、上記図１に示した第１の実施の形態
の符号化装置での符号化により得られた符号化ビットス
トームを復号する復号装置の構成及び動作について図４
を用いて説明する。

【００７６】図４に示した第１の実施の形態のシェイプ
復号装置の符号入力端子６０には、本発明の画像記録媒
体から再生ヘッドにより読み出されるか、もしくは、伝
送媒体を介して図示しない受信機で受信され、所定の復
調と誤り訂正処理とがなされた後の符号化ビットストリ
ームが入力される。

【００７７】この符号入力端子６０から入力された符号
は、当該シェイプ復号装置にて復号され、シェイプ出力
端子６８からシェイプ画像として出力されるものであ
り、この復号装置も図１の符号化装置と同様にマクロブ
ロックのモードを参照して復号を行う。

【００７８】すなわちこの図４において、符号入力端子
６０に入力された符号は逆多重化器６１にて、シェイプ
画像の符号と、動きベクトルの符号と、マクロブロック
のモードの符号とにそれぞれ分離される。

【００７９】これら分離された各符号は、それぞれ対応
するシェイプ復号器６４、動きベクトル復号器６２、モ
ード復号器６７に入力される。

【００８０】動きベクトル復号器６２は、動きベクトル
の符号を復号して、復号された動きベクトルを動き補償
器６３に供給する。また、モード復号器８７は、マクロ
ブロックのモードを既に復号されてモードメモリ６６に
記憶されている参照フレームのマクロブロックのモード
を用いて復号する。

【００８１】モード復号器６７には、参照フレームのＶ
ＯＰの左上角の座標と、復号する符号化されたマクロブ
ロックのモードとそのマクロブロックの左上端の座標が
入力される。そして、モード復号器６７において、参照
フレームのＶＯＰの左上角の座標と復号する符号化マク
ロブロックの左上端の座標から参照するマクロブロック
を決定して、その決定された参照するマクロブロックの
モードをモードメモリ６６から読み出す。そして、モー
ド復号器６７は、この決定された参照するマクロブロッ
クの参照フレームのマクロブロックモードに基づいてマ
クロブロックのモードを復号する。なお、参照するマク
ロブロックを決定する構成は、図２で示す構成と同一で
あるためここでは省略する。なお、この際、復号するマ
クロブロックの左上端の座標は符号として受信されたも
のを利用しても良いし、復号装置の他の構成から供給さ
れるものを利用しても良い。

【００８２】モード復号器６７にて復号されたマクロブ
ロックのモードは、シェイプ復号器６４に入力されると
共に、モードメモリ６６に入力されて、参照フレームの
マクロブロックのモードとして記憶される。また、この
モードメモリ６６には、ＶＯＰの長方形領域の左上角の
座標(x_org(t), y_org(t)）が記憶される。

【００８３】動き補償器６３は、動きベクトル復号器６
２で復号された動きベクトルを用いてシェイプ復号器６
４にて復号されて復号画像メモリ６５に蓄えられている
復号シェイプ画像を用いて予測シェイプ画像を生成して
この予測シェイプ画像をシェイプ復号器６４に供給す
る。

【００８４】シェイプ復号器６４には、シェイプ画像の
符号、モード復号器６７によって復号されたマクロブロ
ックのモード及び動き補償器６３からの予測シェイプ画
像が入力される。そして、シェイプ復号器６４は、復号
されたマクロブロックのモード及び予測シェイプ画像を
用いて、マクロブロック毎にシェイプ画像の符号を復号
し、復号されたシェイプ画像を生成する。この復号され
たシェイプ画像は、シェイプ出力端子に供給されて、そ
の後外部に出力される。また、復号されたシェイプ画像
は、動き補償器６３で予測シェイプ画像を生成するため
に利用されるように、復号画像メモリ６５に入力され、
記憶される。

【００８５】次に、本発明の第２の実施の形態としてモ
ードを参照するマクロブロックが第１の実施の形態とは
異なる場合について説明する。

【００８６】この第２の実施の形態では、マクロブロッ
クのモードの参照の際に、同じフレーム内で既に符号化
が終っている（局所復号された）マクロブロックのモー
ドとの相関を利用する。このようなことを行う具体的構
成を図５に示す。

【００８７】この図５に示す画像符号化装置（シェイプ
符号化装置）は、シェイプ入力端子２１から入力された
シェイプ動画像を符号化して符号出力端子３０から出力
するものである。なお、この符号化装置では、符号化方
法として、ＤＣＴと動き補償予測符号化からなるハイブ
リッド符号化（例えばＭＰＥＧ符号化）が用いられ、符
号化単位は、マクロブロック単位となされる。また、シ
ェイプ画像の符号化は、フレーム全体について行われる
のでなく、オブジェクトを囲む長方形領域（ＶＯＰ）に
ついてのみ行われる。

【００８８】シェイプ入力端子２１から入力されたシェ
イプ画像は、動き検出器２２とシェイプ符号化器２４に
入力される。

【００８９】動き検出器２２では、入力されたシェイプ
画像と既にシェイプ符号化器２４で符号化され更に局所
復号されて局所復号画像メモリ２５に保持されている局
所復号画像との間の動き量の検出がマクロブロック単位
で行われる。そしてその検出された動きベクトルとマク
ロブロックのモードとが出力される。なお、マクロブロ
ックのモードについては、既に説明したモードと同一で
あるため、ここでは省略する。

【００９０】マクロブロックのモードは、シェイプ符号
化器２４に入力されると共に、モード符号化器２７に入
力される。また、検出された動きベクトルは、動きベク
トル符号化器２８及び動き補償器２３に入力される。動
きベクトル符号化器２７は、入力された動きベクトルを
符号化し、符号化された動きベクトルを多重化器２９に
供給する。また、動き補償器２３は、入力された動きベ
クトルを用いて、局所復号画像メモリ２５に保持された
局所復号シェイプ画像から予測シェイプ画像を生成し、
その予測シェイプ画像をシェイプ符号化器２４に供給す
る。この予測シェイプ画像及びマイクロブロックのモー
ドをもとに、入力されたシェイプ画像がシェイプ符号化
器２４で符号化され、符号化されたシェイプ画像が多重
化器２９に供給される。さらに、シェイプ符号化器２４
では、符号化されたシェイプ画像を局所復号し、その局
所復号シェイプ画像を局所復号画像メモリ２５に供給す
る。

【００９１】モード符号化器２７は、以下のよう動作に
基づいてマクロブロックモードを符号化する。

【００９２】ここで、フレーム内の左からｘ番目で上か
らｙ番目のマクロブロックの座標をＭ(x,y)とする。こ
の座標Ｍ(x,y)のマクロブロックを符号化するとき、モ
ード符号化器２７では、図６に示すように、上記座標Ｍ
(x,y)のマクロブロックよりも、左及び上側に１つ隣の
座標Ｍ(x-1,y-1)のマクロブロック（左上のマクロブロ
ック）と、上側に１つ隣の座標Ｍ(x,y-1)のマクロブロ
ックと、右及び上側に１つ隣の座標Ｍ(x+1,y-1)のマク
ロブロック（右上のマクロブロック）と、左側に１つ隣
の座標Ｍ(x-1,y)のマクロブロック、すなわち、座標Ｍ
(x,y)のマクロブロックと同じフレーム内で既に符号化
が終っている隣接する各マクロブロックのモードを参照
し、これら参照したモードによって、例えばＶＬＣ符号
化の場合にはＶＬＣテーブルを切り替え、また例えば算
術符号化の場合には確率テーブルを切り替えて符号化を
行なう。このように、符号化したいマクロブロックと空
間的に近い位置のマクロブロックのモードは相関がある
ので、符号化効率が向上ようになる。

【００９３】上述した動作により得られた符号化された
マクロブロックのモードは、多重化器２９に入力され
る。多重化器２９には、シェイプ符号化器２４からの符
号化されたシェイプ画像、動きベクトル符号化器２８か
らのマクロブロック毎の符号化された動きベクトル及び
モード符号化器２７からのマクロブロック毎の符号化さ
れたマクロブロックのモードが入力され、これらが多重
化されて、符号化ビットストリームとして符号化出力端
子３０から出力される。

【００９４】この符号化ビットストリームは、その後、
誤り訂正符号化が付加され、さらに所定の変調処理が施
された後、図示しない記録装置によって、本発明の画像
記録媒体としての例えばＣＤ−ＲＯＭ、ＤＶＤ（ディジ
タルビデオディスク或いはディジタルバーサタイルディ
スク）、光ディスク、磁気ディスク、光磁気ディスク、
ＲＡＭ、その他様々な蓄積メディアに記録されるか、或
いは伝送媒体を介して図示しない受信機に伝送される。

【００９５】この第２の実施の形態での方法は、第１の
実施の形態の場合と異なり、インター符号化だけでなく
イントラ符号化においても利用可能である。

【００９６】次に、本発明の第３の実施の形態として、
上述した第２の実施の形態のモードの符号化の際に、さ
らに画素の値を参照して利用する場合について説明す
る。

【００９７】この第３の実施の形態の構成の場合は図５
中の点線で示されるように、局所復号画像メモリ２５か
らの局所復号シェイプ画像がモード符号化器２７に供給
される。そして、当該第３の実施の形態のシェイプ符号
化装置では、モード符号化器２７において以下のような
動作に基づいてマクロブロックのモードを符号化する。

【００９８】すなわちこの第３の実施の形態のモード符
号化器２７では、フレーム内の左からｘ番目で上からｙ
番目のマクロブロックの座標をＭ(x,y)とし、この座標
Ｍ(x,y)のマクロブロックのモードを符号化するとき、
前記図６に示すように、上記座標Ｍ(x,y)のマクロブロ
ックよりも、上側に１つ隣の座標Ｍ(x,y-1)のマクロブ
ロックと左側に１つ隣の座標Ｍ(x-1,y)のマクロブロッ
クのそれぞれ当該座標Ｍ(x,y)のマクロブロックに接す
る部分の画素Ｇ、すなわち、座標Ｍ(x,y)のマクロブロ
ックと同じフレーム内で既に符号化が終っている座標Ｍ
(x,y-1)及びＭ(x-1,y)のマクロブロックのそれぞれ隣接
する画素Ｇの値を利用する。

【００９９】ここで、上記座標Ｍ(x,y-1)及びＭ(x-1,y)
のマクロブロックの隣接する画素Ｇの値が全て０（すな
わちオブジェクトの外部を意味する）であれば、これか
ら符号化しようとしている上記座標Ｍ(x,y)のマクロブ
ロックのモードも、同じくオブジェクトの外部であるこ
とを示すモードＭ０である確率が高い。逆に上記座標Ｍ
(x,y-1)及びＭ(x-1,y)のマクロブロックのそれぞれ隣接
する画素Ｇの値が全て１（すなわちオブジェクトの内部
を意味する）であれば、これから符号化しようとしてい
る上記座標Ｍ(x,y)のマクロブロックのモードも、当該
マクロブロック中の全ての画素がオブジェクトの内部で
あることを示すモードＭ１である確率が高い。また、上
記座標Ｍ(x,y-1)及びＭ(x-1,y)のマクロブロックのそれ
ぞれ隣接する画素Ｇの値に０と１が共に含まれていれ
ば、これから符号化しようとしている上記座標Ｍ(x,y)
のマクロブロック中の画素が、オブジェクトの外部であ
ることを示すモードＭ０又はオブジェクトの内部である
ことを示すモードＭ１である確率は非常に低い。

【０１００】このように、符号化するマクロブロックの
モードの出現確率には偏りがあるのが一般的なので、こ
の第３の実施の形態のように、座標Ｍ(x,y)のマクロブ
ロックを符号化するとき、座標Ｍ(x,y-1)及びＭ(x-1,y)
のマクロブロックのそれぞれ隣接する画素Ｇの値を利用
し、例えばＶＬＣ符号化であればＶＬＣテーブルを切り
替え、また例えば算術符号化であれば確率テーブルを切
り替えて符号化を行なうようにする。この第３の実施の
形態の場合も、符号化効率が向上するようになる。

【０１０１】この第３の実施の形態での方法は、前記第
２の実施の形態の場合と同様に、インター符号化だけで
なくイントラ符号化においても利用可能である。

【０１０２】上記第２、第３の実施の形態の符号化方法
に対応する本発明の画像復号方法の場合においても同様
であり、既に符号が終っているマクロブロックのモード
および画素の値は、復号装置の側でも利用できるので、
符号化効率の高い符号を正しく復号することができる。

【０１０３】次に、上記図５に示した第２、第３の実施
の形態の符号化装置での符号化により得られた符号化ビ
ットストームを復号する復号装置の構成及び動作につい
て図７を用いて説明する。

【０１０４】図７に示した第２の実施の形態のシェイプ
復号装置の符号入力端子７０には、本発明の画像記録媒
体から再生ヘッドにより読み出されるか、もしくは伝送
媒体を介して図示しない受信機で受信され、所定の復調
と誤り訂正処理とがなされた後の符号化ビットストリー
ムが入力される。

【０１０５】この符号入力端子７０から入力された符号
は、当該シェイプ復号装置にて復号され、シェイプ出力
端子７８からシェイプ画像として出力されるものであ
り、この復号装置も図５の符号化装置と同様にマクロブ
ロックのモードや隣接画素の値を参照して復号を行う。

【０１０６】すなわちこの図７において、符号入力端子
７０に入力された符号は逆多重化器７１にて、シェイプ
画像の符号と、動きベクトルの符号と、マクロブロック
のモードの符号とにそれぞれ分離される。

【０１０７】これら分離された各符号は、それぞれ対応
するシェイプ復号器７４、動きベクトル復号器７２、モ
ード復号器７７に入力される。

【０１０８】動きベクトル復号器７２は、動きベクトル
の符号を復号して、復号された動きベクトルを動き補償
器７３に供給する。また、復号画像メモリ７５からの復
号シェイプ画像がモード復号器７７に入力される。モー
ド復号器７７は、マクロブロックのモードを既に符号化
が終わっている隣接する各マクロブロックのモードを用
いて復号する。つまり、既に符号化が終わっている隣接
する各マクロブロックのモードによって、例えばＶＬＣ
符号化の場合にはＶＬＣテーブルを切り替え、また例え
ば算術符号化の場合には確率テーブルを切り替えて復号
する。なお、既に符号化が終わっている隣接する各マク
ロブロックのモードの参照に関しては、第２の実施の形
態のモード符号化器２７と同じであるため、ここでは省
略する。

【０１０９】モード復号器７７にて復号されたマクロブ
ロックのモードは、シェイプ復号器７４に入力される。

【０１１０】動き補償器７３は、動きベクトル復号器７
２で復号された動きベクトルを用いてシェイプ復号器７
４にて復号されて復号画像メモリ７５に蓄えられている
復号シェイプ画像を用いて予測シェイプ画像を生成し
て、この予測シェイプ画像をシェイプ復号器７４に供給
する。

【０１１１】シェイプ復号器７４には、シェイプ画像の
符号、モード復号器７７によって復号されたマクロブロ
ックのモード及び動き補償器７３からの予測シェイプ画
像が入力される。そして、シェイプ復号器７４は、復号
されたマクロブロックのモード及び予測シェイプ画像を
用いて、マクロブロック毎にシェイプ画像の符号を復号
し、復号されたシェイプ画像を生成する。この復号され
たシェイプ画像は、シェイプ出力端子に供給されて、そ
の後外部に出力される。また、復号されたシェイプ画像
は、動き補償器６３で予測シェイプ画像を生成するため
に利用されるように、復号画像メモリ６５に入力され、
記憶される。

【０１１２】さらに、第３の実施の形態のシェイプ復号
装置は、図７のシェイプ復号装置の図中点線で示される
ように、復号画像メモリ７５からの復号シェイプ画像が
モード復号器７７に供給される。そして、このモード復
号器７７は、既に符号化が終わっているマクロブロック
のそれぞれ隣接する画素の値を利用してマクロブロック
のモードを復号する。つまり、既に符号化が終わってい
るマクロブロックのそれぞれ隣接する画素の値によっ
て、例えばＶＬＣ符号化の場合にはＶＬＣテーブルを切
り替え、また例えば算術符号化の場合には確率テーブル
を切り替えて復号する。なお、既に符号化が終わってい
る隣接する各マクロブロックのモードの参照に関して
は、第３の実施の形態のモード符号化器２７と同じであ
るため、ここでは省略する。

【０１１３】また、前述した第１〜第３の実施の形態に
おけるマクロブロックのモード参照または隣接画素の参
照の各方法は、それぞれどのように組み合わせて適応的
に切り替えることにより利用できる。すなわち、第１の
実施の形態の方法と第２の実施の形態の方法を組み合わ
せて適応的に切り替えたり、第１の実施の形態の方法と
第３の実施の形態の方法とを組み合わせて適応的に切り
替えたり、第２の実施の形態の方法と第３の実施の形態
の方法とを組み合わせて適応的に切り替えたり、第１〜
第３の実施の形態の各方法を全て組み合わせて適応的に
切り替えてもよく、これら組み合わせを行うことで更に
効率の良い符号化が可能となる。

【０１１４】

【発明の効果】以上、説明したように本発明において
は、符号化時に効率の良い符号化単位の符号化モードの
符号化が可能であり、符号化効率を向上させることがで
き、また、復号時に正確な符号化モードの復号が可能と
なり、原画像に対する画質を保つことができる。

【０１１５】なお、本発明の主旨を逸脱しない範囲にお
いて、さまざまな変形や応用例が考え得る。従って、本
発明の要旨は、実施の形態に限定されるものではない。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態のシェイプ符号化装
置の構成を示すブロック図である。

【図２】第１の実施の形態のシェイプ符号化装置のモー
ド符号化器内に設けられる参照マクロブロック決定のた
めの構成を示すブロック図である。

【図３】本発明の実施の形態において参照されたマクロ
ブロックのモードについての説明に用いる図である。

【図４】本発明の第１の実施の形態のシェイプ復号装置
の構成を示すブロック図である。

【図５】本発明の第２，第３の実施の形態のシェイプ符
号化装置の概略構成を示すブロック図である。

【図６】本発明の第２，第３の実施の形態において参照
されるモードの説明に用いる図である。

【図７】本発明の第２，第３の実施の形態のシェイプ復
号装置の構成を示すブロック図である。

【図８】画像をオブジェクトに分解する様子の説明に用
いる図である。

【図９】動き補償フレーム間予測の原理説明に用いる図
である。

【図１０】シェイプ符号化装置の構成を示すブロック回
路図である。

【図１１】ＶＯＰの存在領域の説明に用いる図である。

【図１２】シェイプ符号化装置において参照されたマク
ロブロックのモードについての説明に用いる図である。

【図１３】シェイプ符号化装置において参照マクロブロ
ックの決定処理の流れを示すフローチャートである。

【図１４】シェイプ復号装置の構成を示すブロック図で
ある。

【符号の説明】

２，２２動き検出器、３，２３動き補償器、
４，２４シェイプ符号化器、５，２５局所復号画
像メモリ、６，２６モードメモリ、７，２７モ
ード符号化器、８，２８動きベクトル符号化器、
９，２９多重化器、１１，１２，１３演算器６１，７１逆多重化器、６２，７２動きベクトル
復号器、６３，７３動き補償器、６４，７４シェ
イプ復号器、６５，７５局所復号画像メモリ、６
６モードメモリ、６７，７７モード復号器

Claims

【特許請求の範囲】

【請求項１】時間方向に連続する複数の画像からなる
動画像を時間方向の画像間予測で符号化するとともに、
上記動画像を符号化する符号化単位毎に符号化モードを
示す情報を符号化して、符号化により得られた符号化信
号を出力する画像符号化方法において、符号化する画像を所定の符号化単位毎に時間方向の参照
画像を用いて符号化するステップと、上記符号化する画像の符号化単位の符号化モードを示す
情報を上記符号化する画像の符号化単位と最も重なり部
分の広い上記参照画像の符号化単位の符号化モードを示
す情報を用いて符号化するステップとからなることを特
徴とする画像符号化方法。
【請求項２】上記符号化モードを示す情報を符号化す
るステップは、上記符号化する画像の符号化単位の符号
化モードを示す情報を上記符号化する画像の符号化単位
と最も重なり部分の広い上記参照画像の符号化単位の符
号化モードを示す情報を用いて符号化する第１のモード
符号化モードと、上記符号化する画像の符号化単位の符
号化モードを示す情報を上記符号化する画像の符号化単
位と空間的に隣接する符号化単位の符号化モードを示す
情報を用いて符号化する第２のモード符号化モードを適
応的に切り替えることを特徴とする請求項１記載の画像
符号化方法。
【請求項３】上記符号化モードを示す情報を符号化す
るステップは、上記符号化する画像の符号化単位の符号
化モードを示す情報を上記符号化する画像の符号化単位
と最も重なり部分の広い上記参照画像の符号化単位の符
号化モードを示す情報を用いて符号化する第１のモード
符号化モードと、上記符号化する画像の符号化単位の符
号化モードを示す情報を上記符号化する画像の符号化単
位の空間的に隣接する既に局所復号された符号化単位の
復号画素を用いて符号化する第３のモード符号化モード
に適応的に切り替えることを特徴とする請求項１記載の
画像符号化方法。
【請求項４】上記符号化モードを示す情報を符号化す
るステップは、上記符号化する画像の符号化単位の符号
化モードを示す情報を上記符号化する画像の符号化単位
と最も重なり部分の広い上記参照画像の符号化単位の符
号化モードを示す情報を用いて符号化する第１のモード
符号化モードと、上記符号化する画像の符号化単位の符
号化モードを示す情報を上記符号化する画像の符号化単
位と空間的に隣接する符号化単位の符号化モードを示す
情報を用いて符号化する第２のモード符号化モードと、
上記符号化する画像の符号化単位の符号化モードを示す
情報を上記符号化する画像の符号化単位の空間的に隣接
する既に局所復号された符号化単位の復号画素を用いて
符号化する第３のモード符号化モードを適応的に切り替
えることを特徴とする請求項１記載の画像符号化方法。
【請求項５】時間方向に連続する画像からなる動画像
を時間方向の画像間予測で符号化するとともに、上記動
画像を符号化する符号化単位毎に符号化モードを示す情
報を符号化することにより得られた符号化信号を復号す
る画像復号方法において、復号する画像の符号化単位の符号化モードを示す情報を
上記復号する画像の符号化単位と最も重なり部分の広い
上記参照画像の符号化単位の符号化モードを示す情報を
用いて復号するステップと、上記復号された符号化モードを示す情報に基づいて復号
する画像を所定の符号化単位毎に時間方向の参照画像を
用いて復号するステップと、からなることを特徴とする画像復号方法。
【請求項６】上記符号化モードを示す情報を復号する
ステップは、上記復号する画像の符号化単位の符号化モ
ードを示す情報を上記復号する画像の符号化単位と最も
重なり部分の広い上記参照画像の符号化単位の符号化モ
ードを示す情報を用いて復号する第１のモード復号モー
ドと、上記復号する画像の符号化単位の符号化モードを
示す情報を上記復号する画像の符号化単位と空間的に隣
接する符号化単位の符号化モードを示す情報を用いて復
号する第２のモード復号モードを適応的に切り替えるこ
とを特徴とする請求項５記載の画像復号方法。
【請求項７】上記符号化モードを示す情報を復号する
ステップは、上記復号する画像の符号化単位の符号化モ
ードを示す情報を上記復号する画像の符号化単位と最も
重なり部分の広い上記参照画像の符号化単位の符号化モ
ードを示す情報を用いて復号する第１のモード復号モー
ドと、上記復号する画像の符号化単位の符号化モードを
示す情報を上記復号する画像の符号化単位の空間的に隣
接する既に局所復号された符号化単位の復号画素を用い
て復号する第３のモード復号モードを適応的に切り替え
ることを特徴とする請求項５記載の画像復号方法
【請求項８】上記符号化モードを示す情報を復号する
ステップは、上記復号する画像の符号化単位の符号化モ
ードを示す情報を上記符号化する画像の符号化単位と最
も重なり部分の広い上記参照画像の符号化単位の符号化
モードを示す情報を用いて復号する第１のモード復号モ
ードと、上記復号する画像の符号化単位の符号化モード
を示す情報を上記復号する画像の符号化単位と空間的に
隣接する符号化単位の符号化モードを示す情報を用いて
復号する第２のモード復号モードと、上記復号する画像
の符号化単位の符号化モードを示す情報を上記復号する
画像の符号化単位の空間的に隣接する既に局所復号され
た符号化単位の復号画素を用いて復号する第３のモード
復号モードを適応的に切り替えることを特徴とする請求
項５記載の画像復号方法。
【請求項９】時間方向に連続する複数の画像からなる
動画像を時間方向の画像間予測で符号化するとともに、
上記動画像を符号化する符号化単位毎に符号化モードを
示す情報を符号化して、符号化により得られた符号化信
号を出力する画像符号化装置において、符号化する画像を所定の符号化単位毎に時間方向の参照
画像を用いて符号化する画像符号化部と、上記符号化する画像の符号化単位の符号化モードを示す
情報を上記符号化する画像の符号化単位と最も重なり部
分の広い上記参照画像の符号化単位の符号化モードを示
す情報を用いて符号化するモード符号化部とからなるこ
とを特徴とする画像符号化装置。
【請求項１０】時間方向に連続する複数の画像からな
る動画像を時間方向の画像間予測で符号化するととも
に、上記動画像を符号化する符号化単位毎に符号化モー
ドを示す情報を符号化することにより得られた符号化信
号を復号する画像復号装置において、復号する画像の符号化単位の符号化モードを示す情報を
上記復号する画像の符号化単位と最も重なり部分の広い
上記参照画像の符号化単位の符号化モードを示す情報を
用いて復号するモード復号部と、上記復号された符号化モードを示す情報に基づいて復号
する画像を所定の符号化単位毎に時間方向の参照画像を
用いて復号する画像復号部とからなることを特徴とする
画像復号装置。
【請求項１１】再生装置によって再生可能な記録信号
が記録された記録媒体において、上記記録信号は、時間方向に連続する複数の画像からな
る動画像を時間方向の画像間予測で符号化するととも
に、上記動画像を符号化する符号化単位毎に符号化モー
ドを示す情報を符号化して、符号化により得られた符号
化信号を含んでおり、上記符号化信号は、復号する画像の符号化単位の符号化
モードを示す情報を上記復号する画像の符号化単位と最
も重なり部分の広い上記参照画像の符号化単位の符号化
モードを示す情報を用いて復号され、上記復号された符
号化モードを示す情報に基づいて復号する画像を所定の
符号化単位毎に時間方向の参照画像を用いて復号される
ことを特徴とする記録媒体。
【請求項１２】入力された画像を符号化するととも
に、上記画像を符号化する符号化単位毎に符号化モード
を示す情報を符号化して、符号化により得られた符号化
信号を出力する画像符号化方法において、符号化する画像を所定の符号化単位毎に符号化するステ
ップと、上記符号化する画像の符号化単位の符号化モードを示す
情報を上記符号化する画像の符号化単位と空間的に隣接
する符号化単位の符号化モードを示す情報を用いて符号
化するステップとからなることを特徴とする画像符号化
方法。
【請求項１３】上記符号化モードを示す情報を符号化
するステップは、上記符号化する画像の符号化単位の符
号化モードを示す情報を上記符号化する画像の符号化単
位と空間的に隣接する符号化単位の符号化モードを示す
情報を用いて符号化する第１のモード符号化モードと、
上記符号化する画像の符号化単位の符号化モードを示す
情報を上記符号化する画像の符号化単位の空間的に隣接
する既に局所復号された符号化単位の復号画素を用いて
符号化する第２のモード符号化モードを適応的に切り替
えることを特徴とする請求項１２記載の画像符号化方
法。
【請求項１４】入力された画像を符号化するとともに
上記画像を符号化する符号化単位毎に符号化モードを示
す情報を符号化することにより得られた符号化信号を復
号する画像復号方法において、復号する画像の符号化単位の符号化モードを示す情報を
上記復号する画像の符号化単位と空間的に隣接する符号
化単位の符号化モードを示す情報を用いて復号するステ
ップと、上記復号された符号化モードを示す情報に基づいて復号
する画像を所定の符号化単位毎に復号するステップと、からなることを特徴とする画像復号方法。
【請求項１５】上記符号化モードを示す情報を復号す
るステップは、上記復号する画像の符号化単位の符号化
モードを示す情報を上記符号化する画像の符号化単位と
空間的に隣接する符号化単位の符号化モードを示す情報
を用いて復号する第１のモード復号モードと、上記復号
する画像の符号化単位の符号化モードを示す情報を上記
符号化する画像の符号化単位の空間的に隣接する既に局
所復号された符号化単位の符号画素を用いて復号する第
２のモード復号モードを適応的に切り替えることを特徴
とする請求項１４記載の画像復号方法。
【請求項１６】入力された画像を符号化するととも
に、上記画像を符号化する符号化単位毎に符号化モード
を示す情報を符号化して、符号化により得られた符号化
信号を出力する画像符号化装置において、符号化する画像を所定の符号化単位毎に符号化する画像
符号化部と、上記符号化する画像の符号化単位の符号化モードを示す
情報を上記符号化する画像の符号化単位と空間的に隣接
する符号化単位の符号化モードを示す情報を用いて符号
化するモード符号化部とからなることを特徴とする画像
符号化装置。
【請求項１７】入力された画像を符号化するとともに
上記画像を符号化する符号化単位毎に符号化モードを示
す情報を符号化することにより得られた符号化信号を復
号する画像復号装置において、復号する画像の符号化単位の符号化モードを示す情報を
上記復号する画像の符号化単位と空間的に隣接する符号
化単位の符号化モードを示す情報を用いて復号するモー
ド復号部と、上記復号された符号化モードを示す情報に基づいて復号
する画像を所定の符号化単位毎に復号する画像復号部と
からなることを特徴とする画像復号装置。
【請求項１８】再生装置によって再生可能な記録信号
が記録された記録媒体において、上記記録信号は、入力された画像を符号化するとともに
上記画像を符号化する符号化単位毎に符号化モードを示
す情報を符号化することにより得られた符号化信号を含
んでおり、上記符号化信号は、復号する画像の符号化単位の符号化
モードを示す情報を上記復号する画像の符号化単位と空
間的に隣接する符号化単位の符号化モードを示す情報を
用いて復号され、上記復号された符号化モードを示す情
報に基づいて復号する画像を所定の符号化単位毎に復号
されることを特徴とする記録媒体。
【請求項１９】入力された画像を符号化するととも
に、上記画像を符号化する符号化単位毎に符号化モード
を示す情報を符号化して、符号化により得られた符号化
信号を出力する画像符号化方法において、符号化する画像を所定の符号化単位毎に符号化するステ
ップと、上記符号化する画像の符号化単位の符号化モードを示す
情報を上記符号化する画像の符号化単位の空間的に隣接
する既に局所復号された符号化単位の復号画素を用いて
符号化するステップとからなることを特徴とする画像符
号化方法
【請求項２０】入力された画像を符号化するとともに
上記画像を符号化する符号化単位毎に符号化モードを示
す情報を符号化することにより得られた符号化信号を復
号する画像復号方法において、復号する画像の符号化単位の符号化モードを示す情報を
上記復号する画像の符号化単位の空間的に隣接する既に
局所復号された符号化単位の復号画素を用いて復号する
ステップと、上記復号された符号化モードを示す情報に基づいて符号
化する画像を所定の符号化単位毎に符号化するステップ
とからなることを特徴とする画像復号方法。
【請求項２１】入力された画像を符号化するととも
に、上記画像を符号化する符号化単位毎に符号化モード
を示す情報を符号化して、符号化により得られた符号化
信号を出力する画像符号化装置において、符号化する画像を所定の符号化単位毎に符号化する画像
符号化部と、上記符号化する画像の符号化単位の符号化モードを示す
情報を上記符号化する画像の符号化単位の空間的に隣接
する既に局所復号された符号化単位の復号画素を用いて
符号化するモード符号化部とからなることを特徴とする
画像符号化装置
【請求項２２】入力された画像を符号化するとともに
上記画像を符号化する符号化単位毎に符号化モードを示
す情報を符号化することにより得られた符号化信号を復
号する画像復号装置において、復号する画像の符号化単位の符号化モードを示す情報を
上記復号する画像の符号化単位の空間的に隣接する既に
局所復号された符号化単位の復号画素を用いて復号する
モード復号部と、上記復号された符号化モードを示す情報に基づいて符号
化する画像を所定の符号化単位毎に符号化する画像復号
部とからなることを特徴とする画像復号装置。
【請求項２３】再生装置によって再生可能な記録信号
が記録された記録媒体において、上記記録媒体は、入力された画像を符号化するとともに
上記画像を符号化する符号化単位毎に符号化モードを示
す情報を符号化することにより得られた符号化信号を含
んでおり、上記符号化信号は、復号する画像の符号化単位の符号化
モードを示す情報を上記復号する画像の符号化単位の空
間的に隣接する既に局所復号された符号化単位の復号画
素を用いて復号され、上記復号された符号化モードを示
す情報に基づいて符号化する画像を所定の符号化単位毎
に符号化されることを特徴とする記録媒体。