JP2001128161A - 動画像符号化復号化装置・方法、その記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】符号化効率の低下を抑制し、伝送する動画像の
画質の低下を抑制する。 【解決手段】復号化装置部９に復号誤りマクロブロック
番号通知手段１２を設け、符号化装置部９に画像符号化
情報を記憶する符号化情報記憶手段１４と、受信した復
号誤りマクロブロック番号１６Ｅと符号化情報から、イ
ントラリフレッシュの制御とマクロブロック部分を参照
画像として使わないように動き補償を制御する符号化制
御部１３を設けた。復号誤りの発生したマクロブロック
番号と正常復帰したマクロブロック番号１６Ｒのみを通
信相手に通知すればよいので、動画像符号化データなど
への割り当て符号量の減少などの影響が少ない。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像符号化復号
化装置・方法、その記録媒体に関し、特に、テレビ電話
やテレビ会議システムに用いられる動画像を高能率に符
号化し、復号誤りが複数枚の連続する復号画像に影響を
与えることを防止する動画像符号化復号化装置・方法、
その記録媒体に関する。

【０００２】

【従来の技術】動画像は、圧縮符号化されて送受信され
通信効率が高められる。動画像の圧縮符号化は、その高
能率化が求められている。動画像を高能率に圧縮符号化
する方法としては、ＩＴＵ (International Telecommun
ication Union) 勧告のＨ２６１、Ｈ２６３など、ＩＳ
Ｏ(International Organization for Standardization)
勧告のＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４など
の動き補償と２次元離散コサイン変換とハフマン符号化
を組み合わせた方式が知られている。このような方式に
よる動画像符号化データは、ピクチャ （picture）、ス
ライス（slice）、マクロブロック （macroblock）とい
う３層構造を有する。ピクチャは符号化する1枚の画像
である。マクロブロックとはピクチャをブロック状に分
割したもので、一般には縦と横にそれぞれ１６画素が配
置される大きさである。スライスは符号化順序が連続す
るマクロブロックをグループ化したもので、ＧＯＢ （g
roup of block）やビデオパケット（video packet）と
も呼ばれる。動画像符号化処理は、マクロブロックを単
位として行われる。

【０００３】マクロブロックの符号化には、大別してイ
ントラモード（intramode）とインターモード（inter m
ode）の方式がある。イントラモードでは、マクロブロ
ック内のデータのみを使って符号化が行われ、復号の際
にはマクロブロックのデータだけで画像を再生すること
ができる。インターモードでは、参照画像を使って動き
補償した画像データとの差分情報を使った符号化が行わ
れ、復号の際には参照画像のデータとマクロブロックの
符号化データが必要となる。参照画像には、符号化する
画像の前後の画像が選ばれる。マクロブロックの符号化
の順序は、画像の左上を始点として左から右へ、そして
上から下へスキャンする順序とするのが一般的である。
スライスは、動画像符号化アルゴリズムに従って適当に
構成される。スライスの先頭にあるマクロブロックはイ
ントラモードで符号化され、それ以後のマクロブロック
はイントラモードとインターモードのいずれかの方式で
符号化される。

【０００４】特定の位置のマクロブロックが常にインタ
ーモードで符号化されてしまうと、符号化誤差の蓄積に
より復号画像が劣化するので、適当な間隔でイントラモ
ードで符号化されるように符号化装置は制御される。こ
の制御は、イントラリフレッシュと呼ばれる。スライス
内の２番目以降のマクロブロックでは、前に符号化され
たマクロブロック情報との差分値をそのマクロブロック
の情報とするのが一般的である。ピクチャとスライスの
データの先頭には、そのデータの開始を示すスタートコ
ードとヘッダ情報があり、動画像復号化装置が動画像符
号化データを復号するときの同期点として使う。

【０００５】このような動画像符号化方式を用いて動画
像データを符号化復号化する装置では、受信したデータ
に符号誤りが発生した場合には、復号の際に正常な復号
ができなくなるので、次の同期点まで誤った復号処理を
続けるか、復号処理を一旦止めて次の同期点までスキッ
プすることになる。この結果、復号画像では、誤りが発
生した位置から同期点までの間のマクロブロックの再生
画像が劣化したものとなる。更に、劣化したマクロブロ
ックは次にイントラリフレッシュされるまで劣化した状
態となるので、この部分が他のマクロブロックの復号処
理時に参照画像として使われると、そのマクロブロック
も画像が劣化したものとなってしまう。そのため、復号
誤りが発生しても、素早く画像を修復し、良好な画像を
再生できる動画像符号化復号化装置が求められている。

【０００６】このような要請に応えるために、例えば、
特開平７−３１２７５５号に開示されているように、復
号誤りが発生したマクロブロックに対して補間画像を作
成してマクロブロックのデータを置換するとともに、通
信相手の符号化装置に符号誤りを通知して、その直後の
ピクチャの同一空間に位置するマクロブロック以降の符
号化モードをイントラモードに切り替えるように制御す
るすることが提案されている。この先行技術文献に開示
された手法は、図５に示されるように、符号化主要部１
０１と復号化主要部１０２の他に、受信したデータの符
号誤り検出手段１０３と、復号誤りが発生したマクロブ
ロックに対する補間画像を作成する補間画像作成手段１
０４と、復号誤りが発生したことを通信相手に通知する
符号誤り通知手段１０５と、受信した復号誤り情報を用
いて符号化部を制御する符号化制御手段１０６から構成
されている。

【０００７】この公知技術では、復号した全てのマクロ
ブロックについて符号誤りの有無、誤りがあった場合は
ＧＯＢ番号とマクロブロックアドレスの情報を符号化装
置に伝送するので、６４ｋｂｐｓ程度の低ビットレート
通信の場合、誤り情報のデータが相対的に大きくなり、
動画像符号化データが割り当てられるデータ量が少なく
なり、伝送する動画像の画質が劣化するという問題があ
る。更に、符号化装置は誤りがあったマクロブロックが
動領域にあった場合は、動領域に含まれる全てのマクロ
ブロックをイントラモードで符号化するように制御され
るので、誤りの影響を受けないマクロブロックまでイン
トラモードで符号化されることが起こり、符号化効率を
低下させ、伝送する動画像の画質を低下させるという問
題もある。

【０００８】

【発明が解決しようとする課題】本発明の課題は、符号
化効率の低下を抑制し、伝送する動画像の画質の低下を
抑制することができる動画像符号化復号化装置・方法、
その記録媒体を提供することにある。本発明の他の課題
は、符号化効率の低下を抑制し、マクロブロックが動領
域にある場合にも、伝送する動画像の画質の低下を抑制
する動画像符号化復号化装置・方法、その記録媒体を提
供することにある。

【０００９】

【課題を解決するための手段】その課題を解決するため
の手段が、下記のように表現される。その表現中に現れ
る技術的事項には、括弧（）つきで、番号、記号等が添
記されている。その番号、記号等は、本発明の実施の複
数の形態又は複数の実施例のうちの少なくとも１つの実
施の形態又は複数の実施例を構成する技術的事項、特
に、その実施の形態又は実施例に対応する図面に表現さ
れている技術的事項に付せられている参照番号、参照記
号等に一致している。このような参照番号、参照記号
は、請求項記載の技術的事項と実施の形態又は実施例の
技術的事項との対応の橋渡しを明確にしている。このよ
うな対応の橋渡しは、請求項記載の技術的事項が実施の
形態又は実施例の技術的事項に限定されて解釈されるこ
とを意味しない。

【００１０】本発明による動画像符号化復号化装置は、
復号誤りが発生している当方側マクロブロックの誤り発
生番号（１６Ｅ）と、復号化が正常に復帰した当方側マ
クロブロックの正常復帰番号（１６Ｒ）とを相手側から
受信する受信部（６）と、誤り発生番号（１６Ｅ）と正
常復帰番号（１６Ｒ）に基づいて、当方側の送信対象の
当方側動画像の圧縮符号化を制御する符号化制御部（１
３）とを含む。

【００１１】復号誤りの通知は、誤りの発生と正常復帰
した時のみにそれらに該当するマクロブロック番号のみ
を通知するので、送信データ量は少なく、動画像符号化
に与える影響はわずかであり、符号量の減少による画質
の劣化を抑えることができる。

【００１２】符号化制御部（１３）の制御は、次のピク
チャの符号化において、誤り発生番号（１６Ｅ）から正
常復帰番号（１６Ｒ）までのマクロブロックの符号化を
イントラモードで実行することである。符号化装置は誤
りを起こしたマクロブロックのみをイントラリフレッシ
ュするので、イントラモード符号化による符号量の増加
を必要最小限に抑えることができる。更に、誤りによっ
て劣化したマクロブロックを参照画像として用いないよ
うに動き補償を制御するので、画像の劣化部分が他の部
分に伝搬することを抑えることができる。

【００１３】既述の動画像符号化装置には、圧縮符号化
が相手側でなされて相手側から送信されてくる相手側動
画像を受信して復号化する際に、復号誤りが発生してい
る相手側マクロブロックの誤り発生番号（１６Ｅ）と、
復号化が正常に復帰した相手側マクロブロックの正常復
帰番号（１６Ｒ）とを相手側に通知するマクロブロック
番号通知部（１２）が更に含まれる。マクロブロック番
号通知部（１２）が当方側にも設けられると、相手側と
当方側とで双方向の圧縮画像通信が可能になって、ＴＶ
電話、ＴＶ会議システムのデータ送信の効率化が促進さ
れる。

【００１４】本発明による動画像符号化復号化方法は、
圧縮符号化した当方側動画像を相手側に送信すること、
当方側動画像を受信して復号誤りが発生したマクロブロ
ックの誤り発生番号（１６Ｅ）と復号化が正常に復帰し
たマクロブロックの正常復帰番号（１６Ｒ）を当方が受
信すること、次のピクチャの符号化において、誤り発生
番号のマクロブロックと正常復帰番号のマクロブロック
の時間的な間のマクロブロックをイントラモードで圧縮
符号化することとを含む。

【００１５】更に、相手側動画像を受信して復号誤りが
発生したマクロブロックの誤り発生番号（１６Ｅ）と復
号化が正常に復帰したマクロブロックの正常復帰番号
（１６Ｒ）を相手側に通知することを含み、相手側は、
次のピクチャの符号化において、誤り発生番号のマクロ
ブロックと正常復帰番号のマクロブロックの時間的な間
のマクロブロックをイントラモードで圧縮符号化する。
これにより、双方向通信が可能である。このような方法
は、プログラムにより実現され、そのプログラムはコン
ピュータに読み取り可能に記録媒体に記録される。

【００１６】

【発明の実施の形態】図に一致対応して、本発明による
動画像符号化復号化装置の実施の形態は、動画像符号化
部が動画像復号化部と共に設けられている。その動画像
符号化部１には、図１に示されるように、動画像である
入力動画像画像データ２が入力される。動画像符号化部
１は、入力動画像データ２を符号化処理し、動画像符号
化データ３を出力する。

【００１７】動画像符号化部１は、多重化部４に接続し
ている。多重化部４は、動画像符号化データ出力３と音
声符号化データ、その他のデータを多重化処理した符号
化データ出力５を伝送路に送出する。非多重化部６は、
受信した符号化データ入力７を音声符号化データ、動画
像符号化データ８、その他のデータに分離する。非多重
化部６は、動画像復号化部９に接続している。動画像復
号化部９は、動画像符号化データ８を復号化処理し、再
生動画像１１を出力する。

【００１８】本動画像符号化復号化装置は、更に、マク
ロブロック番号通知手段１２と、符号化制御手段１３
と、符号化情報記憶部１４とを備えている。動画像復号
化部９は、復号誤りマクロブロックの有無１５と、その
マクロブロック番号１６を出力する。復号誤りマクロブ
ロックの有無１５と、マクロブロック番号１６とを受信
するマクロブロック番号通知手段１２は、その復号誤り
の開始のマクロブロック番号１６Ｅと、正常復帰の時点
のマクロブロック番号１６Ｒとを多重化部４に送る。マ
クロブロック番号１６は、他の符号化データと多重化さ
れて、通信相手の他の動画像符号化復号化装置（図示さ
れず）に伝送される。

【００１９】非多重化部６は、符号化制御手段１３に接
続している。符号化制御手段１３は、非多重化部６を介
して復号誤り開始のマクロブロック番号１６Ｅと正常復
帰したマクロブロック番号１６Ｒを受信する。復号誤り
開始のマクロブロック番号１６Ｅと正常復帰したマクロ
ブロック番号１６Ｒとは、符号化情報記憶部１４に記憶
される。符号化制御手段１３は、イントラマクロブロッ
クやスライス構成などの符号化情報を参照しながら、動
画像符号化部１を制御するとともに、その符号化情報を
符号化情報記憶部１４に記憶させる。動画像符号化部１
と動画像復号化部９は、慣用手段である。

【００２０】動画像復号化部９は、マクロブロックを復
号する際に復号誤りが発生したかどうかを判定し、判定
結果とマクロブロック番号１６を復号誤りマクロブロッ
ク番号通知手段１２に通知する。復号誤りのマクロブロ
ックの有無１５の判定は、符号テーブルにないシンボル
の出現、前後の関係から有りえない情報の出現などから
判定することができる。マクロブロック番号１６Ｅ，１
６Ｒは、番号によってマクロブロックの位置が一意に分
かるようにつけられている。例えば、画像の左上を始点
とし、左から右へ、上から下へ、１，２，３，・・・と
いうように番号が付けられ得る。符号化装置と復号化装
置は同じ情報を共有しているものとする。

【００２１】図２は、復号誤りマクロブロック番号通知
手段１２の動作を示している。動画像復号化処理が開始
されると、マクロブロック番号通知手段１２は、動画像
復号化部９が出力するマクロブロックの誤り判定結果を
受け取り（ステップＳ１）、それの誤りの有無を判別す
る。それに誤りがある場合は、最初に誤りが発生したマ
クロブロックの番号１６Ｅを多重化部４に送出する（ス
テップＳ２）。判定結果の受信を継続し（ステップＳ
３）、更に誤りが発生したマクロブロックの番号１６Ｅ
を多重化部４に送出しながら、誤りなく復号できたと判
定されたマクロブロックが出現したところで、正常に復
帰したマクロブロックの番号１６Ｒを送出する（ステッ
プＳ４）。

【００２２】このような複数のステップを常態的に継続
して実行する。通常、正常復帰したマクロブロックが出
現するのは、ピクチャやスライスにある同期点からとな
る。但し、同期点のデータに誤りが混入することがあ
り、その場合は複数のスライスに渡って誤りマクロブロ
ックが発生することがある。

【００２３】図３は、スライスの構造を示している。符
号化制御手段１３は、画像の符号化条件を符号化情報記
憶部１４に記憶させる。その符号化条件には、スライス
２１の構成やイントラリフレッシュなどの情報がある。
復号誤りの通知がない場合は、適当な方法でスライス２
１の構成を決め、イントラリフレッシュを行う。

【００２４】復号誤りの発生したマクロブロックの番号
１６Ｅと正常復帰したマクロブロックの番号１６Ｒを受
信すると、その区間にあるマクロブロックを誤りマクロ
ブロックとして記録し、そのマクロブロックをイントラ
リフレッシュするように動画像符号化部１を制御する。
更に、インターモードで符号化するマクロブロックの動
き補償をする際に、誤りマクロブロックに含まれる画像
データを使わないように動き補償を制御する。

【００２５】図３は、ある符号化画像のスライス２１の
構成を太線で囲んで示している。図中の×印は復号誤り
が発生したマクロブロック２２の位置を示し、○印は正
常復帰したマクロブロック２３の位置を示す。符号化制
御手段１３は、誤り発生から正常復帰までの区間のマク
ロブロックに誤りマクロブロックの印を付ける。これを
図中では、△印で表している。

【００２６】次の画像を符号化する際に、誤りマクロブ
ロックをイントラモードで符号化するよう、動画像符号
化部１を制御する。これ以外のマクロブロックで、イン
ターモードで符号化するマクロブロックは、誤りマクロ
ブロックを含む領域の画像データを動き補償に使わない
ように制御される。

【００２７】図４は、動画像符号化復号化装置をマイク
ロプロセッサのプログラムとして実現する実施の形態を
示している。記録媒体３１は、動画像符号化復号化の処
理を実現するプログラムを記録している。記録媒体３１
は、磁気ディスク、半導体メモリその他の記録媒体で形
成され得る。動画像符号化復号化プログラムは、記録媒
体３１からマイクロプロセッサ３２に読み込まれ、マイ
クロプロセッサ３２の動作を制御する。マイクロプロセ
ッサ３２は、図２に示される既述の複数のステップを実
行する。シーケンス情報やマクロブロック数などの復号
処理に必要な情報は、メモリ３３に記憶される。

【００２８】図１に示される回路ブロックは、送信側又
は受信側のみが示されている。この回路ブロックが送信
側と受信側で用いられることにより、双方向の通信が可
能になって、ＴＶ会議システムが構成され得る。このよ
うな動画像符号復号化装置の動作を実行するプログラム
は、記録媒体に入力される。

【００２９】

【発明の効果】本発明による動画像符号化復号化装置・
方法、その記録媒体は、復号誤りの発生したマクロブロ
ック番号と正常復帰したマクロブロック番号のみを通信
相手に通知すればよいので、動画像符号化データなどへ
の割り当て符号量の減少などの影響が少ない。

【００３０】また、誤りの発生したマクロブロックをリ
フレッシュするので、劣化した画像が素早く正常な状態
に戻る。更に、誤りが発生しなかったマクロブロック
は、動き補償に制限はあるがインターモードで符号化す
るので、全てをイントラモードで符号化する場合と比較
して符号量の増加を抑えることができる。

【図面の簡単な説明】

【図１】図１は、本発明による動画像符号化復号化装置
の実施の形態を示す回路ブロック図である。

【図２】図２は、本発明による動画像符号化復号化方法
の実施の形態を示すフローチャートである。

【図３】図３は、動画像のブロックを示す図である。

【図４】図４は、本発明による記録媒体の実施の形態を
示す回路ブロック図である。

【図５】図５は、公知装置を示す回路ブロック図であ
る。

【符号の説明】

１２…マクロブロック番号通知部 １３…符号化制御部 １６Ｅ…誤り発生番号 １６Ｒ…正常復帰番号

Claims (6)

【特許請求の範囲】
1. 【請求項１】復号誤りが発生している当方側マクロブロ
   ックの誤り発生番号と、復号化が正常に復帰した当方側
   マクロブロックの正常復帰番号とを相手側から受信する
   受信部と、 前記誤り発生番号と前記正常復帰番号に基づいて、当方
   側の送信対象の当方側動画像の圧縮符号化を制御する符
   号化制御部とを含む動画像符号化復号化装置。
2. 【請求項２】請求項１において、 前記符号化制御部の前記制御は、次のピクチャの符号化
   において、前記誤り発生番号と、前記正常復帰番号まで
   の間の相手側に送信するマクロブロックの前記符号化を
   イントラモードで実行することである動画像符号化復号
   化装置。
3. 【請求項３】請求項１又は２から選択される１請求項に
   記載される動画像符号化装置と、 圧縮符号化が前記相手側でなされて前記相手側から送信
   されてくる相手側動画像を受信して復号化する際に、復
   号誤りが発生している相手側マクロブロックの誤り発生
   番号と、復号化が正常に復帰した相手側マクロブロック
   の正常復帰番号とを相手側に通知するマクロブロック番
   号通知部とを含む動画像符号化復号化装置。
4. 【請求項４】圧縮符号化した当方側動画像を相手側に送
   信すること、 前記当方側動画像を受信して復号誤りが発生したマクロ
   ブロックの誤り発生番号と復号化が正常に復帰したマク
   ロブロックの正常復帰番号を当方側に通知すること、 前記誤り発生番号のマクロブロックと前記正常復帰番号
   のマクロブロックの時間的な間のマクロブロックを次の
   ピクチャの符号化においてイントラモードで圧縮符号化
   することとを含む動画像符号化復号化方法。
5. 【請求項５】請求項４において、更に、 相手側動画像を受信して復号誤りが発生したマクロブロ
   ックの誤り発生番号と復号化が正常に復帰したマクロブ
   ロックの正常復帰番号を前記相手側に通知することを含
   み、 前記相手側は、前記誤り発生番号のマクロブロックと前
   記正常復帰番号のマクロブロックの時間的な間のマクロ
   ブロックを次のピクチャの符号化においてイントラモー
   ドで圧縮符号化する動画像符号化復号化方法。
6. 【請求項６】請求項４又は５に記載された動画像符号化
   復号化方法を実行するプログラムを記録した記録媒体。