JP3045696B2

JP3045696B2 - 復号化方法及びその装置

Info

Publication number: JP3045696B2
Application number: JP30002197A
Authority: JP
Inventors: 誠安田; 彰啓渡部
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1996-10-31
Filing date: 1997-10-31
Publication date: 2000-05-29
Anticipated expiration: 2017-10-31
Also published as: JPH10191258A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、情報を伝送路を介
して伝送したり、蓄積装置に格納する際に用いる復号化
方法及びその装置に関するものである。

【０００２】

【従来の技術】近年、情報化社会の進展に伴い、時間や
距離の壁を越え動画像を他者に伝えたいという要望が高
まっている。ディジタル技術の本格的な実用化の時代を
迎え、動画像を記録装置で記録・再生したり、通信網を
用いて遠距離間を伝送することが可能になってきた。ま
た、通信の分野だけでなく、放送の分野でもディジタル
技術を用いた伝送及び符号化方式の採用が行われてい
る。

【０００３】ディジタル信号の動画像や音声信号は、一
般に符号量が大きいため、効率よく記録および伝送する
ためには、高能率符号化技術の利用が必須とされてお
り、符号化装置や復号化装置がすでに試作されている。

【０００４】ＣＤ（コンパクト・ディスク）にディジタ
ル動画像を記録したビデオＣＤや、ビデオＣＤよりもよ
り高画質で長時間のディジタル動画像を記録したＤＶＤ
などは、その応用例のひとつである。これらビデオＣ
ＤやＤＶＤの再生を行う復号化装置では、早送りや巻き
戻し再生などの特殊再生が必須であり、これらの実現の
ために、通称MPEG(Moving Picture Experts Group)と呼
ばれる国際標準規格「インフォメーション・テクノロジ
ーコーディング・オブ・ムービング・ピクチャーズ・
アンド・アソシエーティッド・オーディオ・フォー・デ
ィジタル・ストレージ・メディア・アット・アップ・ト
ゥ・アバウト・1.5Mbits」"InformationTechnology - C
oding of moving pictures and associated audio for
digitalstorage media at up to about 1,5Mbits/s（IS
O/IEC11172-2）に記述の方法に準じた方法を用いたもの
があった。以下では、図を参照しながら、上述した方法
を用いた従来のディジタル動画像の復号化方法について
説明する。

【０００５】はじめに、MPEGにおけるディジタル動画像
の符号化方法及びビットストリームについて説明する。
MPEGでは、ディジタル動画像は一続きのビデオフレーム
７００から構成されると想定し、図５(A) に示すよう
に、シーケンスと呼ばれる一連のビデオフレーム群５０
０を符号化する。シーケンスは、グループ・オブ・ピク
チャ（以下GOP と表す。）と呼ばれ、通常0.5 秒程度ご
との一連のビデオフレーム群６００に分割して符号化さ
れている。

【０００６】GOP は、一例として図５(B) に模式的に示
すように、そのビデオフレーム内のみのデータを用いて
符号化したＩピクチャ(Intra-Picture: フレーム内符号
化画像) 、時間的に前のピクチャ（Ｉピクチャ又はＰピ
クチャ）のデータから予測符号化が可能なＰピクチャ(P
redictive Picture:フレーム間順方向予測符号化画像)
、時間的に前及び後ろのＩピクチャ及びＰピクチャか
ら内挿予測符号化が可能なＢピクチャ(Bidirectionally
Predictive-Picture:フレーム間双方向予測符号化画
像) から構成されている。

【０００７】各ピクチャ内の構造を図６(A) に示す。ピ
クチャは、１個以上のスライスと呼ばれる画面上で帯状
の一続きの領域から構成され、さらにスライスは、１個
以上のマクロブロックと呼ばれる横１６画素＊縦１６ラ
インの画像ブロック８００から構成される。マクロブロ
ックは、図６(B) 及び(C) に示すように、ブロックと呼
ばれる横８画素＊縦８ラインの画像ブロック複数個から
成り、一例として輝度信号４個と、２系統の色信号(Cb,
Cr) それぞれ１個のブロックから構成される。

【０００８】以上のように、ビットストリームは階層構
造を有しており、階層構造のうち、上位の階層を構成す
る符号列であるシーケンス、GOP 、ピクチャ、スライス
には、それぞれ、ビットストリーム上で一意に特定可能
なスタートコードが付与されており、かつ、各階層を構
成する符号列の符号化情報を保持するヘッダやエクステ
ンションと呼ばれる階層情報を保持する領域が設けられ
ている。一例として図７に示すようにこれらは配置さ
れ、ビットストリーム１０００を構成する。

【０００９】マクロブロック以下の階層では、前回符号
化されたマクロブロックの位置から何個離れているかを
表すマクロブロック・アドレス・インクリメント、符号
化時に選択されたマクロブロックの予測モード情報を表
すマクロブロック・タイプ、量子化幅を表すクオンタイ
ザー・スケール、動き補償に用いる動きベクトル、どの
ブロックがビットストリーム中に符号化されて存在する
かを表すコーデッド・ブロック・パターン、符号化され
たＤＣＴ(Discrete Cosine Transform: 離散コサイン変
換) 係数情報、などの情報が存在する。

【００１０】これらのマクロブロックにより構成される
階層以下の各情報の符号化には、可変長符号が用いられ
ており、出現頻度が高いものほど短い符号を割り当てる
ことで、ビットストリームの大半を占めるマクロブロッ
クにより構成される階層の情報を効率的に符号化してい
る。

【００１１】実際にはビットストリームは、シーケンス
以下の階層において、図８に示すように適当なある長さ
ごとに分割されパケット４０となっている。別途、符号
化された音声信号も同様にパケット化され、これらパケ
ット化された情報は、互いに区別できるように各パケッ
トの先頭に識別情報を持つパケットヘッダ４１が付与さ
れている。そして、パケット多重されて、ビットストリ
ーム１０００を構成する。このパケット４０のうちの、
もともとのビットストリーム１０００に含まれていた情
報を収納している領域はペイロード領域４２と呼ばれ
る。

【００１２】次に、上記ビットストリームの早送り再生
方法や巻き戻し再生方法について説明する。通常再生の
場合には、上記ビットストリームをすべて再生しすべて
のピクチャについて復号を行い、画像の表示を行うが、
早送り再生の際には、すべてのビットストリームを復号
化装置に転送し、そのうちのＩピクチャを復号化装置に
おいて選択して復号し表示するか、もしくは、Ｉピクチ
ャのみを選択的に復号化装置に供給し、復号化装置にて
このＩピクチャを復号して表示する。

【００１３】復号化装置内においては、予め符号とこれ
に対応する画像データ等のシンボルとの対応関係が示さ
れた符号テーブルを用いて、このテーブルに順次入力さ
れる符号列を照合させて復号化をおこなっていく。

【００１４】この復号化装置において、本来符号テーブ
ルで定義されていないシンボルを発見すると、直ちにそ
のピクチャの復号をやめ、このピクチャに対してエラー
処理として、エラーコンシールメント処理と呼ばれる処
理を行う。

【００１５】エラーコンシールメント処理の一例とし
て、復号を中断したピクチャについて、完成していない
画像部分については、すでに復号済みのピクチャの内容
をコピーして補充してビデオフレームを完成させ、復号
を中断したピクチャの代わりとして表示するものとす
る。そして、次のピクチャのヘッダまで読み飛ばす処理
が行われるものとなっている。

【００１６】または、別のエラーコンシールメント処理
の例として、復号を中断したピクチャは一切表示しない
ものとし、単純に次のピクチャのヘッダまで読み飛ばす
処理が行われるものとなっている。

【００１７】上記の２つのエラーコンシールメント処理
は、常にどちらか一方の処理が行われる場合もあるし、
また、適応的にその処理が切り替えられる場合もある。

【００１８】また、同様に、ヘッダ及びエクステンショ
ンの存在が所定の文法規則に沿ってなければ誤りの発生
とみなし、上記と同様の処理を行うものとなっている。

【００１９】しかし、実際には、上記の方法を用いると
ビットストリームの解析能力が不足したり、Ｉピクチャ
の選択を行うのが繁雑であったりするため、図９(A) に
示すように、全ビットストリーム１０００を含む全ビッ
トストリーム断片を復号化装置に供給するのではなく、
図９(B) に示すように、Ｉピクチャ等の所定の符号列を
含むと考えられる，パケットからなるビットストリーム
断片３００、３１０、３２０等のみを選択的に復号化装
置に供給し、図９(C) に示すように、このビットストリ
ーム断片を構成するパケットのペイロード領域を再度配
列してエレメンタリ・ビットストリーム１００１を形成
し、このＩピクチャのみを時系列に沿って次々に再生す
ることで実現することが多い。この再生は、エレメンタ
リ・ビットストリーム１００１を構成する符号を順次符
号テーブルに照合させて、符号列を再生用のデータに復
号することにより行われる。符号テーブルには、予め、
符号化に用いられた符号と、再生用のデータとの対応関
係が定められている。なお、場合によっては、エレメン
タリ・ビットストリーム１００１のＩピクチャに加えて
Ｐピクチャも再生する場合もある。

【００２０】巻き戻し再生は、供給するとびとびのビッ
トストリーム断片が時間的に前に遡るように転送するこ
とで実現する。すなわち、一例としてビットストリーム
断片３２０、３１０、３００、…の順に復号化装置に供
給する。このとき、GOP に含まれるＩピクチャの先頭部
分を含むパケットは、ディスク上などに別途記録された
管理情報を用いることで特定することが可能なことが多
い。また、特に、Ｉピクチャのデータは、Ｉピクチャの
先頭部分がパケットの先頭部分となるようにパケット化
されていることが多い。

【００２１】

【発明が解決しようとする課題】しかし、以上の構成で
は、早送りや巻き戻し再生の際に、とびとびのビットス
トリーム断片がパケット単位で復号化装置に供給される
ため、図９(C) の８０で示す部分の拡大図である図９
(D) に示すように、ビットストリーム断片に、ピクチャ
の符号列が最後まで完結して含まれていない場合、後続
するビットストリーム断片との接続部位Ａ点の前後の領
域において、符号が本来復号化すべき符号と異なる符号
になってしまう。この時、その接続部位Ａ点の前後の領
域の符号が文法的に正しい、即ち符号テーブルにより復
号化可能な符号であると、本来ならば、復号時にこの接
続部位Ａ点を誤りと検出してこの時点までに復号化して
いたピクチャの復号化を終了し、この画像に対してなん
らかのエラー処理を行い、その後に配置されているピク
チャに対して改めて復号化を開始する必要があるにもか
かわらず、誤りが検出できずにこの接続部位Ａ点の前後
の領域も正常な符号と判断して復号化してしまい、その
まま、その後に配置されているピクチャも本来の符号と
は異なった符号として復号化されていく場合があるた
め、その後のピクチャが正常に復号化されずに、本来と
異なる画像が復号される結果、著しい画像の乱れが発生
するという課題があった。

【００２２】また、この場合、まさに接続部位Ａ点の前
後にて誤り検出が行われるとは限らず、文法的に明らか
に誤りが発生するエレメンタリ・ビットストリーム部位
まで解析して復号化してしまうので、復号化装置が無駄
な時間を費やし、その後の正常な復号動作に必要な時間
が確保できない場合が発生するという課題があった。

【００２３】この発明は上記のような課題を解消するた
めになされたものであり、早送りや巻き戻し等の特殊再
生の際に、正常な復号動作が可能な復号化方法及びその
装置を提供することを目的とする。

【００２４】

【課題を解決するための手段】この発明にかかる復号化
方法は、階層構造を有する主となる符号列を分割してな
る複数の第１の符号列を入力とし、該複数の第１の符号
列を順次配列するとともに、上記主となる符号列におい
て所定の階層を構成していた符号列のうちの，所定の符
号列に付随する第１の階層情報の前に、その符号列の一
部を含む符号の少なくとも一つが，符号列の復号に用い
る所定の符号テーブルに対応しなくなるような所定の第
２の符号列を配置して、第３の符号列を形成するステッ
プを備えるようにしたものである。

【００２５】また、前記第３の符号列を形成するステッ
プの後、前記第３の符号列を、前記所定の符号テーブル
を用いて復号処理するとともに、前記第２の符号列の一
部を含む符号が、該所定の符号テーブルに対応しない場
合には、該符号列を誤り符号とするステップを備えるよ
うにしたものである。

【００２６】また、前記第２の符号列の一部を含む符号
を誤り符号とした時点で、前記復号処理を中止するとと
もに、該誤り符号とした符号にその一部が含まれる前記
第２の符号列が付随する第１の階層情報より、再び復号
処理を行うようにしたものである。

【００２７】また、前記誤り符号とした符号列の直前に
復号処理されていた符号列に対して所定のエラー処理を
行うようにしたものである。

【００２８】また、前記所定の符号列は、所定のピクチ
ャ情報であり、前記第１の階層情報はヘッダ情報であ
り、前記入力される複数の第１の符号列は、時系列に沿
って配列された複数の前記所定のピクチャ情報を含む前
記主となる符号列を複数に分割してなるもののうちの前
記所定のピクチャ情報を含むものとしたものである。

【００２９】また、前記所定のピクチャ情報は、Ｉピク
チャ情報，Ｉ及びＰピクチャ情報，またはＩ及びＰ並び
にＢピクチャ情報のうちのいずれか一つとしたものであ
る。

【００３０】また、前記第２の符号列を、前記第１の階
層情報とその直前の情報との間に挿入するようにしたも
のである。

【００３１】また、前記第２の符号列を、前記第１の階
層情報の直前に位置する符号列と置換するようにしたも
のである。

【００３２】また、前記第２の符号列は、２３ビット以
上の連続する０データとしたものである。

【００３３】また、この発明にかかる復号化装置は、階
層構造を有する主となる符号列を分割してなる第１の符
号列をそれぞれ含む複数の符号列を入力とし、該複数の
符号列のうちのそれぞれから、第１の符号列を抽出し出
力する抽出手段と、該抽出手段の出力に含まれる所定の
階層を構成する符号列のうちの所定の符号列に付随する
階層情報の開始位置を検出する検出手段と、その一部を
含む符号の一つが、符号列の復号に用いる複数の所定の
符号テーブルに対応しなくなるような第２の符号列を発
生する第２の符号列発生手段と、前記抽出手段の出力と
前記第２の符号列発生手段の出力とを選択して出力する
選択手段と、前記検出手段が検出した階層情報の開始位
置の直前に、前記第２の符号列を配置するように前記選
択手段を制御する制御手段とを具備するようにしたもの
である。また、前記第２の符号列は、２３ビット以上
の連続する０データとしたものである。

【００３４】

【発明の実施の形態】実施の形態．図１は本発明の実施の形態に係る復号化方
法を説明するための図であり、本発明の復号化方法につ
いて、以下、その動作を説明する。まず、早送りや巻き
戻し再生の際には、主となる符号列である全ビットスト
リーム１０００を含むビットストリーム断片を全て復号
化装置に供給するのではなく、図１(A) に示すように、
所定のピクチャ，ここでは特にＩピクチャを含むと考え
られるとびとびのビットストリーム断片３００、３１
０、３２０等を順次復号化装置に供給し、そのとびとび
のビットストリーム断片中に含まれるＩピクチャを次々
に再生する。

【００３５】また、同様に巻き戻し再生は、供給すると
びとびのビットストリーム断片が時間的に前に遡るよう
に転送して配置してエレメンタリ・ビットストリームを
形成し、これを順次再生していくことで実現する。すな
わち、一例としてビットストリーム断片３２０、３１
０、３００、…の順に復号化装置に供給する。

【００３６】復号化装置に入力されたビットストリーム
断片は、Ｉピクチャ全体あるいはＩピクチャの一部を含
む、１つあるいは複数のパケット４０からなっている。
このパケット４０は主となる符号列であるビットストリ
ーム１０００を分割してなる第１の符号列をペイロード
領域４１に収納し、このペイロード領域４１のそれぞれ
にパケットヘッダをつけてなるものである。そして、図
１(B) に示すように、各パケット４０からペイロード領
域４１に格納された符号列だけを第１の符号列として抽
出し、これを順次時系列に沿って，あるいは時系列に遡
るように配置することにより、図１(C) に示すような、
早送り再生，あるいは巻き戻し再生に用いるディジタル
動画像のビットストリーム、即ち、第３の符号列である
エレメンタリ・ビットストリーム１００１を得る。

【００３７】図２は本発明の実施の形態に係る復号化方
法の主要ステップを示す図である。ペイロード領域４１
に格納された符号列を配置する際には、図２に示すよう
に、ビットストリーム断片の解析を行い、ビットストリ
ーム１０００において所定の階層を構成していた符号列
のうちの所定のピクチャ，ここではＩピクチャに付随す
るヘッダの直前にダミーデータ１０を第２の符号列とし
て挿入する。このダミーデータ１０は、例えば０データ
を複数連ねた符号である。このダミーデータ１０を加え
ることにより、図２に示すように、Ｉピクチャのヘッダ
と、その直前のエレメンタリ・ビットストリームとの間
に複数の０データが連続することになる。

【００３８】ダミーデータ１０について説明する。図１
０は、本発明の実施の形態に係る復号化方法の原理を説
明するための図であり、図１０(A) 〜(E) はビットスト
リーム断片同士の異なる接合パターンをそれぞれ示して
おり、図１０(F) は符号テーブルを示している。ここで
は６種類の符号(code)が６つのシンボル(symbol)に対応
している場合を示している。図において、２２ａ〜２２
d はビットストリーム断片２０の最後尾の符号、２３は
ビットストリーム断片２０の後ろに配置されたビットス
トリーム断片２１のＩピクチャのピクチャヘッダで、そ
の先頭には例えば複数の０データからなるスタートコー
ドが設けられている。ここでは特にピクチャヘッダとし
て、その先頭の２つのビットが少なくとも０であるもの
を用いた場合について説明している。図１０(A) 〜(D)
においては、このヘッダの直前には１０ビットの０から
なるダミーデータ１０ａが配置されている。なお、ここ
では原理を説明するために１０ビットの０からなるダミ
ーデータ１０ａを一例として用いているが、実際には異
なる符号からなるダミーデータが使用される。

【００３９】ここでは、特に、ビットストリーム断片２
０はＩピクチャのデータの途中で切れているものとし、
ビットストリーム断片２１はその先頭からＩピクチャヘ
ッダ２３，及びＩピクチャが順次配列されているものと
する。なお、ビットストリーム断片２０がＩピクチャの
データの途中で切れている場合について説明している
が、ビットストリーム断片２０がＢピクチャや、Ｐピク
チャで切れている場合においても同様の原理で説明でき
る。

【００４０】なお、図１０においては、ビットストリー
ム断片２０の直後に、Ｉピクチャヘッダが配置された場
合について説明を行うが、ビットストリーム断片の途中
にピクチャヘッダが配置されている場合においても同様
に説明可能である。

【００４１】まず、ビットストリーム断片２０の最後尾
の符号列の直前までの符号が復号された後、最後尾の符
号の復号化が行われる。ここで、まずダミーデータを設
けない場合について考えると、図１０(E) に示すよう
に、この最後尾の符号２２ａが“０１１”の場合、符号
テーブルと照合すると、この“０１１”からなる符号は
単独では、図１０(F) に示す符号テーブルにはないが、
ピクチャヘッダ２３の先端部分の“０”とくみ合わさる
ことにより、“０１１０”となりシンボルＥとして復号
される。この結果、ピクチャヘッダ２３の先端部分が無
くなるため、それ以降の復号処理においてピクチャヘッ
ダ２３が正常なピクチャヘッダとして認識されなくな
る。そして、さらにピクチャヘッダ２３の残りと、その
後に続くＩピクチャの先頭部分とを組み合わせた符号
が、符号テーブルの符号と一致した場合、これらも順次
復号化されていき、Ｉピクチャも正常に復号化されなく
なる場合が生じる。

【００４２】図１０(A) に示すように、最後尾の符号２
２ａが“０１１”の場合においても、この符号２２ａを
符号テーブルと照合すると、この“０１１”からなる符
号は単独では図１０(F) に示す符号テーブルにはない
が、ダミーデータ１０ａの先端部分の“０”とくみ合わ
さることにより、“０１１０”としてシンボルＥに復号
される。しかしながら、ダミーデータ１０ａの残りの先
頭部分は、符号テーブルに存在しない符号“００００”
からなっているため、通常の復号処理において誤り符号
と判定される。

【００４３】また、図１０(B) に示すような場合、ビッ
トストリーム断片２０の最後尾の符号２２ｂが“０１”
の場合、符号テーブルと照合すると、この“０１”から
なる符号は単独では符号テーブルにはなく、ダミーデー
タ１０ａの先頭部分の“００”とくみ合わせた場合にお
いても符号テーブルに存在しない符号“０１００”から
なっているため、通常の復号処理において誤り符号と判
定される。

【００４４】また、図１０(C) に示すように、ビットス
トリーム断片２０の最後尾の符号２２ｃが“０１１１”
の場合、符号テーブルと照合すると、この“０１１１”
からなる符号は単独でシンボルＰとして復号される。し
かしながら、その後のダミーデータ１０ａは、符号テー
ブルに存在しない符号からなっているため、通常の復号
処理において誤り符号と判定される。

【００４５】また、図１０(D) に示すように、ビットス
トリーム断片２０の最後尾の符号２２ｄが“０”の場
合、符号テーブルと照合すると、この０からなる符号は
単独では符号テーブルにはなく、またダミーデータ１０
ａの先端部分の“０００”とくみ合わせた場合において
もこのような符号は符号テーブルにない。したがって、
この最後尾の符号２２ｄとダミーデータ１０ａの先頭部
分とを含む符号が通常の復号処理において誤り符号と判
定される。

【００４６】なお、Ｉピクチャヘッダは、スタッフィン
グビットと呼ばれる０個以上のビット”０”が前置可能
な、スタートコードと呼ばれる符号”０００００００
００００００００００００００００１”で始まる
ため、上述したような各場合で誤り符号と判定された後
に、この条件に合致するスタートコードの検索を行うこ
とで、後続するＩピクチャヘッダが確実に捕捉すること
が可能となっている。

【００４７】したがって、このように、その符号列自体
が符号テーブルになく、かつ、その先頭部分をその直前
の符号列と組み合わせて復号化した場合においても、必
ず、その先頭部分を直前の符号列と組み合わせた部分
か、その残された部分のいずれか一つが符号テーブルに
ないような符号列をダミーデータとして配置することに
より、このダミーデータを含む符号の一つを誤り符号と
して検出することができる。

【００４８】これにより、ダミーデータの設けられてい
る位置、即ちピクチャヘッダの少なくとも直前の位置
で、一旦復号化を終了させて、その後の、Ｉピクチャヘ
ッダから再度復号化が行えることになり、Ｉピクチャの
欠落のない正常な復号処理を行うことが可能となる。

【００４９】ここで、通常の復号化装置では、先述した
ような符号テーブルにない誤り符号を発見すると、直ち
にそのピクチャの復号をやめ、エラーコンシールメント
処理を行う。エラーコンシールメント処理としては、一
例として、復号を中断したピクチャについて、完成して
いない画像部分については、すでに復号済みのピクチャ
の内容をコピーして補充してビデオフレームを完成さ
せ、復号を中断したピクチャの代わりとして表示するも
のとする。そして、次のピクチャのヘッダまで読み飛ば
す処理が行われるものとなっている。

【００５０】または、別のエラーコンシールメント処理
の例として、復号を中断したピクチャは一切表示しない
ものとし、単純に次のピクチャのヘッダまで読み飛ばす
処理が行われるものとなっている。

【００５１】上記の２つのエラーコンシールメント処理
は、常にどちらか一方の処理が行ってもよいし、また、
適応的にその処理を切り替えてもよい。したがって、こ
のようなダミーデータを配置することにより、このダミ
ーデータが配置されている位置において誤り符号の検出
が保証されるため、ビットストリーム断片同士の接続部
近傍において、異常な復号化が行われたとしても、この
接続部位より後に位置する文法的に明らかに誤りが発生
するビットストリーム部位まで解析することがなく、復
号化装置が無駄な時間を費やすことがなく、その後の正
常な復号動作に必要な時間が確保できる。

【００５２】また、特に、MPEG規格等においては、図１
０に示した例のように、ビットストリーム断片の先頭に
ピクチャヘッダをもってくることが可能である。このた
め、異常の発生しやすいビットストリーム断片の接続部
位にダミーデータを挿入して誤りを発生させることがで
きる。したがって、特にMPEG規格においては、復号化装
置において確実にビットストリーム断片の接続部位の不
連続位置を知らせることができるため、本来と異なる画
像が復号されることなく、著しい画像の乱れの発生を未
然に防止できる。

【００５３】また、この場合、接続部位にて誤り検出が
行われることが保証されるため、前記接続部位より後に
位置する文法的に明らかに誤りが発生するビットストリ
ーム部位まで解析することがなくなるため、復号化装置
が無駄な時間を費やすことがなく、その後の正常な復号
動作に必要な時間が確保できる。

【００５４】次に、符号化方法としてMPEGの上位規格で
あるMPEG2 を用いた場合に使用するダミーデータについ
て説明する。図１１はMPEG2 規格に用いられるＤＣＴ係
数情報を表すための可変長符号の符号テーブルを示す。
このＤＣＴ係数情報はある画像ブロックの係数をジグザ
グスキャンした時に、連続した０の数、及び、その後に
出現した非０の係数の大きさを、それぞれ、ラン(run)
，レベル(level) として示したものである。

【００５５】出現頻度の高いランとレベルとの組み合わ
せは図１１(A) に示す符号テーブルで、また、出現頻度
の低い組み合わせは、エスケープ(escape)コードに続け
て、ランとレベルとをそれぞれ図１１(B), 図１１(C)
に示す符号テーブルでそれぞれ指定する。また、図１１
(A) において符号の最後尾のｓはレベルの符号を表し、
０なら正，１なら負であるとする。つまり、（ラン，レ
ベル）＝（０，−３）は符号“００１０１１”に対応
し、（ラン，レベル）＝（２，−２０４６）は符号“０
００００１００００１０１０００００００
００１０”に対応する。

【００５６】即ち、ＤＣＴ係数情報については、とり得
る０データの最大の符号長は、（ラン，レベル）＝
（０，１）に対応する“０００００１０００００
００００００００００００１”の１７ビットの場
合であって、これより長い０データが現れることはな
い。つまり、ＤＣＴ係数情報に関しては１８ビット以上
の連続する０データは誤り符号であり、かつ、ＤＣＴ係
数のシンボルに対応するコードワード中にどのように紛
れても誤り符号となる。また、符号テーブル中に１８ビ
ット以上の連続する０データは存在しないため、それ自
身が誤り符号となる。

【００５７】また、MPEGにおいてはピクチャのヘッダの
先頭には２３ビットの０データと、１ビットの１データ
からなるスタートコードが配置されているため、上述し
た図１０(A) において説明したような状態と同様に、仮
に、ビットストリーム断片の最後尾とダミーデータの先
頭の１７ビットの０データとが、あるコードワードと認
識された場合においても、ダミーデータが１８ビットの
０データであれば、ダミーデータの残りの１ビット０デ
ータとピクチャヘッダ内のスタートコードとの間に０が
２４ビット連続し、このような０データが２４ビット連
続するコードワードは符号テーブルに存在しないことか
ら、この部分で誤り符号と判断され、ダミーデータを直
前に配置したピクチャヘッダのスタートコードから新た
にピクチャの復号処理がスタートすることとなる。

【００５８】つまり、このことから、１８ビット以上の
連続する０データをダミーデータとして、所定のピクチ
ャ層のヘッダの直前に配置することにより、直前のビッ
トストリーム断片がＤＣＴ係数情報で切断されている場
合においては、確実に誤り符号を検出させることができ
る。

【００５９】ところで、ここではビットストリーム断片
がＤＣＴ係数からなる場合を想定して説明したが、実際
にはMPEG2 規格においては、エクステンションと呼ばれ
る部分に最大２２個の０データが連続する可能性がある
ため、復号化の際に、２３ビット以上の０データ，例え
ば３２ビットの０データ等をダミーデータとして挿入す
ることで、確実に復号化装置において、ダミーデータを
含むデータを誤り符号として検出できる。

【００６０】また、MPEGでは、一般にＤＣＴ係数をはじ
め、マクロブロック層以下の情報には、可変長符号が用
いられており、連続する２３ビット以上の０データはス
タートコード以外では使用禁止と定義されている。この
ことから、ダミーデータとして２３ビット以上の０デー
タを用いれば、このダミーデータ自身を復号化装置に対
して定義されていないシンボルとして発見させて異常を
検出させることが可能となる。

【００６１】図３に本実施の形態に係る復号化方法に用
いる復号化装置のブロック図を示す。図３において、符
号列が入力される入力端子１００は、フォーマット手段
１１０と接続され、バッファ１２０はフォーマット手段
１１０の出力が入力となるよう接続され、復号化手段１
３０はバッファ１２０の出力が入力となるよう接続さ
れ、復号化手段１３０の出力が復号出力端子１４０と接
続されている。

【００６２】以上のように構成された復号化装置につい
て、以下、その動作を説明する。まず、入力端子１００
にパケット化されたビットストリーム断片として入力さ
れたディジタル動画像は、フォーマット手段１１０に入
力されて、フォーマット処理が行われる。

【００６３】フォーマット手段１１０を図４に示す。図
４において、２００は入力端子、２０５は抽出手段、２
１０はヘッダ検出手段、２２０はダミーデータ発生手
段、２３０は制御手段、２４０は選択手段、２５０は出
力端子である。

【００６４】フォーマット手段１１０においては、入力
端子２００に入力されたパケット化された符号列は抽出
手段２０５に入力され、パケットのペイロード部分のみ
を抽出手段２０５で抽出し、ヘッダ検出手段２１０及び
選択手段２４０に出力する。この出力のうちの所定のピ
クチャ、例えばＩピクチャのヘッダの位置をヘッダ検出
手段２１０にて検出し、ヘッダ検出手段２１０から、こ
のヘッダ位置を制御手段２３０に通知するとともに、ダ
ミーデータ発生手段２２０にダミーデータを発生し、選
択手段２４０に出力するように指示する。ここで、ヘッ
ダ検出手段２１０では、ピクチャデータの解析は一切行
わず、単純なＩピクチャヘッダの検出動作のみを行う。

【００６５】制御手段２３０はヘッダ検出手段２１０か
らの出力を受けて、選択手段２４０に対して、Ｉピクチ
ャのヘッダの直前にダミーデータが挿入されるように、
抽出手段２０５の出力及びダミーデータ発生手段２２０
の出力を選択するように制御する。そして、選択手段２
４０において選択した抽出手段２０５の出力及びダミー
データ発生手段２２０の出力を出力端子２５０から出力
する。

【００６６】フォーマット手段１１０の出力は、バッフ
ァ１２０で一時バッファリングされた後、復号化手段１
３０に入力され、復号化手段１３０内でディジタル動画
像の復号処理が行われて、出力端子１４０より出力され
る。

【００６７】この復号化手段１３０としては、符号テー
ブルを用いて復号化を行う一般的な復号化手段が用いら
れている。この復号化手段１３０の一例を図１２に示
す。ここでは特にMPEGに通常用いられる復号化手段につ
いて説明している。入力端子１３１に入力された符号列
は、バッファ１３２で一度バッファリングされ、符号列
復号化手段１３３に入力される。この符号列復号化手段
１３３では、動きベクトル，及びＤＣＴ係数などの画像
情報が復号化され出力される。早送りや巻き戻し再生時
は符号列復号化手段１３３にて、I ピクチャのデータの
みを選択的に復号する。この復号化は符号テーブルを用
いて、符号列をこれに対応するシンボル，例えば画像デ
ータ等に変換することで行われる。ダミーデータを配置
したことにより形成された誤り符号の検出はこの符号列
復号化手段１３３において行われる。復号化された動き
ベクトルは、動き補償手段１３４へ供給される。復号化
された画像情報は逆量子化手段１３５へ供給される。

【００６８】画像情報は逆量子化手段１３５において逆
量子化され、直交変換復号化手段１３６で逆ＤＣＴ等の
直交変換復号化が行われる。その結果と、復号済みの画
像データを格納する画像メモリ１３７の画像データとが
加算器１３８において加算され、画像メモリ１３７へ格
納される。ここで、復号済みの画像データとは、動き補
償手段１３４において、上記動きベクトルを用いて画像
メモリ１３７に格納された復号済みのデータを動き補償
したものである。

【００６９】そして、復号済みの画像データは復号画像
が出力されるべき順に画像メモリ１３７から読みだされ
て、復号化出力端子１３９から出力される。ここで、こ
の復号化手段１３０の符号列復号化手段１３３において
本来定義されていないシンボルを発見すると、直ちにそ
のピクチャの復号をやめ、次のピクチャのヘッダまで読
み飛ばす処理を行う。

【００７０】これと同時に、その復号をやめた時点で、
エラーコンシールメント処理が行われる。符号列復号化
手段１３３から誤り情報が制御手段１２９に出力され、
この情報を受けて制御手段１２９からエラーコンシール
メント指示信号が動き補償手段１３４に出力され、動き
補償手段１３４においてエラーコンシールメント処理が
施される。

【００７１】エラーコンシールメント処理としては、復
号を中断したピクチャについて、完成していない画像部
分については、動き補償手段１３４が画像メモリ１３７
からすでに復号済みのピクチャの内容をコピーして補充
してビデオフレームを完成させ、復号を中断したピクチ
ャの代わりとして画像メモリ１３７に格納する。

【００７２】または、別のエラーコンシールメント処理
の例として、復号を中断したピクチャは一切画像メモリ
１３７に格納しないものとし、復号を中断したピクチャ
の一部格納済みの画像部分については、無効化して画像
メモリを解放する。上記の２つのエラーコンシールメン
ト処理は、常にどちらか一方の処理が行われる場合もあ
るし、また、適応的にその処理が切り替えられる構成も
可能である。

【００７３】このようにして入力データに対しエラーコ
ンシールメント処理とピクチャのヘッダまで読み飛ばす
処理が行われる。また、ヘッダやエクステンションの存
在が文法規則に沿っていない場合も、これと同様の処理
が行われる。したがって、本実施の形態のようにダミー
データを加えたことにより形成された誤り符号はこのよ
うな通常の復号化手段により検出可能である。

【００７４】このように、本実施の形態によれば、Ｉピ
クチャに付随するピクチャヘッダの直前にその符号列の
一部を含む符号の一つが，符号列の復号に用いる所定の
符号テーブルに対応しなくなるようなダミーデータ１０
を挿入するようにしたことにより、ダミーデータ１０の
挿入によってピクチャヘッダの直前で誤り符号を発生さ
せて、復号化手段１３０に対して確実にＩピクチャごと
に復号化を開始させることができるため、ビットストリ
ーム断片同士の接続部位近傍が本来の符号とは異なる符
号と認識されて復号化された場合においても、Ｉピクチ
ャが本来と異なる画像に復号されることがなく、著しい
画像の乱れの発生を未然に防止できる。

【００７５】また、この場合、まさにＩピクチャヘッダ
の直前にて誤り検出が行われることが保証されるため、
ビットストリーム断片同士の接続部位より後に位置する
文法的に明らかに誤りが発生するビットストリーム部位
までを解析することがなくなるため、復号化手段１３０
が無駄な時間を費やすことがなく、その後の正常な復号
動作に必要な時間が確保できる。

【００７６】ここで、本実施の形態の変形例について図
１３を用いて説明する。図１３において、図１３と同一
符号は同一または相当する部分を示している。上記実施
の形態においては、ビットストリーム断片を構成するパ
ケットのペイロード領域に格納された復号に必要なデー
タだけを抽出した後、ピクチャのヘッダの直前にダミー
データを挿入したが、この変形例は、図１３に示すよう
に、ピクチャ層の直前のデータをダミーデータ１０で置
き換えるようにしたものである。

【００７７】この変形例に係る復号化方法は、上記図４
に示したフォーマット手段１１０において、制御手段２
３０を、ピクチャの直前のデータをダミーデータで置き
換えるように選択手段２４０を制御するものとした復号
化装置を用いて行うことができる。

【００７８】このような変形例においても、上述のよう
に、ダミーデータの置き換えにより誤りを発生させて、
上記実施の形態と同様に、復号化装置に対して確実にダ
ミーデータの次にくるピクチャから復号処理を再開する
ことができ、本来と異なる画像が復号されることなく、
著しい画像の乱れの発生を未然に防止できる。

【００７９】また、ピクチャヘッダ直前のデータをダミ
ーデータに置き換えるため、エレメンタリ・ビットスト
リームのビット数がダミーデータによって増加すること
がなく、上記実施の形態に比べて、データの転送の負担
を軽減させることができる。

【００８０】なお、上記実施の形態においては、図３に
示したような復号化装置を用いて復号化を行う場合につ
いて説明したが、本発明においては、上記復号化装置と
同様の手段を有するようプログラムしたコンピュータ等
を用いて復号化を行うようにしてもよく、このような場
合においても上記実施の形態と同様の効果を奏する。

【００８１】なお、上記実施の形態においては、連続す
る０データからなるダミーデータを用いた場合について
説明したが、本発明においては、ダミーデータはその符
号列の一部あるいは全部を含む符号の少なくとも一つが
復号に用いる符号テーブルに対応しなくなるような条件
を満たす符号列であれば，例えば連続した１データ等の
他の符号列であってもよく、このような場合において
も、上記実施の形態と同様の効果を奏する。

【００８２】ただし、上記実施の形態において連続する
０データをダミーデータとして用いることの利点の一つ
は、通常再生時において、連続した正規のビットストリ
ームが入力される場合では、ピクチャのヘッダのスター
トコードに前置するように０データが挿入させる形とな
る。このヘッダのスタートコードは、通常はその直前に
幾つかの０データが配置されている場合には、これらを
いわゆるスタッフィングデータと見なして無視すること
となっている。このため、０データからなるダミーデー
タは、これがスタッフィングデータと見なされ読み飛ば
される結果、ビットストリームの復号時に、誤り符号と
しての認識が行われず、通常再生時において誤り処理が
行われず、誤り処理の負担が軽減されることにある。

【００８３】また、上記実施の形態では、早送りや巻き
戻し再生の際に、とびとびのビットストリーム断片を復
号化装置に供給する場合について述べたが、本発明はこ
れに限定されるものでなく、とびとびでない本来の連続
したビットストリーム断片を供給する場合についても適
用できる。

【００８４】また、上記実施の形態においては、早送り
や巻き戻し再生の際には、所定の符号列としてＩピクチ
ャのみを復号し表示する場合について述べたが、本発明
はこれに限定されるものでなく、ＩピクチャとＰピクチ
ャとを復号し表示する場合、及び全てのタイプのピクチ
ャを表示する場合であってもよく、例えば、全てのピク
チャを復号し表示する場合には、全てのピクチャのピク
チャヘッダの直前にダミーデータを挿入又は置き換えす
ることにより、上記実施の形態と同様の効果を奏する。

【００８５】また、上記実施の形態においてはダミーデ
ータの挿入及び置き換えを、ビットストリームのピクチ
ャにより構成される階層の、Ｉピクチャに付随するピク
チャヘッダの直前の位置に対して行うようにしたが、本
発明は、ビットストリームの所定の階層を構成する符号
列のうちの所定の符号列に付随するヘッダやエクステン
ション等の階層情報の前にダミーデータを配置するよう
にしてもよく、特に、全てのピクチャヘッダの前にダミ
ーデータを配置するようにしてもよく、この場合、ヘッ
ダ検出手段２１０では全てのピクチャヘッダの位置の検
出を行うことになるが、このような場合においても上記
実施の形態と同様の効果を奏する。

【００８６】また、本実施の形態に係る復号化方法及び
その装置は、符号化方法としてMPEGの上位規格である通
称MPEG2 であるところの「インフォメーション・テクノ
ロジージェネリック・コーディング・オブ・ムービン
グ・ピクチャーズ・アンド・アソシエーティッド・オー
ディオ・フォー・ディジタル・インフォメーション」"I
nformation technology - Generic coding of moving
pictures and associated audio for digital informat
ion"（ISO/IEC13818-2）を採用した場合に対する復号化
方法にも、また、通称H.261 と呼ばれる「ビデオ・コー
デック・フォー・オーディオビジュアル・サービセズ・
アット・p x 64kb/s」"Video Codec forAudiovisual se
rvices at p x 64kb/s"(CCITT Recommendation H.261)
を採用した復号化方法にも適用できる。

【００８７】さらに、上記実施の形態において、ディジ
タル動画像の復号と表示の場合について述べたが、本発
明はこれに限定されるものでなく、符号テーブルを用い
たディジタル音声の復号と再生や、他の可変長符号を用
いたデータ信号の復号等についても適用できるものであ
り、このような場合においても上記実施の形態と同様の
効果を奏する。

【００８８】

【発明の効果】以上のようにこの発明によれば、階層構
造を有する主となる符号列を分割してなる第１の符号列
の、前記主となる符号列において所定の階層を構成して
いた符号列のうちの所定の符号列に付随する第１の階層
情報の直前に、その符号列の一部を含む符号の一つが，
符号列の復号に用いる所定の符号テーブルに対応しなく
なるような第２の符号列を挿入するようにしたことによ
り、第２の符号列の挿入によって第１の階層情報の直前
で誤り符号を発生させて、確実に所定の符号列ごとに復
号化を開始させることができるため、早送りや巻き戻し
再生の際にとびとびの第１の符号列が供給され、第１の
符号列同士の接続部位近傍が本来の符号とは異なる符号
と認識されて復号化された場合においても、所定の符号
列が本来と異なるデータに復号されることがなく、早送
りや巻き戻し等の特殊再生の際に、正常な復号動作が可
能な復号化方法及びその装置が提供できる効果がある。

【００８９】また、これにより、第１の階層情報の直前
にて誤り検出が行われることが保証されるため、第３の
符号列の第１の符号列同士の接続部位より後に位置する
文法的に明らかに誤りが発生する部位までを解析するこ
とがなくなるため、復号化手段が無駄な時間を費やすこ
とがなく、その後の正常な復号動作に必要な時間が確保
できる効果がある。

【００９０】また、前記第２の符号列を、前記第３の符
号列の第１の階層情報の直前に位置する符号列と置換す
るようにしたから、第３の符号列のビット数が第２の符
号列によって増加することがなく、上記実施の形態に比
べて、データの転送時の負担を軽減させることができる
効果がある。

【００９１】また、前記所定の符号列を所定のピクチャ
情報とし、前記第１の階層情報はヘッダ情報とし、前記
入力される複数の第１の符号列は、時系列に沿って配列
された複数の前記所定のピクチャ情報を含む前記主とな
る符号列を複数に分割してなるパケットのペイロード領
域のうちの前記所定のピクチャ情報を含むものとしたか
ら、ペイロード同士の接続部位近傍が本来の符号とは異
なる符号と認識されて復号化された場合においても、所
定のピクチャが本来と異なる画像に復号されることがな
く、著しい画像の乱れの発生を未然に防止できる効果が
ある。

【図面の簡単な説明】

【図１】この発明の実施の形態に係る復号化方法を説明
するための図である。

【図２】この発明の実施の形態に係る復号化方法の主要
ステップを説明するための図である。

【図３】この発明の実施の形態に係る復号化装置のブロ
ック図である。

【図４】この発明の実施の形態に係る復号化装置のフォ
ーマット手段のブロック図である。

【図５】従来の符号化方法を説明するための図である。

【図６】従来の符号化方法を説明するための図である。

【図７】従来の符号化方法を説明するための図である。

【図８】従来の符号化方法を説明するための図である。

【図９】従来の早送り，早巻き戻し再生時における復号
化方法を説明するための図である。

【図１０】この発明の実施の形態に係る復号化方法の原
理を説明するための図である。

【図１１】この発明の実施の形態に係る復号化方法を説
明するための、符号テーブルを示す図である。

【図１２】この発明の実施の形態に係る復号化装置の復
号化手段の説明するためのブロック図である。

【図１３】この発明の実施の形態に係る復号化方法の変
形例を説明するための図である。

【符号の説明】

１０，１０ａダミーデータ２０，２１ビットストリーム断片２２ａ〜２２ｄ最後尾の符号２３Ｉピクチャヘッダ４０パケット４１ペイロード領域４２パケットヘッダ８０ビットストリーム断片の接続部近傍１００，２００入力端子１１０フォーマット手段１２０バッファ１３０復号化手段１３１入力端子１３２バッファ１３３符号列復号化手段１３４動き補償手段１３５逆量子化手段１３６直交変換復号化手段、１３７画像メモリ１３８加算器１３９出力端子１４０，２５０出力端子２０５抽出手段２１０ヘッダ検出手段２２０ダミーデータ発生手段２３０制御手段２４０選択手段３００，３１０，３２０ビットストリーム断片５００シーケンス６００グループ・オブ・ピクチャ７００ビデオフレーム８００マクロブロック９００ブロック１０００ビットストリーム１００１エレメンタリ・ビットストリーム

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/91 - 5/956 G11B 20/18 G11B 20/10 - 20/12 H03M 7/30 H03M 13/00 H04N 7/24 - 7/68

Claims

(57)【特許請求の範囲】

【請求項１】階層構造を有する主となる符号列を分割
してなる複数の第１の符号列を入力とし、該複数の第１の符号列を順次配列するとともに、上記主
となる符号列において所定の階層を構成していた符号列
のうちの，所定の符号列に付随する第１の階層情報の前
に、その符号列の一部を含む符号の少なくとも一つが，
符号列の復号に用いる所定の符号テーブルに対応しなく
なるような所定の第２の符号列を配置して、第３の符号
列を形成するステップを備えたことを特徴とする復号化
方法。
【請求項２】請求項１に記載の復号化方法において、前記第３の符号列を形成するステップの後、前記第３の
符号列を、前記所定の符号テーブルを用いて復号処理す
るとともに、前記第２の符号列の一部を含む符号が、該
所定の符号テーブルに対応しない場合には、該符号列を
誤り符号とするステップを備えたことを特徴とする復号
化方法。
【請求項３】請求項１に記載の復号化方法において、前記第２の符号列の一部を含む符号を誤り符号とした時
点で、前記復号処理を中止するとともに、該誤り符号と
した符号にその一部が含まれる前記第２の符号列が付随
する第１の階層情報より、再び復号処理を行うことを特
徴とする復号化方法。
【請求項４】請求項１に記載の復号化方法において、前記誤り符号とした符号列の直前に復号処理されていた
符号列に対して所定のエラー処理を行うことを特徴とす
る復号化方法。
【請求項５】請求項１に記載の復号化方法において、前記所定の符号列は、所定のピクチャ情報であり、前記第１の階層情報はヘッダ情報であり、前記入力される複数の第１の符号列は、時系列に沿って配列された複数の前記所定のピクチャ情
報を含む，前記主となる符号列を複数に分割してなるも
ののうちの、前記所定のピクチャ情報を含むものである
ことを特徴とする復号化方法。
【請求項６】請求項１に記載の復号化方法において、前記所定のピクチャ情報は、Ｉピクチャ情報，Ｉ及びＰ
ピクチャ情報，またはＩ及びＰ並びにＢピクチャ情報の
うちのいずれか一つであることを特徴とする復号化方
法。
【請求項７】請求項１に記載の復号化方法において、前記第２の符号列を、前記第１の階層情報とその直前の
情報との間に挿入することを特徴とする復号化方法。
【請求項８】請求項１に記載の復号化方法において、前記第２の符号列を、前記第１の階層情報の直前に位置
する符号列と置換することを特徴とする復号化方法。
【請求項９】請求項１に記載の復号化方法において、前記第２の符号列は、２３ビット以上の連続する０デー
タであることを特徴とする復号化方法。
【請求項１０】階層構造を有する主となる符号列を分
割してなる第１の符列号をそれぞれ含む複数の符号列を
入力とし、該複数の符号列のうちのそれぞれから、第１の符号列を
抽出し出力する抽出手段と、該抽出手段の出力に含まれる所定の階層を構成する符号
列のうちの所定の符号列に付随する階層情報の開始位置
を検出する検出手段と、その一部を含む符号の少なくとも一つが、符号列の復号
に用いる複数の所定の符号テーブルに対応しなくなるよ
うな第２の符号列を発生する第２の符号列発生手段と、前記抽出手段の出力と前記第２の符号列発生手段の出力
とを選択して出力する選択手段と、前記検出手段が検出した階層情報の開始位置の直前に、
前記第２の符号列を配置するように前記選択手段を制御
する制御手段とを具備することを特徴とする復号化装
置。
【請求項１１】請求項１０に記載の復号化装置におい
て、前記第２の符号列は、２３ビット以上の連続する０デー
タであることを特徴とする復号化装置。