JP2001197493A - 動画像復号化方法,動画像復号化装置及びプログラム記録媒体 - Google Patents

動画像復号化方法,動画像復号化装置及びプログラム記録媒体

Info

Publication number
JP2001197493A
JP2001197493A JP2000324412A JP2000324412A JP2001197493A JP 2001197493 A JP2001197493 A JP 2001197493A JP 2000324412 A JP2000324412 A JP 2000324412A JP 2000324412 A JP2000324412 A JP 2000324412A JP 2001197493 A JP2001197493 A JP 2001197493A
Authority
JP
Japan
Prior art keywords
image
data
vop
time
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000324412A
Other languages
English (en)
Inventor
Shinya Sumino
眞也 角野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2000324412A priority Critical patent/JP2001197493A/ja
Publication of JP2001197493A publication Critical patent/JP2001197493A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

(57)【要約】 【課題】 復号化ユニットでは、早いVOP表示時刻が
設定されている先行VOPのVOPデータが、遅いVO
P表示時刻が設定されている後続VOPのVOPデータ
より遅れて入力されたとき、先行VOPのVOPデータ
から復号化処理を再開可能とし、復号画像の画質劣化が
伝播するのを防止する。 【解決手段】 VOPデータを記憶するバッファメモリ
206と、受信VOPのVOP表示時刻を、バッファメ
モリ206から最後に復号化ユニット102に出力され
たVOPデータのVOP表示時刻Td’と比較する比較
部204とを備え、並替ユニット101では、先行VO
PのVOPデータが後続VOPのVOPデータより遅れ
て、しかもその送出時刻より後に受信された時、先行V
OPからその時点で表示すべき表示対象VOPまでのV
OPデータを、ビデオストリームVOPstrとして復号
化ユニット102に出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、動画像復号化方
法、動画像復号化装置、及びプログラム記録媒体に関
し、特に、動画像データを符号化して得られる符号化ス
トリームを通信回線を介して伝送する際、通信回線の利
用状況や、通信路誤りに対するストリーム再送等による
ストリームの遅延が復号画像に及ぼす悪影響を低減する
動画像復号化方法及び動画像復号化装置、並びに該動画
像復号化方法をソフトウェアで実現するための画像復号
プログラムを格納したプログラム記録媒体に関するもの
である。
【0002】
【従来の技術】近年、音声,画像,その他の表現メディ
アを統合的に扱うマルチメディア時代を迎え、従来から
の情報メディア,つまり新聞,雑誌,テレビ,ラジオ,
電話等の情報を人に伝達する手段がマルチメディアの対
象として取り上げられるようになってきた。一般に、マ
ルチメディアとは、文字だけでなく、図形、音声、特に
画像等を同時に関連づけて表すことをいうが、上記従来
の情報メディアをマルチメディアの対象とするには、そ
の情報をディジタル形式により表すことが必須条件とな
る。
【0003】ところが、上記各情報メディアの持つ情報
量をディジタル情報量として見積もってみると、文字の
情報量(1文字当たり)は1〜2バイトであるのに対
し、電話品質の音声については1秒当たり64Kbits、
さらに現行テレビ受信品質の動画については1秒当たり
100Mbits以上の情報量が必要となり、上記電話やテ
レビなどの情報メディアではディジタル形式の膨大な情
報をそのまま扱うことは現実的ではない。例えば、テレ
ビ電話は、64kbps〜1.5Mbpsの伝送速度を持つサー
ビス総合ディジタル網(ISDN:Integrated Services
Digital Network)によってすでに実用化されている
が、テレビカメラにより得られる映像情報をデジタルデ
ータとしてそのままISDNで送ることは不可能であ
る。
【0004】そこで、必要となってくるのが情報の圧縮
技術であり、例えば、テレビ電話の場合、ITU−T
(国際電気通信連合 電気通信標準化部門)で国際標準
化されたH.261やH.263規格の動画圧縮技術が
用いられている。また、MPEG−1規格の情報圧縮技
術によると、通常の音楽用CD(コンパクト・ディス
ク)に音声情報とともに画像情報を格納することも可能
となる。
【0005】ここで、MPEG(Moving Picture Exper
ts Group)とは、動画データの圧縮処理に関する国際規
格であり、MPEG−1は、動画データを1.5Mbps
まで、つまりテレビ信号の情報を約100分の1にまで
圧縮する規格である。また、MPEG−1規格を対象と
する伝送速度が主として約1.5Mbpsに制限されてい
ることから、さらなる高画質化の要求をみたすべく規格
化されたMPEG−2では、動画データが2〜15Mbp
sに圧縮される。
【0006】さらに現状では、MPEG−1,MPEG
−2と動画データの圧縮処理の標準化を進めてきた作業
グループ(ISO/IEC JTC1/SC29/WG11) によって、物体単
位での画像データの符号化及び画像データの操作を可能
とし、マルチメディア時代に必要な新しい機能を実現す
るMPEG−4が規格化されつつある。MPEG−4で
は、当初、低ビットレートの符号化処理の標準化を目指
してきたが、現在では、標準化の対象が、インタレース
画像に対応した高ビットレートのより汎用的な符号化処
理に拡張されている。
【0007】ところで、MPEG−4の特徴の1つに、
複数の画像系列(物体)に対応する画像データを同時に
符号化して伝送する仕組みがある。この仕組みは、複数
の物体の合成によって1つの動画像を構成可能にするも
のである。この仕組みでは、例えば、前景と背景を別の
画像系列(物体)として扱い、各画像系列毎にフレーム
周波数,画質,あるいはビットレートなどを個別に変更
することが可能である。また、複数の画像系列をマルチ
画面のように表示領域上に水平もしくは垂直方向に並べ
て表示し、ユーザが所望の画像系列のみを抽出したり拡
大表示したりすることができるようになった。
【0008】背景のように形状を有していない物体に対
する符号化処理としては、MPEG−2と同様に物体の
画素値を表す画素値信号のみを画像データとして符号化
する符号化処理が一般的である。一方、前景のように形
状を有する物体に対する符号化処理としては、物体の画
素値を表す画素値信号のみでなく、物体の形状を示す形
状信号も同時に画像データとして符号化する符号化処理
が行われる。
【0009】また、MPEG−2やMPEG−4では、
各画像系列の符号化処理は、その画像系列を構成する画
面(MPEG−2ではフレーム、MPEG−4ではVO
Pに対応する)毎に行われ、さらに、一部の画面に対す
る符号化処理としては、符号化処理の対象となっている
画面(対象画面)に対応する画像データと、符号化処理
が完了した画面(処理済画面)に対応する画像データか
ら得られる予測データとの差分データを符号化する差分
符号化処理(画面間予測符号化処理)が行われる。
【0010】ところが、形状を有する物体は、時々刻々
とその形や大きさが変化するものであるため、MPEG
−4に対応する符号化処理では、形状信号や画素値信号
の符号化アルゴリズムが処理済画面の物体形状に大きく
依存することとなる。このため、MPEG−4対応の符
号化処理は、MPEG−2対応の符号化処理のように画
面の形や大きさが変化しない画像データを扱うものに比
べて、符号化ストリームの伝送誤りに弱く、さらに画面
間の相関を利用した画像修復や画像処理などによる画像
修整も困難なものとなっている。言い替えると、MPE
G−4対応の復号処理システムでは、符号化ストリーム
の伝送路誤りが発生すると、復号画像の大きな画質劣化
が生ずることとなる。
【0011】なお、MPEG−4では、上記のように1
つの動画像を複数の画像系列(物体)により構成可能と
なっており、1つの動画像の各画面はフレームとし、1
つの画像系列の各画面はVOP(Video Object Plane)
として区別されるが、1つの動画像が1つの画像系列に
より構成されている場合は、フレームとVOPとは一致
する。
【0012】以下、MPEG−4対応の復号処理システ
ムについて具体的に説明する。一般にデータの伝送路
(通信回線)では、雑音や輻輳に対する対策であるデー
タ再送等によりデータの伝送遅延が生ずるため、画像デ
ータを符号化して符号化ストリームを出力する動画像符
号化装置や、符号化ストリームを伝送する動画像伝送装
置等から送出された符号化ストリームは、該符号化スト
リームを構成するビットストリームの順序(送信時のス
トリーム順序)が、受信側で受信されたときのストリー
ム順序(受信時のストリーム順序)と異なったものとな
ってしまう。具体的には、上記符号化ストリームにおけ
る一部のVOPに対応するストリーム(以下VOPデー
タという。)の順番が、送信時の順序と受信時の順番と
で異なったものとなってしまう。
【0013】そこで、符号化ストリームの送信側では、
例えば、符号化ストリームを細分化してパケットと呼ば
れる伝送単位毎に伝送する場合、各パケットにその送信
順序を示す番号情報を付与するようにしている。これに
より、符号化ストリームの受信側では、受信された符号
化ストリームにおけるVOPデータを、各パケットに付
与された番号情報に基づいて、その順序が送信順序と一
致するよう並べ替えることができる。
【0014】図30は、従来の動画像復号化装置を説明
するためのブロック図である。この動画像復号化装置1
000は、1つの動画像を構成する複数の物体に対応す
る符号化ストリームVinを受信し、個々の物体に対応す
る符号化ストリームに対してそのVOPデータを並べ替
える処理を行い、その後、符号化ストリームVinに対す
る復号化処理、及び各物体の復号画像データの合成など
を行うものである。また、各物体の符号化ストリームV
inにおける各VOPデータは、該VOPデータを受信側
にて表示すべき時刻(VOP表示時刻)を示す情報が送
信側にて付与されている。
【0015】すなわち、動画像復号化装置1000は、
送信側からの所定の物体に対応する符号化ストリームV
inを受信し、該符号化ストリームにおける各VOPに対
応するストリーム(VOPデータ)をその順序が送信側
におけるVOPデータの順序と一致するよう並べ替える
処理を行い、この並べ替え処理が施された符号化ストリ
ームVinをビデオストリームVOPstrとして出力する
並べ替えユニット1001と、該ビデオストリームVO
Pstrに対して、必要に応じて参照画像データVOPref
を参照する復号化処理を施して復号画像データVOPou
tを作成する復号化ユニット1002とを有している。
また、動画像復号化装置1000は、上記復号化ユニッ
ト1002からの復号画像データVOPoutを記録する
とともに、記録している復号画像データVOPoutのう
ちの、上記復号化処理の際に必要とされる画像データ
を、上記参照画面データVOPrefとして復号化ユニッ
ト1002に供給するビデオメモリ1003を有してい
る。
【0016】ここで、並替ユニット1001は、上記送
信側からの符号化ストリームVinを一時的に格納するバ
ッファメモリ1101と、タイマーを内蔵し、受信側に
て指定される、動画像を構成する各画面の表示時刻(指
定表示時刻)Tdを発生する表示時刻出力部1102と
を有し、上記指定表示時刻Tdに基づいて、特定のVO
PデータをビデオストリームVOPstrとして上記バッ
ファメモリ1101から上記復号化ユニット1002に
出力するものである。上記特定のVOPデータは上記バ
ッファメモリ1101に符号化ストリームVinとして格
納されているVOPデータであって、そのVOP表示時
刻が、すでにビデオストリームVOPstrとして復号化
ユニットに出力されたVOPデータのVOP表示時刻よ
り遅く、かつ上記指定表示時刻Tdより早いVOPデー
タである。上記復号化ユニット1002は、画面内の画
素値相関を利用した画面内符号化処理が施されたVOP
データに対して、参照画像データVOPrefを参照しな
い復号化処理を施し、画面間の画素値相関を利用した画
面間予測符号化処理が施されたVOPデータに対して、
参照画像データVOPrefを参照する復号化処理を施し
て、対応する物体を構成する各VOPの復号画像データ
VOPoutを生成するデコーダ1103を有している。
【0017】なお、図30では、上記並替ユニット10
01,復号化ユニット1002,及びビデオメモリ10
03として、1つの物体に対応するもののみ示している
が、この動画像復号化装置1000は、上記並替ユニッ
ト1001,復号化ユニット1002,及びビデオメモ
リ1003をそれぞれ、少なくとも、上記動画像を構成
する同時に表示される物体の最大数有している。同時に
表示される物体の最大数数は、1つの動画像にて現れる
すべての物体の数以下である。また、動画像復号化装置
における並替ユニットはすべて、表示時刻出力部110
2を有するものである必要はなく、少なくとも1つの物
体に対応する並替ユニットが表示時刻出力部1102を
有するものであればよい。この場合、表示時刻出力部1
102を有していない並替ユニットのバッファメモリ1
101には、表示時刻出力部1102を有する並替ユニ
ットから指定表示時刻Tdが供給されることとなる。
【0018】また、動画像復号化装置1000は、上記
指定表示時刻Tdに基づいて、VOP表示時刻が該指定
表示時刻Tdに最も近いVOPに対応する復号画像デー
タを選択する表示画面選択信号VOPselを、各物体に
対応するビデオメモリに出力し、該各物体に対応するビ
デオメモリから、VOP表示時刻が該指定表示時刻Td
に最も近いVOPに対応する復号画像データを表示画像
データVOPdspとして読み出し、各VOPに対応する
ビデオメモリから読み出された表示化画像データを合成
して合成画像データVoutを作成するビデオコンポジタ
ユニット1004と、上記合成画像データVoutに基づ
いて、動画像を構成する1シーンの画像を表示する表示
ユニット1005とを有している。表示ユニット100
5では、1シーンの画像を指定表示時刻Tdに表示する
処理が繰り返し行われることにより、上記動画像が表示
されることとなる。
【0019】次に従来の動画像復号化装置の動作につい
て説明する。この動画像復号化装置1000に、1つの
動画像を構成する複数の物体に対応する符号化ストリー
ムVinが入力されると、各物体に対応する符号化ストリ
ームVinは、各物体に対応する並替ユニットのバッファ
メモリに順次格納される。なお、符号化ストリームに対
する並替処理,符号化ストリームの復号化処理,復号画
像データのビデオメモリへの格納処理は、各物体で共通
しているので、これらの処理については、1つの物体に
ついてのみ説明する。
【0020】上記バッファメモリ1101では、格納さ
れているデータ量がバッファ容量に達するまでは、入力
されたすべての符号化ストリームが格納される。その後
は、符号化ストリームが入力されると、入力された符号
化ストリームのデータ量に相当する分だけ、バッファメ
モリ1101に格納されている符号化ストリームが、バ
ッファメモリへの入力順序の早いものから順に消去され
る。
【0021】また、タイマーを内蔵する表示時刻出力部
1102では、受信側における、動画像を構成する各画
面の表示時刻(指定表示時刻)Tdが発生され、指定表
示時刻Tdを示す情報がバッファメモリ1101に出力
される。バッファメモリ1101では、指定表示時刻T
dに基づいて上記バッファメモリ1101に格納されて
いる所定のVOPデータが選択され、選択されたVOP
データがビデオストリームVOPstrとして復号化ユニ
ット1002に出力される。
【0022】このとき選択される所定のVOPデータ
は、そのVOP表示時刻が指定表示時刻Tdより早く、
かつこの時点ですでに復号化ユニット1002に出力さ
れているVOPデータのうちの最後のVOPデータのV
OP表示時刻より遅いものである。これにより、並替ユ
ニット1001では、受信された符号化ストリームにお
けるVOPデータの順序(以下、受信側VOP順序とも
いう。)が、送信側から出力された符号化ストリームに
おけるVOPデータの順序(送信側VOP順序)と一致
するよう、VOPデータの並べ替えが行われることとな
る。つまり、送信側VOP順序が、通信路などの状況に
よって受信側VOP順序と異なっており、VOPデータ
が送信側VOP順序とは異なる順序でバッファメモリ1
101に入力された場合でも、バッファメモリ1101
からは、VOPデータが、送信側VOP順序と一致した
正しいVOP順序で、ビデオストリームVOPstrとし
て復号化ユニット1002に出力されることとなる。
【0023】すると、復号化ユニット1002では、入
力されたビデオストリームVOPstrがデコーダ110
3により復号化され、復号処理済みデータとして、各V
OPの復号画像データVOPoutが出力される。そし
て、復号化ユニット1002から出力された復号画像デ
ータVOPoutは、一旦ビデオメモリ1003に格納さ
れる。ここで、入力されたビデオストリームVOPstr
が、画面内符号化処理が施されたイントラVOPに対応
するVOPデータである場合は、復号化ユニット100
2では、上記ビデオストリームVOPstrに対して、ビ
ットメモリ1003に格納されている復号化済みデータ
を参照しない画面内復号化処理が施される。一方、入力
されたビデオストリームVOPstrが、画面間予測符号
化処理が施されたインターVOPに対応するVOPデー
タである場合は、復号化ユニット1002では、上記ビ
デオストリームVOPstrに対して、ビデオメモリ10
03に格納されている復号化済みデータ(参照画像デー
タ)VOPrefを参照する画面間予測復号化処理が施さ
れる。
【0024】また、上記表示時刻出力部1006からの
指定表示時刻Tdを示す情報は、ビデオコンポジットユ
ニット1004にも供給されている。ビデオコンポジッ
トユニット1004では、この指定表示時刻Tdに基づ
いて、VOP表示時刻が該指定表示時刻Tdに最も近い
VOPの復号画像データを選択するための表示画面選択
信号VOPselがビデオメモリ1003に出力される。
すると、ビデオメモリ1003からは、指定表示時刻T
dに最も近いVOP表示時刻が設定されているVOPの
復号画像データが表示画像データVOPdspとして、ビ
デオコンポジットユニット1004に供給される。ここ
で、上記表示画像データVOPdspとしては、各物体に
対応するものが、各物体に対応するビデオメモリからビ
デオコンポジットユニット1004に供給されることと
なる。
【0025】なお、ビデオコンポジットユニット100
4からの表示画面選択信号VOPselがビデオメモリ1
003に入力された時点で、ビデオメモリ1003に格
納されている復号画像データが、すでにビデオコンポジ
ットユニット1004に出力されたものである場合、あ
るいはビデオメモリ1003に復号画像データが格納さ
れていない場合には、上記ビデオコンポジットユニット
1004からの表示画面選択信号VOPselに対して
は、復号画像データは出力されない。
【0026】そして、ビデオコンポジットユニット10
04では、各物体の表示画像データVOPdspに対する
合成処理が行われ、該合成処理により得られた合成画像
データVoutが表示ユニット1005に出力される。こ
の合成画像データVoutは、動画像の1シーン(1画
面)に対応する画像データである。表示ユニット100
5では、合成画像データVoutに基づいて、動画像の各
シーンの画像が表示される。また、表示ユニット100
5では、各シーンの画像を指定表示時刻Tdに基づいて
表示する処理が繰り返し行われることにより、上記動画
像が表示されることとなる。
【0027】図31は従来の動画像復号化装置における
符号化ストリームの処理の流れを説明するための図であ
る。ここでは、1つの画像系列(物体)の符号化ストリ
ームに対する処理を示している。まず、図31(a)に示
すように、受信された符号化ストリームにおけるVOP
データの順序が、送信側のVOP順序と一致した正しい
順序である場合について説明する。
【0028】このように伝送路遅延による符号化ストリ
ームの欠落が無い場合は、符号化ストリームVinとし
て、例えばVOP1〜VOP4のVOPデータが、それ
ぞれのVOPに設定されているVOP表示時刻T1〜T
4(T1<T2<T3<T4)の早いものから順に上記
動画像復号化装置1000に入力される。
【0029】そして、これらのVOPデータは、並替ユ
ニット1001のバッファメモリ1101に入力された
後一定の時間(遅延時間Bdt1)経過したとき、表示時
刻出力部1102からの指定表示時刻Tdに基づいて、
VOP1〜VOP4のVOPデータがビデオストリーム
VOPstr1〜VOPstr4として復号ユニット1002
に出力される。上記バッファメモリ1101でのVOP
データの遅延時間Bdt1は、上記バッファメモリ110
1の容量に応じて決まっており、このVOPデータの遅
延時間は上記バッファメモリ1101の容量が大きいほ
ど大きい。この場合、上記バッファメモリ1101の容
量は、2つのVOPに対応するVOPデータを格納可能
な容量としている。
【0030】復号化ユニット1002では、各VOPの
ビデオストリームVOPstr1〜VOPstr4は、そのV
OP表示時刻T1〜T4の順序に復号化される。各VO
Pの復号画像データはビデオメモリ1003に一時的に
記録され、ビデオコンポジタユニット1004からの表
示画面選択信号VOPselに応じて、各VOPの復号画
像データが表示画像データVOPdsp1〜VOPdsp4と
してビデオコンポジタユニット1004に出力される。
【0031】次に、図31(b)に示すように、受信され
た符号化ストリームにおけるVOPデータの順序が、送
信側のVOP順序と一致していない場合について説明す
る。このように符号化ストリームにおけるVOPストリ
ームの順序が正しくない場合には、上記動画像復号化装
置1000の並替ユニット1001には、例えばVOP
1〜VOP4のVOPデータは、符号化ストリームVin
として動画像復号化装置1000に到着した順序で、つ
まりVOP1,VOP3,VOP2,VOP4の順序で
入力される。
【0032】そして、これらのVOPデータは、並替ユ
ニット1001のバッファメモリ1101に入力された
後一定の時間(遅延時間Bdt2)経過したとき、表示時
刻出力部1102からの指定表示時刻Tdに基づいて、
VOP1〜VOP4のVOPデータがビデオストリーム
VOPstr1〜VOPstr4として復号ユニット1002
に出力される。このとき、VOP2のVOPデータが指
定表示時刻Tdに基づいて並替ユニット1001から出
力される時点では、VOP2のVOPデータがバッファ
メモリ1101に格納されており、このため、VOP3
のVOPデータの後に動画像復号化装置1000に到着
したVOP2のVOPデータが、VOP3のVOPデー
タより先に復号化ユニット1002に出力されることと
なる。なお、ここでは、上記バッファメモリ1101の
容量は、3つのVOPに対応するVOPデータを格納可
能な容量となっている。
【0033】復号化ユニット1002では、各VOPの
ビデオストリームVOPstr1〜VOPstr4は、そのV
OP表示時刻T1〜T4の順序に復号化される。各VO
Pの復号画像データはビデオメモリ1003に一時的に
記録され、ビデオコンポジタユニット1004からの表
示画面選択信号VOPselに応じて、各VOPの復号画
像データが表示画像データVOPdsp1〜VOPdsp4と
してビデオコンポジタユニット1004に出力される。
【0034】
【発明が解決しようとする課題】ところが、上記並替ユ
ニット1001のバッファメモリ1101に格納可能な
VOPデータのデータ量には一定の限界があるため、伝
送路遅延が、これによるVOPデータの到着順序の乱れ
を並替ユニット1001により吸収できる程度である場
合は問題ないが、上記到着順序の乱れを吸収できない程
度の大きな伝送路遅延が発生すると復号化動作に大きな
支障をきたすこととなる。
【0035】図32は従来の動画像復号化装置における
符号化ストリームの処理の流れを説明するための図であ
る。ここでは、VOP2のVOPデータが、他のVOP
のVOPデータに対して、並替ユニット1001にてV
OPデータの並べ替えができない程度に遅れて動画像復
号化装置に到着した場合を示している。言いかえると、
この場合は、VOP2のVOPデータの到着時刻が、本
来の到着時刻よりバッファメモリ1101における遅延
時間以上に遅れている場合である。
【0036】VOPデータは、これが正しい入力タイミ
ングで並替ユニット1001に入力された場合、該正し
い入力タイミングから上記バッファ遅延時間が経過した
後の出力タイミングで、該並替ユニット1001から復
号化ユニット1002に出力されることとなる。このた
め、VOPデータが多少遅れて動画像復号化装置100
0に到着した場合でも、遅れて到着したVOPデータ
が、その出力タイミングまでに上記並替ユニット100
1に入力されれば、正常に復号化ユニット1002に出
力されることとなる。
【0037】ところが、図32に示すように、VOP2
のVOPデータの伝送遅延が大きい場合には、VOP2
のVOPデータを復号化ユニット1002に出力する時
点(VOP2の出力タイミング)で、VOP2のVOP
データが並替ユニット1001のバッファメモリ110
1に格納されていない状況が生ずる。この場合には、V
OP2のVOPデータは復号化ユニット1002で復号
化されることはない。
【0038】その後、VOP3のVOPデータを復号化
ユニット1002に出力する時点(VOP3の出力タイ
ミング)では、並替ユニット1001のバッファメモリ
1101に格されているVOP3のVOPデータが復号
化ユニット1002に出力される。復号化ユニット10
02では、VOP1のVOPデータの復号化処理に続い
てVOP3のVOPデーの復号化処理が行われる。
【0039】そして、VOP4のVOPデータを復号化
ユニット1002に出力する時点(VOP4の出力タイ
ミング)に、VOP2のVOPデータが動画像復号化装
置1000に到着しても、VOP2のVOPデータは破
棄され、VOP4のVOPデータのみ復号化ユニット1
002に出力される。これは、デコード順序がVOP3
のVOPデータより先であるVOP2のVOPデータ
を、VOP3のVOPデータの復号化後に復号化するこ
とはできないためである。復号化ユニット1002では
VOP4のVOPデータの復号化処理が上記VOP3の
VOPデータの復号化処理に続いて行われる。
【0040】一方、ビデオメモリ1003には、上記復
号化ユニット1002からのVOP1,VOP3,VO
P4の復号画像データが格納され、各VOPを表示すべ
き時刻には、ビデオメモリ1003からビデオコンポジ
タユニット1004へ各VOPの復号画像データが表示
画像データVOPdspとして出力される。但し、復号化
ユニット1002にはVOP2のVOPデータ(ビデオ
ストリームVOPstr2)が入力されないため、VOP
2を表示すべき時刻には、VOP2の復号画像データと
して、VOP1の復号画像データ(表示画像データVO
Pdsp1)がビデオメモリ1003からビデオコンポジ
タユニット1004に出力される。
【0041】この場合、VOP3のVOPデータに対す
る画面間復号化処理の際には、VOP2の復号画像デー
タが参照できないため、VOP3の復号化画像の画質は
劣化したものとなる。また、VOP4のVOPデータに
対する画面間復号化処理の際には、画質が劣化したVO
P3の復号画像データが参照されるため、VOP4の復
号化画像の画質も劣化したものとなる。
【0042】このように、従来の動画像復号化装置で
は、伝送路遅延によって符号化ストリームの一部(つま
り特定のVOPデータ)が著しく遅れて受信された場合
には、VOPデータが遅れて受信されたVOPのVOP
表示時刻よりVOP表示時刻が遅い全てのVOPの復号
画像の画質が劣化するという問題点がある。
【0043】また、従来の動画像復号化装置1000で
は、並換ユニット1001のバッファメモリ1101の
メモリ容量を大きくし、さらに符号化ストリームVinと
して各VOPのVOPデータが並替ユニット1001に
入力されてから、対応するVOPデータがビデオストリ
ームVOPstrとして並替ユニット1001から出力さ
れるまでの時間を大きくすることにより、著しく遅延し
て到着したVOPのVOPデータを、正常な順序でビデ
オストリームVOPstrとして出力することが可能とな
る。
【0044】ところが、この場合には、符号化ストリー
ムVinとして各VOPのVOPデータが動画像復号化装
置1000に入力されてから、各VOPの復号画像が表
示されるまでの遅延時間が全体的に大きくなる。この結
果、特に撮影した画像を受信側端末へ送信してリアルタ
イムで表示する監視システムなどでは、符号化ストリー
ムの入力から復号画像の表示までの応答時間の増大によ
り監視システムとしての機能が損なわれるという問題が
生ずる。また、並替ユニット1001におけるバッファ
メモリ1101のメモリ容量の増加は、そのまま消費電
力の増加や機器のコスト増加につながるといった問題も
生ずる。
【0045】本発明は、上記のような問題点に鑑みてな
されたもので、動画データを符号化して得られる符号化
ストリームの一部が著しく遅れて受信された場合であっ
ても、遅れて受信された部分に対応する復号画像の画質
劣化が、これ以降に表示される復号画像に順次受け継が
れていくのを防止することができる動画像復号化方法及
び動画像復号化装置,並びに動画像復号化方法を行うた
めのプログラムを格納したプログラム記録媒体を提供す
ることを目的とする。
【0046】
【課題を解決するための手段】この発明(請求項1)に
係る動画像復号化方法は、それぞれ個別時刻が設定され
た画像からなる動画像の画像データを符号化して得られ
る符号化ストリームを復号化する動画像復号化方法であ
って、送信側からの符号化ストリームとして各画像の符
号化データを受信し、受信した各画像の符号化データ
を、該各画像に設定されている個別時刻の早いものから
順に、各画像に対応する送出時刻に送り出す並替処理を
行う並替ステップと、上記並替処理により送出された各
画像の符号化データに対して復号化処理を施して、各画
像に対応する復号画像データを生成する復号化ステップ
とを含み、上記並替ステップを、第1の送出時刻に送り
出すべき画像の符号化データを、第1の送出時刻より遅
い第2の送出時刻より遅れて受信したとき、その個別時
刻が第1の送出時刻から第2の送出時刻までの範囲内の
時刻である画像の符号化データを送り出すステップとし
たものである。
【0047】この発明(請求項2)は、請求項1記載の
動画像復号化方法において、上記並替ステップを、上記
動画像を構成する画像の符号化データを、上記動画像を
構成する表示順序が最後である最終画像を表示すべき時
刻より以前に受信した場合、受信した画像の符号化デー
タを送出し、上記動画像を構成する画像の符号化データ
を、上記最終画像を表示すべき時刻より後に受信した場
合、受信した画像の符号化データを破棄するステップと
したものである。
【0048】この発明(請求項3)は、請求項1記載の
動画像復号化方法において、上記並替ステップを、上記
第1の送出時刻に送り出すべき画像の符号化データを、
第1の送出時刻より遅い第2の送出時刻より遅れて受信
したとき、その個別時刻が第1の送出時刻から第2の送
出時刻までの範囲内の時刻であるすべての画像の符号化
データを送出可能な場合、該すべての画像の符号化デー
タを送出し、その個別時刻が第1の送出時刻から第2の
送出時刻までの範囲内の時刻であるすべての画像の符号
化データを送出不可能な場合、受信した画像の符号化デ
ータを破棄するステップとしたものである。
【0049】この発明(請求項4)に係る動画像復号化
方法は、それぞれ個別時刻が設定された画像からなる動
画像の画像データを符号化して得られる符号化ストリー
ムを復号化する動画像復号化方法であって、送信側から
の符号化ストリームとして各画像の符号化データを受信
し、受信した各画像の符号化データを、該各画像に設定
されている個別時刻の早いものから順に送り出す並替処
理を行う並替ステップと、上記並替処理により送出され
た各画像の符号化データに対して復号化処理を施して、
各画像に対応する復号画像データを生成する復号化ステ
ップとを含み、上記復号化ステップを、上記並替処理に
より、正常な復号化処理が不可能な画像の符号化データ
が送出されたとき、該符号化データの送出時点から、そ
の後、上記並替処理により、正常な復号化処理が可能な
画像の符号化データが送出されるまでの間、画像の符号
化データに対する復号化処理を中断するステップとした
ものである。
【0050】この発明(請求項5)は、請求項4記載の
動画像復号化方法において、上記復号化ステップを、上
記正常な復号化処理が不可能である画像の符号化データ
が送出されたときの復号化処理の中断を行うか否かを、
ユーザの操作信号に基づいて決定するステップとしたも
のである。
【0051】この発明(請求項6)は、請求項4記載の
動画像復号化方法において、上記復号化ステップを、上
記並替処理により送出された画像の符号化データが、画
像の形状を示す形状情報を含むものである否かを判定す
る形状判定ステップを含み、上記画像の符号化データが
形状情報を含むものである場合、上記正常な復号化処理
が不可能な画像の符号化データが送出されたときには、
該符号化データの送出時点から、その後、正常な復号化
処理が可能な画像の符号化データが送出されるまでの
間、上記符号化データに対する復号化処理を中断し、上
記画像の符号化データが形状情報を含まないものである
場合、上記並替処理により送出された画像の符号化デー
タが上記正常な復号化処理が可能なものであるか否かに
拘わらず、上記符号化データに対する復号化処理を続行
するステップとしたものである。
【0052】この発明(請求項7)に係る動画像復号化
装置は、それぞれ個別時刻が設定された画像からなる動
画像の画像データを符号化して得られる符号化ストリー
ムを復号化する動画像復号化装置であって、送信側から
の符号化ストリームとして各画像の符号化データを受信
し、受信した各画像の符号化データを、該各画像に設定
されている個別時刻の早いものから順に、各画像に対応
する送出時刻に出力するデータ並替部と、上記データ並
替部から送出された各画像の符号化データに対して復号
化処理を施して、各画像に対応する復号画像データを生
成する復号化部と、該復号化部から出力された各画像に
対応する復号画像データを、各画像の表示が所定のタイ
ミングで行われるよう表示画像データとして出力する表
示画像出力部とを備え、上記データ並替部を、第1の送
出時刻に送り出すべき画像の符号化データを、第1の送
出時刻より遅い第2の送出時刻より遅れて受信したと
き、その個別時刻が第1の送出時刻から第2の送出時刻
までの範囲内の時刻である画像の符号化データを送り出
すものとしたものである。
【0053】この発明(請求項8)は、請求項7記載の
動画像復号化装置において、上記表示画像出力部を、上
記データ並替部にて、その個別時刻が第1の送出時刻か
ら第2の送出時刻までの範囲内の時刻である画像の符号
化データが送出されたとき、該符号化データが送出され
た画像のうちで、その個別時刻が第2の送出時刻に最も
近い画像の復号画像データのみを表示画像データとして
出力するものとしたものである。
【0054】この発明(請求項9)に係る動画像復号化
装置は、それぞれ個別時刻が設定された画像からなる動
画像の画像データを符号化して得られる符号化ストリー
ムを復号化する動画像復号化装置であって、送信側から
の符号化ストリームとして各画像の符号化データを受信
し、受信した各画像の符号化データを、該各画像に設定
されている個別時刻の早いものから順に送出するデータ
並替部と、上記データ並替部から出力された各画像の符
号化データに対して復号化処理を施して、各画像に対応
する復号画像データを生成する復号化部と、該復号化部
から出力された各画像に対応する復号画像データを、各
画像の表示が所定のタイミングで行われるよう表示画像
データとして出力する表示画像出力部とを備え、上記復
号化部を、データ並替部から正常な復号化処理が不可能
な画像の符号化データが送出されたとき、該符号化デー
タの送出時点から、その後、データ並替部から正常な復
号化処理が可能な画像の符号化データが送出されるまで
の間、画像の符号化データに対する復号化処理を中断す
るものとしたものである。
【0055】この発明(請求項10)は、請求項9記載
の動画像復号化装置において、上記表示画像出力部を、
上記復号化部にて画像の符号化データに対する復号化処
理が中断されている間、上記復号化部にて最後に復号化
処理が施された画像復号化データを表示画像データとし
て出力するものとしたものである。
【0056】この発明(請求項11)に係るプログラム
記憶媒体は、それぞれ個別時刻が設定された画像からな
る動画像の画像データを符号化して得られる符号化スト
リームに対する復号化処理をコンピュータにより行うた
めのプログラムを格納したプログラム記録媒体であっ
て、上記プログラムを、コンピュータが、送信側からの
符号化ストリームとして各画像の符号化データを受信
し、受信した各画像の符号化データを、該各画像に設定
されている個別時刻の早いものから順に、各画像に対応
する送出時刻に送り出す並替処理を行い、この並替処理
の際、コンピュータが、第1の送出時刻に送り出すべき
画像の符号化データを、第1の送出時刻より遅い第2の
送出時刻より遅れて受信した場合、コンピュータが、そ
の個別時刻が第1の送出時刻から第2の送出時刻までの
範囲内の時刻である画像の符号化データを送り出すため
の並替プログラムと、コンピュータが、上記並替処理に
より送出された各画像の符号化データに対して復号化処
理を施して、各画像に対応する復号画像データを生成す
るための復号プログラムとから構成したものである。
【0057】この発明(請求項12)に係るプログラム
記憶媒体は、それぞれ個別時刻が設定された画像からな
る動画像の画像データを符号化して得られる符号化スト
リームに対する復号化処理をコンピュータにより行うた
めのプログラムを格納したプログラム記憶媒体であっ
て、上記プログラムを、コンピュータが、送信側からの
符号化ストリームとして各画像の符号化データを受信
し、受信した各画像の符号化データを、該各画像に設定
されている個別時刻の早いものから順に送り出す並替処
理を行うための並替プログラムと、コンピュータが、上
記並替処理により送出された各画像の符号化データに対
して復号化処理を施して、各画像に対応する復号画像デ
ータを生成し、この復号化処理の際、上記並替処理によ
り、正常な復号化処理が不可能な画像の符号化データが
送出されたとき、該符号化データの送出時点から、その
後、並替処理により、正常な復号化処理が可能な画像の
符号化データが送出されるまでの間、コンピュータが画
像の符号化データに対する復号化処理を中断するための
復号プログラムとから構成したものである。
【0058】この発明(請求項13)に係る動画像復号
化方法は、それぞれ個別時刻が設定された画像からなる
動画像の画像データを符号化して得られる符号化ストリ
ームを復号化する動画像復号化方法であって、送信側か
らの符号化ストリームとして各画像の符号化データを受
信し、受信した各画像の符号化データを、該各画像に設
定されている個別時刻の早いものから順に、各画像に対
応する送出時刻に送り出す並替処理を行う並替ステップ
と、上記並替処理により送出された各画像の符号化デー
タに対して復号化処理を施して、各画像に対応する復号
画像データを生成する復号化ステップとを含み、上記並
替ステップを、所要の送出時刻に送り出すべき画像の符
号化データを、該所要の送出時刻までに受信できない場
合は、上記所要の送出時刻に送り出すべき画像の符号化
データを受信するまで、画像の符号化データの送出を停
止し、上記所要の送出時刻に送り出すべき画像の符号化
データを受信した後、画像の符号化データの送出を再開
するステップとしたものである。
【0059】この発明(請求項14)に係る動画像復号
化方法は、それぞれ個別時刻が設定された画像からなる
動画像の画像データを符号化して得られる符号化ストリ
ームを復号化する動画像復号化方法であって、送信側か
らの符号化ストリームとして各画像の符号化データを受
信し、受信した各画像の符号化データを、該各画像に設
定されている個別時刻の早いものから順に、各画像に対
応する送出時刻に送り出す並替処理を行う並替ステップ
と、上記並替処理により送出された各画像の符号化デー
タに対して復号化処理を施して、各画像に対応する復号
画像データを生成する復号化ステップとを含み、上記並
替ステップを、所要の送出時刻に送り出すべき画像の符
号化データを、該所要の送出時刻までに受信できない場
合は、所定の条件が満たされるまで、あるいは上記所要
の送出時刻に送り出すべき画像の符号化データを受信す
るまで、画像の符号化データの送出を停止し、上記所定
の条件が満たされた後、あるいは上記所要の送出時刻に
送り出すべき画像の符号化データを受信した後、画像の
符号化データの送出を再開するステップとしたものであ
る。
【0060】この発明(請求項15)は、請求項14記
載の動画像復号化方法において、上記所定の条件を、上
記並替処理の際、受信した各画像の符号化ストリームを
格納するバッファメモリの残存記憶容量が所定値以下と
なる条件としたものである。
【0061】この発明(請求項16)は、請求項14記
載の動画像復号化方法において、上記所定の条件を、上
記並替処理の際に、画像の符号化データの送出を停止し
ている時間が所定値以上となる条件としたものである。
【0062】この発明(請求項17)に係る動画像復号
化装置は、それぞれ個別時刻が設定された画像からなる
動画像の画像データを符号化して得られる符号化ストリ
ームを復号化する動画像復号化装置であって、送信側か
らの符号化ストリームとして各画像の符号化データを受
信し、受信した各画像の符号化データを、該各画像に設
定されている個別時刻の早いものから順に、各画像に対
応する送出時刻に出力するデータ並替部と、上記データ
並替部から出力された各画像の符号化データに対して復
号化処理を施して、各画像に対応する復号画像データを
生成する復号化部と、該復号化部から出力された各画像
に対応する復号画像データを、各画像の表示が所定のタ
イミングで行われるよう表示画像データとして出力する
表示画像出力部とを備え、上記データ並替部を、所要の
送出時刻に送り出すべき画像の符号化データを、該所要
の送出時刻までに受信できない場合は、上記所要の送出
時刻に送り出すべき画像の符号化データを受信するま
で、画像の符号化データの送出を停止し、上記所要の送
出時刻に送り出すべき画像の符号化データを受信した
後、画像の符号化データの送出を再開するものとしたも
のである。
【0063】この発明(請求項18)に係る動画像復号
化装置は、それぞれ個別時刻が設定された画像からなる
動画像の画像データを符号化して得られる符号化ストリ
ームを復号化する動画像復号化装置であって、送信側か
らの符号化ストリームとして各画像の符号化データを受
信し、受信した各画像の符号化データを、該各画像に設
定されている個別時刻の早いものから順に、各画像に対
応する送出時刻に出力するデータ並替部と、上記データ
並替部から出力された各画像の符号化データに対して復
号化処理を施して、各画像に対応する復号画像データを
生成する復号化部と、該復号化部から出力された各画像
に対応する復号画像データを、各画像の表示が所定のタ
イミングで行われるよう表示画像データとして出力する
表示画像出力部とを備え、上記データ並替部を、所要の
送出時刻に送り出すべき画像の符号化データを、該所要
の送出時刻までに受信できない場合は、所定の条件が満
たされるまで、あるいは上記所要の送出時刻に送り出す
べき画像の符号化データを受信するまで、画像の符号化
データの送出を停止し、上記所定の条件が満たされた
後、あるいは上記所要の送出時刻に送り出すべき画像の
符号化データを受信した後、画像の符号化データの送出
を再開するものとしたものである。
【0064】この発明(請求項19)は、請求項18記
載の動画像復号化装置において、上記表示画像出力部
を、上記データ並替部にて、復号化部への画像の符号化
データの送出が停止された後、画像の符号化データの送
出が再開されたとき、一定期間内の画像の表示を、上記
送出停止により発生した画像の表示タイミングの遅れが
画像の表示の度に小さくなるよう行うものとしたもので
ある。
【0065】この発明(請求項20)に係るプログラム
記憶媒体は、それぞれ個別時刻が設定された画像からな
る動画像の画像データを符号化して得られる符号化スト
リームに対する復号化処理をコンピュータにより行うた
めのプログラムを格納したプログラム記憶媒体であっ
て、上記プログラムを、コンピュータが、送信側からの
符号化ストリームとして各画像の符号化データを受信
し、受信した各画像の符号化データを、該各画像に設定
されている個別時刻の早いものから順に、各画像に対応
する送出時刻に送り出す並替処理を行い、この並替処理
の際、コンピュータが、所要の送出時刻に送り出すべき
画像の符号化データを、該所要の送出時刻までに受信で
きない場合は、コンピュータが、上記所要の送出時刻に
送り出すべき画像の符号化データを受信するまで、画像
の符号化データの送出を停止し、上記所要の送出時刻に
送り出すべき画像の符号化データを受信した後、画像の
符号化データの送出を再開するための並替プログラム
と、コンピュータが、上記並替処理により送出された各
画像の符号化データに対して復号化処理を施して、各画
像に対応する復号画像データを生成するための復号プロ
グラムとから構成したものである。
【0066】この発明(請求項21)に係るプログラム
記憶媒体は、それぞれ個別時刻が設定された画像からな
る動画像の画像データを符号化して得られる符号化スト
リームに対する復号化処理をコンピュータにより行うた
めのプログラムを格納したプログラム記憶媒体であっ
て、上記プログラムを、コンピュータが、送信側からの
符号化ストリームとして各画像の符号化データを受信
し、受信した各画像の符号化データを、該各画像に設定
されている個別時刻の早いものから順に、各画像に対応
する送出時刻に送り出す並替処理を行い、上記並替処理
の際、コンピュータが、所要の送出時刻に送り出すべき
画像の符号化データを、該所要の送出時刻までに受信で
きない場合は、コンピュータが、所定の条件が満たされ
るまで、あるいは上記所要の送出時刻に送り出すべき画
像の符号化データを受信するまで、画像の符号化データ
の送出を停止し、上記所定の条件が満たされた後、ある
いは上記所要の送出時刻に送り出すべき画像の符号化デ
ータを受信した後、画像の符号化データの送出を再開す
るための並替プログラムと、コンピュータが、上記並替
処理により送出された各画像の符号化データに対して復
号化処理を施して、各画像に対応する復号画像データを
生成するための復号プログラムとから構成したものであ
る。
【0067】
【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。 (実施の形態1)図1は、本発明の実施の形態1による
動画像復号装置を説明するための図である。この実施の
形態1の動画像復号化装置100は、図30に示す従来
の動画像復号化装置1000における並替ユニット10
01に代えて、早いVOP表示時刻が設定されているV
OP(先行VOP)のVOPデータが、遅いVOP表示
時刻が設定されているVOP(後続VOP)のVOPデ
ータより後に受信された場合には、上記先行VOPか
ら、この復号化装置側で指定された指定表示時刻により
示される表示対象VOPまでのVOPデータを出力する
並替ユニット101を備えている。ここで、表示対象V
OPは、VOP表示時刻として、指定表示時刻以前でか
つ指定表示時刻に最も近い時刻が設定されているVOP
である。また、上記先行VOPのVOPデータが後続V
OPのVOPデータより後に受信された場合には、厳密
には、先行VOPのVOPデータが、これが並替ユニッ
ト101から出力される送出時刻(言いかえると、後段
のユニット102,104での復号化処理,合成処理等
が行われる時刻)に間に合って受信されている第1の場
合と、先行VOPのVOPデータが、これが並替ユニッ
ト101から出力される送出時刻より遅れて受信されて
いる第2の場合とがある。
【0068】ところが、先行VOPのVOPデータが後
続VOPのVOPデータより後に受信されたときでも、
先行VOPのVOPデータがその送出時刻に間に合って
受信されている第1の場合には、並替ユニット101で
は従来の並替処理と同様な通常の並替処理により、後か
ら受信された先行VOPのVOPデータが、先に受信さ
れた後続VOPのVOPデータより先に出力されること
となる。このため、ユニット101では、上記先行VO
Pから、この復号化装置側で指定された指定表示時刻に
より示される表示対象VOPまでのVOPデータを出力
する並替処理(実施の形態1の特有の並替処理)は行わ
れない。
【0069】一方、先行VOPのVOPデータが上記後
続VOPのVOPデータより遅れて、しかも先行VOP
のVOPデータがその送出時刻より遅れて受信されてい
る第2の場合には、通常は後続VOPのVOPデータが
すでに並替ユニット101から送出されていることにな
る。このため、並替ユニット101では、上記先行VO
Pから、この復号化装置側で指定された指定表示時刻に
より示される表示対象VOPまでのVOPデータを出力
する並替処理(実施の形態1の特有の並替処理)が行わ
れる。
【0070】従って、以降の各実施の形態の説明では、
上記先行VOPのVOPデータが後続VOPのVOPデ
ータより後に受信された場合とは、通常の並替処理が行
われる第1の場合(先行VOPのVOPデータがその送
出時刻に間に合って受信されている場合)ではなく、上
記実施の形態1の特有の並替処理が行われる第2の場合
(先行VOPのVOPデータがその送出時刻より遅れて
受信されている場合)を示すものとする。
【0071】また、この動画像復号化装置100は、従
来の動画像復号化装置1000における復号化ユニット
1002に代えて、エラーを含むVOPデータの復号化
処理を中止するとともに、復号化済みVOPに設定され
ているVOP表示時刻より遅いVOP表示時刻が設定さ
れているVOPのVOPデータのみを復号化する復号化
ユニット102を備えている。
【0072】さらに、この動画像復号化装置100は、
従来の動画像復号化装置1000と同様、復号化ユニッ
ト102での復号化処理により得られた復号画面データ
VOPoutを記録するビデオメモリ103を有してい
る。
【0073】ここで、並替ユニット101,復号化ユニ
ット102,及びビデオメモリ103はそれぞれ、従来
の動画像復号化装置1000と同様、少なくとも、1つ
の動画像を構成する同時に表示される画像系列(物体)
の最大数設けられており、ビデオメモリ103は従来の
動画像復号化装置1000におけるビデオメモリ100
3と同一の構成を有している。
【0074】また、この動画像復号化装置100は、そ
の時点で表示される各物体に対応するビデオメモリ(図
1では1つの物体に対応するビデオメモリ103のみ図
示している。)から、表示画面選択信号VOPselによ
り上記各物体の復号画像データVOPoutを表示画像デ
ータVOPdspとして読み出し、各物体の表示画像デー
タVOPdspの合成により、1つの動画像の1シーンの
画像データである合成画像データVoutを作成するビデ
オコンポジタユニット104と、該合成画像データVou
tに基づいて合成画像を1つの動画像のシーンとして表
示する表示ユニット105とを有している。
【0075】ここで、上記ビデオコンポジタユニット1
04は、このビデオコンポジットユニット104からの
表示画面選択信号VOPselがビデオメモリ103に入
力された時点でビデオメモリ103に格納されている復
号画像データであって、表示画面選択信号VOPselが
示す指定表示時刻Tdに最も近いVOP表示時刻が設定
されているVOPの復号画像データを表示ユニット10
5に出力するものとなっている。
【0076】なお、この実施の形態1の動画像復号化装
置100における表示ユニット105は、従来の動画像
復号化装置1000における表示ユニット1005と全
く同一の構成を有している。
【0077】次に動作について説明する。本実施の形態
1の動画像復号化装置100に、1つの動画像を構成す
る複数の物体(画像系列)に対応する符号化ストリーム
Vinが受信されると、その時点で表示される各物体に対
応する符号化ストリームVinは、各物体に対応する並替
ユニット(図1では1つの物体に対応する並替ユニット
101のみ示している。)に順次入力される。なお、以
下の説明では、符号化ストリームに対する並替処理,符
号化ストリームの復号化処理,及び復号画像データのビ
デオメモリへの格納処理は、各物体で共通しているの
で、これらの処理については、1つの物体についてのみ
説明する。
【0078】並替ユニット101では、VOPデータが
各VOPに設定されているVOP表示時刻の順番に入力
されている状態では、各VOPデータは、並替ユニット
101に入力された順番にビデオストリームVOPstr
として復号化ユニット102に出力される。一方、並替
ユニット101では、早いVOP表示時刻が設定されて
いるVOP(先行VOP)のVOPデータが、遅いVO
P表示時刻が設定されているVOP(後続VOP)のV
OPデータより後に入力された場合には、先行VOPか
ら表示対象VOP(VOP表示時刻が指定表示時刻以前
であってこれに最も近いVOP)までのVOPデータが
ビデオストリームVOPstrとして復号化ユニット10
2に出力される。
【0079】上記ビデオストリームVOPstrが復号化
ユニット102に入力されると、ビデオストリームVO
Pstrに含まれるVOPデータが欠陥のない正常に復号
化可能な正常VOPデータである場合は、復号化ユニッ
ト102では、ビデオストリームVOPstrにおける各
VOPデータに対する復号化処理が順次行われる。一
方、ビデオストリームVOPstrが、参照画像データが
存在しないなどの理由で、表示画像における画質劣化の
生ずる可能性の高い欠陥VOPデータを含む場合は、復
号化ユニット102では、ビデオストリームVOPstr
における欠陥VOPデータに対する復号化処理が、正常
VOPデータが入力されるまで中断される。
【0080】ここで欠陥VOPデータは、早いVOP表
示時刻が設定されているVOPデータを飛ばして復号化
ユニット102に入力された遅いVOP表示時刻が設定
されているVOPデータ、伝送エラーなどの欠陥を含む
VOPデータなどである。また正常VOPデータは、先
に復号化ユニット102に入力された遅いVOP表示時
刻が設定されているVOPデータより後に入力された、
早いVOP表示時刻が設定されているVOPデータ、画
面内符号化処理が施されたVOP(イントラVOP)の
VOPデータなどである。また、復号化ユニット102
におけるVOPデータに対する復号化処理を中断してい
る間は、復号化処理の中断直前に復号化処理が施された
VOPに対応する復号画像データVOPoutがビデオメ
モリ103から表示画像データVOPdspとして出力さ
れる。なお、上記符号化ストリームVinの並替処理,ビ
デオストリームVOPstrの復号化処理,及びビデオメ
モリでの復号画像データVOPoutの格納はそれぞれ、
同時に表示される複数の物体の各々に対応する並替ユニ
ット,復号化ユニット,及びビデオメモリにて行われ
る。
【0081】ビデオコンポジットユニット104では、
並替ユニット101内部で発生された指定表示時刻Td
に基づいて、VOP表示時刻が該指定表示時刻Tdに最
も近いVOPの復号画像データを選択するための表示画
面選択信号VOPselが、各物体に対応するビデオメモ
リに出力される。すると、各物体のビデオメモリから
は、指定表示時刻Tdに最も近いVOP表示時刻が設定
されているVOPの復号画像データが表示画像データV
OPdspとして、ビデオコンポジットユニット104に
供給される。
【0082】そして、ビデオコンポジットユニット10
4では、各物体のビデオメモリから読み出された表示画
像データVOPdspに対する合成処理が行われ、該合成
処理により得られた合成画像データVoutが表示ユニッ
ト105に出力される。この合成画像データVoutは、
動画像の1シーン(1画面)に対応する画像データであ
る。表示ユニット105では、合成画像データVoutに
基づいて、動画像の各シーンの画像が表示される。つま
り、表示ユニット105では、各シーンの画像を指定表
示時刻Tdに基づいて表示する処理が繰り返し行われる
ことにより、上記動画像が表示されることとなる。
【0083】以下、上記VOPデータに対する並替処理
及び復号化処理、並びにビデオメモリからの表示画像デ
ータの読み出し処理について具体的に説明する。図2
は、実施の形態1の動画像復号化装置における符号化ス
トリームの処理の流れを説明するための図である。ここ
では、動画像復号化装置に受信されたVOPデータとし
て、VOP表示時刻T1〜T4(T1<T2<T3<T
4)がそれぞれ設定されているVOP1〜VOP4のV
OPデータを示す。またこの場合、VOP2のVOPデ
ータが、VOP3のVOPデータに対して、並替ユニッ
ト101にてVOPデータの並べ替えができない程度に
遅れて動画像復号化装置に受信されている。
【0084】この場合、並替ユニット101では、VO
P1のVOPデータが復号化ユニット102に出力され
た後、VOP1のVOPデータに続いて、VOP2のV
OPデータではなくVOP3のVOPデータが復号化ユ
ニット102に出力される。その後、VOP3のVOP
データより遅れて受信されたVOP2のVOPデータか
ら、この時点で受信されている最後のVOP4のVOP
データまでのすべてのVOPデータが復号化ユニット1
02に出力される。
【0085】このような順序でVOPデータが復号化ユ
ニット102に出力された場合、復号化ユニット102
では、VOP1のVOPデータに対する復号化処理が行
われた後、VOP2のVOPデータより先に復号化ユニ
ット102に入力されたVOP3のVOPデータが欠陥
VOPデータとして検出され、このVOP3のVOPデ
ータに対しては復号化処理が行われない。そして、VO
P3のVOPデータの入力後にVOP2及びVOP4の
VOPデータが入力された時点で、復号化ユニット10
2では、VOP2〜VOP4のVOPデータに対する復
号化処理が行われる。また、上記復号化ユニット102
にてVOPデータの復号化処理が行われると、該復号化
処理により得られた各VOPの復号画像データVOPou
tが順次ビデオメモリ103に出力され、該メモリに格
納される。
【0086】このように復号化ユニット102にてVO
Pデータの復号化処理が行われると、復号化処理の中断
中には、ビデオメモリ103には新たなVOPの復号画
像データVOPoutが書き込まれないため、ビデオメモ
リ103からは、復号化ユニット102にて復号化処理
が中断している間は、ビデオコンポジットユニット10
04からの表示画面選択信号VOPselに基づいて、最
後に書き込まれたVOPの復号画像データVOPoutが
表示画像データVOPdspとして出力される。この結
果、VOP2及びVOP3の復号画像が表示されるタイ
ミングでは、VOP1の復号画像がVOP1の表示画像
データVOPdspに基づいて表示される。
【0087】またここでは、復号化ユニット102で
は、VOP2のVOPデータがVOP3のVOPデータ
より大きく遅れている場合に、VOP3のVOPデータ
が受信されてから、VOP2のVOPデータが受信され
るまでの間に、イントラVOPのVOPデータが受信さ
れたときには、このイントラVOPから復号化処理が行
われる。このため、この動画像復号化装置100に符号
化ストリームVinとして、一部のVOPのVOPデータ
が完全に消失したストリームが入力された場合であって
も、VOPデータが消失したVOPより遅いVOP表示
時刻が設定されているイントラVOPのVOPデータが
入力された時点で、VOPデータの復号化処理が再開さ
れることとなる。これは、イントラVOPのVOPデー
タに対する復号化処理は、復号化済みVOPの画像デー
タを参照せずに行われ、その復号化により得られた復号
画像データにより参照画像データが書き替えられるため
である。従って、復号化ユニット102での復号化処理
が永久に停止したままという状態は回避される。
【0088】次に本実施の形態1の動画像復号化装置1
00を構成する並換ユニット101について詳しく説明
する。図3は実施の形態1の動画像復号化装置における
並替ユニット101を説明するためのブロック図であ
る。上記並替ユニット101は、入力された符号化スト
リームVinに基づいて、VOPデータが受信されたVO
P(受信VOP)に対して設定されているVOP表示時
刻Tinを抽出する第1の時刻抽出部201と、タイマ
(図示せず)を内蔵し、符号化ストリームVinにおける
基準時刻情報に基づいて、動画像復号化装置100側で
のVOPの表示タイミングを指定する指定表示時刻Td
を順次更新して出力する表示時刻出力部202と、上記
指定表示時刻Tdが更新されたとき、更新前の指定表示
時刻(更新前表示時刻)Td’を出力する更新前時刻出
力部203と、上記VOP表示時刻Tinと更新前表示時
刻Td’とを比較し、比較結果に応じた制御信号Csw1
を出力する比較部204とを有している。
【0089】上記並替ユニット101は、上記制御信号
Csw1に基づいて、VOP表示時刻Tinと更新前表示時
刻Td’の一方を選択し、選択された時刻を復号再開時
刻Tstartとして出力する選択スイッチ205と、上記
符号化ストリームVinを格納するバッファメモリ206
とを有している。ここで、上記選択スイッチ205は、
抽出されたVOP表示時刻Tinが更新前表示時刻Td’
より早い時刻であれば、VOP表示時刻Tinを選択し、
VOP表示時刻Tinが更新前表示時刻Td’より遅い時
刻であれば、更新前表示時刻Td’を選択するものとな
っている。上記バッファメモリ206は、選択スイッチ
205にてVOP表示時刻Tinが復号再開時刻Tstart
として選択されたとき、VOP表示時刻がVOP表示時
刻Tinと指定表示時刻Tdの間の時刻に設定されている
VOPのVOPデータをビデオストリームVOPstrと
して出力し、一方、選択スイッチ205にて更新前表示
時刻Td’が復号再開時刻Tstartとして選択されたと
き、VOP表示時刻が更新前表示時刻Td’と指定表示
時刻Tdの間の時刻に設定されているVOPのVOPデ
ータをビデオストリームVOPstrとして出力するもの
となっている。
【0090】次に並替ユニット101の動作について詳
しく説明する。図4はこの並替ユニット101の動作の
フローを示す図である。まず、1つの画像系列(物体)
に対応する符号化ストリームVinが並替ユニット101
に受信され(ステップS101)、第1の時刻抽出部2
01にて、該符号化ストリームVinとして受信されたV
OPデータに対応するVOP表示時刻(受信VOPのV
OP表示時刻)Tinが抽出される(ステップS10
2)。また、表示時刻出力部202では、符号化ストリ
ームVinに含まれる基準時刻情報に基づいて、動画像復
号化装置側でのVOPの表示タイミングを示す指定表示
時刻Tdが更新されて出力される(ステップS10
3)。また、更新前時刻出力部202では、指定表示時
刻Tdの更新に応じて、その更新前の表示時刻Td’が
出力される(ステップS104)。さらに符号化ストリ
ームVinとして受信されたVOPデータはバッファメモ
リ206に記録される(ステップS105)。
【0091】次に、第1の比較部204では、受信VO
PのVOP表示時刻Tinが更新前表示時刻Td’と比較
される(ステップS106)。この比較の結果、VOP
表示時刻Tinが更新前表示時刻Td’より早い(Tin<
Td’)場合、バッファメモリ206に格納されている
VOPデータであって、そのVOP表示時刻が、抽出さ
れたVOP表示時刻Tinと指定表示時刻Tdの間の時刻
であるVOPデータが、ビデオストリームVOPstrと
して出力される(ステップS108)。一方、上記ステ
ップS105での比較の結果、VOP表示時刻Tinが更
新前表示時刻Td’以降である(Tin≧Td’)場合、
バッファメモリ206に格納されているVOPデータで
あって、そのVOP表示時刻が、抽出された更新前表示
時刻Td’と指定表示時刻Tdの間の時刻であるVOP
データが、ビデオストリームVOPstrとして出力され
る。つまり、この場合(Tin≧Td’)には、バッファ
メモリ206における、まだ復号化ユニット102へ出
力されていないVOPデータであって、そのVOP表示
時刻が、指定表示時刻Tdより早いVOPデータが、ビ
デオストリームVOPstrとして出力される(ステップ
S107)。
【0092】このように並替ユニット101では、上記
ステップS101〜S108の処理により、早いVOP
表示時刻が設定されているVOPデータが、遅いVOP
表示時刻が設定されているVOPデータより遅れて受信
された時、VOPデータの受信が遅れたVOP(遅延V
OP)からその時点で表示すべきVOP(表示対象VO
P)までのVOPデータが、改めて復号化ユニット10
2に出力されることとなる。このため、復号化ユニット
102では、遅延VOPのVOPデータが受信された
時、遅延VOPからこの時点での表示対象VOPまでの
VOPデータに対して復号化処理が順次施されることと
なり、この時点での表示対象VOPの画像表示は、画質
劣化なく良好に行われる。
【0093】次に、本実施の形態1の動画像復号化装置
100を構成する復号化ユニット102について詳しく
説明する。図5は実施の形態1の動画像復号化装置にお
ける復号化ユニット102を説明するためのブロック図
である。なお、一般的には、動画像復号化装置における
VOPの表示タイミングを指定する指定表示時刻Tdの
更新は、符号化ストリームとして受信された各VOPデ
ータに対応するVOPがすべて表示されるタイミングで
行われるので、VOPデータは各VOP毎に指定表示時
刻Tdの更新タイミングで、並替ユニット101から復
号化ユニット102に送出されるが、指定表示時刻Td
の更新の間隔が長く、表示ユニット105にて1秒当り
に表示可能なフレーム数が、1秒当たりに入力されるV
OPデータの数より少ない場合には、指定表示時刻Td
の更新タイミングに、複数のVOPのVOPデータが並
替ユニット101から復号化ユニット102に送出され
ることもある。但し、復号化ユニット102では、指定
表示時刻Tdの更新タイミングに複数のVOPのVOP
データが入力された場合の各VOPデータに対する復号
化処理は、指定表示時刻Tdの更新タイミングに1枚の
VOPのVOPデータのみが入力された場合のVOPデ
ータに対する復号化処理と同様の行われる。従って、以
下の説明では、指定表示時刻Tdの更新タイミングが、
1枚のVOPのVOPデータが並替ユニット101から
復号化ユニット102に出力されるタイミングである場
合について説明する。
【0094】上記復号化ユニット102は、上記並替ユ
ニット101からビデオストリームVOPstrとして出
力された各VOPのVOPデータを順次受信し、受信し
たVOPデータに設定されているVOP表示時刻Tinを
抽出する第2の時刻抽出部301と、並替ユニット10
1からのビデオストリームVOPstrに対して、該ビデ
オストリームVOPstrの伝送エラーによるデータ欠落
がないかどうかを調べるエラー検出処理を施し、データ
欠落があるときのみ伝送エラー通知信号TRerrを出力
するエラー検出部302とを有している。
【0095】上記復号化ユニット102は、ビデオスト
リームVOPstrに対して、必要に応じて復号化済みV
OPの画像データを参照画像データVOPrefとして参
照する復号化処理を施して復号画像データVOPoutを
出力するとともに、該復号化処理の過程で文法エラー
(シンタックスエラー),意味エラー(セマンティック
エラー)等のストリームエラーが検出されたとき、デコ
ードエラー通知信号STerrを出力するデコーダ303
と、上記伝送エラー通知信号TRerr及びデコードエラ
ー通知信号STerrの論理和を演算し、論理和信号とし
てエラー通知信号Nerrを出力するエラー通知部304
とを有している。ここで、該エラー通知信号Nerrは、
上記伝送エラーとデコードエラーの少なくとも一方が発
生しているか、あるいはいずれのエラーも発生していな
いかを示す信号である。
【0096】上記復号化ユニット102は、第2の時刻
抽出部301からのVOP表示時刻Tinを受け、正常な
復号化処理が最後に行われたVOPのVOP表示時刻T
inを復号化済VOP最大表示時刻Tmaxとして保持する
最大時刻保持部306と、復号化処理の対象となってい
るVOP(復号対象VOP)のVOP表示時刻Tinを、
最大時刻保持部306に保持されている復号化済VOP
最大表示時刻Tmaxと比較し、比較結果に応じた制御信
号Cpreを出力する第2の比較部307とを有してい
る。
【0097】ここで、最大時刻保持部306は、復号対
象VOPに対する復号化処理が正しく完了したとき、該
復号対象VOPのVOP表示時刻Tinが、この時点で保
持されている復号化済最大時刻Tmaxより遅い時刻であ
れば、復号化済最大時刻Tmaxを復号対象VOPのVO
P表示時刻Tinに更新するものとなっている。また、第
2の比較部307から出力される制御信号Cpreは、復
号対象VOPがすでに復号化処理が施された復号化済み
VOPであるか否かを通知するための復号化済VOP通
知信号である。
【0098】上記復号化ユニット102は、上記第2の
時刻抽出部301と最大時刻保持部306との間に設け
られ、エラー通知信号Nerrに基づいて上記第2の時刻
抽出部301から最大時刻保持部306へのVOP表示
時刻Tinの供給を制御する第1の開閉スイッチ305
と、上記デコーダ303の前段に設けられ、エラー通知
信号Nerr及び制御信号Cpreに基づいて該デコーダ30
3へのビデオストリームVOPstrの供給を制御する第
2の開閉スイッチ308とを有している。
【0099】ここで、第1の開閉スイッチ305は、上
記伝送エラーとデコードエラーの少なくとも一方が発生
しているとき非導通状態となり、伝送エラーとデコード
エラーのいずれのエラーも発生していないとき導通状態
となるものである。また、第2の開閉スイッチ308
は、上記伝送エラーとデコードエラーの少なくとも一方
が発生しているとき、あるいは、復号対象VOPのVO
P表示時刻Tinが、最大時刻保持部306に保持されて
いる復号化済最大時刻Tmax以前の時刻であるとき(Ti
n≦Tmax)には非導通状態となり、一方、伝送エラーと
デコードエラーのいずれのエラーも発生しておらず、か
つ復号対象VOPのVOP表示時刻Tinが、最大時刻保
持部306に保持されている復号化済最大時刻Tmaxよ
り遅い時刻であるとき(Tin>Tmax)には導通状態と
なるものである。
【0100】次に復号化ユニット102の動作について
詳しく説明する。図6はこの復号化ユニット102の動
作のフローを示す図である。まず、1つの画像系列に対
応するビデオストリームVOPstrとして、該画像系列
を構成する所定のVOPのVOPデータが復号化ユニッ
ト102にて受信される(ステップS201)。する
と、第2の時刻抽出部301では、受信されたVOPデ
ータ(復号対象VOPのVOPデータ)のVOP表示時
刻Tinが抽出される(ステップS202)。
【0101】また、エラー検出部302では、受信デー
タ(ビデオストリーム)に基づいて伝送エラーによるデ
ータ欠落がないかどうかを調べる伝送エラー検出処理が
行われ、デコーダ303では、ビデオストリームVOP
strに基づいてストリームエラー(デコードエラー)の
検出処理が行われる(ステップS203)。
【0102】ステップS203でのエラーの検出処理の
結果、エラーが検出された場合には、伝送エラー通知信
号TRerr及びデコードエラー通知信号STerrが入力さ
れるエラー通知部304からのエラー通知信号Nerrに
より、第2の開閉スイッチ308が非導通状態となり、
ビデオストリームVOPstrのデコーダ303への供給
が停止される。これによりデコーダ303でのビデオス
トリームVOPstrに対する復号化処理が中断される。
またこのとき、エラー通知部304からのエラー通知信
号Nerrにより、第1の開閉スイッチ305が非導通状
態となり、復号対象VOPのVOP表示時刻Tinは最大
時刻保持部306には供給されない(ステップ20
4)。
【0103】一方、ステップS203でのエラーの検出
処理の結果、エラーが検出されない場合には、上記エラ
ー通知信号Nerrにより、第1の開閉スイッチ305が
導通状態となり、第2の比較部307にて、復号対象V
OPのVOP表示時刻Tinが、最大時刻保持部306に
保持されている復号化済最大時刻Tmaxと比較される(ス
テップS205)。この比較の結果、VOP表示時刻T
inが復号化済最大時刻Tmax以前の時刻である(Tin≦
Tmax)とき、第2の比較部307からの、復号対象V
OPが復号化済みVOPであることを示す制御信号Cpr
eにより、第2の開閉スイッチ308が非導通状態とな
る。デコーダ303では、ビデオストリームVOPstr
のデコーダ303への供給が停止されて、ビデオストリ
ームVOPstrに対する復号化処理が中断される(ステ
ップS204)。
【0104】一方、ステップS205での比較の結果、
VOP表示時刻Tinが復号化済最大時刻Tmaxより遅い
時刻である(Tin>Tmax)とき、最大時刻保持部30
6では、復号化済最大時刻Tmaxが復号対象VOPのVO
P表示時刻Tinに更新される(ステップS206)。ま
た、このとき第2の比較部307からの、復号対象VO
Pが復号化済みVOPでないことを示す制御信号Cpre
により、第2の開閉スイッチ308が導通状態となる。
すると、デコーダ303では、復号対象VOPに対す
る、必要に応じて参照画像データVOPrefを参照する
復号化処理が行われる(ステップS207)。そして、
デコーダ303からは、復号対象VOPに対する復号画
像データVOPoutが出力される(ステップS20
8)。
【0105】次に実施の形態1の効果について説明す
る。本実施の形態1の動画像復号化装置100を構成す
る並替ユニット101では、入力されたVOPデータを
保持するバッファメモリ206と、入力されたVOPデ
ータのVOP表示時刻Tinを、該バッファメモリ206
から最後に復号化ユニット102に出力されたVOPデ
ータのVOP表示時刻Td’と比較する比較部204と
を備え、早いVOP表示時刻が設定されているVOP
(先行VOP)のVOPデータが、遅いVOP表示時刻
が設定されているVOP(後続VOP)のVOPデータ
より遅れて受信された時、先行VOPからその時点で表
示すべきVOP(表示対象VOP)までのVOPデータ
を、ビデオストリームVOPstrとして復号化ユニット
102に出力するので、復号化ユニットでは、先行VO
PのVOPデータが後続VOPのVOPデータより遅れ
て入力されたときには、先行VOPのVOPデータから
復号化処理を行うことができる。
【0106】また、本実施の形態1の動画像復号化装置
100を構成する復号化ユニット102では、伝送エラ
ーを検出するエラー検出部302と、ビデオストリーム
VOPstrの復号化処理を行うとともに、文法エラー等
のストリームエラーを検出するデコーダ303と、入力
されたVOPデータのVOP表示時刻Tinと最後に復号
化されたVOPデータのVOP表示時刻Tmaxとを比較
する比較部307とを備え、エラーによる損傷を受けて
いるVOPデータ(エラーVOPデータ)、あるいはV
OP表示時刻が最新の復号化済みVOPデータのものよ
り早いVOPデータ(遅延VOPデータ)に対する復号
化処理を中断し、その後、正常なVOPデータが入力さ
れたときには、VOPデータに対する復号化処理を再開
するので、著しい画質劣化が生ずるのを回避できるとと
もに、表示画像の画質が劣化した状態が続くのを防止で
きる。
【0107】つまり、図2に示すように、VOP2のV
OPデータがVOP3のVOPデータより遅れて受信さ
れた場合には、欠陥のあるビデオストリームVOPst
r,つまりビデオストリームVOPstr3の復号化処理を
復号化ユニット102で続けると、ビデオストリームV
OPstr3の復号化処理時に、復号化済みのVOP2の
復号画像データ(表示画像データVOPdsp2)を参照
することができないため、VOP3の表示画像の画質が
劣化する。また、この場合、遅れて受信したVOP2の
VOPデータ(ビデオストリームVOPstr2)から改
めて復号化処理を再開しても、再開時点における参照画
像データがVOP3の復号画像データ(表示画像データ
VOPdsp3)に更新されているため、正しく復号化を
行なうことが不可能である。
【0108】そこで、復号化ユニット102では、復号
化処理時において参照画像が存在しない等の理由で大き
な画像劣化の伝播を引き起こす可能性が高いビデオスト
リームVOPstr3を検知し、その復号化処理を中断
し、その後、画質劣化の伝播を引き起こすことのないV
OPデータ(ここでは、ビデオストリームVOPstr
2)を受信するまでは、ビットメモリ103から、最後
に正しく復号化処理が行われたVOP1に対応する復号
画像データVOPoutを表示画像データVOPdsp1とし
て表示ユニット105に出力するようにしている。これ
により、著しい画質劣化の発生、及び画質劣化の伝播を
防止できる。
【0109】なお、上記実施の形態1では、動画像復号
化装置として、複数の物体(画像系列)により構成され
た動画像の符号化データを扱うMPEG−4に対応する
もの、つまり、並替ユニット101及び復号化ユニット
102として、1つの動画像を構成する複数の物体の符
号化ストリームを処理するものを示したが、動画像復号
化装置は、1つの物体(画像系列)からなる動画像の符
号化データを扱うMPEG−2等に対応するもの、つま
り,1つの画像系列に対応する並替ユニット101,復
号化ユニット102及びビットメモリ103のみを有す
るものであってもよい。
【0110】また、上記実施の形態1では、送信側にて
設定されているVOPの順序は、VOPに設定されてい
るVOP表示時刻に基づくものとしているが、画像系列
に、画面間順方向予測符号化処理が施されたP−VOP
だけでなく、双方向予測符号化処理が施されたB−VO
Pが含まれる場合は、VOPの表示すべき順序がVOP
の復号化すべき順序と一致せず、VOPの復号化順序
を、VOP表示時刻から直接判定することはできない。
但し、画像系列にB−VOPが含まれる場合であって
も、VOP表示時刻から各VOPの復号化処理を行うべ
き時刻(VOP復号時刻)を求め、VOP表示時刻をV
OP復号時刻に置き換えることにより、上記実施の形態
1の並替ユニット101及び復号化ユニット102にお
ける処理を、画像系列にB−VOPが含まれていない場
合と同様に行うことができる。
【0111】さらに、上記実施の形態1では、デコーダ
303として、対応する参照画像データ(画面間予測復
号化処理の際に参照する復号化済みVOPの画像デー
タ)が存在しないVOPデータの復号化処理を行わない
ものを示したが、デコーダ303は、対応する参照画像
データが存在しないVOPデータの復号化処理を行うも
のであってもよい。
【0112】具体的には、図7に示すように、VOP2
(VOP表示時刻T2)のVOPデータがVOP3(V
OP表示時刻T3)のVOPデータより遅れて受信され
た場合、VOP3のVOPデータがビデオストリームV
OPstr3として復号化ユニット102に出力されたと
き、ビデオストリームVOPstr3に対する復号化処理
がデコーダ303により行われ、VOP3の復号画像デ
ータVOPoutがビデオメモリ103に格納される。そ
して、VOP3の復号画像データVOPoutは表示画像
データVOPdsp3としてビデオメモリ103からビデ
オコンポジットユニット104に読み出されて、VOP
3の復号画像が表示されることとなる。
【0113】このような構成の動画像復号化装置では、
ビデオストリームVOPstr3がインターVOPである
場合、ビデオメモリにおける参照画像データが、VOP
3の復号画像データVOPoutに更新されることとなっ
て、VOP3の復号画像における画質劣化が後続のVO
Pの復号画像に伝播することとなるが、動画像復号化装
置に入力される符号化ストリームVinが、イントラVO
Pに対応するVOPデータのみから構成されている場合
には、遅れているVOP2のVOPデータが入力される
前に、正常な復号画像を表示することができる。
【0114】また、動画像復号化装置に入力される符号
化ストリームVinが、インターVOPに対応するVOP
データのみから構成されている場合、また画像系列(物
体)が前景などの形状を有するものでなく、背景など
の、形状を有しないものである場合には、遅れているV
OP2のVOPデータが入力されるまで、正常に復号化
処理が施されたVOP1の復号画像を表示するよりは、
VOP1のVOPデータに続いて入力されるVOP3の
VOPデータを復号化し、VOP3の復号画像を表示し
た方が、表示画像の違和感が少ない場合がある。
【0115】さらに、上記のようにデコーダ303を、
対応する参照画像データが存在しないインターVOPの
VOPデータに対しても復号化処理が施されるよう構成
した動画像復号化装置において、遅れているVOPのV
OPデータが到着したとき、最後に到着したイントラV
OPからその時点で表示すべきVOPまでのVOPデー
タに対して復号化処理を施すようにすることにより、対
応する参照画像データが存在しないインターVOPの復
号画像の画質劣化が後続のVOPの復号画像に伝播する
のを回避できる。
【0116】図8は、このような構成を有する動画像復
号化装置を説明するためのブロック図である。この動画
像復号化装置は、対応する参照画像データが存在しない
インターVOPのVOPデータに対しても復号化処理を
行い、かつ遅れているVOPのVOPデータが到着した
とき、最後に到着したイントラVOPからその時点で表
示すべきVOPまでのVOPデータに対して復号化処理
を行うものである。
【0117】つまりこの動画像復号化装置を構成する並
替ユニット101aは、上記実施の形態1の並替ユニッ
ト101において、符号化ストリームVinに基づいてイ
ントラVOPのVOP表示時刻を抽出し、受信VOPの
VOP表示時刻Tin以前の時刻である、最も新しいイン
トラVOPのVOP表示時刻Tivop(Tivop≦Tin)を
出力するイントラVOP時刻抽出部201aを備え、実
施の形態1の選択スイッチ205を、第1の比較部20
4からの制御信号Csw1に基づいて、上記最近入力され
たイントラVOPのVOP表示時刻Tivopと、表示時刻
出力部202からの指定表示時刻Tdとの一方を選択し
て出力するものとしたものである。
【0118】つまり、選択スイッチ205は、入力され
たVOPデータのVOP表示時刻Tinが更新前表示時刻
Td’より早いときは、受信VOPのVOP表示時刻T
in以前の時刻である、最近入力されたイントラVOPの
VOP表示時刻Tivop(Tivop≦Tin)を選択し、VO
P表示時刻Tinが更新前表示時刻Td’より早くないと
きは、更新前表示時刻Td’を選択するものである。こ
の動画像復号化装置の並替ユニット101aにおけるそ
の他の構成は、実施の形態1の並替ユニット101のも
のと同一である。
【0119】次に図8に示す動画像復号化装置の動作を
簡単に説明する。図9はこの動画像復号化装置の並替ユ
ニット101aの動作フローを示す図である。
【0120】ステップS101〜ステップS106で
は、実施の形態1の並替ユニット101と全く同一の処
理が行われる。そして、ステップS106での判定の結
果、入力されたVOPデータのVOP表示時刻Tinが更
新前表示時刻Td’より早いときは、選択スイッチ20
5では、最近入力されたイントラVOPのVOP表示時
刻Tivopが選択され、選択されたVOP表示時刻Tivop
が復号再開時刻Tstartとしてメモリ206に出力され
る(ステップS108a)。このとき、メモリ206か
らは、最近入力されたイントラVOPからその時点で表
示すべきVOPまでのVOPデータが、ビデオストリー
ムVOPstrとして復号化ユニットに出力される。
【0121】一方、ステップS106での判定の結果、
VOP表示時刻Tinが更新前表示時刻Td’より早くな
いときは、選択スイッチ205では、更新前表示時刻T
d’が選択され、選択された更新前表示時刻Td’が復
号再開時刻Tstartとしてメモリ206に出力される
(ステップS107a)。このとき、メモリ206から
は、VOP表示時刻が更新前表示時刻Td’より遅いV
OP(つまりVOPデータがすでに復号化ユニットに出
力されたVOPの次に古いVOP)からその時点で表示
すべきVOPまでのVOPデータが、ビデオストリーム
VOPstrとして復号化ユニットに出力される。
【0122】(実施の形態2)図10は本発明の実施の
形態2による動画像復号化装置を説明するためのブロッ
ク図であり、該動画像復号化装置を構成する並替ユニッ
トを示している。なお、上述したように、1つの動画像
(1本の映画,1つの番組などに相当する映像)は複数
の画像系列(物体)から構成されており、このため動画
像復号化装置では、並替ユニットは、少なくとも、1つ
の動画像の再生の際に同時に表示される画像系列(物
体)の最大数設けられている。但し、各並替ユニットで
の処理は全く同一であるので、ここでは、説明の都合
上、動画像復号化装置における複数の並替ユニットの1
つ(並替ユニット101b)について説明する。
【0123】この実施の形態2の並替ユニット101b
は、実施の形態1の並替ユニット101と同様、第1の
時刻抽出部201,表示時刻出力部202,更新前時刻
出力部203,第1の比較部204,選択スイッチ20
5,及びバッファメモリ206を備えている。そしてこ
の並替ユニット101bは、さらに、動画像復号化装置
に入力される符号化ストリームVinに含まれるシーン記
述情報に基づいて、対応する物体の有効時刻Tvalを抽
出する有効時刻抽出部401と、上記表示時刻出力部2
02からの指定表示時刻Tdを、対応する物体の有効時
刻Tvalと比較する第3の比較部402と、バッファメ
モリ206の前段に設けられ、該第3の比較部402で
の比較結果に応じた制御信号Csw3に基づいて、入力さ
れた符号化ストリームのバッファメモリ206への供給
を制御する開閉スイッチ403とを備えている。
【0124】ここで、上記シーン記述情報には、動画像
の個々のシーンにおける物体の配置を示す情報、個々の
シーンに現われる物体を示す情報などが含まれている。
このシーン記述情報から、動画像の再生の際に動画像に
含まれる各物体が表示領域に出没するタイミングを取得
することができる。そして、上記対応する物体の有効時
刻Tvalは、その符号化ストリームがすでに並替ユニッ
トに入力されている画像系列(物体)に対応する最も遅
いVOP表示時刻である。また、上記開閉スイッチ40
3は、第3の比較部302からの制御信号Csw3によ
り、指定表示時刻Tdが有効時刻Tval以前の時刻であ
るとき導通状態となり、指定表示時刻Tdが有効時刻T
valより後の時刻であるとき非導通状態となるものであ
る。つまり、受信されたVOPデータは、その受信時点
での指定表示時刻Tdが、画像系列の最後のVOPのV
OP表示時刻(有効時刻)Tval以前の時刻であると
き、上記開閉スイッチ403を介して、メモリ入力デー
タMEMinとしてバッファメモリ206に出力される。
一方、受信されたVOPデータは、その受信時点での指
定表示時刻Tdが、画像系列の最後のVOPのVOP表
示時刻(有効時刻)Tvalより遅い時刻であるとき、上
記開閉スイッチ403にて破棄され、メモリ入力データ
MEMinとしてバッファメモリ206に出力されない。
なお、図10中、図3における符号と同一の符号は、実
施の形態1の並替ユニット101の構成要素と同一のも
のを示す。
【0125】次に動作について説明する。この実施の形
態2の動画像復号化装置の動作は、並替ユニット101
bの動作以外は実施の形態1の動画像復号化装置の動作
と同一であり、以下では、主として並替ユニット101
bの動作について説明する。
【0126】図11はこの並替ユニット101bの動作
のフローを示す図である。まず、1つの画像系列(物
体)に対応する符号化ストリームVinが並替ユニット1
01bに受信され(ステップS101)、第1の時刻抽
出部201にて、該符号化ストリームVinとして受信さ
れたVOPデータに対応するVOP表示時刻(受信VO
PのVOP表示時刻)Tinが抽出される(ステップS1
02)。
【0127】また、表示時刻出力部202では、符号化
ストリームVinに含まれる基準時刻情報に基づいて、動
画像復号化装置側でのVOPの表示タイミングを示す指
定表示時刻Tdが更新されて出力される(ステップS1
03)。また、更新前時刻出力部202では、指定表示
時刻Tdの更新に応じて、その更新前の表示時刻Td’
が出力される(ステップS104)。
【0128】次に、第3の比較部402では、表示時刻
出力部202からの指定表示時刻Tdが、上記有効時刻
抽出部401aから出力された有効時刻Tvalと比較さ
れる(ステップS301)。この比較の結果、指定表示
時刻Tdが有効時刻Tvalより後の時刻であるとき、第3
の比較部402からの制御信号Csw3により開閉スイッ
チ403が非導通状態となって、受信されたVOPデー
タが破棄される(ステップS302)。一方、上記ステ
ップS301での比較結果、指定表示時刻Tdが有効時
刻Tval以前の時刻であるとき、第3の比較部402か
らの制御信号Csw3により開閉スイッチ403が導通状
態となって、受信されたVOPデータはメモリ入力デー
タMEMinとしてバッファメモリ206に記録される
(ステップS105)。
【0129】その後は、実施の形態1の並替ユニット1
01と同様、第1の比較部204でのVOP表示時刻T
inと更新前表示時刻Td’との比較処理(ステップS1
06)、及び比較結果に応じたVOPデータの出力処理
(ステップS107,S108)が行われる。つまり、
受信VOPのVOP表示時刻Tinが更新前表示時刻T
d’より早い(Tin<Td’)場合、VOP表示時刻
が、受信VOPのVOP表示時刻Tinと指定表示時刻T
dの間の時刻であるVOPのVOPデータが、バッファ
メモリ206から出力される(ステップS108)。一
方、上記ステップS105での比較の結果、VOP表示
時刻Tinが更新前表示時刻Td’より遅い(Tin≧T
d’)場合、VOP表示時刻が、更新前表示時刻Td’
と指定表示時刻Tdの間の時刻であるVOPのVOPデ
ータが、バッファメモリ206から出力される。つま
り、この場合(Tin≧Td’)には、バッファメモリ2
06における、まだ復号化ユニット102へ出力されて
いないVOPデータであって、そのVOP表示時刻が、
指定表示時刻Tdより早いVOPデータが、ビデオスト
リームVOPstrとして出力される(ステップS10
6)。
【0130】次に、本実施の形態2の動画像復号化装置
における各物体に対応する並替ユニットの動作、及び作
用効果について説明する。動画像復号化装置では、同時
に表示される物体のVOPデータの並替処理及び復号化
処理は、同時に表示される物体の各々に対応する並替ユ
ニット及び復号化ユニットにて並列して行われる。但
し、同時に表示される物体の個数は、動画像のシーンに
よって異なる。
【0131】具体的には、1つの動画像に6つの画像系
列(つまり物体A〜F)が含まれている場合でも、1つ
の動画像の再生の際に、すべての物体が最初のシーンか
ら最後シーンまで表示されるわけではない。例えば、図
12(a)に示すように、時刻t0〜t1の間に3つの物
体A,B,Cが、時刻t1〜t2の間に3つの物体A,
E,Fが、時刻t2〜t3の間に2つの物体A,Dが、
合成画像として表示される場合には、同時に表示される
画像系列(物体)の最大数は3である。
【0132】このような動画像の符号化ストリームを復
号化して再生する動画像復号化装置では、少なくとも3
つの並替ユニット(第1〜第3の並替ユニット)が必要
となる。つまり、時刻t0〜t1の期間には3つの物体
A,B,Cの符号化ストリームはそれぞれ第1〜第3の
並替ユニットにより並替処理が施される。時刻t1〜t
2の期間には3つの物体A,E,Fの符号化ストリーム
はそれぞれ第1〜第3の並替ユニットにより並替処理が
施される。さらに時刻t2〜t3の期間には、2つの物
体A,Dが、それぞれ第1,第2の並替ユニットにより
並替処理が施される。図12(b)には、上記各期間に並
替ユニット(復号化ユニット)にて処理される符号化ス
トリームが、いずれの物体の符号化ストリームであるか
が示されている。
【0133】このとき、第1の並替ユニットでは、動画
像の再生開始(時刻t0)から再生終了(時刻t3)ま
で物体Aの符号化ストリームの並替処理が行われる。第
2の並替ユニットでは、時刻t0〜t1の間は物体Bの
符号化ストリームの並替処理、時刻t1〜t2の間は物
体Eの符号化ストリームの並替処理、時刻t2〜t3の
間は物体Dの符号化ストリームの並替処理が行われる。
第3の並替ユニットでは、時刻t0〜t1の間は物体C
の符号化ストリームの並替処理、時刻t1〜t2の間は
物体Fの符号化ストリームの並替処理が行われ、時刻t
2〜t3の間は符号化ストリームの並替処理が行われな
い。
【0134】従って、同時に表示される画像系列(物
体)の最大数(最大画像系列数)が3に設定されている
動画像復号化装置では、並替ユニット,復号化ユニッ
ト,及びビデオメモリを3組しか備えておらず、例えば
上記のように、3つの物体に対する符号化ストリームに
対する並べ替え処理及び復号化処理が行われる時刻t0
〜t1の期間あるいは時刻t1〜t2の期間には、処理
可能な物体の数に余裕はない。
【0135】ところが、早いVOP表示時刻が設定され
ているVOP(先行VOP)のVOPデータが、遅いV
OP表示時刻が設定されているVOP(後続VOP)よ
り遅れて動画像復号化装置に入力されたとき、バッファ
メモリ206からは、先行VOPから、その入力時点で
指定表示時刻Tdにより示される表示すべきVOP(表
示対象VOP)までのVOPデータが、ビデオストリー
ムVOPstrとして復号化ユニットに出力されることと
なる。
【0136】この場合、同時に復号化処理すべき画像系
列数が、動画像復号化装置における最大画像系列数を超
える可能性がある。具体的には、物体EのVOPデータ
が第2の並替ユニットに入力されている時刻t1〜t2
の期間に、第2の並替ユニットに物体Bの遅れて到着し
たVOPデータ(遅延VOPのVOPデータ)が入力さ
れると、この第2の並替ユニットでは、遅延VOPから
物体Bの最後のVOPまでの、バッファメモリに格納さ
れているVOPデータが第2の復号化ユニットに出力さ
れる。
【0137】この場合、最大画像系列数、つまり同時に
復号化処理可能な画像系列数に余裕がある動画像復号化
装置では問題ないが、最大画像系列数に余裕がない動画
像復号化装置では、同時に復号化処理する必要のある画
像系列数が最大画像系列数を超えてしまう可能性があ
る。つまり、最大画像系列数が3である動画像復号化装
置では、上記時刻t1〜t2の期間には、第1,第2,
第3の復号化ユニットではそれぞれ、物体A,物体E,
物体Fに対する復号化処理が行われているため、第2の
並替ユニットから物体BのVOPVOPデータが第2の
復号化ユニットに出力された時点で、同時に復号化処理
する必要のある画像系列数が4となり、動画像復号化装
置における同時に復号化処理可能な最大画像系列数の3
を超えてしまうこととなる。
【0138】そこで、本実施の形態2の並替ユニット1
02では、入力される符号化ストリームに含まれるシー
ン記述情報に基づいて各画像系列(物体)の最後VOP
のVOP表示時刻(有効時刻)Tvalを抽出し、この並
替ユニット102に対応する画像系列のVOPデータが
受信された時点での指定表示時刻Tdが、対応する画像
系列の有効時刻Tvalより遅いときには、入力されたV
OPデータが破棄されるようにしている。
【0139】このように本実施の形態2の並替ユニット
101bでは、実施の形態1の並替ユニット101と同
様、先行VOPのVOPデータがその後続VOPのVO
Pデータより遅れて受信された時、先行VOPからその
時点で表示すべき表示対象VOPまでのVOPデータ
を、ビデオストリームVOPstrとして復号化ユニット
102に出力するので、復号化ユニットでは、先行VO
PのVOPデータが後続VOPのVOPデータより遅れ
て入力されたときには、先行VOPのVOPデータから
復号化処理を再開することができる。
【0140】また、この実施の形態2の並替ユニット1
01bでは、符号化ストリームVinに含まれるシーン記
述情報に基づいて、物体の最後のVOPのVOP表示時
刻を有効時刻Tvalとして抽出する有効時刻抽出部40
1と、VOPデータが受信された時点での指定表示時刻
Tdを、該VOPデータに対応する物体の有効時刻Tva
lと比較する第3の比較部402とを備え、VOPデー
タの受信時の指定表示時刻Tdが有効時刻Tvalを経過し
ているとき、受信VOPのVOPデータを破棄するの
で、復号化処理を行う必要がなくなったVOPのVOP
データがバッファメモリ206に入力されるのを回避す
ることができる。
【0141】これにより、動画像復号化装置にて同時に
復号化処理が可能な画像系列数を考慮した復号化処理を
可能にすることができる。つまり、最大画像系列数(同
時に復号化処理が可能な画像系列数)に余裕がない動画
像復号化装置にて、同時に復号化処理する必要のある画
像系列数が最大画像系列数を超えてしまうのを回避する
ことができる。また、復号化処理を行う必要がなくなっ
たVOPのVOPデータをバッファメモリ206に出力
しないので、バッファメモリ206の記録領域を有効利
用できる。
【0142】なお、上記実施の形態2では、動画像復号
化装置側にて所定のタイミングで発生される指定表示時
刻Tdが、有効時刻(つまり受信VOPに対応する物体
の最後のVOP表示時刻)Tval,より遅い場合には、
必ず受信VOPのVOPデータを破棄するようにしてい
るが、指定表示時刻Tdが有効時刻Tvalより遅い場合
でも、動画像復号化装置にて同時に復号化処理を施すべ
き画像系列の数に余裕があるときには、受信VOPのV
OPデータをバッファメモリ206に供給するようにし
てもよい。
【0143】例えば、図12(b)に示す時刻t2〜t3
の期間のように、同時に復号化処理を施すべき画像系列
の数「2」が、動画像復号化装置の最大画像系列数
「3」により少ないときには、物体Eの遅延VOPデー
タが第2の並替ユニットに入力されたときには、遅延V
OPからその時点で表示すべき表示対象VOPまでのV
OPデータを、その時点で復号化処理を行っていない第
3の復号化ユニットに出力することにより、対応するこ
とができる。この場合、第2の並替ユニットに対応する
第2の復号化ユニットでは、物体Dに対するVOPデー
タの復号化処理を続行することができる。
【0144】(実施の形態3)図13は本発明の実施の
形態3による動画像復号化装置を説明するためのブロッ
ク図であり、該動画像復号化装置を構成する並替ユニッ
トを示している。この実施の形態3の動画像復号化装置
における並替ユニット101cは、実施の形態1の並替
ユニット101と同様、第1の時刻抽出部201,表示
時刻出力部202,更新前時刻出力部203,第1の比
較部204,及びバッファメモリ206を備えている。
そしてこの並替ユニット101cは、そのVOPデータ
がバッファメモリ206内に記録されているVOPのう
ちで最も古いVOPのVOP表示時刻を最古時刻Tminと
して抽出する最古時刻抽出部501と、第1の時刻抽出
部201から出力された受信VOPのVOP表示時刻T
inを上記最古時刻Tminと比較し、比較結果に応じた制
御信号STRswを出力する第4の比較部502と、バッ
ファメモリ206の前段に設けられ、該第4の比較部5
02での比較結果に応じた制御信号STRswに基づい
て、入力された符号化ストリームのバッファメモリ20
6への供給を制御する開閉スイッチ503とを備えてい
る。また、この並替ユニット101cは、実施の形態1
の並替ユニット101の選択スイッチ205に代えて、
上記第1の比較部204からの制御信号Csw1と第4の
比較部502からの制御信号STRswとに基づいて、上
記受信VOPのVOP表示時刻Tinと表示時刻出力部2
02からの指定表示時刻Tdの一方を選択してバッファ
メモリ206に出力する選択スイッチ205cを備えて
いる。
【0145】ここで、上記開閉スイッチ503は、第4
の比較部502からの制御信号STRswにより、受信V
OPのVOP表示時刻Tinが最古時刻Tmimより前の時
刻であるとき非導通状態となり、受信VOPのVOP表
示時刻Tinが最古時刻Tmim以降の時刻であるとき導通
状態となるものである。つまり、受信されたVOPデー
タは、そのVOP表示時刻Tinが、バッファメモリ20
6にVOPデータが記録されているVOPのうちで最も
古いVOPのVOP表示時刻(最古時刻)Tmimより前
の時刻であるとき、上記開閉スイッチ503にて破棄さ
れ、メモリ入力データMEMinとしてバッファメモリ2
06に出力されない。一方、受信されたVOPデータ
は、そのVOP表示時刻Tinが最古時刻Tmim以降の時
刻であるとき、上記開閉スイッチ503を介して、メモ
リ入力データMEMinとしてバッファメモリ206に出
力される。
【0146】また、上記選択スイッチ205cでは、V
OP表示時刻Tinが最古時刻Tmimより早い時刻である
場合には、第1の比較部204からの制御信号Csw1に
拘わらず、第4の比較部502からの制御信号STRsw
により更新前表示時刻Td’が選択され、更新前表示時
刻Td’が復号再開時刻Tstartとしてバッファメモリ
206に出力される。一方、抽出されたVOP表示時刻
Tinが最古時刻Tmin以降の時刻である場合には、上記
選択スイッチ205cでは、第1の比較部204の制御
信号Csw1に応じて、VOP表示時刻Tinと更新前表示
時刻Td’の一方が選択され、選択された時刻が復号再
開時刻Tstartとしてバッファメモリ206に出力され
る。つまり、この場合は、選択スイッチ205cでは、
VOP表示時刻Tinが更新前表示時刻Td’以降の時刻
であるとき更新前表示時刻Td’が選択され、逆にVO
P表示時刻Tinが更新前表示時刻Td’より前の時刻で
あるとき、VOP表示時刻Tinが選択される。なお、図
13中、図3における符号と同一の符号は、実施の形態
1の並替ユニット101の構成要素と同一のものを示
す。
【0147】次に動作について説明する。この実施の形
態3の動画像復号化装置の動作は、並替ユニット101
cの動作以外は実施の形態1の動画像復号化装置の動作
と同一であり、以下では、主として並替ユニット101
cの動作について説明する。
【0148】図14はこの並替ユニット101cの動作
のフローを示す図である。まず、実施の形態1の並替ユ
ニット101と同様、符号化ストリームVinとして入力
されるVOPデータの受信(ステップS101)、受信
VOPのVOP表示時刻Tinの抽出(ステップS10
2),指定表示時刻Tdの出力(ステップS103),
更新前表示時刻Td’の出力(ステップS104)が行
われる。
【0149】その後、この並替ユニット101cの最古
時刻抽出部501では、バッファメモリ206からの時
刻情報Itimeに基づいて、バッファメモリ206にVO
Pデータが記録されているVOPのうちで最も古いVO
P(最古VOP)のVOP表示時刻が最古時刻Tmimと
して抽出される(ステップS400)。
【0150】続いて、第4の比較部502では、第1の
時刻抽出部201から出力されたVOP表示時刻Tinが
上記最古時刻抽出部501から出力された最古時刻Tmi
nと比較される(ステップS401)。この比較の結
果、VOP表示時刻Tinが最古時刻Tminより前の時刻
である場合は、第4の比較部502からの制御信号ST
Rswにより、開閉スイッチ503が非導通状態となっ
て、受信VOPのVOPデータが破棄される(ステップ
S402)。このときには、第1の比較部204からの
制御信号Csw1が、VOP表示時刻Tinが更新前表示時
刻Td’より早い時刻であることを示している場合であ
っても、選択ステップ205cでは、第4の比較部50
2からの制御信号STRswにより、更新前表示時刻T
d’が選択される。
【0151】一方、上記ステップS401の比較の結
果、VOP表示時刻Tinが最古時刻Tmin以降の時刻で
ある場合は、バッファメモリ206に記録されているV
OPデータのうちで、VOP表示時刻が受信VOPのV
OP表示時刻Tinから指定表示時刻Tdまでの範囲内の
時刻であるVOPデータは改めて復号化ユニット102
に再送可能である。このため、実施の形態1と同様、ス
テップS105〜S108の処理が行われる。
【0152】つまり、第4の比較部502からの制御信
号STRswにより開閉スイッチ503が導通状態となっ
て、受信VOPのVOPデータがメモリ入力データME
Minとしてバッファメモリ206に供給され、バッファ
メモリ206に記録される(ステップS105)。
【0153】その後は、実施の形態1の並替ユニット1
01と同様、第1の比較部204でのVOP表示時刻T
inと更新前表示時刻Td’との比較処理(ステップS1
06)、及び比較結果に応じたVOPデータの出力処理
(ステップS107,S108)が行われる。つまり、
データVOP表示時刻Tinが更新前表示時刻Td’より
早い(Tin<Td’)場合、VOP表示時刻が、受信V
OPのVOP表示時刻Tinと指定表示時刻Tdの間の時
刻であるVOPのVOPデータが、バッファメモリ20
6から出力される(ステップS108)。一方、上記ス
テップS105での比較の結果、VOP表示時刻Tinが
更新前表示時刻Td’以降である(Tin≧Td’)場
合、VOP表示時刻が、更新前表示時刻Td’と指定表
示時刻Tdの間の時刻であるVOPのVOPデータが、
バッファメモリ206から出力される(ステップS10
6)。
【0154】次に実施の形態3の作用効果について説明
する。実施の形態1で説明したように、実施の形態1の
並替ユニット101では、VOPデータの伝送路遅延に
よって、動画像復号化装置側にて指定された表示時刻
(指定表示時刻)Tdになっても復号化ユニット102
に出力できないVOPデータがある場合には、VOPデ
ータが遅れて受信された遅延VOPからその時点で表示
すべき表示対象VOPまでのすべてのVOPデータが、
改めて復号化ユニット102に送り出される。これによ
り、一部のVOPデータが遅れて受信された場合でも、
復号化ユニット102では正しく復号化処理が行われ、
遅延VOPによる画質劣化が、遅延VOPに続くVOP
の画質に悪影響を与える画質劣化の伝播が回避される。
ところが、バッファメモリ206には一時的にVOPデ
ータが蓄積されるが、メモリ容量などの制限によって、
バッファメモリ206ではVOPデータはその受信時刻
の早いものから逐次消去される。
【0155】従って、遅延VOPのVOP表示時刻Tin
が最古時刻Tminより前の時刻である場合には、遅延V
OPから表示対象VOPまでのVOPデータの一部がバ
ッファメモリ206から消失しているため、バッファメ
モリ206に記録されている、遅延VOPから表示対象
VOPまでのVOPデータを改めて復号化ユニット10
2に送り直しても、復号化ユニット102では、遅延V
OPから表示対象VOPまでの各VOPに対応して正し
い復号化処理を施すことは不可能である。さらに、イン
ターVOPの復号化処理の際に参照される参照画像デー
タは、復号化ユニット102でのその次のVOPに対す
る復号化処理の際に、正しく復号化処理が施されなかっ
た復号エラーVOPの復号画像データと書き換わってし
まう。この結果、遅延VOPから表示対象VOPまでの
VOPデータを改めて並替ユニットから復号化ユニット
102に送り出すことが、逆に画質劣化の伝播を発生さ
せる原因ともなる。
【0156】そこで、この実施の形態2では、遅延VO
PのVOP表示時刻Tinが更新前の表示時刻Td’より
前の時刻であっても、該VOP表示時刻Tinが最古時刻
Tmin以後の時刻である場合、つまりバッファメモリ2
06に、VOP表示時刻が遅延VOPのVOP表示時刻
Tinから指定表示時刻Tdまでの範囲の時刻であるすべ
てのVOPのVOPデータが記録されている場合に限っ
て、遅延VOPから表示対象VOPまでのVOPデータ
を改めて並替ユニット101cから復号化ユニット10
2に送るようにしている。
【0157】つまり、最古時刻抽出部501は、VOP
データがバッファメモリ206に格納されている各VO
PのVOP表示時刻を検査し、最古時刻Tminを第4の
比較部502に出力する。第4の比較部502は受信V
OPのVOP表示時刻Tinを最古時刻Tminと比較し、
比較結果に応じた制御信号STRswを開閉スイッチ50
3及び選択スイッチ205cに出力する。VOP表示時
刻Tinが最古時刻Tmin以降の時刻であればスイッチ5
03は導通状態となり、受信VOPのVOPデータがバ
ッファメモリ206に記録される。一方、VOP表示時
刻Tinが最古時刻Tminより前の時刻であればスイッチ
503を非導通状態となり、受信VOPのVOPデータ
が破棄される。また、選択スイッチ205cは、第1の
比較部204の比較結果に基づいて、VOP表示時刻T
inが更新前表示時刻Td'より以前の時刻であれば、V
OP表示時刻Tinを復号再開時刻Tstartとして選択
し、一方、VOP表示時刻Tinが更新前表示時刻Td’
以降の時刻であれば、更新前表示時刻Td’を復号再開
時刻Tstartとして選択する。但し、受信VOPのVO
P表示時刻Tinが最古時刻Tminより前であれば、選択
スイッチ205cは第1の比較部204での比較結果に
関わらず、更新前表示時刻Td’を復号再開時刻Tstar
tとして選択する。
【0158】このように本実施の形態3の並替ユニット
101cでは、実施の形態1の並替ユニット101と同
様、早いVOP表示時刻が設定されているVOP(先行
VOP)のVOPデータが、遅いVOP表示時刻が設定
されているVOP(後続VOP)のVOPデータより遅
れて受信された時、先行VOPからその時点で表示すべ
き表示対象VOPまでのVOPデータを、ビデオストリ
ームVOPstrとして復号化ユニット102に出力する
ので、復号化ユニットでは、先行VOPのVOPデータ
が後続VOPのVOPデータより遅れて入力されたとき
には、先行VOPのVOPデータから復号化処理を再開
することができる。
【0159】また、この実施の形態3の並替ユニット1
01cでは、バッファメモリ206にVOPデータが蓄
積されているVOPのVOP表示時刻のうちで最も古い
時刻(最古時刻)Tminをバッファメモリ206からの
時刻情報Itimeに基づいて抽出する最古時刻抽出部50
1を備え、VOP表示時刻が遅延VOPのVOP表示時
刻Tinから指定表示時刻Tdまでの範囲内の時刻である
全てのVOPのVOPデータがバッファメモリ206に
記録されている場合にのみ、遅延VOPから表示対象V
OPまでのVOPデータを改めて復号化ユニット102
に送出するので、遅延VOPがバッファメモリ206に
VOPデータが格納されている最古のVOPより古い場
合に、遅延VOPから表示対象VOPまでのVOPデー
タの復号化処理過程にて画質劣化の伝播が生じるのを回
避することができる。
【0160】(実施の形態4)図15は本発明の実施の
形態4による動画像復号化装置を説明するためのブロッ
ク図であり、該動画像復号化装置を構成する並替ユニッ
トを示している。この実施の形態4の動画像復号化装置
における並替ユニット101dは、実施の形態2の並替
ユニット101bと同様、第1の時刻抽出部201,有
効時刻抽出部401,表示時刻出力部202,更新前時
刻出力部203,第1の比較部204,第3の比較部4
02及びバッファメモリ206を備えている。そしてこ
の並替ユニット101dは、そのVOPデータがバッフ
ァメモリ206内に記録されているVOPのうちで最も
古いVOPのVOP表示時刻を最古時刻Tminとして抽出
する最古時刻抽出部501と、第1の時刻抽出部201
から出力された受信VOPのVOP表示時刻Tinを上記
最古時刻Tminと比較し、比較結果に応じた制御信号S
TRswを出力する第4の比較部502とを備えている。
【0161】また、この並替ユニット101dは、実施
の形態2の並替ユニット101bの開閉スイッチ403
に代えて、上記第3の比較部402からの制御信号Csw
3と第4の比較部502からの制御信号STRswとに基
づいて、入力された符号化ストリームのバッファメモリ
206への供給を制御する開閉スイッチ403dを備え
ている。さらに、この並替ユニット101dは、実施の
形態2の並替ユニット101bの選択スイッチ205に
代えて、上記第1の比較部204からの制御信号Csw1
と第4の比較部502からの制御信号STRswとに基づ
いて、上記受信VOPのVOP表示時刻Tinと表示時刻
出力部202からの指定表示時刻Tdの一方を選択して
バッファメモリ206に出力する選択スイッチ205d
を備えている。
【0162】ここで、上記開閉スイッチ403dは、V
OPデータが受信された時点での指定表示時刻Tdが有
効時刻Tval以前の時刻(Td≦Tval)であり、かつ受
信VOPのVOP表示時刻Tinが最古時刻Tmim以降の
時刻(Tin≧Tmim)であるとき導通状態となり、一
方、VOPデータの受信時点での指定表示時刻Tdが有
効時刻Tvalより後の時刻(Td>Tval)であるとき、
あるいは受信VOPのVOP表示時刻Tinが最古時刻T
mimより前の時刻(Tin<Tmim)であるとき非導通状態
となるものである。
【0163】つまり、受信されたVOPデータは、その
受信時点での指定表示時刻Tdが、画像系列の最終VO
PのVOP表示時刻(有効時刻)Tval以前の時刻であ
り、かつ受信VOPのVOP表示時刻Tinが、バッファ
メモリ206にVOPデータが記録されているVOPの
うちで最も古いVOPのVOP表示時刻(最古時刻)T
mim以降であるとき、上記開閉スイッチ403dを介し
て、メモリ入力データMEMinとしてバッファメモリ2
06に出力される。一方、受信されたVOPデータは、
その受信時点での指定表示時刻Tdが、画像系列の最終
VOPのVOP表示時刻(有効時刻T)valより遅い時
刻であるとき、あるいは受信VOPのVOP表示時刻T
inが、バッファメモリ206にVOPデータが記録され
ているVOPのうちで最も古いVOPのVOP表示時刻
(最古時刻)Tmimより前の時刻であるとき、上記開閉
スイッチ403dにて破棄され、バッファメモリ206
には出力されない。
【0164】また、上記選択スイッチ205dでは、V
OP表示時刻Tinが最古時刻Tmimより早い時刻である
場合には、第1の比較部204からの制御信号Csw1に
拘わらず、第4の比較部502からの制御信号STRsw
により更新前表示時刻Td’が選択され、更新前表示時
刻Td’が復号再開時刻Tstartとしてバッファメモリ
206に出力される。一方、抽出されたVOP表示時刻
Tinが最古時刻Tmin以降の時刻である場合には、上記
選択スイッチ205dでは、第1の比較部204の制御
信号Csw1に応じて、VOP表示時刻Tinと更新前表示
時刻Td’の一方が選択され、選択された時刻が復号再
開時刻Tstartとしてバッファメモリ206に出力され
る。つまり、この場合は、選択スイッチ205dでは、
VOP表示時刻Tinが更新前表示時刻Td’以降の時刻
であるとき更新前表示時刻Td’が選択され、逆にVO
P表示時刻Tinが更新前表示時刻Td’より前の時刻で
あるとき、VOP表示時刻Tinが選択される。なお、図
15中、図10及び図13における符号と同一の符号
は、実施の形態2の並換ユニット101b及び実施の形
態3の並換ユニット101cの構成要素と同一のものを
示す。
【0165】次に動作について説明する。この実施の形
態4の動画像復号化装置の動作は、並替ユニット101
dの動作以外は実施の形態2の動画像復号化装置の動作
と同一であり、以下では、主として並替ユニット101
dの動作について説明する。
【0166】図16はこの並替ユニット101dの動作
のフローを示す図である。まず、実施の形態2の並替ユ
ニット101bと同様、符号化ストリームVinとして入
力されるVOPデータの受信(ステップS101)、受
信VOPのVOP表示時刻Tinの抽出(ステップS10
2),指定表示時刻Tdの出力(ステップS103),
更新前表示時刻Td’の出力(ステップS104)が行
われる。
【0167】その後、この並替ユニット101dの最古
時刻抽出部501では、バッファメモリ206からの時
刻情報Itimeに基づいて、バッファメモリ206にVO
Pデータが記録されているVOPのうちで最も古いVO
P(最古VOP)のVOP表示時刻が最古時刻Tmimと
して抽出される(ステップS400)。
【0168】次に、第3の比較部402では、表示時刻
出力部202から出力された指定表示時刻Tdが、上記
有効時刻抽出部401aから出力された有効時刻Tval
と比較される(ステップS301)。この比較の結果、
VOPデータの受信時点での指定表示時刻Tdが有効時
刻Tvalより後の時刻(Td>Tval)であるとき、第3
の比較部402からの制御信号Csw3により開閉スイッ
チ403dが非導通状態となって、受信されたVOPデ
ータが破棄される(ステップS302)。一方、上記ス
テップS301での比較結果、指定表示時刻Tdが有効
時刻Tval以前の時刻(Td≦Tval)であるときは、さ
らに、第4の比較部502にて、第1の時刻抽出部20
1から出力されたVOP表示時刻Tinが上記最古時刻抽
出部501から出力された最古時刻Tminと比較される
(ステップS401)。
【0169】この比較の結果、VOP表示時刻Tinが最
古時刻Tminより前の時刻(Tin<Tmin)である場合
は、第4の比較部502からの制御信号STRswによ
り、開閉スイッチ403dが非導通状態となって、受信
VOPのVOPデータが破棄される(ステップS40
2)。このときには、第1の比較部204からの制御信
号Csw1が、VOP表示時刻Tinが更新前表示時刻T
d’より早い時刻であることを示している場合であって
も、選択スイッチ205dでは、第4の比較部403d
からの制御信号STRswにより、更新前表示時刻Td’
が選択される。
【0170】一方、上記ステップS401での比較の結
果、VOP表示時刻Tinが最古時刻Tmin以降の時刻
(Tin≧Tmin)である場合は、バッファメモリ206
に記録されているVOPデータのうちで、VOP表示時
刻が受信VOPのVOP表示時刻Tinから指定表示時刻
Tdまでの範囲内の時刻であるVOPデータは改めて復
号化ユニット102に再送可能である。このため、実施
の形態2と同様、ステップS105〜S108の処理が
行われる。つまり、第4の比較部502からの制御信号
STRswにより開閉スイッチ403dが導通状態となっ
て、受信VOPのVOPデータがメモリ入力データME
Minとしてバッファメモリ206に供給され、バッファ
メモリ206に記録される(ステップS105)。
【0171】その後は、実施の形態2の並替ユニット1
01と同様、第1の比較部204でのVOP表示時刻T
inと更新前表示時刻Td’との比較処理(ステップS1
06)、及び比較結果に応じたVOPデータの出力処理
(ステップS107,S108)が行われる。つまり、
データVOP表示時刻Tinが更新前表示時刻Td’より
早い時刻(Tin<Td’)である場合、VOP表示時刻
が、受信VOPのVOP表示時刻Tinと指定表示時刻T
dの間の時刻であるVOPのVOPデータが、バッファ
メモリ206から出力される(ステップS108)。一
方、上記ステップS105での比較の結果、VOP表示
時刻Tinが更新前表示時刻Td’以降の時刻(Tin≧T
d’)である場合、VOP表示時刻が、更新前表示時刻
Td’と指定表示時刻Tdの間の時刻であるVOPのV
OPデータが、バッファメモリ206から出力される
(ステップS106)。
【0172】このように本実施の形態4の並替ユニット
101dでは、実施の形態1の並替ユニット101と同
様、先行VOPのVOPデータが後続VOPのVOPデ
ータより遅れて受信された時、先行VOPからその時点
で表示すべき表示対象VOPまでのVOPデータを、ビ
デオストリームVOPstrとして復号化ユニット102
に出力するので、復号化ユニットでは、先行VOPのV
OPデータが後続VOPのVOPデータより遅れて入力
されたときには、先行VOPのVOPデータから復号化
処理を再開することができる。
【0173】また、この実施の形態4の並替ユニット1
01dでは、実施の形態2の並替ユニット101bと同
様、符号化ストリームVinに含まれるシーン記述情報に
基づいて、物体の最後のVOPのVOP表示時刻を有効
時刻Tvalとして抽出する有効時刻抽出部401と、V
OPデータが受信された時点での指定表示時刻Tdを、
該VOPデータに対応する物体の有効時刻Tvalと比較
する第3の比較部402とを備え、VOPデータの受信
時の指定表示時刻Tdが有効時刻Tvalを経過していると
き、受信VOPのVOPデータを破棄するので、復号化
処理を行う必要がなくなったVOPのVOPデータがバ
ッファメモリ206に入力されるのを回避することがで
きる。これにより、動画像復号化装置にて同時に復号化
処理が可能な画像系列数を考慮した復号化処理を可能に
することができる。また、復号化処理を行う必要がなく
なったVOPのVOPデータをバッファメモリ206に
出力しないので、バッファメモリ206の記録領域を有
効利用できる。
【0174】また、この実施の形態4の並替ユニット1
01dでは、実施の形態3の並替ユニット101cと同
様、バッファメモリ206にVOPデータが蓄積されて
いるVOPのVOP表示時刻のうちで最も古い時刻(最
古時刻)Tminをバッファメモリ206からの時刻情報
Itimeに基づいて抽出する最古時刻抽出部501を備
え、VOP表示時刻が遅延VOPのVOP表示時刻Tin
から指定表示時刻Tdまでの範囲内の時刻である全ての
VOPのVOPデータがバッファメモリ206に記録さ
れている場合にのみ、遅延VOPから表示対象VOPま
でのVOPデータを改めて復号化ユニット102に送出
するので、遅延VOPがバッファメモリ206にVOP
データが格納されている最古のVOPより古い場合に、
遅延VOPから表示対象VOPまでのVOPデータの復
号化処理過程にて画質劣化の伝播が生じるのを回避する
ことができる。
【0175】(実施の形態5)図17は本発明の実施の
形態5による動画像復号化装置を説明するためのブロッ
ク図であり、該動画像復号化装置を構成する復号化ユニ
ットを示している。この実施の形態5の動画像復号化装
置における復号化ユニット102eは、実施の形態1の
復号化ユニット102と同様、第2の時刻抽出部30
1,エラー検出部302,デコーダ303,開閉スイッ
チ305,最大時刻保持部306,第2の比較部30
7,及び開閉スイッチ308を備えている。
【0176】そして、この復号化ユニット102eは、
動画像復号化装置の並替ユニット(図1参照)から出力
されるビデオストリームVOPstrに基づいて、このビ
デオストリームVOPstrが、物体に形状を表す形状情
報を含む否かを判定し、ビデオストリームVOPstrに
対応する画像系列(物体)が形状を有するものか否かを
示す形状通知信号Nshapeを出力する形状有無判定部6
01を備えている。
【0177】また、この復号化ユニット102eは、実
施の形態1の復号化ユニット102のエラー通知部30
4に代えて、上記形状有無判定部601からの形状通知
信号Nshape,エラー検出部302からの伝送エラー通
知信号TRerr,及びデコーダ303からのデコードエ
ラー通知信号STerrに基づいて、上記開閉スイッチ3
05及び308を非導通状態とするスイッチ制御信号C
offを出力するスイッチ制御部304eを備えている。
【0178】ここで、スイッチ制御部304eは、伝送
エラー通知信号TRerr及びデコードエラー通知信号S
Terrの少なくとも一方がエラーの発生を通知してお
り、かつ形状通知信号NshapeがビデオストリームVO
Pstrに対応する画像系列(物体)が形状を有すること
を通知している場合にのみ、上記開閉スイッチ305及
び308にこれらを非導通状態とするスイッチ制御信号
Coffを出力するものである。従って、エラーの発生が
検出されていない場合あるいはビデオストリームVOP
strに対応する画像系列(物体)が形状を有しない場合
には、スイッチ制御信号Coffによって、開閉スイッチ
305及び308が非導通状態となることなはい。但
し、この場合、開閉スイッチ308は、第2の比較部3
07からの制御信号Cpreにより開閉制御される。な
お、図17中、図5における符号と同一の符号は、実施
の形態1の復号化ユニット102の構成要素と同一のも
のを示す。
【0179】次に動作について説明する。この実施の形
態5の動画像復号化装置の動作は、復号化ユニット10
2eの動作以外は実施の形態1の動画像復号化装置の動
作と同一であり、以下では、主として復号化ユニット1
02eの動作について説明する。図18はこの復号化ユ
ニット102eの動作のフローを示す図である。
【0180】まず、この実施の形態5の復号化ユニット
102eでは、実施の形態1の復号化ユニット102と
同様、1つの画像系列に対応するビデオストリームVO
Pstrとして、該画像系列を構成する所定のVOPのV
OPデータが復号化ユニット102にて受信され(ステ
ップS201)、続いて第2の時刻抽出部301にて、
受信されたVOPデータ(復号対象VOPのVOPデー
タ)のVOP表示時刻Tinが抽出される(ステップS2
02)。
【0181】その後、この実施の形態5の復号化ユニッ
ト102eでは、形状抽出部601にて、上記画像系列
(物体)が形状信号を有するか否かが判断される(ステ
ップS501)。この判定の結果、上記画像系列が形状
を有するものである場合には、エラー検出部302での
伝送エラーの検出及びデコーダ303でのストリームエ
ラーの検出が行われる(ステップS203)。一方、上
記ステップS501での判定の結果、上記画像系列が形
状を有しないものである場合には、ステップS203で
のエラー検出は行われずに、第2の比較部307にて、
復号対象VOPのVOP表示時刻Tinが、最大時刻保持
部306に保持されている復号化済最大時刻Tmaxと比較
される(ステップS205)。
【0182】上記ステップS203でのエラーの検出処
理の結果、エラーが検出された場合には、伝送エラー通
知信号TRerr及びデコードエラー通知信号STerrが入
力されるスイッチ制御部304eからのスイッチ制御信
号Coffにより、第2の開閉スイッチ308が非導通状
態となり、ビデオストリームVOPstrのデコーダ30
3への供給が停止される。これによりデコーダ303で
のビデオストリームVOPstrに対する復号化処理が中
断される。またこのとき、スイッチ制御部304eから
のスイッチ制御信号Coffにより、第1の開閉スイッチ
305が非導通状態となり、復号対象VOPのVOP表
示時刻Tinは最大時刻保持部306には供給されない
(ステップ204)。
【0183】一方、ステップS203でのエラーの検出
処理の結果、エラーが検出されない場合には、第1の開
閉スイッチ305が導通状態となり、第2の比較部30
7にて、復号対象VOPのVOP表示時刻Tinが、最大
時刻保持部306に保持されている復号化済最大時刻Tm
axと比較される(ステップS205)。この比較の結
果、VOP表示時刻Tinが復号化済最大時刻Tmax以前
の時刻(Tin≦Tmax)であるとき、第2の比較部30
7からの、復号対象VOPが復号化済みVOPであるこ
とを示す制御信号Cpreにより、第2の開閉スイッチ3
08が非導通状態となる。このとき、デコーダ303で
は、ビデオストリームVOPstrのデコーダ303への
供給停止により、ビデオストリームVOPstrに対する
復号化処理が中断される(ステップS204)。
【0184】一方、ステップS205での比較の結果、
VOP表示時刻Tinが復号化済最大時刻Tmaxより遅い
時刻(Tin>Tmax)であるとき、最大時刻保持部30
6では、復号化済最大時刻Tmaxが復号対象VOPのVO
P表示時刻Tinに更新される(ステップS206)。ま
た、このとき第2の比較部307からの、復号対象VO
Pが復号化済みVOPでないことを示す制御信号Cpre
により、第2の開閉スイッチ308が導通状態となる。
すると、デコーダ303では、復号対象VOPに対す
る、必要に応じて参照画像データVOPrefを参照する
復号化処理が行われる(ステップS207)。そして、
デコーダ303からは、復号対象VOPに対する復号画
像データVOPoutが出力される(ステップS20
8)。
【0185】以下、この実施の形態5の作用効果につい
て説明する。各画像(VOP)の大きさが変化しない画
像系列に対する符号化処理は、受信側にて受信データの
一部の欠落により一部の画面で画質劣化が生じたとして
も、その画質劣化が他の画面に与える影響が少ないもの
である。一方、形状を有する画像系列に対する符号化処
理は、この符号化処理の際には局所復号化処理済みの画
像の形状に依存した形状信号符号化処理や画素値符号化
処理が行われているため、受信側では、受信データの一
部の欠落により画質劣化の伝播が生じ、全体として著し
い画質劣化が生じるものである。
【0186】一般に、実時間性が要求される用途では、
画像の大きさが変化しない、即ち形状を有しない画像系
列に対する符号化処理が多く用いられ、一方、実時間性
があまり要求されない用途では、形状を有する画像系列
に対する符号化処理が多く用いられる。従って、実時間
性が要求される形状を有しない画像系列の復号化処理で
は、受信データの欠落などにより多少の画質劣化が発生
しても、復号化を継続する方が良い。
【0187】そこで、この実施の形態5では、入力され
るビデオストリームVOPstrが形状情報を有するもの
である場合、伝送エラーあるいはストリームエラーの発
生が検出されたとき、上記ビデオストリームVOPstr
に対する復号化処理が中断されるよう開閉スイッチ30
8を非導通状態とし、一方、入力されるビデオストリー
ムVOPstrが形状情報を有するものでない場合は、伝
送エラーあるいはストリームエラーの発生が検出された
ときでも、ビデオストリームVOPstrに対する復号化
処理が継続されるよう開閉スイッチ308の導通状態を
維持するようにしている。
【0188】このように本実施の形態5の復号化ユニッ
ト102eでは、入力されるビデオストリームVOPst
rに基づいて、このビデオストリームVOPstrが、物体
の形状を表す形状情報を含む否かを判定する形状有無判
定部601を備え、ビデオストリームVOPstrが形状
情報を有する場合のみ、ビデオストリームVOPstrの
エラーを検出したときに、該ビデオストリームVOPst
rに対する復号化処理を中断するので、伝送エラーなど
の画質への悪影響が小さい、形状信号を有しない画像系
列に対しては、実時間性を損なわないように復号化処理
を施すことができ、しかも伝送エラーなどの画質への悪
影響が大きい、形状信号を有する画像系列に対しては、
伝送エラーなどによる画質の劣化を低減することができ
る。
【0189】なお、この実施の形態5では、入力される
ビデオストリームVOPstrが形状情報を有するか否か
に応じて、エラー検出時に復号化処理を中断するか否か
を決定するようにしているが、エラー検出時に復号化処
理を中断するか否かは、ユーザの好みや用途に応じてユ
ーザの操作により決定するようにしてもよい。
【0190】(実施の形態6)図19は本発明の実施の
形態6による動画像復号化装置を説明するためのブロッ
ク図であり、該動画像復号化装置を構成する復号化ユニ
ットを示している。この実施の形態6の復号化ユニット
102fは、ユーザの操作により、エラー検出時に復号
化処理を中断するか否かを示すエラー時処理指示信号Ec
selを発生し、該エラー時処理指示信号Ecselに基づい
て、エラー検出時に復号化処理を中断するか否かを決定
するものである。
【0191】つまり、復号化ユニット102fは、実施
の形態5の復号化ユニット102eの形状有無判定部6
01に代えて、伝送エラー等の検出時に、入力されるビ
デオストリームVOPstrに対する復号化処理を中断す
るか否かを指示するためのエラー時処理指示信号Ecsel
を、ユーザの操作により発生する外部指示部701を備
えている。また、復号化ユニット102fは、実施の形
態5の復号化ユニット102eのスイッチ制御部304
eに代えて、エラー時処理指示信号Ecsel,伝送エラー
通知信号TRerr及びストリームエラー通知信号STerr
に基づいて、スイッチ制御信号Coffを発生するエラー
通知部304fを備えている。
【0192】ここで、エラー通知部304fは、伝送エ
ラー通知信号TRerr及びデコードエラー通知信号STe
rrの少なくとも一方がエラーの発生を通知するものであ
り、かつエラー時処理指示信号Ecselが、伝送エラー等
の検出時に、入力されるビデオストリームVOPstrに
対する復号化処理を中断することを示している場合にの
み、上記開閉スイッチ305及び308にこれらを非導
通状態とするスイッチ制御信号Coffを出力するもので
ある。従って、エラーの発生が検出されていない場合、
あるいはエラー時処理指示信号Ecselが、伝送エラー等
の検出時に、入力されるビデオストリームVOPstrに
対する復号化処理を中断しないことを示している場合に
は、スイッチ制御信号Coffによって、開閉スイッチ3
05及び308が非導通状態となることはない。但し、
この場合、開閉スイッチ308は、第2の比較部307
からの制御信号Cpreにより開閉制御される。
【0193】そして、この実施の形態6の復号化ユニッ
ト102fのその他の構成は、実施の形態5の復号化ユ
ニット102eの構成と同一である。なお、図19中、
図17における符号と同一の符号は、実施の形態5の復
号化ユニット102eの構成要素と同一のものを示す。
【0194】次に動作について説明する。図20は実施
の形態6の復号化ユニットの動作のフローを示す図であ
る。この実施の形態6の復号化ユニット102fでは、
ユーザの操作により、予め、外部指示部701にて、エ
ラー検出時に復号化処理を中断するか否かが決定されて
おり、外部指示部701からは、エラー検出時に復号化
処理を中断するか否かを示すエラー時処理指示信号Ecse
lが出力されている。
【0195】まず、実施の形態5の復号化ユニット10
2eと同様、1つの画像系列に対応するビデオストリー
ムVOPstrとして、該画像系列を構成する所定のVO
PのVOPデータが復号化ユニット102にて受信され
(ステップS201)、続いて第2の時刻抽出部301
にて、受信されたVOPデータ(復号対象VOPのVO
Pデータ)のVOP表示時刻Tinが抽出される(ステッ
プS202)。
【0196】その後、この実施の形態6の復号化ユニッ
ト102fでは、スイッチ制御部304fにて、エラー
時処理指示信号Ecselが、伝送エラー等の検出時に、入
力されるビデオストリームVOPstrに対する復号化処
理を中断することを示しているか否かが判断される(ス
テップS701)。この判定の結果、エラー時処理指示
信号Ecselが、伝送エラー等の検出時にビデオストリー
ムVOPstrに対する復号化処理を中断することを示し
ている場合には、エラー検出部での伝送エラーの検出及
びデコーダ303でのストリームエラーの検出が行われ
る(ステップS203)。一方、上記ステップS701
での判定の結果、エラー時処理指示信号Ecselが、伝送
エラー等の検出時にビデオストリームVOPstrに対す
る復号化処理を中断しないことを示している場合には、
ステップS203でのエラー検出は行われずに、第2の
比較部307にて、復号対象VOPのVOP表示時刻T
inが、最大時刻保持部306に保持されている復号化済
最大時刻Tmaxと比較される(ステップS205)。その
後は、実施の形態5における各ステップS204,S2
06〜S208の処理と同一の処理が行われる。
【0197】このように本実施の形態6の復号化ユニッ
ト102fでは、伝送エラー等の検出時にビデオストリ
ームVOPstrに対する復号化処理を中断するか否かを
指示するためのエラー時処理指示信号Ecselを、ユーザ
の操作により発生する外部指示部701を備え、該エラ
ー時処理指示信号Ecselに基づいて、エラー検出時に復
号化処理を中断するか否かを決定するので、ユーザーの
好みや用途に応じてエラー検出時に復号化処理を中断す
るか否かの選択をすることができる。
【0198】(実施の形態7)図21は本発明の実施の
形態7による動画像復号化装置を説明するためのブロッ
ク図であり、該動画像復号化装置を構成する並替ユニッ
トを示している。この実施の形態7の並替ユニット10
1gは、実施の形態1の並替ユニット101と同様、第
1の時刻抽出部201,表示時刻出力部202,更新前
時刻出力部203,第1の比較部204,及びバッファ
メモリ206を備えている。そしてこの並替ユニット1
01gは、バッファメモリ206の使用状況を示す情報
Iuseに基づいて、バッファメモリ206の空き領域の
容量(バッファ残量)を計算し、バッファ残量が所定の
閾値以下となったとき、データ入力制限信号Irestを出
力するバッファ残量計算部801と、バッファメモリ2
06の前段に設けられ、該データ入力制限信号Irestに
基づいて、入力された符号化ストリームVinのバッファ
メモリ206への供給を制御する開閉スイッチ802と
を備えている。また、この並替ユニット101gは、実
施の形態1の並替ユニット101の選択スイッチ205
に代えて、上記第1の比較部204からの制御信号Csw
1とバッファ残量計算部801からのデータ入力制限信
号Irestとに基づいて、上記受信VOPのVOP表示時
刻Tinと更新前表示時刻Td'の一方を選択してバッフ
ァメモリ206に出力する選択スイッチ205gを備え
ている。
【0199】ここで、上記開閉スイッチ802は、バッ
ファ残量計算部801からのデータ入力制限信号Irest
により、バッファ残量が所定の閾値より少ないときのみ
非導通状態となり、バッファ残量が所定の閾値より大き
いとき導通状態となるものである。つまり、受信された
VOPデータは、バッファメモリ206の空き領域の容
量が所定の閾値より小さいとき、上記開閉スイッチ80
2にて破棄され、メモリ入力データMEMinとしてバッ
ファメモリ206に出力されない。一方、受信されたV
OPデータは、バッファメモリ206の空き領域の容量
が所定の閾値以上であるとき、上記開閉スイッチ503
を介して、メモリ入力データMEMinとしてバッファメ
モリ206に出力される。
【0200】また、上記選択スイッチ205gでは、バ
ッファ残量Brが閾値Bthより少ない(Br<Bth)と
き更新前表示時刻Td’が選択され、逆にバッファ残量
Brが閾値Bth以上(Br≧Bth)であるとき、第1の
比較部204からの制御信号Csw1によりVOP表示時
刻Tinと更新前表示時刻Td’の一方が選択される。つ
まり、受信VOPのVOP表示時刻Tinが更新前表示時
刻Td’以降の時刻(Tin≧Td’)である場合には、
更新前表示時刻Td’が選択され、更新前表示時刻T
d’が復号再開時刻Tstartとしてバッファメモリ20
6に出力される。一方、受信VOPのVOP表示時刻T
inが更新前表示時刻Td’より早い時刻(Tin<T
d’)である場合には、VOP表示時刻Tinが選択さ
れ、VOP表示時刻Tinが復号再開時刻Tstartとして
バッファメモリ206に出力される。なお、この実施の
形態7は、実施の形態3の並替ユニット101cにおけ
る、最古時刻抽出部501及び第4の比較部502に代
えて、バッファ残量計算部801を備えたもので、図2
1中、図13における符号と同一の符号は、実施の形態
3の並換ユニット101cの構成要素と同一のものを示
す。
【0201】次に動作について説明する。この実施の形
態7の動画像復号化装置の動作は、並替ユニット101
gの動作以外は実施の形態3の動画像復号化装置の動作
と同一であり、以下では、主として並替ユニット101
gの動作について説明する。
【0202】図22はこの並替ユニット101gの動作
のフローを示す図である。まず、実施の形態3の並替ユ
ニット101cと同様、符号化ストリームVinとして入
力されるVOPデータの受信(ステップS101)、受
信VOPのVOP表示時刻Tinの抽出(ステップS10
2),指定表示時刻Tdの出力(ステップS103),
更新前表示時刻Td’の出力(ステップS104)が行
われる。
【0203】その後、この並替ユニット101gのバッ
ファ残量計算部801では、バッファメモリ206の使
用状況を示す情報Iuseに基づいてバッファ残量Brが
計算され(ステップS801)、バッファ残量Brが閾
値Bthと比較される(ステップS801)。
【0204】この比較の結果、バッファ残量Brが閾値
Bthより少ない場合は、バッファ残量計算部801から
のデータ入力制限信号Irestにより、開閉スイッチ80
2が非導通状態となって、受信VOPのVOPデータが
破棄される(ステップS402)。このときには、第1
の比較部204からの制御信号Cswが、VOP表示時刻
Tinが更新前表示時刻Td’より早い時刻であることを
示している場合であっても、選択スイッチ205gで
は、バッファ残量計算部801からのデータ入力制限信
号Irestにより、更新前表示時刻Td’が選択される。
【0205】一方、上記ステップS801での比較の結
果、バッファ残量Brが閾値Bth以上である場合は、バ
ッファ残量計算部801からのデータ入力制限信号Ire
stにより、開閉スイッチ802が導通状態となって、受
信VOPのVOPデータがメモリ入力データMEMinと
してバッファメモリ206に供給され、バッファメモリ
206に記録される(ステップS105)。その後は、
実施の形態3の並替ユニット101cと同様、第1の比
較部204でのVOP表示時刻Tinと更新前表示時刻T
d’との比較処理(ステップS106)、及び比較結果
に応じたVOPデータの出力処理(ステップS107,
S108)が行われる。
【0206】このように実施の形態7の並替ユニット1
01gでは、実施の形態1の並替ユニット101と同
様、先行VOPのVOPデータが後続VOPのVOPデ
ータより遅れて受信された時、先行VOPからその時点
で表示すべき表示対象VOPまでのVOPデータを、ビ
デオストリームVOPstrとして復号化ユニット102
に出力するので、復号化ユニットでは、先行VOPのV
OPデータが後続VOPのVOPデータより遅れて入力
されたときには、先行VOPのVOPデータから復号化
処理を再開することができる。
【0207】また、この実施の形態7の並替ユニット1
01gでは、バッファメモリ206の使用状況を示す情
報Iuseに基づいて、バッファメモリ206の空き領域の
容量(バッファ残量)を計算し、バッファ残量が所定の
閾値以下となったとき、データ入力制限信号Irestを出
力するバッファ残量計算部801を備え、バッファ残量
Brが閾値Bth以上であるときのみ、受信VOPのVO
Pデータをバッファメモリ206に供給するので、バッ
ファメモリ206のオーバフローを回避することができ
る。
【0208】(実施の形態8)図23は本発明の実施の
形態8による動画像復号化装置を説明するためのブロッ
ク図であり、該動画像復号化装置を構成する並替ユニッ
トを示している。この実施の形態8の並替ユニット10
1hは、実施の形態1の並替ユニット101と同様、第
1の時刻抽出部201,表示時刻出力部202,更新前
時刻出力部203,第1の比較部204,及びバッファ
メモリ206を備えている。そしてこの並替ユニット1
01hは、第1の時刻抽出部201から出力された受信
VOPのVOP表示時刻Tinを、表示時刻出力部106
からの指定表示時刻Tdと比較し、VOP表示時刻Tin
から指定表示時刻Td(Tin<Td)までの時間ΔT
(ΔT=Td−Tin)が一定時間Tth以内であるか否か
に応じて、制御信号Csw5を出力する第5の比較部90
1と、バッファメモリ206の前段に設けられ、該第5
の比較部901からの制御信号Csw5に基づいて、入力
された符号化ストリームのバッファメモリ206への供
給を制御する開閉スイッチ902とを備えている。ま
た、この並替ユニット101hは、実施の形態1の並替
ユニット101の選択スイッチ205に代えて、上記第
1の比較部204からの制御信号Csw1と第5の比較部
901からの制御信号Csw5とに基づいて、上記受信V
OPのVOP表示時刻Tinと更新前表示時刻Td'の一
方を選択してバッファメモリ206に出力する選択スイ
ッチ205hを備えている。
【0209】ここで、上記開閉スイッチ902は、第5
の比較部901からの制御信号Csw5により、VOP表
示時刻Tinから指定表示時刻Tdまでの時間ΔTが一定
時間Tthを超えているときのみ非導通状態となり、該経
過時間ΔTが所定の閾値Tth以下であるとき導通状態と
なるものである。つまり、受信されたVOPデータは、
そのVOP表示時刻Tinから指定表示時刻Tdまでの時
間ΔTが一定時間Tthを超えているとき、上記開閉スイ
ッチ902にて破棄され、メモリ入力データMEMinと
してバッファメモリ206に出力されない。一方、受信
されたVOPデータは、そのVOP表示時刻Tinから指
定表示時刻Tdまでの時間ΔTが一定時間Tth以内であ
るとき、上記開閉スイッチ902を介して、メモリ入力
データMEMinとしてバッファメモリ206に出力され
る。
【0210】また、上記選択スイッチ205hでは、V
OP表示時刻Tinから指定表示時刻Tdまでの時間ΔT
が一定時間Tthを超えている場合には、第1の比較部2
04からの制御信号Csw1に拘わらず、更新前表示時刻
Td’が選択され、更新前表示時刻Td’が復号再開時
刻Tstartとしてバッファメモリ206に出力される。
一方、VOP表示時刻Tinから指定表示時刻Tdまでの
時間ΔTが一定時間Tth以内である場合には、上記選択
スイッチ205hでは、第1の比較部204からの制御
信号Csw1に応じて、VOP表示時刻Tin及び更新前表
示時刻Td’のうちの早い時刻が復号化再開時刻Tstar
tとして選択される。
【0211】なお、この実施の形態8は、実施の形態3
の並替ユニット101cにおける、最古時刻抽出部50
1及び第4の比較部502に代えて、第5の比較部90
1を備えたもので、図23中、図13における符号と同
一の符号は、実施の形態3の並換ユニット101cの構
成要素と同一のものを示す。
【0212】次に動作について説明する。この実施の形
態8の動画像復号化装置の動作は、並替ユニット101
hの動作以外は実施の形態3の動画像復号化装置の動作
と同一であり、以下では、主として並替ユニット101
gの動作について説明する。図24はこの並替ユニット
101hの動作のフローを示す図である。
【0213】まず、実施の形態3の並替ユニット101
cと同様、符号化ストリームVinとして入力されるVO
Pデータの受信(ステップS101)、受信VOPのV
OP表示時刻Tinの抽出(ステップS102),指定表
示時刻Tdの出力(ステップS103),更新前表示時
刻Td’の出力(ステップS104)が行われる。その
後、この並替ユニット101hの第5の比較部901で
は、VOP表示時刻Tinから指定表示時刻Tdまでの時
間ΔTが一定時間Tthを超えているか否かの判定が行わ
れる(ステップS901)。
【0214】この判定の結果、時間ΔT(=Td−Ti
n)が一定時間Tthを超えている場合には、第5の制御
部901からの制御信号Csw5により、開閉スイッチ9
02が非導通状態となって、受信VOPのVOPデータ
が破棄される(ステップS402)。このときには、第
1の比較部204からの制御信号Csw1が、VOP表示
時刻Tinが更新前表示時刻Td’より早い時刻であるこ
とを示している場合であっても、選択スイッチ205h
では、第5の制御部901からの制御信号Csw5によ
り、更新前表示時刻Td’が選択される。
【0215】一方、上記ステップS901での判定の結
果、時間ΔT(=Td−Tin)が一定時間Tth以内であ
る場合には、第5の制御部901からの制御信号Csw5
により、開閉スイッチ902が導通状態となって、受信
VOPのVOPデータがメモリ入力データMEMinとし
てバッファメモリ206に供給され、バッファメモリ2
06に記録される(ステップS105)。
【0216】その後は、実施の形態3の並替ユニット1
01cと同様、第1の比較部204でのVOP表示時刻
Tinと更新前表示時刻Td’との比較処理(ステップS
106)、及び比較結果に応じたVOPデータの出力処
理(ステップS107,S108)が行われる。
【0217】このように実施の形態8の並替ユニット1
01hでは、実施の形態1の並替ユニット101と同
様、先行VOPのVOPデータが後続VOPのVOPデ
ータより遅れて受信された時、先行VOPからその時点
で表示すべき表示対象VOPまでのVOPデータを、ビ
デオストリームVOPstrとして復号化ユニット102
に出力するので、復号化ユニットでは、先行VOPのV
OPデータが後続VOPのVOPデータより遅れて入力
されたときには、先行VOPのVOPデータから復号化
処理を再開することができる。
【0218】また、この実施の形態8の並替ユニット1
01hでは、遅れて受信された遅延VOPのVOP表示
時刻と、該遅延VOPの受信時点での復号化側の指定表
示時刻Tdとの時間差が一定時間内であるときのみ、受
信VOPのVOPデータをバッファメモリ206に供給
するので、遅延VOPから表示対象VOPまでのVOP
データの一部がバッファメモリ206から削除されてい
て、遅延VOPから表示対象VOPまでのVOPデータ
を正常に復号化できない場合に、遅延VOPの符号化デ
ータがバッファメモリに出力されるのを回避することが
できる。
【0219】(実施の形態9)図25は本発明の実施の
形態9による動画像復号化装置を説明するためのブロッ
ク図であり、該動画像復号化装置を構成する並替ユニッ
トを示している。この実施の形態9の並替ユニット10
1iは、入力された符号化ストリームVinから、各VO
Pに対して設定されているVOP表示時刻Tinを抽出す
る第1の時刻抽出部201と、タイマ(図示せず)を内
蔵し、符号化ストリームVinにおける基準時刻情報に基
づいて、動画像復号化装置100側でのVOPの表示タ
イミングを指定する指定表示時刻Tdを更新して出力す
る表示時刻出力部202と、上記符号化ストリームVin
を格納するバッファメモリ206とを有している。
【0220】また、この並替ユニット101iは、受信
VOP(VOPデータが受信されたVOP)のVOP表
示時刻Tinと、受信VOPの受信時点で設定されている
設定表示時刻Td0の更新前の値(更新前設定表示時
刻)Td0’との差分値(Td0’−Tin)を計算する
第1の減算器1120と、所定のVOPのVOPデータ
が遅れて受信されたことを示す遅延通知信号(startSw
信号)Ndelを受け、差分値(Td0’−Tin)を修正
時間Tddとして出力し、その後、表示時刻出力部202
にて指定表示時刻Tdが更新される度に、出力する修正
時間Tddの値を徐々に小さくする減算カウンタ111
0とを有している。ここで、この減算カウンタ1110
は、出力する修正時間Tddの値が0になった後は、修
正時間の値として0を出力し、その後再度、所定のVO
PのVOPデータが遅れて受信されたことを示す遅延通
知信号(startSw信号)Ndelを受けたとき、出力する修
正時間Tddを差分値(Td0’−Tin)から徐々に小
さくしていくものである。
【0221】また、上記並替ユニット101iは、表示
時刻出力部202から出力される指定表示時刻Tdか
ら、減算カウンタ1101から出力される修正時間Td
dを減算して得られる時刻Td0を上記設定表示時刻と
して出力する第2の減算器1130と、上記設定表示時
刻Td0に基づいて、その更新前の値(更新前設定表示
時刻)Td0’を出力する更新前時刻出力部203i
と、上記第1の時刻抽出部201からのVOP表示時刻
Tinと上記更新前設定表示時刻Td0’との比較によ
り、上記遅延通知信号(startSw信号)Ndelを出力する
遅延判定部204と、上記遅延通知信号(startSw信
号)Ndelに基づいて、上記VOP表示時刻Tinと更新
前設定表示時刻Td0’の一方を選択し、選択された時
刻を復号再開時刻Tstartとして出力する選択スイッチ
205iとを有している。
【0222】ここで、遅延判定部204iは、VOPデ
ータが受信された受信VOPが、その復号化処理が可能
な受信タイミングから遅れてVOPデータが受信された
遅延VOPであるか否かを判定し、受信VOPが遅延V
OPあるとき、上記遅延通知信号(startSw信号)Ndel
を出力するものである。また、選択スイッチ205i
は、上記遅延通知信号(startSw信号)Ndelが、受信V
OPが遅延VOPであることを示すとき、VOP表示時
刻Tinを選択し、 上記遅延通知信号(startSw信号)N
delが、受信VOPが遅延VOPでないことを示すと
き、更新前設定表示時刻Td0’を選択するものであ
る。さらに、上記バッファメモリ206は、VOP表示
時刻が、上記選択スイッチ205iからの復号再開時刻
Tstartから、第2の減算器1103からの設定表示時
刻Td0までの範囲内であるVOPのVOPデータをビ
デオストリームVOPstrとして出力するものである。
【0223】次に動作について説明する。まず、1つの
画像系列(物体)に対応する符号化ストリームVinが並
替ユニット101iに受信されると、符号化ストリーム
Vinとして受信されたVOPデータはバッファメモリ2
06に記録される。第1の時刻抽出部201では、該符
号化ストリームVinとして受信されたVOPデータに対
応するVOP表示時刻(受信VOPのVOP表示時刻)
Tinが抽出される。また、表示時刻出力部202では、
符号化ストリームVinに含まれる基準時刻情報に基づい
て、動画像復号化装置側でのVOPの表示タイミングを
示す指定表示時刻Tdが更新されて出力される。
【0224】このとき、第1の減算器1120では、受
信VOP(VOPデータが受信されたVOP)のVOP
表示時刻Tinと、受信VOPの受信時点で設定されてい
る設定表示時刻Td0の更新前の値(更新前設定表示時
刻)Td0’との差分値(Td0’−Tin)が計算さ
れ、該差分値(Td0’−Tin)が減算カウンタ111
0に出力される。減算カウンタ1110では、所定のV
OPのVOPデータが遅れて受信されたことを示す遅延
通知信号(startSw信号)Ndelが遅延判定部204iか
ら入力されたとき、差分値(Td0’−Tin)が修正時
間Tddとして第2の減算器1130に出力される。差分
値(Td0’−Tin)が修正時間Tddとして出力された
後は、表示時刻出力部202にて指定表示時刻Tdが更
新される度に、出力される修正時間Tddの値が徐々に小
さくなる。修正時間Tddの値が0になった後は、再度、
遅延通知信号(startSw信号)Ndelが入力されるまで、
修正時間Tddの値は0に維持される。
【0225】一方、減算カウンタ1110では、所定の
VOPのVOPデータが遅れて受信されたことを示す遅
延通知信号(startSw信号)Ndelが入力されないとき、
第1の減算器1120からの差分値(Td0’−Tin)
に拘わらず、修正時間Tddの値として0が第2の減算器
1130に出力される。
【0226】第2の減算器1130では、表示時刻出力
部202から出力される指定表示時刻Tdから、減算カ
ウンタ1101から出力される修正時間Tddを減算して
得られる時刻Td0が上記設定表示時刻として出力され
る。更新前時刻出力部203iでは、上記設定表示時刻
Td0に基づいて、その更新前の値(更新前設定表示時
刻)Td0’が出力される。遅延判定部204では、上
記第1の時刻抽出部201からのVOP表示時刻Tinと
上記更新前設定表示時刻Td0’との比較により、上記
遅延通知信号(startSw信号)Ndelが出力される。つま
り、遅延判定部204iは、VOPデータが受信された
受信VOPが、その復号化処理が可能な受信タイミング
から遅れてVOPデータが受信された遅延VOPである
か否かが判定され、受信VOPが遅延VOPあるとき、
上記遅延通知信号(startSw信号)Ndelが出力される。
【0227】選択スイッチ205iでは、上記遅延通知
信号(startSw信号)Ndelに基づいて、上記VOP表示
時刻Tinと更新前設定表示時刻Td0’の一方が選択さ
れ、選択された時刻が復号再開時刻Tstartとしてバッ
ファメモリ206に出力される。つまり選択スイッチ2
05iでは、上記遅延通知信号(startSw信号)Ndel
が、受信VOPが遅延VOPであることを示すとき、V
OP表示時刻Tinが選択され、上記遅延通知信号(star
tSw信号)Ndelが、受信VOPが遅延VOPでないこと
を示すとき、更新前設定表示時刻Td0’が選択され
る。
【0228】そして、上記バッファメモリ206では、
VOP表示時刻が、上記選択スイッチ205iからの復
号再開時刻Tstartから、第2の減算器1103からの
設定表示時刻Td0までの範囲内であるVOPのVOP
データがビデオストリームVOPstrとして出力され
る。
【0229】次にこの実施の形態9の効果について説明
する。この実施の形態9の並替ユニット101iでは、
所定のVOPのVOPデータが遅れて受信された場合、
所定VOPに続く所定数の後続VOPを、該各VOP本
来の表示時刻より遅れている実際の表示時刻が徐々にそ
の本来の表示時刻に近づくよう表示するので、VOPデ
ータが遅れて受信された遅延VOPがあっても、該遅延
VOPに続く後続のVOPの表示時刻が緩やかに修正さ
れることとなり、動きが滑らかな動画を表示できる。
【0230】つまり、遅れて受信されたVOPでは、そ
の本来の表示時刻(指定表示時刻Td)に対し、実際の
表示時刻(設定表示時刻Td0)が、その遅延時間に相
当する時間Tddだけ小さい。従って、バッファメモリ2
06からは、VOP表示時刻がその本来の表示時刻Td
よりも前の時刻であるVOP(遅延VOP)のVOPデ
ータが出力され、該遅延VOPが表示されることにな
る。
【0231】以下具体的に、VOP(i)のVOPデー
タが遅れて受信された場合について説明する。図26
(a)は、遅延VOP(i)に続く後続VOP(i+1)
〜(i+3)の実際の表示時刻(設定表示時刻Td0)
が徐々に本来の表示時刻(指定表示時刻Td)に近づく
様子を示している。遅延VOP(i)はその本来の表示
時刻t(i)よりTdd(=Tdd0)だけ遅れた時刻t’
(i)に表示され、遅延VOP(i)に続く後続VOP
(i+1)は、その本来の表示時刻t(i+1)よりT
dd(=Tdd1<Tdd0)だけ遅れた時刻t’(i+1)
に表示される。さらに後続VOP(i+2)は、その本
来の表示時刻t(i+2)よりTdd(=Tdd2<Tdd
1)だけ遅れた時刻t’(i+2)に表示され、そして
後続VOP(i+3)は、その本来の表示時刻t(i+
3)と同じ時刻t’(i+3)に表示される。
【0232】この場合、VOP(i),VOP(i+
1),VOP(i+2),VOP(i+3)の順番に、
実際の表示時刻(設定表示時刻Td0)と本来の表示時
刻(指定表示時刻Td)との差分値Tdd(=Td−Td
0)が、減算カウンタ1110にて減少することとな
り、VOP(i+3)では、実際の表示時刻Td0が本
来の表示時刻減算Tdと一致し、遅延VOPが発生した
ことによる後続VOPの表示時刻の遅れが完全になくな
る。これに対して、遅延VOPに続く後続VOPの表示
時刻を調整しない場合には、後続VOPは本来の表示時
間に表示されることとなり、遅延VOPが発生した場
合、一時的に動きが不自然な動画が表示されることとな
る。
【0233】図26(b)は、遅延VOP(i)に続く後
続VOP(i+1)〜(i+3)が本来の表示時刻(指
定表示時刻Td)に表示される様子を示している。遅延
VOP(i)はその本来の表示時刻t(i)よりTdd
(=Tdd0)だけ遅れた時刻t’(i)に表示される
が、遅延VOP(i)に続く後続VOP(i+1),
(i+2),(i+3)はそれぞれ、その本来の表示時
刻t(i+1),t(i+2),t(i+3)に表示さ
れる。
【0234】このように本実施の形態9では、実施の形
態1の並替ユニット101と同様、先行VOPのVOP
データが後続VOPのVOPデータより遅れて受信され
た時、先行VOPからその時点で表示すべき表示対象V
OPまでのVOPデータを、ビデオストリームVOPst
rとして復号化ユニット102に出力するので、復号化
ユニットでは、先行VOPのVOPデータが後続VOP
のVOPデータより遅れて入力されたときには、先行V
OPのVOPデータから復号化処理を再開することがで
きる。
【0235】また、所定のVOPのVOPデータが遅れ
て受信されたとき、これに続く後続VOPの実際の表示
時刻(設定表示時刻Td0)とその本来の表示時刻(指
定表示時刻Td)との差分値Tdd(=Td−Td0)
を、本来の表示時刻が遅いものほど小さくする減算カウ
ンタ1101を備えたので、VOPデータが遅れて受信
された遅延VOPがあっても、該遅延VOPに続く後続
のVOPの表示時刻が緩やかに修正されることとなり、
動きが滑らかな動画を表示できる。
【0236】(実施の形態10)図27は本発明の実施
の形態10による動画像復号化装置を説明するためのブ
ロック図であり、該動画像復号化装置を構成する並替ユ
ニットを示している。この実施の形態10の動画像復号
化装置における並替ユニット101jは、実施の形態1
の並替ユニット101と同様、第1の時刻抽出部20
1,表示時刻出力部202,更新前時刻出力部203,
第1の比較部204,選択スイッチ205及びバッファ
メモリ206を備えている。
【0237】そして、この並替ユニット101jは、入
力される符号化ストリームVin及び上記選択スイッチ2
05から出力される復号再開時刻Tstartに基づいて制
御信号Cdeを出力する未受信データ判定部1201と、
バッファメモリ206と上記選択スイッチ205との間
に設けられ、未受信データ判定部1201からの制御信
号Cdeに基づいて、該選択スイッチ205から出力され
る復号再開時刻Tstartのバッファメモリ206への供
給を制御する開閉スイッチ1202とを備えている。
【0238】ここで、未受信データ判定部1201は、
VOP表示時刻が、受信VOPのVOP表示時刻Tinか
ら復号再開時刻Tstartの間の時刻であるVOPであっ
て、VOPデータが受信されていないもの(未受信VO
P)があるか否かを判定し、上記制御信号Creとしてそ
の判定結果を示す信号を出力するものである。また、開
閉スイッチ1202は、制御信号Creが未受信VOPが
あることを示すとき非導通状態となり、制御信号Creが
未受信VOPがないことを示すとき導通状態となるもの
である。つまり、未受信VOPが発生したときは、復号
再開時刻Tstartがバッファメモリ206へは供給され
ず、バッファメモリ206からはビデオストリームVO
Pstrが出力されず、その後、未受信VOPのVOPデ
ータが受信されたとき、バッファメモリ206からは、
遅れて受信された遅延VOPから表示対象VOPまでの
VOPデータがビデオストリームVOPstrとして出力
される。
【0239】次に動作について説明する。この実施の形
態10の動画像復号化装置の動作は、並替ユニット10
1jの動作以外は実施の形態1の動画像復号化装置の動
作と同一であり、以下では、主として並替ユニット10
1jの動作について説明する。
【0240】図28はこの並替ユニット101jの動作
のフローを示す図である。まず、実施の形態1の並替ユ
ニット101と同様、符号化ストリームVinとして入力
されるVOPデータの受信(ステップS101)、受信
VOPのVOP表示時刻Tinの抽出(ステップS10
2),指定表示時刻Tdの出力(ステップS103),
更新前表示時刻Td’の出力(ステップS104),及
び符号化ストリームVinのバッファメモリ206への記
録(ステップS105)が行われる。
【0241】その後、この並替ユニット101jの未受
信データ判定部1201では、入力される符号化ストリ
ームVin及び上記選択スイッチ205から出力される復
号再開時刻Tstartに基づいて、VOP表示時刻が、受
信VOPのVOP表示時刻Tinから復号再開時刻Tstar
tの間の時刻であるVOPであって、VOPデータが受
信されていないもの(未受信VOP)があるか否かが判
定される(ステップS1201)。
【0242】このステップS1201にて未受信VOP
があると判定された場合は、開閉スイッチ1202は、
制御信号Creにより非導通状態となり、復号再開時刻T
startがバッファメモリ206へは供給されない。この
ため、バッファメモリ206からはビデオストリームV
OPstrが出力されない。一方、ステップS1201に
て未受信VOPがないと判定された場合は、開閉スイッ
チ1202は、制御信号Creにより導通状態となり、復
号再開時刻Tstartがバッファメモリ206へ供給され
る。
【0243】その後は、実施の形態1の並替ユニット1
01と同様、第1の比較部204でのVOP表示時刻T
inと更新前表示時刻Td’との比較処理(ステップS1
06)、及び比較結果に応じたVOPデータの出力処理
(ステップS107,S108)が行われる。つまり、
データVOP表示時刻Tinが更新前表示時刻Td’より
早い時刻(Tin<Td’)である場合、VOP表示時刻
が、受信VOPのVOP表示時刻Tinと指定表示時刻T
dの間の時刻であるVOPのVOPデータが、バッファ
メモリ206から出力される(ステップS108)。一
方、上記ステップS105での比較の結果、VOP表示
時刻Tinが更新前表示時刻Td’以降の時刻である(T
in≧Td’)場合、VOP表示時刻が、更新前表示時刻
Td’と指定表示時刻Tdの間の時刻であるVOPのV
OPデータが、バッファメモリ206から出力される
(ステップS106)。
【0244】このように本実施の形態10では、実施の
形態1の並替ユニット101と同様、先行VOPのVO
Pデータが後続VOPのVOPデータより遅れて受信さ
れた時、先行VOPからその時点で表示すべき表示対象
VOPまでのVOPデータを、ビデオストリームVOP
strとして復号化ユニット102に出力するので、復号
化ユニットでは、先行VOPのVOPデータが後続VO
PのVOPデータより遅れて入力されたときには、先行
VOPのVOPデータから復号化処理を再開することが
できる。
【0245】また、この実施の形態10では、VOP表
示時刻が、受信VOPのVOP表示時刻Tinから復号再
開時刻Tstartの間の時刻であるVOPであって、VO
Pデータが受信されていないVOP(未受信VOP)が
あるか否かを判定する未受信データ判定部1201を備
え、未受信VOPがあると判定されたとき、受信VOP
から表示対象VOPまでのVOPデータの復号化ユニッ
トへの出力を停止し、未受信VOPがないと判定された
とき、受信VOPから表示対象VOPまでのVOPデー
タを復号化ユニットへ出力するので、未受信VOPがあ
る場合にはこれが受信されるまで、バッファメモリから
復号化ユニットへのビデオストリームVOPstrの出力
が停止されることとなる。この結果、復号化ユニット
が、入力されたビデオストリームVOPstrに対する復
号化処理を行うデコーダのみから構成されている場合で
あっても、正しい参照画像データがない状態で画面間予
測復号化処理が行われるのを回避することができ、これ
により、未受信VOPがあることによる画質劣化を防止
するとともに、所定のVOPで一旦発生した画質劣化が
それ以降のVOPに引き継がれるの阻止することができ
る。
【0246】なお、上記実施の形態10の並替ユニット
101jとして、実施の形態1の並替ユニット101に
おいて未受信データ判定部1201及び開閉スイッチ1
202を備えたものを示したが、実施の形態2,3,
4,7,8,9の並替ユニット101b,101c,1
01d,101g,101h,101hを、未受信デー
タ判定部1201及び開閉スイッチ1202を有するも
のとしてもよい。
【0247】さらに、上記各実施の形態で示した画像復
号化装置はハードウエアではなく、ソフトウエアにより
実現してもよい。例えば、画像復号化装置の動作をコン
ピュータに行わせるための復号プログラムをプログラム
記録媒体に記録し、該プログラム記録媒体から復号プロ
グラムをコンピュータシステムにロードすることによ
り、各実施の形態で示した画像復号化装置をソフトウエ
アにより実現することができる。
【0248】以下、簡単に説明する。図29は、上記プ
ログラム記録媒体としてフロッピー(登録商標)ディス
クを用いる場合の説明図である。図29(a) は、フロッ
ピーディスクの物理フォーマットを説明するための図で
あり、図29(b) は、フロッピーディスク及びこれを収
容するフロッピーディスクケースを示している。フロッ
ピーディスクFDはそのケースF内に内蔵され、該ディ
スクの表面には、同心円状に外周からは内周に向かって
複数のトラックTrが形成され、各トラックは角度方向
に16のセクタSeに分割されている。上記復号プログ
ラムを格納したフロッピーディスクでは、上記フロッピ
ーディスクFD上に割り当てられた領域に、上記復号プ
ログラムとしてのデータが記録されている。
【0249】また、図29(c) は、フロッピーディスク
FDに対する復号プログラムの書き込み及び読み出しを
行うための具体的構成の一例を示す。上記復号プログラ
ムは、コンピュータシステムCsからフロッピーディス
クドライブFDDを介してフロッピーディスクFDに書き
込まれる。また、フロッピーディスクFDに記録された
復号プログラムは、フロッピーディスクドライブFDDを
介してコンピュータシステムCsに読み出される。コン
ピュータシステムCsでは、フロッピーディスクFDか
らロードされた復号プログラムにより、上記各実施の形
態の動画像復号化装置が構築される。
【0250】なお、上記説明では、プログラム記録媒体
としてフロッピーディスクを挙げたが、プログラム記録
媒体は、フロッピーディスクに限らず、例えば、光ディ
スク、ハードディスク、磁気ディスク、光磁気ディス
ク、ROM、不揮発性のメモリーカード等であってもよ
い。
【0251】
【発明の効果】以上のようにこの発明(請求項1,7,
11)によれば、送信側からの符号化ストリームとし
て、動画像を構成する各画像の符号化データを受信し、
受信した各画像の符号化データを、該各画像に設定され
ている個別時刻の早いものから順に、各画像に対応する
送出時刻に送り出す並替処理を行う並替ステップを含
み、第1の送出時刻に送り出すべき画像の符号化データ
を、第1の送出時刻より遅い第2の送出時刻より遅れて
受信したとき、その個別時刻が第1の送出時刻から第2
の送出時刻までの範囲内の時刻である画像の符号化デー
タを送り出すので、画像の符号化データが遅れて受信さ
れたとき、先に受信された画像の符号化データのうち、
この受信時点で表示されるべき画像データの復号化処理
に必要なものが送り出される。このため、上記送出され
た符号化データの復号化処理を行う復号化ステップで
は、符号化データの復号化処理を、遅れて受信された画
像の符号化データから開始することができ、これによ
り、画像の符号化データが遅れて受信された場合でも、
画質劣化の伝播を生じさせることなく、符号化データに
対する復号化処理を行うことができる。
【0252】この発明(請求項2)によれば、請求項1
記載の動画像復号化方法において、上記動画像を構成す
る画像の符号化データを、上記動画像を構成する表示順
序が最後である最終画像を表示すべき時刻より以前に受
信した場合、受信した画像の符号化データを送出し、上
記動画像を構成する画像の符号化データを、上記最終画
像を表示すべき時刻より後に受信した場合、受信した画
像の符号化データを破棄するので、すでに復号化処理を
行う必要のなくなった画像の符号化データが破棄される
こととなる。このため、画像の符号化データを格納する
バッファメモリを有効利用できるとともに、復号化処理
部での同時に復号可能な画像系列(物体)の数が不必要
に増大するのを回避することができる。
【0253】この発明(請求項3)によれば、請求項1
記載の動画像復号化方法において、上記第1の送出時刻
に送り出すべき画像の符号化データを、第1の送出時刻
より遅い第2の送出時刻より遅れて受信したとき、その
個別時刻が第1の送出時刻から第2の送出時刻までの範
囲内の時刻であるすべての画像の符号化データを送出不
可能な場合、受信した画像の符号化データを破棄するの
で、正しい参照画像データが存在しない状態で、復号画
像データを参照する画面間予測復号化処理が行われるの
を回避することができ、これにより復号化過程で画質劣
化の伝播が生じるのを防止することができる。
【0254】この発明(請求項4,9,12)によれ
ば、送信側からの符号化ストリームとして、動画像を構
成する各画像の符号化データを受信し、受信した各画像
の符号化データを、該各画像に設定されている個別時刻
の早いものから順に送り出す並替処理を行う並替ステッ
プを含み、上記並替処理により、正常な復号化処理が不
可能な画像の符号化データが送出されたとき、該符号化
データの送出時点から、その後、上記並替処理により、
正常な復号化処理が可能な画像の符号化データが送出さ
れるまでの間、画像の符号化データに対する復号化処理
を中断するので、画像の著しい画質劣化が生ずるのを回
避でき、しかも画像の画質が劣化した状態が続く画質劣
化の伝播を防止することができる。
【0255】この発明(請求項5)によれば、請求項4
記載の動画像復号化方法において、上記正常な復号化処
理が不可能である画像の符号化データが送出されたとき
の復号化処理の中断を行うか否かを、ユーザの操作信号
に基づいて決定するので、ユーザーの好みや用途に応じ
て、符号化データのエラー検出時に復号化処理を中断す
るか否かの選択をすることができる。
【0256】この発明(請求項6)によれば、請求項4
記載の動画像復号化方法において、上記画像の符号化デ
ータが形状情報を含むものである場合のみ、上記正常な
復号化処理が不可能な画像の符号化データが送出された
ときに、該符号化データの送出時点から、その後、正常
な復号化処理が可能な画像の符号化データが送出される
までの間、上記符号化データに対する復号化処理を中断
するので、伝送エラーなどの画質への悪影響が小さい、
形状信号を有しない画像系列に対しては、実時間性を損
なわないように復号化処理を施すことができ、しかも伝
送エラーなどの画質への悪影響が大きい、形状信号を有
する画像系列に対しては、伝送エラーなどによる画質の
劣化を低減することができる。
【0257】この発明(請求項8)によれば、請求項7
記載の動画像復号化装置において、表示画像出力部で
は、データ並替部にて、その個別時刻が第1の送出時刻
から第2の送出時刻までの範囲内の時刻である画像の符
号化データが送出されたとき、該送出された画像の符号
化データのうちで、その個別時刻が第2の送出時刻に最
も近い画像の復号画像データのみを表示画像データとし
て出力するので、復号化側では、常に、復号化処理が完
了した画像のうちで、最も新しい画像の表示を行うこと
ができる。
【0258】この発明(請求項10)によれば、請求項
9記載の動画像復号化装置において、表示画像出力部で
は、復号化部にて画像の符号化データに対する復号化処
理が中断されている間、上記復号化部にて最後に復号化
処理が施された画像復号データを表示画像データとして
出力するので、符号化データに対する復号化処理の中断
の間にも、正しい復号化処理が施された画像を表示する
ことができる。
【0259】この発明(請求項13,17,20)によ
れば、動画像を構成する各画像の符号化データを受信し
て該符号化データの復号化処理を行う際、所要の送出時
刻に復号化部へ送り出すべき画像の符号化データを、該
所要の送出時刻までに受信できない場合は、上記所要の
送出時刻に送り出すべき画像の符号化データを受信する
まで、画像の符号化データの復号化部への送出を停止
し、上記所要の送出時刻に送り出すべき画像の符号化デ
ータを受信した後、画像の符号化データの復号化部への
送出を再開するので、対応する送出時刻までに受信され
ていない未受信の画像の符号化データがある場合にはこ
れが受信されるまで、復号化部への符号化データの出力
が停止されることとなる。この結果、復号化部が、入力
された符号化データに対する復号化処理を行うデコーダ
のみから構成されている場合であっても、正しい参照画
像データがない状態で画面間予測復号化処理が行われる
のを回避することができ、これにより、未受信の画像の
符号化データがあることによる画質劣化を防止するとと
もに、所定の画像で一旦発生した画質劣化がそれ以降の
画像に引き継がれるの阻止することができる。
【0260】この発明(請求項14,18,21)によ
れば、動画像を構成する各画像の符号化データを受信し
て該符号化データの復号化処理を行う際、所要の送出時
刻に送り出すべき画像の符号化データを、該所要の送出
時刻までに受信できない場合は、所定の条件が満たされ
るまで、あるいは上記所要の送出時刻に送り出すべき画
像の符号化データを受信するまで、画像の符号化データ
の送出を停止し、上記所定の条件が満たされた後、ある
いは上記所要の送出時刻に送り出すべき画像の符号化デ
ータを受信した後、画像の符号化データの送出を再開す
るので、対応する送出時刻までに受信されていない未受
信の画像の符号化データがある場合にはこれが受信され
るまで、あるいは所定の条件が満たされるまで、復号化
部への符号化データの出力が停止されることとなる。こ
の結果、未受信の画像の符号化データがあることによる
画質劣化を防止することができ、しかもバッファメモリ
の動作が不必要な符号化データにより阻害されるのを防
止できる。
【0261】この発明(請求項15)によれば、請求項
14記載の動画像復号化方法において、上記所定の条件
を、上記並替処理の際、受信した各画像の符号化ストリ
ームを格納するバッファメモリの残存記憶容量が所定値
以下となる条件としたので、バッファメモリのオーバフ
ローを回避することができる。
【0262】この発明(請求項16)によれば、請求項
14記載の動画像復号化方法において、上記所定の条件
を、上記並替処理の際に、画像の符号化データの送出を
停止している時間が所定値以上となる条件としたので、
符号化データの到着が遅れた遅延画像から、その時点で
の表示対象の画像までの符号化データの一部がバッファ
メモリから削除されていて、遅延画像から表示対象の画
像までの符号化データを正常に復号化できない場合に、
遅延画像の符号化データがバッファメモリに出力される
のを回避することができる。
【0263】この発明(請求項19)によれば、請求項
18記載の動画像復号化装置において、データ並替部に
て、復号化部への画像の符号化データの送出が停止され
た後、画像の符号化データの送出が再開されたとき、一
定期間内の画像の表示を、上記送出停止により発生した
画像の表示タイミングの遅れが画像の表示の度に小さく
なるよう行うので、所定の画像の符号化データが遅れて
受信された場合、該所定の画像に続く所定数の後続の画
像を、該各画像の本来の表示時刻より遅れている実際の
表示時刻が徐々にその本来の表示時刻に近づくよう表示
される。このため、符号化データが遅れて受信された遅
延画像があっても、該遅延画像に続く後続の画像の表示
時刻が緩やかに修正されることとなり、動きが滑らかな
動画を表示できる。
【図面の簡単な説明】
【図1】本発明の実施の形態1による動画像復号装置1
00を説明するためのブロック図である。
【図2】上記実施の形態1の動画像復号化装置100に
おける符号化ストリームの処理の流れを説明するための
図である。
【図3】上記実施の形態1の動画像復号化装置100を
構成する並替ユニット101を説明するためのブロック
図である。
【図4】上記実施の形態1の並替ユニット101の動作
を示すフローチャート図である。
【図5】上記実施の形態1の動画像復号化装置100を
構成する復号化ユニット102を説明するためのブロッ
ク図である。
【図6】上記実施の形態1の復号化ユニット102の動
作を示すフローチャート図である。
【図7】上記実施の形態1の動画像復号化装置100に
おける符号化ストリームの処理の他の例を説明するため
の図である。
【図8】上記実施の形態1の動画像復号化装置100を
構成する並替ユニットの他の例(並替ユニット101a
を説明するためのブロック図である。
【図9】上記実施の形態1の並替ユニット101aの動
作を示すフローチャート図である。
【図10】本発明の実施の形態2による動画像復号化装
置を説明するためのブロック図であり、該動画像復号化
装置を構成する並替ユニットを示している。
【図11】上記実施の形態2の並替ユニット101bの
動作を示すフローチャート図である。
【図12】上記実施の形態2の動画像復号化装置の動作
を説明するための図であり、6つの画像系列(物体A〜
F)が表示される時間帯(図(a))、及び各画像系列の
符号化ストリームが各並替ユニット(復号化ユニット)
で処理される時間帯を示す。
【図13】本発明の実施の形態3による動画像復号化装
置を説明するためのブロック図であり、該動画像復号化
装置を構成する並替ユニット101cを示している。
【図14】実施の形態3の並替ユニット101cの動作
を示すフローチャート図である。
【図15】本発明の実施の形態4による動画像復号化装
置を説明するためのブロック図であり、該動画像復号化
装置を構成する並替ユニット101dを示している。
【図16】実施の形態4の並替ユニット101dの動作
を示すフローチャート図である。
【図17】本発明の実施の形態5による動画像復号化装
置を説明するためのブロック図であり、該動画像復号化
装置を構成する復号化ユニット102eを示している。
【図18】実施の形態5の復号化ユニット102eの動
作を示すフローチャート図である。
【図19】本発明の実施の形態6による動画像復号化装
置を説明するためのブロック図であり、該動画像復号化
装置を構成する復号化ユニット102fを示している。
【図20】実施の形態6の復号化ユニットの動作を示す
フローチャート図である。
【図21】本発明の実施の形態7による動画像復号化装
置を説明するためのブロック図であり、該動画像復号化
装置を構成する並替ユニット101gを示している。
【図22】実施の形態7の並替ユニット101gの動作
を示すフローチャート図である。
【図23】本発明の実施の形態8による動画像復号化装
置を説明するためのブロック図であり、該動画像復号化
装置を構成する並替ユニット101hを示している。
【図24】実施の形態8の並替ユニット101hの動作
を示すフローチャート図である
【図25】本発明の実施の形態9による動画像復号化装
置を説明するためのブロック図であり、該動画像復号化
装置を構成する並替ユニット101iを示している。
【図26】実施の形態9の効果を説明するための図であ
り、遅延VOP(i)に続く後続VOP(i+1)〜(i+3)の実
際の表示時刻Td0が徐々に本来の表示時刻Tdに近づ
く様子(図(a))、及び、遅延VOP(i)に続く後続VO
P(i+1)〜(i+3)が本来の表示時刻(指定表示時刻Td)
に表示される様子(図(b))を示している。
【図27】本発明の実施の形態10による動画像復号化
装置を説明するためのブロック図であり、該動画像復号
化装置を構成する並替ユニット101jを示している。
【図28】実施の形態10の並替ユニット101jの動
作を示すフローチャート図である。
【図29】上記各実施の形態の動画像復号化装置をコン
ピュータシステムにより実現するための復号プログラム
を格納した記録媒体(図29(a),(b))、及び上記コン
ピュータシステム(図(c))を説明するための図であ
る。
【図30】従来の動画像復号化装置を説明するためのブ
ロック図である。
【図31】従来の動画像復号化装置における符号化スト
リームの処理の流れを説明するための図であり、受信さ
れた符号化ストリームにおけるVOPデータの順序が正
しい場合(図(a))、及び受信された符号化ストリーム
におけるVOPデータの順序が正しくない場合(図
(b))を示している。
【図32】従来の動画像復号化装置における符号化スト
リームの処理の流れを説明するための図である。
【符号の説明】
100 動画像復号化装置 101,101a,101b,101c,101d,1
01g,101h,101i,101j 並替ユニット 102,102e,102f 復号化ユニット 103 ビデオメモリ 104 ビデオコンポジタユニット 105 表示ユニット 201 第1の時刻抽出部 201a イントラVOP時刻抽出部 202 表示時刻出力部 203,203i 更新前時刻出力部 204 第1の比較部 204i 遅延判定部 205,205c,205g,205h,205i 選
択スイッチ 206 バッファメモリ 301 第2の時刻抽出部 302 エラー検出部 303 デコーダ 304,304e エラー通知部 305,308,403,503,802,902,1
202 開閉スイッチ 306 最大時刻保持部 307 第2の比較部 401 有効時刻抽出部 402 第3の比較部 501 最古時刻抽出部 502 第4の比較部 601 形状有無判定部 701 外部指示部 801 バッファ残量計算部 901 第5の比較部 1001 並換ユニット 1002 復号化ユニット 1003 ビデオメモリ 1004 ビデオコンポジタユニット 1005 表示ユニット 1101 メモリ 1102 表示時刻出力部 1103 デコーダ 1110 減算カウンタ 1120 第1の減算器 1130 第2の減算器 1201 未受信で判定部 Cs コンピュータシステム Csw1,Cde,Cpre,Csw3,STRsw,Csw5 制
御信号 Ecsel 外部操作信号 FD フロッピディスク FDD フロッピディスクドライブ F フロッピーディスクケース Itime 時刻情報 Irest バッファ残量情報 Iuse メモリ使用情報 MEMin メモリ入力データ Nerr エラー通知信号 Ndel 遅延判定信号 Se セクタ Shape 形状判定信号 Tr トラック Td 指定表示時刻 Td’,Td0’ 更新前表示時刻 Td0 設定表示時刻 Tdd カウンタ出力(差分時間) Tin VOP表示時刻 Tstart 復号再開時刻 TRerr 伝送エラー通知信号 TSerr ストリームエラー通知信号 Tmax 最大時刻 Tmin 最古時刻 Tivop イントラVOP表示時刻 Tval 有効時刻 Vin 符号化ストリーム VOPstr ビデオストリーム VOPref 参照画像データ VOPout 復号画像データ VOPdsp 表示画像データ VOPsel 表示画面選択信号 Vout 合成画像データ

Claims (21)

    【特許請求の範囲】
  1. 【請求項1】 それぞれ個別時刻が設定された画像から
    なる動画像の画像データを符号化して得られる符号化ス
    トリームを復号化する動画像復号化方法であって、 送信側からの符号化ストリームとして各画像の符号化デ
    ータを受信し、受信した各画像の符号化データを、該各
    画像に設定されている個別時刻の早いものから順に、各
    画像に対応する送出時刻に送り出す並替処理を行う並替
    ステップと、 上記並替処理により送出された各画像の符号化データに
    対して復号化処理を施して、各画像に対応する復号画像
    データを生成する復号化ステップとを含み、 上記並替ステップは、第1の送出時刻に送り出すべき画
    像の符号化データを、第1の送出時刻より遅い第2の送
    出時刻より遅れて受信したとき、その個別時刻が第1の
    送出時刻から第2の送出時刻までの範囲内の時刻である
    画像の符号化データを送り出すものであることを特徴と
    する動画像復号化方法。
  2. 【請求項2】 請求項1記載の動画像復号化方法におい
    て、 上記並替ステップは、上記動画像を構成する画像の符号
    化データを、上記動画像を構成する表示順序が最後であ
    る最終画像を表示すべき時刻より以前に受信した場合、
    受信した画像の符号化データを送出し、上記動画像を構
    成する画像の符号化データを、上記最終画像を表示すべ
    き時刻より後に受信した場合、受信した画像の符号化デ
    ータを破棄するものであることを特徴とする動画像復号
    化方法。
  3. 【請求項3】 請求項1記載の動画像復号化方法におい
    て、 上記並替ステップは、上記第1の送出時刻に送り出すべ
    き画像の符号化データを、第1の送出時刻より遅い第2
    の送出時刻より遅れて受信したとき、その個別時刻が第
    1の送出時刻から第2の送出時刻までの範囲内の時刻で
    あるすべての画像の符号化データを送出可能な場合、該
    すべての画像の符号化データを送出し、その個別時刻が
    第1の送出時刻から第2の送出時刻までの範囲内の時刻
    であるすべての画像の符号化データを送出不可能な場
    合、受信した画像の符号化データを破棄するものである
    ことを特徴とする動画像復号化方法。
  4. 【請求項4】 それぞれ個別時刻が設定された画像から
    なる動画像の画像データを符号化して得られる符号化ス
    トリームを復号化する動画像復号化方法であって、 送信側からの符号化ストリームとして各画像の符号化デ
    ータを受信し、受信した各画像の符号化データを、該各
    画像に設定されている個別時刻の早いものから順に送り
    出す並替処理を行う並替ステップと、 上記並替処理により送出された各画像の符号化データに
    対して復号化処理を施して、各画像に対応する復号画像
    データを生成する復号化ステップとを含み、 上記復号化ステップは、上記並替処理により、正常な復
    号化処理が不可能な画像の符号化データが送出されたと
    き、該符号化データの送出時点から、その後、上記並替
    処理により、正常な復号化処理が可能な画像の符号化デ
    ータが送出されるまでの間、画像の符号化データに対す
    る復号化処理を中断するものであることを特徴とする動
    画像復号化方法。
  5. 【請求項5】 請求項4記載の動画像復号化方法におい
    て、 上記復号化ステップは、上記正常な復号化処理が不可能
    である画像の符号化データが送出されたときの復号化処
    理の中断を行うか否かを、ユーザの操作信号に基づいて
    決定するものであることを特徴とする画像復号化方法。
  6. 【請求項6】 請求項4記載の動画像復号化方法におい
    て、 上記復号化ステップは、 上記並替処理により送出された画像の符号化データが、
    画像の形状を示す形状情報を含むものである否かを判定
    する形状判定ステップを含み、 上記画像の符号化データが形状情報を含むものである場
    合、上記正常な復号化処理が不可能な画像の符号化デー
    タが送出されたときには、該符号化データの送出時点か
    ら、その後、正常な復号化処理が可能な画像の符号化デ
    ータが送出されるまでの間、上記符号化データに対する
    復号化処理を中断し、上記画像の符号化データが形状情
    報を含まないものである場合、上記並替処理により送出
    された画像の符号化データが上記正常な復号化処理が可
    能なものであるか否かに拘わらず、上記符号化データに
    対する復号化処理を続行するものであることを特徴とす
    る動画像復号化方法。
  7. 【請求項7】 それぞれ個別時刻が設定された画像から
    なる動画像の画像データを符号化して得られる符号化ス
    トリームを復号化する動画像復号化装置であって、 送信側からの符号化ストリームとして各画像の符号化デ
    ータを受信し、受信した各画像の符号化データを、該各
    画像に設定されている個別時刻の早いものから順に、各
    画像に対応する送出時刻に出力するデータ並替部と、 上記データ並替部から送出された各画像の符号化データ
    に対して復号化処理を施して、各画像に対応する復号画
    像データを生成する復号化部と、 該復号化部から出力された各画像に対応する復号画像デ
    ータを、各画像の表示が所定のタイミングで行われるよ
    う表示画像データとして出力する表示画像出力部とを備
    え、 上記データ並替部は、第1の送出時刻に送り出すべき画
    像の符号化データを、第1の送出時刻より遅い第2の送
    出時刻より遅れて受信したとき、その個別時刻が第1の
    送出時刻から第2の送出時刻までの範囲内の時刻である
    画像の符号化データを送り出すものであることを特徴と
    する動画像復号化装置。
  8. 【請求項8】 請求項7記載の動画像復号化装置におい
    て、 上記表示画像出力部は、上記データ並替部にて、その個
    別時刻が第1の送出時刻から第2の送出時刻までの範囲
    内の時刻である画像の符号化データが送出されたとき、
    該符号化データが送出された画像のうちで、その個別時
    刻が第2の送出時刻に最も近い画像の復号画像データの
    みを表示画像データとして出力するものであることを特
    徴とする動画像復号化装置。
  9. 【請求項9】 それぞれ個別時刻が設定された画像から
    なる動画像の画像データを符号化して得られる符号化ス
    トリームを復号化する動画像復号化装置であって、 送信側からの符号化ストリームとして各画像の符号化デ
    ータを受信し、受信した各画像の符号化データを、該各
    画像に設定されている個別時刻の早いものから順に送出
    するデータ並替部と、 上記データ並替部から出力された各画像の符号化データ
    に対して復号化処理を施して、各画像に対応する復号画
    像データを生成する復号化部と、 該復号化部から出力された各画像に対応する復号画像デ
    ータを、各画像の表示が所定のタイミングで行われるよ
    う表示画像データとして出力する表示画像出力部とを備
    え、 上記復号化部は、データ並替部から正常な復号化処理が
    不可能な画像の符号化データが送出されたとき、該符号
    化データの送出時点から、その後、データ並替部から正
    常な復号化処理が可能な画像の符号化データが送出され
    るまでの間、画像の符号化データに対する復号化処理を
    中断するものであることを特徴とする動画像復号化装
    置。
  10. 【請求項10】 請求項9記載の動画像復号化装置にお
    いて、 上記表示画像出力部は、上記復号化部にて画像の符号化
    データに対する復号化処理が中断されている間、上記復
    号化部にて最後に復号化処理が施された画像復号データ
    を表示画像データとして出力するものであることを特徴
    とする動画像復号化装置。
  11. 【請求項11】 それぞれ個別時刻が設定された画像か
    らなる動画像の画像データを符号化して得られる符号化
    ストリームに対する復号化処理をコンピュータにより行
    うためのプログラムを格納したプログラム記録媒体であ
    って、 上記プログラムは、 コンピュータが、送信側からの符号化ストリームとして
    各画像の符号化データを受信し、受信した各画像の符号
    化データを、該各画像に設定されている個別時刻の早い
    ものから順に、各画像に対応する送出時刻に送り出す並
    替処理を行い、この並替処理の際、コンピュータが、第
    1の送出時刻に送り出すべき画像の符号化データを、第
    1の送出時刻より遅い第2の送出時刻より遅れて受信し
    た場合、コンピュータが、その個別時刻が第1の送出時
    刻から第2の送出時刻までの範囲内の時刻である画像の
    符号化データを送り出すための並替プログラムと、 コンピュータが、上記並替処理により送出された各画像
    の符号化データに対して復号化処理を施して、各画像に
    対応する復号画像データを生成するための復号プログラ
    ムとから構成されていることを特徴とするプログラム記
    録媒体。
  12. 【請求項12】 それぞれ個別時刻が設定された画像か
    らなる動画像の画像データを符号化して得られる符号化
    ストリームに対する復号化処理をコンピュータにより行
    うためのプログラムを格納したプログラム記憶媒体であ
    って、 上記プログラムは、 コンピュータが、送信側からの符号化ストリームとして
    各画像の符号化データを受信し、受信した各画像の符号
    化データを、該各画像に設定されている個別時刻の早い
    ものから順に送り出す並替処理を行うための並替プログ
    ラムと、 コンピュータが、上記並替処理により送出された各画像
    の符号化データに対して復号化処理を施して、各画像に
    対応する復号画像データを生成し、この復号化処理の
    際、上記並替処理により、正常な復号化処理が不可能な
    画像の符号化データが送出されたとき、該符号化データ
    の送出時点から、その後、並替処理により、正常な復号
    化処理が可能な画像の符号化データが送出されるまでの
    間、コンピュータが画像の符号化データに対する復号化
    処理を中断するための復号プログラムとから構成されて
    いることを特徴とするプログラム記録媒体。
  13. 【請求項13】 それぞれ個別時刻が設定された画像か
    らなる動画像の画像データを符号化して得られる符号化
    ストリームを復号化する動画像復号化方法であって、 送信側からの符号化ストリームとして各画像の符号化デ
    ータを受信し、受信した各画像の符号化データを、該各
    画像に設定されている個別時刻の早いものから順に、各
    画像に対応する送出時刻に送り出す並替処理を行う並替
    ステップと、 上記並替処理により送出された各画像の符号化データに
    対して復号化処理を施して、各画像に対応する復号画像
    データを生成する復号化ステップとを含み、 上記並替ステップは、所要の送出時刻に送り出すべき画
    像の符号化データを、該所要の送出時刻までに受信でき
    ない場合は、上記所要の送出時刻に送り出すべき画像の
    符号化データを受信するまで、画像の符号化データの送
    出を停止し、上記所要の送出時刻に送り出すべき画像の
    符号化データを受信した後、画像の符号化データの送出
    を再開するものであることを特徴とする動画像復号化方
    法。
  14. 【請求項14】 それぞれ個別時刻が設定された画像か
    らなる動画像の画像データを符号化して得られる符号化
    ストリームを復号化する動画像復号化方法であって、 送信側からの符号化ストリームとして各画像の符号化デ
    ータを受信し、受信した各画像の符号化データを、該各
    画像に設定されている個別時刻の早いものから順に、各
    画像に対応する送出時刻に送り出す並替処理を行う並替
    ステップと、 上記並替処理により送出された各画像の符号化データに
    対して復号化処理を施して、各画像に対応する復号画像
    データを生成する復号化ステップとを含み、 上記並替ステップは、所要の送出時刻に送り出すべき画
    像の符号化データを、該所要の送出時刻までに受信でき
    ない場合は、所定の条件が満たされるまで、あるいは上
    記所要の送出時刻に送り出すべき画像の符号化データを
    受信するまで、画像の符号化データの送出を停止し、上
    記所定の条件が満たされた後、あるいは上記所要の送出
    時刻に送り出すべき画像の符号化データを受信した後、
    画像の符号化データの送出を再開するものであることを
    特徴とする動画像復号化方法。
  15. 【請求項15】 請求項14記載の動画像復号化方法に
    おいて、 上記所定の条件は、上記並替処理の際、受信した各画像
    の符号化ストリームを格納するバッファメモリの残存記
    憶容量が所定値以下となることであることを特徴とする
    動画像復号化装置。
  16. 【請求項16】 請求項14記載の動画像復号化方法に
    おいて、 上記所定の条件は、上記並替処理の際に、画像の符号化
    データの送出を停止している時間が所定値以上となるこ
    とであることを特徴とする動画像復号化装置。
  17. 【請求項17】 それぞれ個別時刻が設定された画像か
    らなる動画像の画像データを符号化して得られる符号化
    ストリームを復号化する動画像復号化装置であって、 送信側からの符号化ストリームとして各画像の符号化デ
    ータを受信し、受信した各画像の符号化データを、該各
    画像に設定されている個別時刻の早いものから順に、各
    画像に対応する送出時刻に出力するデータ並替部と、 上記データ並替部から出力された各画像の符号化データ
    に対して復号化処理を施して、各画像に対応する復号画
    像データを生成する復号化部と、 該復号化部から出力された各画像に対応する復号画像デ
    ータを、各画像の表示が所定のタイミングで行われるよ
    う表示画像データとして出力する表示画像出力部とを備
    え、 上記データ並替部は、所要の送出時刻に送り出すべき画
    像の符号化データを、該所要の送出時刻までに受信でき
    ない場合は、上記所要の送出時刻に送り出すべき画像の
    符号化データを受信するまで、画像の符号化データの送
    出を停止し、上記所要の送出時刻に送り出すべき画像の
    符号化データを受信した後、画像の符号化データの送出
    を再開するものであることを特徴とする動画像復号化方
    法。
  18. 【請求項18】 それぞれ個別時刻が設定された画像か
    らなる動画像の画像データを符号化して得られる符号化
    ストリームを復号化する動画像復号化装置であって、 送信側からの符号化ストリームとして各画像の符号化デ
    ータを受信し、受信した各画像の符号化データを、該各
    画像に設定されている個別時刻の早いものから順に、各
    画像に対応する送出時刻に出力するデータ並替部と、 上記データ並替部から出力された各画像の符号化データ
    に対して復号化処理を施して、各画像に対応する復号画
    像データを生成する復号化部と、 該復号化部から出力された各画像に対応する復号画像デ
    ータを、各画像の表示が所定のタイミングで行われるよ
    う表示画像データとして出力する表示画像出力部とを備
    え、 上記データ並替部は、所要の送出時刻に送り出すべき画
    像の符号化データを、該所要の送出時刻までに受信でき
    ない場合は、所定の条件が満たされるまで、あるいは上
    記所要の送出時刻に送り出すべき画像の符号化データを
    受信するまで、画像の符号化データの送出を停止し、上
    記所定の条件が満たされた後、あるいは上記所要の送出
    時刻に送り出すべき画像の符号化データを受信した後、
    画像の符号化データの送出を再開するものであることを
    特徴とする動画像復号化装置。
  19. 【請求項19】 請求項18記載の動画像復号化装置に
    おいて、 上記表示画像出力部は、上記データ並替部にて、復号化
    部への画像の符号化データの送出が停止された後、画像
    の符号化データの送出が再開されたとき、一定期間内の
    画像の表示を、上記送出停止により発生した画像の表示
    タイミングの遅れが画像の表示の度に小さくなるよう行
    うものであることを特徴とする動画像復号化装置。
  20. 【請求項20】 それぞれ個別時刻が設定された画像か
    らなる動画像の画像データを符号化して得られる符号化
    ストリームに対する復号化処理をコンピュータにより行
    うためのプログラムを格納したプログラム記憶媒体であ
    って、 上記プログラムは、 コンピュータが、送信側からの符号化ストリームとして
    各画像の符号化データを受信し、受信した各画像の符号
    化データを、該各画像に設定されている個別時刻の早い
    ものから順に、各画像に対応する送出時刻に送り出す並
    替処理を行い、この並替処理の際、コンピュータが、所
    要の送出時刻に送り出すべき画像の符号化データを、該
    所要の送出時刻までに受信できない場合は、コンピュー
    タが、上記所要の送出時刻に送り出すべき画像の符号化
    データを受信するまで、画像の符号化データの送出を停
    止し、上記所要の送出時刻に送り出すべき画像の符号化
    データを受信した後、画像の符号化データの送出を再開
    するための並替プログラムと、 コンピュータが、上記並替処理により送出された各画像
    の符号化データに対して復号化処理を施して、各画像に
    対応する復号画像データを生成するための復号プログラ
    ムとから構成されていることを特徴とするデータ記憶媒
    体。
  21. 【請求項21】 それぞれ個別時刻が設定された画像か
    らなる動画像の画像データを符号化して得られる符号化
    ストリームに対する復号化処理をコンピュータにより行
    うためのプログラムを格納したプログラム記憶媒体であ
    って、 上記プログラムは、 コンピュータが、送信側からの符号化ストリームとして
    各画像の符号化データを受信し、受信した各画像の符号
    化データを、該各画像に設定されている個別時刻の早い
    ものから順に、各画像に対応する送出時刻に送り出す並
    替処理を行い、上記並替処理の際、コンピュータが、所
    要の送出時刻に送り出すべき画像の符号化データを、該
    所要の送出時刻までに受信できない場合は、コンピュー
    タが、所定の条件が満たされるまで、あるいは上記所要
    の送出時刻に送り出すべき画像の符号化データを受信す
    るまで、画像の符号化データの送出を停止し、上記所定
    の条件が満たされた後、あるいは上記所要の送出時刻に
    送り出すべき画像の符号化データを受信した後、画像の
    符号化データの送出を再開するための並替プログラム
    と、 コンピュータが、上記並替処理により送出された各画像
    の符号化データに対して復号化処理を施して、各画像に
    対応する復号画像データを生成するための復号プログラ
    ムとから構成されていることを特徴とする動画像復号化
    方法。
JP2000324412A 1999-10-25 2000-10-24 動画像復号化方法,動画像復号化装置及びプログラム記録媒体 Pending JP2001197493A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000324412A JP2001197493A (ja) 1999-10-25 2000-10-24 動画像復号化方法,動画像復号化装置及びプログラム記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP30183799 1999-10-25
JP11-301837 1999-10-25
JP2000324412A JP2001197493A (ja) 1999-10-25 2000-10-24 動画像復号化方法,動画像復号化装置及びプログラム記録媒体

Publications (1)

Publication Number Publication Date
JP2001197493A true JP2001197493A (ja) 2001-07-19

Family

ID=26562895

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000324412A Pending JP2001197493A (ja) 1999-10-25 2000-10-24 動画像復号化方法,動画像復号化装置及びプログラム記録媒体

Country Status (1)

Country Link
JP (1) JP2001197493A (ja)

Similar Documents

Publication Publication Date Title
US9497502B2 (en) Method and apparatus enabling fast channel change for DSL system
RU2613738C2 (ru) Сигнализация информации состояния для буфера декодированных картинок и списков опорных картинок
TWI571113B (zh) 視訊位元流中之隨機存取
US5910827A (en) Video signal decoding arrangement and method for improved error concealment
US7116714B2 (en) Video coding
US8355437B2 (en) Video error resilience
JP4769717B2 (ja) 画像復号化方法
JP5043096B2 (ja) チャネル変更方法及びデジタル・ビデオ装置
US8320686B2 (en) Detailed description of the invention
US8253775B2 (en) Multipoint conference system, multipoint conference method, and program
TW200406117A (en) Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, video encoding program, and video decoding program
US9264737B2 (en) Error resilient transmission of random access frames and global coding parameters
JPH08154247A (ja) 圧縮画像データ処理装置及び方法
EP1096804B1 (en) Video decoding method, video decoding apparatus, and program storage media
JP2002027483A (ja) 画像符号化装置、画像復号化装置および記憶媒体
JP2003116136A (ja) 動画像復号装置
JP2002010265A (ja) 送信装置およびその方法と受信装置およびその方法
JP2001197493A (ja) 動画像復号化方法,動画像復号化装置及びプログラム記録媒体
JP2003125400A (ja) 動画像を符号化する方法及び装置及びプログラム並びに動画像音声多重化の方法及び装置
JP2002027470A (ja) 画像データ復号装置および画像データ復号方法
JP2002152181A (ja) マルチメディアデータ通信方法およびマルチメディアデータ通信装置
JP2002077922A (ja) 画像制御システム及び画像復号化装置
JP2001309375A (ja) メディア分離方法と画像復号方法及び装置
JP2002094938A (ja) データ処理方法及び装置、データ伝送システム、伝送媒体
KR100215822B1 (ko) 비트스트림 오버플로우를 방지하는 영상디코딩방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050222

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050614

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050729

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060801