JP3078991B2 - 低遅延モード画像復号方法および装置 - Google Patents

低遅延モード画像復号方法および装置

Info

Publication number
JP3078991B2
JP3078991B2 JP30327394A JP30327394A JP3078991B2 JP 3078991 B2 JP3078991 B2 JP 3078991B2 JP 30327394 A JP30327394 A JP 30327394A JP 30327394 A JP30327394 A JP 30327394A JP 3078991 B2 JP3078991 B2 JP 3078991B2
Authority
JP
Japan
Prior art keywords
frame
decoding
data
low
delay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP30327394A
Other languages
English (en)
Other versions
JPH08163559A (ja
Inventor
嘉郁 川村
豊 岡田
朋行 進藤
茂 小松
孝之 小林
隆二 西塔
律彦 永井
Original Assignee
株式会社グラフィックス・コミュニケーション・ラボラトリーズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社グラフィックス・コミュニケーション・ラボラトリーズ filed Critical 株式会社グラフィックス・コミュニケーション・ラボラトリーズ
Priority to JP30327394A priority Critical patent/JP3078991B2/ja
Publication of JPH08163559A publication Critical patent/JPH08163559A/ja
Application granted granted Critical
Publication of JP3078991B2 publication Critical patent/JP3078991B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、符号化された画像信号
を復号する画像復号方法および装置における低遅延モー
ド(Low Delay Mode)での復号に関するものである。
【0002】
【従来の技術】デジタル表現された画像データを伝送ま
たは蓄積する場合、データ量を削減するために符号化が
行われる。符号化の方法としては、画像情報の時間的ま
たは空間的相関性を利用して冗長度を少なくする方法が
ある。
【0003】時間的相関性を利用する方法として、連続
する2画面(フレーム)の差分を符号化したり、画像の
動きを検出して動き補償を行ったりするものがある。ま
た、空間的相関性を利用する方法として、画像を所定の
大きさのブロック(例えば縦方向、横方向とも8画素ず
つ)に分けて、ブロック内のデータを直交変換し、変換
係数をスキャン変換し(例えば低周波成分から高周波成
分の順に並べ替える)、可変長符号化を行うものがあ
る。MPEG(Moving Picture Experts Group)が標準
化を進めている画像符号化方式(以下、MPEG2と略
す)は、上記2つの方法を併用するものとなっている。
MPEG2の暫定勧告はGeneric Codingof Moving Pict
ures and Associated Audioと題するISO /IEC1
3818−2に記載されている。
【0004】図6は、このような方法により符号化され
たデータを復号する従来の画像復号装置の構成例であ
る。図6において、10はメモリ蓄積手段で、バッファ
メモリ制御部11とバッファメモリ51とからなる。2
0は復号手段で、可変長復号器21、スキャン変換器2
2、逆量子化器23、逆DCT部24、 動き補償画像再
生部25及び予測フレームメモリ26からなる。また、
50はメモリで、バッファメモリ51とフレームメモリ
52〜54ならびに前記予測フレームメモリ26を有し
ている。100は符号化された画像を表現する入力ビッ
トストリーム、200は再生画像を示す。
【0005】次に、動作について説明する。
【0006】入力ビットストリーム100はバッファメ
モリ制御部11の制御により、バッファメモリ51に蓄
積される。バッファメモリ51から読み出されたデ−タ
は、可変長復号器21によって、可変長復号される。
【0007】全データが可変長符号化されている訳では
ないが、固定長符号もこの可変長復号器21で復号され
るものとする。次に、スキャン変換器22によりデータ
の順序を並び替えた後、逆量子化器23により逆量子化
される。次に、逆DCT部24により逆離散コサイン変
換される。動き補償画像再生部25では、フレーム間差
分を受信した場合は、予測データ40を予測フレームメ
モリ26から読み出し、逆DCT部24からの受信デー
タと加算した後、復号データ41を予測フレームメモリ
26に書き込む。フレーム内で符号化されたデータを受
信した場合は、受信データをそのまま予測フレームメモ
リ26に書き込む。以上のようにして再生画像200が
再生される。
【0008】前方(片方)予測では前のフレーム(ここ
ではIフレーム)から時間的に後のフレーム(ここでは
Pフレーム)の予測を行う。このため、Pフレームの再
生には予め復号されているIフレームの予測データ40
を読み出す必要がある。予測データ40と逆DCT部2
4の出力である予測誤差によりPフレームが再生され、
復号データ41として予測フレームメモリ26に書き込
まれる。さらに、この書き込まれたデータは表示データ
42として読み出され、動き補償画像再生部25から再
生画像200が出力される。
【0009】また、ュアルプライム(Dual Prime)予
測では、参照するIフレーム又はPフレームの二つのフ
ィールドの予測を平均してフィールドを予測する必要が
ある。
【0010】MPEG2の双方向予測では、時間的前の
フレーム(ここではIフレーム)から時間的に後のフレ
ーム(ここではPフレーム)の両フレームから時間的に
中間のフレーム(ここではBフレーム)の予測を行う。
このためBフレームの再生には、予め復号されているI
フレームとPフレームの予測データ40をメモリ50か
ら呼び出す必要がある。(MPEG2では、時間的に後
のPフレームはBフレームに先立って復号される。) 予測データ40と逆DCT部24の出力、すなわち予測
誤差によりBフレームが再生され、双方向の復号データ
41としてフレームメモリ52〜54に書き込まれる。
フレームメモリ52〜54中にあるI、P、Bのフレー
ムは、所定の順に表示データ42としてフレームメモリ
52〜54から読み出され、再生画像200が出力され
る。
【0011】さらに、低遅延モード(Low Delay Mode)
が、テレビ電話,テレビ会議システム等のリアルタイム
画像を使ったコミュニケーションのために準備されてい
る。入力ビットストリーム100内の低遅延フラグが
“1”の時、低遅延モードであることを示す。低遅延モ
ードでは、時間的に前後のフレームからの中間のフレー
ム(ここではBフレーム)を予測することが禁止されて
おり、また、エンコーダは1つ以上のフレームをスキッ
プすることができる機能(スキップドピクチャと呼ばれ
る)を有する。
【0012】
【発明が解決しようとする課題】通常の双方向予測で
は、復号処理開始から表示処理が始まるまでに1.5フ
レーム分の遅延が発生する。これは復号処理を行う際に
双方向予測した復号データを一度フレームメモリに書き
込んだ後、再度表示のために読み出す処理を行っている
ためであり、必然的に遅延が発生する。そのため、低遅
延性が必要とされるテレビ電話,テレビ会議システム等
の通信応用では大きな障害となることがわかった。
【0013】また、IフレームとPフレームの前方向
(片方向)予測の復号を低遅延モードで、かつ、符号器
が復号器の仮想入力バッファの蓄積量を90KHzクロ
ックの時間で示すvbv delay (本明細書ではこれをvb
v遅延値という)を‘0’で行った場合、情報量の少な
いフレーム(Pフレーム)を復号、表示している時に、
情報量の多いフレーム(Iフレーム)が挿入された時、
復号時間が大きくなり、表示時間に対し復号時間が間に
合わず、表示できない場合が発生する。このため、画像
再生品質を劣化させることがわかった。
【0014】本発明は、従来の双方向予測を行う画像復
号装置における上記問題を解決し、画像再生品質を劣化
させない低遅延を実現する低遅延モード画像復号方法お
よび装置を提供することを目的とする。
【0015】
【課題を解決するための手段】本発明にかかる低遅延モ
ード画像復号方法は、MPEG2で定められている各プ
ロファイルにおける低遅延モードで符号化された画像を
表現する入力ビットストリームを入力して、画像を復号
する方法において、低遅延モード復号を行う際、復号器
のvbv遅延値を“0”に設定して復号を行い、前記低
遅延モードにおける復号が間に合わなかったフレームが
発生したときに、そのフレームをスキップし、この時に
スキップされたフレームの一つ前のフレームデータを再
度読み出し表示データとして再生するとともに、次にく
る表示データを前述の再度読み出しを行っている間に復
号が完了している最新のデータとしてこれを表示するも
のである。
【0016】本発明にかかる低遅延モード画像復号装置
は、MPEG2で定められている各プロファイルにおけ
る低遅延モードで符号化された画像を表現する入力ビッ
トストリームを入力して、画像を復号する装置におい
て、低遅延モード復号を行う際、復号器のvbv遅延値
を“0”に設定し、復号を行う遅延値制御手段を備えた
ものである。
【0017】
【作用】本発明によれば、低遅延モードにおいて、さら
に遅延を少なくするために、vbv遅延値=“0”で復
号及び表示を行う。これによりさらに低遅延が可能とな
る。また、低遅延モードでかつvbv遅延値=“0”で
復号及び表示を行う場合において、復号が間に合わなか
ったフレームが発生した時に、そのフレームをスキップ
、画像再生品質を劣化させない動作を可能とする。M
PEG2では、シンプル,メイン,SNR(Signa
l to Noise Retio)スケーラブル,S
(空間:Spatial)スケーラブルおよびハイの5
つのプロファイルと、ハイ,ハイ1440,メインおよ
びローの4つのレベルとの組合せで仕様を分類してい
る。例えば、シンプルのプロファイルとメインのレベル
を組合せたものはSP@MLと表す。MPEG2で使用
できるのは11種類の仕様であり、SP@ML,MP@
L,MP@H1440,M@ML,MP@LL,S
NR@ML,SNR@LL,SSP@P1440,HP
@HL,HP@H1440,HP@Lである。本発明
は、MPEG2で定められている各プロファイルにおけ
る低遅延モード時に、適用するものである。
【0018】
【実施例】〔基本構成例〕 本発明の基本構成例を図1及び図2により説明する。
【0019】図1は、本発明の基本構成例の構成を示す
ブロック図で、60は低遅延モードフラグあり、その他
は図と同じである。
【0020】図2は、図1の基本構成例における動き補
償画像再生部25の詳細を示すもので、25Aは遅延値
制御手段、25Bはスキップ手段、25Cは表示データ
再生手段、25Dは表示制御手段である。
【0021】次に図1,図2の基本構成例の動作を図3
のタイミング図を参照して説明する。
【0022】まず、入力ビットストリーム100から可
変長復号器21によりヘッダの解析を行い、低遅延モー
ドフラグ60が“0”か“1”かをチエックする。も
し、低遅延モードフラグ60の“1”を検出したとき、
外部CPUまたは内部ロジックコントローラ等の遅延値
制御手段25Aにより、低遅延モードを設定すると同時
に、vbv遅延値=“0”に設定する。これにより、予
測フレームメモリ26への書き込み,読み出し及び表示
方法を変更する。
【0023】低遅延モードではBフレームが含まれてい
ないので、Iフレーム及びPフレームのみの復号が行わ
れる。これは前方向(片方向SP: シンプルプロファイ
ル)予測と同様な動作となる。
【0024】vbv遅延値が“0”に設定されている時
は、入力ビットストリーム100は1フレームの復号が
終った直後の表示すべきタイミングで表示が行われる。
これにより、低遅延モード時に遅延を減少させることが
できる。 〔実施例〕 本発明の実施例1を図4及び図5のタイミング図を参照
して説明する。
【0025】低遅延モードで、かつvbv遅延値=
“0”で復号及び表示を行う場合において、P2フレー
ムを復号,表示している時に、次に情報量の多いI2フ
レームが挿入されると、このフレームの復号に時間がか
かり、前フレーム(P2フレーム)の表示が完了し、次
のI2フレームの表示期間内にI2フレームの復号が完
了せず、次のP3フレームの表示期間にまたがってしま
い、このフレームの表示が間に合わない。このため、こ
のフレームをスキップ手段25Bでスキップ処理し、代
わりに、表示データ再生手段25Cにより前のP2フレ
ームデータを再度読み出し、表示制御手段25Dにより
再生表示する。
【0026】また、この次にくる表示データは、前述の
再度読み出し及び表示を行っている間に復号が完了して
いる最新のデータ(図4の場合ではI2フレーム、図5
の場合ではP3フレーム)を表示する。
【0027】以上のような操作を行うことにより、再生
画像品質を劣化させないで表示処理が行える。
【0028】
【発明の効果】本発明にかかる低遅延モード画像復号方
法は、MPEG2で定められている各プロファイルにお
ける低遅延モードで符号化された画像を表現する入力ビ
ットストリームを入力して、画像を復号する方法におい
て、低遅延モード復号を行う際、復号器のvbv遅延値
を“0”に設定して、復号を行い低遅延モードにおける
復号が間に合わなかったフレームが発生したときは、そ
のフレームをスキップし、その一つ前のフレームデータ
を再度読み出して表示データとして再生するので、常に
最新のデータを表示することができる。
【0029】また、本発明にかかる低遅延モード画像復
号装置は、低遅延モードになるとvbv遅延値を“0”
に設定し、復号を行う遅延値制御手段と、復号が間に会
わなかったフレームが発生したときに、そのフレームを
スキップするスキップ手段と、表示データ再生手段およ
び表示制御手段を備えたので、復号が間に合わなかった
フレームはスキップして、前のフレームデータを再度読
み出して再生,表示するので、画像再生品質を劣化させ
ない利点を有する。
【0030】
【図面の簡単な説明】
【図1】本発明の基本構成例を示すブロック図である。
【図2】図1の基本構成例の動き補償画像再生部の詳細
を示すブロック図である。
【図3】本発明の基本構成例の画像復号装置の復号処理
/表示処理タイミングを示す図である。
【図4】本発明の実施例の画像復号装置の復号処理/
表示タイミング例1を示す図である。
【図5】本発明の実施例の画像復号装置の復号処理/
表示タイミング例2を示す図である。
【図6】従来の画像復号装置の構成例を示すブロック
図。
【符号の説明】
10 メモリ蓄積手段 11 バッファメモリ制御部 20 復号手段 21 可変長復号器 22 スキャン変換器 23 逆量子化器 24 逆DCT部 25 動き補償画像再生部 26 予測フレームメモリ 40 予測データ 41 復号データ 42 表示データ 50 メモリ 51 バッファメモリ 52 Iフレームメモリ 53 Pフレームメモリ 54 Bフレームメモリ 60 低遅延モードフラグ 100 入力ビットストリーム 200 再生画像
───────────────────────────────────────────────────── フロントページの続き (72)発明者 進藤 朋行 東京都渋谷区代々木4丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (72)発明者 小松 茂 東京都渋谷区代々木4丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (72)発明者 小林 孝之 東京都渋谷区代々木4丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (72)発明者 西塔 隆二 東京都渋谷区代々木4丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (72)発明者 永井 律彦 東京都渋谷区代々木4丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (56)参考文献 特開 平6−30396(JP,A) 特開 平3−6184(JP,A) 特開 平8−149464(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 - 7/68 H04N 5/91 - 5/956

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 MPEG2で定められている各プロファ
    イルにおける低遅延モードで符号化された画像を表現す
    る入力ビットストリームを入力して、画像を復号する方
    法において、 低遅延モード復号を行う際、復号器のvbv遅延値を
    “0”に設定して復号を行い、 前記低遅延モードにおける復号が間に合わなかったフレ
    ームが発生したときに、そのフレームをスキップし、 この時にスキップされたフレームの一つ前のフレームデ
    ータを再度読み出し表示データとして再生するととも
    に、 次にくる表示データを前述の再度読み出しを行っている
    間に復号が完了している最新のデータとしてこれを表示
    することを特徴とする低遅延モード画像復号方法。
  2. 【請求項2】 MPEG2で定められている各プロファ
    イルにおける低遅延モードで符号化された画像を表現す
    る入力ビットストリームを入力して、画像を復号する装
    置において、 低遅延モード復号を行う際、復号器のvbv遅延値を
    “0”に設定し、復号を行う遅延値制御手段と、 前記低遅延モードにおける復号が間に合わなかったフレ
    ームが発生したときに、そのフレームをスキップするス
    キップ手段と、 この時にスキップされたフレームの一つ前のフレームデ
    ータを再度読み出し表示データとして再生する表示デー
    タ再生手段と、 次にくる表示データを前述の再度読み出しを行っている
    間に復号が完了している最新のデータとしてこれを表示
    する表示制御手段とを有することを特徴とする低遅延モ
    ード画像復号装置。
JP30327394A 1994-12-07 1994-12-07 低遅延モード画像復号方法および装置 Expired - Lifetime JP3078991B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30327394A JP3078991B2 (ja) 1994-12-07 1994-12-07 低遅延モード画像復号方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30327394A JP3078991B2 (ja) 1994-12-07 1994-12-07 低遅延モード画像復号方法および装置

Publications (2)

Publication Number Publication Date
JPH08163559A JPH08163559A (ja) 1996-06-21
JP3078991B2 true JP3078991B2 (ja) 2000-08-21

Family

ID=17918980

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30327394A Expired - Lifetime JP3078991B2 (ja) 1994-12-07 1994-12-07 低遅延モード画像復号方法および装置

Country Status (1)

Country Link
JP (1) JP3078991B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW369747B (en) * 1997-01-16 1999-09-11 Matsushita Electric Ind Co Ltd Image encoding device and the method
JP4496935B2 (ja) * 2004-11-22 2010-07-07 富士通マイクロエレクトロニクス株式会社 オーディオ・ビデオ出力デバイス及びオーディオ・ビデオ出力方法
JP4799854B2 (ja) * 2004-12-09 2011-10-26 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4749002B2 (ja) * 2005-02-25 2011-08-17 ルネサスエレクトロニクス株式会社 データ転送装置、画像処理装置及びデータ転送制御方法
JP5072893B2 (ja) 2009-03-25 2012-11-14 株式会社東芝 画像符号化方法および画像復号化方法
JP6234660B2 (ja) 2012-04-27 2017-11-22 富士通株式会社 動画像復号装置
JP6288129B2 (ja) * 2016-03-07 2018-03-07 富士通株式会社 動画像復号装置及び動画像復号方法
JP6249040B2 (ja) * 2016-04-11 2017-12-20 富士通株式会社 動画像復号方法
CN111435989B (zh) * 2019-01-15 2023-11-17 华为技术有限公司 视频编码、解码方法、装置及计算机存储介质
WO2020158095A1 (ja) * 2019-02-01 2020-08-06 株式会社Nttドコモ 評価装置

Also Published As

Publication number Publication date
JPH08163559A (ja) 1996-06-21

Similar Documents

Publication Publication Date Title
US7903743B2 (en) Memory sharing in video transcoding and displaying
US6449311B1 (en) Methods and apparatus for error concealment utilizing temporal domain motion vector estimation
US5739862A (en) Reverse playback of MPEG video
JP3078991B2 (ja) 低遅延モード画像復号方法および装置
US7555042B2 (en) Method and apparatus for reverse play
JPH09200695A (ja) 高速再生のためのビデオデータの復号化方法及びその装置
JP3034173B2 (ja) 画像信号処理装置
JP2898413B2 (ja) 所要メモリ容量の低減化を伴う圧縮ビデオデータ流の復号化及び符号化のための方法
JP2003333540A (ja) フレームレート変換装置及びそれを用いた映像表示装置、テレビジョン放送受信装置
US6144323A (en) Method and apparatus for decoding video data
JP2820631B2 (ja) 画像復号方法および装置
JP3078990B2 (ja) 低遅延モード画像復号方法
JP2824024B2 (ja) 画像復号方法および装置
JP3017646B2 (ja) フレームレート変換機能付き画像復号装置
JP4184223B2 (ja) トランスコーダ
JP2000115777A (ja) 画像処理方法および画像処理装置
JP3017644B2 (ja) 画像復号装置における表示用同期信号発生装置
KR0180167B1 (ko) 영상부호화를 위한 프레임 재배열 장치
JPH08107482A (ja) 画像復号装置
JPH08126011A (ja) 画像復号方法および画像復号装置
JPH08130741A (ja) 画像復号化装置
JP3037569B2 (ja) 画像復号装置
JPH11164308A (ja) 映像符号化方法およびこの映像符号化方法による符号データが格納された記録媒体
KR19990058626A (ko) 엠펙 디코더
JPH09214956A (ja) 画像復号化装置