JPH11205739A - 画像再生方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 符号化された動画像の滑らかな逆方向再生を
行う。 【解決手段】 領域割当部２９が割り当てたメモリ１７
の領域に書込み制御部２１は順方向復号された画像を書
き込む。メモリ１７再生順序記憶部３１は、メモリ１７
に保持された複数の画像の再生順序を記憶する。逆方向
再生する際には、再生順序記憶部３１が記憶する順序の
逆順に従って読出し制御部２５がメモリ１７内に保持さ
れている復号画像を読出す。領域割当部２９が割り当て
るべき空き領域が無い場合、間引き制御部２７は、メモ
リ１７に保持された復号画像又は表示済み画像を間引き
してメモり１７に上書きさせることにより画像を間引
く。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＤＶＤ等のディス
ク媒体や、磁気テープ等に記録されている符号化画像デ
ータを再生する画像再生方法および画像再生装置に関す
るものであり、特に逆方向再生を滑らかに行える画像再
生方法および装置に関する。

【０００２】

【従来の技術】従来、動画像信号を高能率符号化するた
めの要素技術として、入力画像の空間的相関性に基づい
て離散コサイン変換した係数を伝送することにより情報
量を圧縮する離散コサイン変換（ＤＣＴ）、時間的相関
性に基づいて情報量を圧縮するフレーム間予測法、シン
ボル出現確率を考慮して符号語を割り当てる統計的情報
圧縮である可変長符号化等が知られている。これらの要
素技術を組み合わせた高度な画像圧縮符号化方式の一例
として、ＭＰＥＧ２方式と呼ばれる規格ＩＳＯ／ＩＥＣ
１３８１８−２がある。

【０００３】このＭＰＥＧ２方式においては、８×８画
素のブロックに分割された画像をＤＣＴ変換してピクチ
ャ内符号化した「Ｉピクチャ」、「Ｉピクチャ」に基づ
いてフレーム間予測した誤差を伝送することにより時間
的情報量の削減を行う順方向予測画像である「Ｐピクチ
ャ」、ＩピクチャまたはＰピクチャから中間の画像を予
測する双方向予測画像である「Ｂピクチャ」が利用され
る。

【０００４】以下、ＭＰＥＧ２方式の画像符号化・復号
化方式について説明する。

【０００５】まず、符号化側においては、原画像データ
から可変長符号化されたピクチャ情報と動きベクトルを
含む画像データを求め、これにヘッダ情報を付加するこ
とにより、圧縮画像データを生成する。

【０００６】上記ヘッダ情報には、ピクチャ情報を可変
長符号化する際の量子化の単位を示す量子化ステップ情
報が含まれている。また、上記動きベクトル情報は、２
つのピクチャ間の被写体の動きを示したものである。

【０００７】ここで、Ｉピクチャの符号化の場合には、
Ｉピクチャのみからピクチャ情報が求められるのに対し
て、Ｐピクチャの符号化の場合には、Ｐピクチャとその
前方参照画像であるＩピクチャ又はＰピクチャとの差分
を用いてピクチャ情報が求められ、またＢピクチャの場
合には、Ｂピクチャとその前方参照画像及び後方参照画
像との差分を用いてピクチャ情報が求められる。

【０００８】そこで、Ｂピクチャは通常２つ連続する
が、Ｂピクチャを復号する際にはその前後のＩピクチャ
又はＰピクチャを必要とするため、エンコード側におい
て、Ｂピクチャから見て時間的に後にあるピクチャを先
にＩピクチャ又はＰピクチャとして符号化して出力する
必要がある。したがって、双方向予測符号化を行う場合
には、ピクチャ間の時間的順序が入れ替わって符号化さ
れる。

【０００９】また、ＭＰＥＧ方式においては、図６に示
すようなグループオブピクチャ（以下、ＧＯＰと略す）
と呼ばれる複数のピクチャからなる単位が用いられる。
これは、動画像記憶媒体に対するランダムアクセスを実
現するためや放送チャンネル切換時に速やかに画像を表
示するために、アクセスのためのエントリー点を設ける
ために採用されたものである。このＧＯＰ内の構造は、
Ｉ、Ｐ及びＢピクチャで任意に構成可能であるが、一般
的には、先頭にＩピクチャを置き、その後に一定の周期
（ＩまたはＰピクチャの周期をＭで表示する）、例え
ば、３ピクチャでＰピクチャを置き、その間にＢピクチ
ャを挟む周期的な構造が用いられている。また、ＧＯＰ
の長さも任意の長さが可能であるが、一般的には、１０
〜１５ピクチャ程度の長さ（Ｎ）が用いられている。

【００１０】また図６に示すように、ＭＰＥＧ等の動き
予測符号化された画像データを復号する際には、前方予
測参照画像と後方予測参照画像を保持するためのメモリ
を持ち、先に復号化した参照画像（Ｉピクチャ、Ｐピク
チャ）を用いて予測符号化された画像（Ｐピクチャ、Ｂ
ピクチャ）を復号化する。

【００１１】したがって、この動き予測符号化された画
像データを逆方向再生する際にも先に参照画像を復号す
る必要があるため、図７に示すようなＧＯＰ構造を持つ
符号化された画像信号を復号する際には、いくつもの参
照画像の復号を繰り返さないと復号画像を得ることがで
きない。

【００１２】たとえば、図７の例において、逆方向再生
の最初の画像であるＰ１０を復号するためには、Ｉ１，
Ｐ４，Ｐ７が復号されていなければならず、Ｐ１０を含
めて画像復号数が４となる。以下、Ｂ９、Ｂ８の各画像
復号数は１、Ｐ７は前方参照画像として保持されている
ので画像復号数は０、Ｂ６を復号する際には、再度Ｉ
１，Ｐ４を復号するために復号画像数は３となる。以下
省略するが、結局１０枚の画像を逆方向に再生する場合
の復号回数は１２回となる。

【００１３】このため特開平８-７９６８７、特開平８-
７９６８８号公報で開示されているように、符号化デー
タ中のＩピクチャ（フレーム内符号化された画像）のみ
や、ＩピクチャとＰピクチャ（前方予測を用いて符号化
された画像）のみを拾って、逆方向再生を行なってい
た。

【００１４】また、特開平９-５５９４６号公報で開示
されている例では、復号化した画像をダウンサンプリン
グして画像データ量を削減して保持することで、通常の
復号に必要なメモリ量で、１ＧＯＰ分の画像をメモリに
蓄え、逆順に読み出すことで逆方向再生を行っていた。

【００１５】

【発明が解決しようとする課題】しかしながら、上記従
来のＩピクチャのみ又は Ｉピクチャ、Ｐピクチャを拾
って逆方向再生を行う場合、再生される画像はＢピクチ
ャを含まない飛び飛びの画像であるため、動きがぎこち
ない逆再生画像になってしまうという問題点があった。

【００１６】また、ダウンサンプルした画像を保持し、
逆順に読み出して逆方向再生する場合には、画質が劣化
する以外に、通常再生から逆再生に切り替えるために
は、モードを切り替えてから１ＧＯＰ分の画像の復号化
を終えないと逆方向の再生画の出力ができないため、逆
方向再生の指示を受けてから画像が表示されるまでのレ
スポンスが悪いといった問題点があった。

【００１７】以上の問題点に鑑み本発明の目的は、動き
の滑らかな逆方向再生画像を得ることができる画像再生
方法及び装置を提供することである。また本発明の目的
は、画質の劣化がない逆方向再生が行える画像再生方法
及び装置を提供することである。また本発明の目的は、
逆方向再生の指示を受けてから画像が表示されるまでの
時間を短縮したレスポンスの速い画像再生方法及び装置
を提供することである。

【００１８】

【課題を解決するための手段】上記目的を達成するため
に本発明は、符号化された動画像データを復号した復号
画像をメモリに書き込み、このメモリから前記復号画像
を読み出して動画像を出力する画像再生方法において、
順方向復号した複数の画像を前記メモリに保持し、この
メモリに保持された複数の順方向復号画像を逆順に読み
出して出力することにより動画像の逆方向再生を行うこ
とを要旨とする画像再生方法である。

【００１９】また本発明は、符号化された動画像データ
を復号した復号画像をメモリに書き込み、このメモリか
ら前記復号画像を読み出して動画像を出力する画像再生
方法において、復号した画像を順方向再生により表示
後、表示済みの複数画像を前記メモリ内に保持してお
き、逆方向再生する際に前記メモリ内に保持されている
表示済みの複数画像を逆順に読み出して出力することに
より動画像の逆方向再生を行うことを要旨とする画像再
生方法である。

【００２０】また本発明は、符号化された動画像データ
を復号する復号手段と、この復号手段で復号された復号
画像を保持するメモリと、このメモリに保持された復号
画像を読み出して動画像を出力する画像再生装置におい
て、順方向復号した画像を記憶すべき前記メモリ内の領
域を割り当てる領域割当手段と、前記メモリに保持され
た複数の画像の再生順序を記憶する再生順序記憶手段
と、前記メモリから画像再生のための読出しを制御する
読出し制御手段とを有し、逆方向再生する際には、前記
再生順序記憶手段が記憶する順序の逆順に従って前記読
出し制御手段が前記メモリ内に保持されている復号画像
を読出すことを要旨とする画像再生装置である。

【００２１】また本発明は、符号化された動画像データ
を復号する復号手段と、この復号手段で復号された復号
画像を保持するメモリと、このメモリに保持された復号
画像を読み出して動画像を出力する画像再生装置におい
て、直近の順方向再生済みの画像を保持可能なように順
方向復号した複数の画像を記憶すべき前記メモリ内の領
域を割り当てる領域割当手段と、前記メモリに保持され
た複数の画像の再生順序を記憶する再生順序記憶手段
と、前記メモリから画像再生のための読出しを制御する
読出し制御手段とを有し、逆方向再生する際には、前記
再生順序記憶手段が記憶する順序の逆順に従って前記読
出し制御手段が前記メモリ内に保持されている再生済み
画像を含む複数の画像を読出すことを要旨とする画像再
生装置である。

【００２２】

【発明の実施の形態】次に図面を参照して、本発明の実
施の形態を詳細に説明する。図１は、本発明に係る画像
再生装置の実施形態を示すブロック図であり、ＭＰＥＧ
を用いて符号化された画像データを再生する場合を例に
説明する。

【００２３】図１において、画像再生装置１は、符号化
された画像データが入力される入力バッファ３、可変長
符号化された量子化変換係数を復号する可変長復号部
５、量子化ステップ情報に基づいて量子化変換係数を逆
量子化する逆量子化部７、逆離散コサイン変換によりフ
レーム内符号化画像を復号する逆ＤＣＴ部９、前方参照
画像及、後方参照画像及び動きベクトル情報を用いてフ
レーム間予測符号化された画像の復号を行う動き補償部
１１、出力Ｉ／Ｆ部１３、メモリＩ／Ｆ部１５、複数フ
レームの記憶容量を有するメモリ１７を備えている。

【００２４】メモリＩ／Ｆ部１５は、書込み制御部２
１、順方向／逆方向再生制御部２３、読出し制御部２
５、間引き制御部２７、領域割当部２９、再生順序記憶
部３１を備えていて、メモリ１７と動き補償部１１及び
出力Ｉ／Ｆ部１３とのインタフェース制御を行う。

【００２５】メモリＩ／Ｆ部１５の書込制御部２１は、
後述される領域割当部２９が割り当てたメモリ１７の記
憶領域に画像を書き込む。順方向／逆方向再生制御部２
３は、動画像の順方向再生、スロー再生、逆方向再生、
ストップモーション等の通常再生及びトリックプレイの
全体制御を行う。

【００２６】読出し制御部２５は、順方向再生画像の読
出し、逆方向再生画像の読出し、動き補償部１１が参照
する前方参照画像及び後方参照画像の読出しを制御す
る。領域割当部２９は、復号画像を書き込むべきメモリ
１７の領域割当て、及びメモリ１７に保持すべき表示済
みの画像の制御を行う。

【００２７】間引き制御部２７は、領域割当部２９が割
り当てるべき空き領域が無くなったとき、いずれの画像
を間引くかを判断し、領域割当部２９に指示する。再生
順序記憶部３１は、順方向復号化された複数の画像の順
方向再生順序を記憶するものである。

【００２８】外部のＤＶＤプレーヤなどのディスク装
置、ＶＴＲ、ＶＯＤ等から入力される符号化された画像
データは、入力バッファ３、可変長復号部５、逆量子化
部７、逆ＤＣＴ部９、動き補償部１１、メモリＩ／Ｆ１
５を用いてメモリ１７上で復号化され、出力Ｉ／Ｆ１３
を介して復号画像がディスプレイ装置等へ出力される。

【００２９】図２は、図１の画像再生装置１の動作を説
明する画像再生ダイヤグラムであり、１ＧＯＰ当たり４
フレームで構成されている例を示している。図２（ａ）
は、順方向再生の例を示し、Ｘ，Ｘ＋１，Ｘ＋２，Ｘ＋
３，Ｘ＋４の各ＧＯＰは、それぞれ１枚のＩピクチャ、
１枚のＰピクチャ及び２枚のＢピクチャからなるものと
する。

【００３０】それぞれのＧＯＰは、ＧＯＰ内の画像が他
のＧＯＰから独立再生可能なクローズドＧＯＰであり、
それぞれＩピクチャ、Ｐピクチャ、Ｂピクチャ、Ｂピク
チャの順で記憶媒体から読み出されるが、順方向再生順
はＩピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャの
順である。

【００３１】従来の画像再生装置における逆方向再生で
は、例えば図２（ｂ）に示すように、各ＧＯＰからＩピ
クチャのみを取り出し、それぞれのＧＯＰの表示期間だ
け同じＩピクチャを繰り返し表示していたので、動きが
不連続な逆再生画像となっていた。

【００３２】図２で示される符号化画像データを逆方向
に再生する場合、符号化画像データは動き補償予測を用
いて符号化されているため、ＧＯＰ単位で逆方向に読み
出すことはできるが、ＧＯＰ内での復号化の順番を変え
ることはできない。

【００３３】そこで本発明では、図１における領域割当
部２９が表示を終えたメモリ１７の画像領域を、順次、
復号化画像格納領域として再割り当てるように動作し
（図２参照）、復号化を終えた画像をメモリ１７内に保
持し、再生順序記憶部３１に記憶した順方向再生順の逆
順に従って、読出し制御部２５が読み出すことで逆方向
再生を行う。

【００３４】ここで図２の例の場合、メモリ１７の容量
としては、４フレーム分が必要となっているが、この中
に復号化の際に前方参照画像及び後方参照画像を保持す
る参照メモリの分が含まれていることに注意されたい。

【００３５】また、順方向再生する場合、領域割当部２
９は、図３に示すように、表示を終えた画像領域を直ち
に復号化画像格納領域として再割り当てするのではな
く、表示終了が古い順に再割り当てするように動作す
る。このようにメモリ１７の領域を割り当てることで、
順方向再生から逆方向再生モードに切り替わった際に、
メモリ内に保持されている表示済み画像を逆順に再表示
することができるため、途切れなく逆方向再生画像を出
力することができる。

【００３６】また逆方向再生画像を表示する場合、ＧＯ
Ｐの先頭から復号化を行い、逆順に読み出す必要がある
ため、順方向再生モードから逆方向再生モードに変わっ
ても直ちに逆方向再生モードで復号化した画像を表示す
ることができないが、順方向再生モードで復号化、表示
し終えた画像をメモリ１７に保持しておくことで、逆方
向再生モードに切り替わってから逆方向再生画像が出力
されるまでのタイムラグを吸収することができる。

【００３７】ここで、１ＧＯＰ内の画像フレーム数が多
く、復号化した画像を保持するためのメモリ量が足らな
い場合、図４（ａ）に示すように、足らなくなった分の
復号画像をメモリ１７に書き込まないように間引き制御
部２７から書込み制御部２１へ指示する、もしくは図５
に示すように保持している画像を上書きするように間引
き制御部２７から領域割当部２９に指示する。この場
合、逆方向再生する際にはメモリ１７の容量が許す限り
滑らかな逆方向再生が行われることになる。

【００３８】また、あらかじめ１ＧＯＰ内のフレーム数
が分かっている場合には、図４（ｂ）に示すように、メ
モリ１７に書き込む復号化画像をサンプリングして保持
することで、逆方向再生する際に、ぎこちなく再生され
ることを軽減することができる。

【００３９】なお、本実施の形態では説明の簡単化のた
めに、各ＧＯＰは、ＧＯＰ内の画像が他のＧＯＰから独
立再生可能なクローズドＧＯＰであるとして、ＧＯＰの
先頭にＩピクチャが配置される例を説明したが、クロー
ズドＧＯＰ以外のＧＯＰ構成を有する動画像にも適用す
ることができる。

【００４０】この場合の逆再生時の復号化及び表示法と
しては、各ＧＯＰ内のＩピクチャに先行して伝送される
Ｂピクチャ、Ｐピクチャはデコードぜずに、代わりの画
像（Ｉピクチャ）を表示するか、或いは、時系列的な一
つ前のＧＯＰ（ｎ−１）を先取りして、このＧＯＰ（ｎ
−１）のＩピクチャ、Ｐピクチャを復号化し、この復号
化された画像を前方参照画像として、ＧＯＰ（ｎ）の先
頭部のＢピクチャ又はＰピクチャを復号化すればよい。

【００４１】また本発明の応用例として、ＭＰ＠ＨＬの
ＭＰＥＧ２デコーダを用いてＭＰ＠ＭＬの符号化画像デ
ータを復号化する場合には、ＨＬ用として設けられたデ
コードメモリの容量が余るので、追加的なメモリを必要
とすることなく、この余ったデコードメモリを用いて１
５フレーム程度のＭＬ画像をメモリに保持することがで
きるので、滑らかな逆方向再生、及びレスポンスの速い
逆方向再生を実現することができる。

【００４２】

【発明の効果】以上説明したように本発明によれば、動
きの滑らかな逆方向再生画像を得ることができる画像再
生方法及び装置を提供することができる。また本発明に
よれば、画質の劣化がない逆方向再生が行える画像再生
方法及び装置を提供することができる。また本発明によ
れば、逆方向再生の指示を受けてから画像が表示される
までの時間を短縮したレスポンスの速い画像再生方法及
び装置を提供することができる。

【図面の簡単な説明】

【図１】本発明に係る画像再生装置の実施形態を示すブ
ロック図である。

【図２】実施形態における逆方向再生を行う際のメモリ
の動的領域割当を説明する図である。

【図３】順方向再生から逆方向再生に移行する際のメモ
リの動的割当を説明する図である。

【図４】実施形態における復号化画像をメモリに保持す
る際に間引きを行う方法を説明する図である。

【図５】実施形態における復号化画像をメモリに保持す
る際に上書きを行う方法を説明する図である。

【図６】ＭＰＥＧにおける画像の符号化、復号化の順番
を示す図である。

【図７】従来の画像再生装置における画像単位でＧＯＰ
内の逆方向再生をする場合の手順を示す図である。

【符号の説明】

１…画像再生装置、３…入力バッファ、５…可変長復号
部、７…逆量子化部、９…逆ＤＣＴ部、１１…動き補償
部、１３…出力Ｉ／Ｆ部、１５…メモリＩ／Ｆ部、１７
…メモリ、２１…書込み制御部、２３…順方向／逆方向
再生制御部、２５…読出し制御部、２７…間引き制御
部、２９…領域割当部、３１…再生順序記憶部。

Claims (8)

【特許請求の範囲】
1. 【請求項１】 符号化された動画像データを復号した復
   号画像をメモリに書き込み、このメモリから前記復号画
   像を読み出して動画像を出力する画像再生方法におい
   て、 順方向復号した複数の画像を前記メモリに保持し、この
   メモリに保持された複数の順方向復号画像を逆順に読み
   出して出力することにより動画像の逆方向再生を行うこ
   とを特徴とする画像再生方法。
2. 【請求項２】 符号化された動画像データを復号した復
   号画像をメモリに書き込み、このメモリから前記復号画
   像を読み出して動画像を出力する画像再生方法におい
   て、 復号した画像を順方向再生により表示後、表示済みの複
   数画像を前記メモリ内に保持しておき、逆方向再生する
   際に前記メモリ内に保持されている表示済みの複数画像
   を逆順に読み出して出力することにより動画像の逆方向
   再生を行うことを特徴とする画像再生方法。
3. 【請求項３】 順方向復号した画像を前記メモリに書込
   み又は表示済みの画像を前記メモリに保持する際に、画
   像の間引きを行うことを特徴とする請求項１又は請求項
   ２記載の画像再生方法。
4. 【請求項４】 順方向復号した画像を前記メモリに書込
   み又は表示済みの画像を前記メモリに保持する際に、こ
   のメモリに空き領域が無ければ、既に前記メモリに保持
   されている画像に上書きをして画像の間引きを行うこと
   を特徴とする請求項１乃至請求項３のいずれか１項記載
   の画像再生方法。
5. 【請求項５】 符号化された動画像データを復号する復
   号手段と、この復号手段で復号された復号画像を保持す
   るメモリと、このメモリに保持された復号画像を読み出
   して動画像を出力する画像再生装置において、 順方向復号した画像を記憶すべき前記メモリ内の領域を
   割り当てる領域割当手段と、 前記メモリに保持された複数の画像の再生順序を記憶す
   る再生順序記憶手段と、 前記メモリから画像再生のための読出しを制御する読出
   し制御手段とを有し、 逆方向再生する際には、前記再生順序記憶手段が記憶す
   る順序の逆順に従って前記読出し制御手段が前記メモリ
   内に保持されている復号画像を読出すことを特徴とする
   画像再生装置。
6. 【請求項６】 符号化された動画像データを復号する復
   号手段と、この復号手段で復号された復号画像を保持す
   るメモリと、このメモリに保持された復号画像を読み出
   して動画像を出力する画像再生装置において、 直近の順方向再生済みの画像を保持可能なように順方向
   復号した複数の画像を記憶すべき前記メモリ内の領域を
   割り当てる領域割当手段と、 前記メモリに保持された複数の画像の再生順序を記憶す
   る再生順序記憶手段と、 前記メモリから画像再生のための読出しを制御する読出
   し制御手段とを有し、 逆方向再生する際には、前記再生順序記憶手段が記憶す
   る順序の逆順に従って前記読出し制御手段が前記メモリ
   内に保持されている再生済み画像を含む複数の画像を読
   出すことを特徴とする画像再生装置。
7. 【請求項７】 前記領域割当手段は、復号画像の前記メ
   モリ内への保持を指示する際に、画像の間引きを行うこ
   とを特徴とする請求項５又は請求項６記載の画像再生装
   置。
8. 【請求項８】 前記領域割当手段は、復号画像の前記メ
   モリ内への保持を指示する際に、このメモリに空き領域
   がなければ、既に復号画像又は再生済み画像が保持され
   ている領域に上書きをするように領域割当することを特
   徴とする請求項５乃至請求項７のいずれか１項記載の画
   像再生装置。