JP2006101229A - 映像再生装置 - Google Patents

Abstract

【課題】逆再生時に必要なメモリ容量が少なくてすむ画像再生装置を提供する。
【解決手段】 主記憶部に蓄積された符号化データを再生し、反時系列に再生出力を得る画像再生装置において、符号化データのストリームに付随する制御データを取り込み、復号時に参照すべき複数の参照画像データの相互関連を解析し、相互関連情報を得る解析手段７０と、前記複数の参照画像データを一時的に蓄積するためのバッファ部２０と、前記解析手段により得られた相互関連情報を用いて、前記ストリームから前記複数の参照画像データを抽出して前記バッファ部に一時的に蓄積せしめる蓄積制御手段６０と、前記バッファ部に蓄積された前記複数の参照画像データを、復号手順に従って処理し、復号された再生画像データを反時系列に出力する逆再生手段５０とを具備した。
【選択図】 図１

Description

この発明は、記録媒体からの情報を読み出して映像を再生する映像再生装置に関し、特に逆再生処理およびその機能を改善したものである。

例えば光ディスク、磁気ディスク、ビデオテープなどの記録媒体に対してビデオ信号を記録再生する装置は、順方向再生、スチル再生、逆再生機能などを有する。ここで、ビデオ信号がMPEG（Moving Picture Expert Group)方式で圧縮されていると、逆再生時には、復号化したデータを蓄積するバッファメモリが必要となる。従来は、このメモリ容量として、大変多くの容量を必要としている。
特開２００３−２４４６４１

従来の装置及び方法は、完全に復号した画像データを複数枚格納するようなバッファメモリを使うことを前提としているために、メモリ容量として大容量を必要とする。このために製品価格も高価なものとなってしまう。

そこでこの発明は、逆再生時に必要なメモリ容量が少なくてすむ画像再生装置及び方法を提供することを目的とする。又この発明は、ストリームタイプの再生信号に適合したメモリ容量の確保方法を有する画像再生装置を提供することを目的とする。

この発明は、主記憶部に蓄積された符号化データを再生し、反時系列に再生出力を得る画像再生装置において、符号化データのストリームに付随する制御データを取り込み、復号時に参照すべき複数の参照画像データの相互関連を解析し、相互関連情報を得る解析手段と、前記複数の参照画像データを一時的に蓄積するためのバッファ部と、前記解析手段により得られた相互関連情報を用いて、前記ストリームから前記複数の参照画像データを抽出して前記バッファ部に一時的に蓄積せしめる蓄積制御手段と、前記蓄積制御手段に蓄積された前記複数の参照画像データを、復号手順に従って処理し、復号された複数枚の再生画像データを反時系列に出力する逆再生手段を備える。

効果

上記の手段により、逆再生のような特殊再生時に必要なメモリ容量が少なくてすむ画像再生装置及び方法を提供できる。

以下、図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施の形態に係る画像再生装置の構成を示すブロック図である。画像再生装置１０は、大きく分けると、バッファ部２０、ユーザ指示部４０、復号化部５０、再生制御部６０、ストリーム解析部７０、及びローカルメモリ８０を含む。

バッファ部２０は、復号化部５０への入力、または復号化部５０によって出力される画像データを蓄積するものであり、DRAMなどの高速で大容量なメモリによって構成されている。前記画像データには、復号化プロセスのひとつであるフレーム間予測において必要となる任意の数の参照画像が含まれる。

ユーザ指示部４０は、ユーザによる逆方向再生の指示を受信する役割を果たすものであり、ユーザがリモコンで遠隔操作を行う場合には、その受光部も含まれる。

復号化部５０は、再生制御部６０からの指示に基づいて、主記憶部３０に蓄積されている符号化データを復号化する。復号化のプロセスには、フレーム間予測が含まれる。

再生制御部６０は、例えば、CPU（Central procecssing unit）、ゲートアレイなどを含み、ユーザ指示部４０からの逆方向再生の指示に基づいて、主記憶部３０からストリームを読み出し、読み出したストリームの解析をストリーム解析部７０に指示し、ストリーム解析部７０の解析結果に基づいてバッファ部２０に対して必要となるメモリ容量の確保を指示し、復号化部５０に対して符号化データの復号を指示し、復号によって得られた復号化データを出力するよう制御する。

ストリーム解析部７０は、フレーム間予測において必要となる参照画像データを蓄積するために必要となるバッファ部２０のメモリ容量を算出するためにストリームを解析するものであり、ソフトウエアおよびハードウエアにより構成されている。またストリーム解析部７０で解析された、情報（複数の参照画像の相互関連情報）は、種々の機能に利用される。例えば、バッファ部２０に参照画像データを蓄積する、メモリ容量の確保、などに利用される。

ローカルメモリ８０は、ストリーム解析部７０によって解析された情報、つまり、前記バッファ部２０で必要となるメモリ容量を算出するために構成されるグラフ構造をともなうデータを蓄積するためのものであり、DRAMなどの高速で大容量なメモリによって構成されている。

なお、本発明の実施形態では、主記憶部３０は光ディスクであり、H.264ストリームが蓄積されているものとする。H.264ストリームは、H.264規格に従うデータであり、ハイデフィニション（HD） デジタルバーサタイルディスク（DVD）規格に取り込まれている。

HD DVD規格においては、MPEG規格の画像グループGOPに相当する拡張された画像グループ（以下、exp_GOPと記す）と、その上位層においてはDVD規格のビデオオブジェクト単位に相当する拡張されたビデオオブジェクト単位（以下、exp_VOBUと記す）が存在する。

図２は本実施形態における画像再生処理の概要を表すフローチャートである。

ユーザ指示部４０によってユーザから逆方向再生の開始が指示されると、再生制御部６０は再生要求がなされた符号化された画像データを含むexp_VOBUと、その前のexp_VOBUを主記憶部３０から読み出す（ステップS3）。

ここで、前記再生要求がなされた符号化された画像データの識別子である画像IDを jとし、jを含むexp_VOBUを先頭からi番目(i = 0, 1, …) としたときexp_VOBU(i)と表記することにする。再生制御部６０は読み出したexp_VOBU(i-1)およびexp_VOBU(i)のデータをストリーム解析部７０に送り、exp_VOBU(i-1)およびexp_VOBU(i)を解析することを指示する。

ストリーム解析部７０は再生制御部６０の指示に基づいてexp_VOBU(i-1)およびexp_VOBU(i)を解析し、画像参照相互依存関係グラフ（相互関連情報）をローカルメモリ８０上に構築する（ステップS4）。

図３、図４は、画像参照相互依存関係グラフを得る場合に利用される制御データであり、この制御データは、H.264規格で圧縮されている映像データのヘッダに含まれている。これにより、図５に示すような画像参照相互依存関係グラフがローカルメモリ８０上に構築される。

ここで画像参照相互依存関係グラフの生成方法を説明する。まず、制御データには、データ部構造体が含まれる。このデータ部構造体（DataSｔｒ）は、図３に示すように画像IDを格納する領域３０１と、画像IDの複数の前方参照画像データを記憶するための前方参照画像データ・リストへのポインタを格納する領域３０２と、画像IDの複数の後方参照画像データを記憶するための後方参照画像データ・リストへのポインタを格納する領域３０３からなる。

図４には、前方参照画像データ・リストまたは後方参照画像データ・リストのリスト構造体(ListStr)を示している。このリスト構造体は、データへのポインタを格納する領域４０１と、リストの次の要素をさすポインタを格納する領域４０２からなる単方向リストを構成するためのリスト構造体によって構成されている。データへのポインタ（先頭アドレス）に基づいて、アクセスを行うと、次のデータのためのデータ部構成（DataStr）（図3に示した構造）に到達する。これにより、さらに次の前方参照画像データ・リストまたは後方参照画像データ・リストのリスト構造体(ListStr)を得ることができる。

図５には、上記のデータ部構造体（DataStr）に基づいて、リスト構造体（ListStr）が展開され、次々と、画像IDが判明し、相互の画像データの関連性が判明した様子を示している。

すなわち、画像参照相互依存関係グラフは、exp_VOBU(i-1)およびexp_VOBU(i)に含まれる全ての参照画像データに対して、前方参照および後方参照する画像データがどのような関係になっているかを解析したマップとなる。

次に、前記画像参照依存グラフ上で、画像ID j をもつデータ構造体を起点として、前方参照画像リストおよび後方参照画像リストをたどることによって得られる画像を数え上げる（ステップS5）。

このとき重複する画像については数え上げの対象とはしない（つまり、H.264規格の圧縮方式では、１つの参照画像データを参照する他の複数の参照画像データが存在することもある）。これによって画像jのフレーム間予測の復号プロセスにおいて必要な参照画像の枚数が判明し、その枚数と1枚あたりの参照画像データに必要なメモリ容量を乗ずることによって、画像 jのフレーム間予測の復号プロセスにおいて必要な参照画像データをバッファ部２に格納するためのメモリ容量を算出することができる。

ストリーム解析部７０は前記算出したメモリ容量を再生制御部６０に送る。再生制御部６０はストリーム解析部７０によって送信された前記算出したメモリ容量を受信すると、バッファ部２０に対して前記メモリ容量を確保するように指示し（ステップS6）、復号化部５０に対しては、画像jを復号するように指示する(ステップS7)。

復号された画像jは再生制御部６０により出力される（ステップS8）。再生制御部６０は主記憶部３０のデータを読み出し、画像jの一つ前の画像の識別子を取得し、それを新たなjとする（ステップS9）。

画像jがexp_VOBU(i - 1)に含まれる画像であれば、i − 1を新たなiとし（ステップS11）、ステップS3以降の処理を繰り返す。画像jがexp_VOBU(i - 1)に含まれる画像でなければステップS5以降の処理を繰り返す。

この発明は、上記の実施の形態に限定されるものではない。上記実施形態では、順方向再生する機能を有することを明示していなかったが、順方向再生する機能を有することは勿論である。そして順方向再生時に、復号対象の画像に対して前記参照画像相互依存グラフを構築し、前記参照画像枚数の数え上げを実行する。そして、得られたフレーム間予測の復号プロセスにおいて必要な参照画像の枚数をバッファ部２０に蓄積して順方向再生を実行する。ここで、逆方向再生時には、すでに得られている前記参照画像の枚数を用いて、復号に必要なバッファ部２０のメモリ容量を計算するか、または順方向再生時に用いたメモリ容量を自動的に確保することができる。これにより、逆方向再生時には、メモリ容量の算出のための処理を簡略化することができる。

このように、本実施形態では、復号に必要なメモリ容量の算出をさらに高速にすることが可能となる。

本実施形態では、フレーム間予測の復号プロセスにおいて必要な参照画像をバッファ部２０に格納するためのメモリ容量を算出するストリーム解析部７０を設けたことにより、H.264ストリームの持つ、フレーム間予測時の任意の枚数の参照画像に対応できるようになる。また算出したメモリ容量に基づいてメモリ領域を確保するようにしたため、メモリ領域を効率よく利用することが可能となる。また、前記メモリ容量の算出時のデータ構造を同一ビデオオブジェクト単位内では変更することなく保持するため、このデータ構造を利用して、高速でメモリ容量算出が可能となる。

又上記の手段により、ユーザからの逆再生要求があると、ストリームを解析し、対象の画像グループ中の画像を復号するのに必要な参照画像の枚数を算出し、それに基づいて必要量のメモリ容量を確保することにより、使用しないメモリ部分を、他の用途に使用することができ、メモリの利用効率を向上することができる。

図６には、本発明が利用されるH.264規格を採用したHD DVDシステムにおけるオブジェクトデータが構築される様子を示している。高品位のビデオデータ６０１は、H.264規格により圧縮処理される。圧縮データのシーケンスヘッダには、圧縮データを復号するために用いられる制御データが含まれている。この圧縮データは、ビデオパックV_PCKのデータ部に格納される。ビデオパックV_PCKには。ヘッダが設けられており、このヘッダには、ビデオパックの識別、及びパック内データの情報属性など現す管理情報が格納されている。そして、これらの複数のビデオパックV_PCKが、他のオーディオパック、副映像パック（図示せず）、ナビゲーションデータを格納したパックなどともに、exp_VOBUに格納される。

ここで、exp_VOBUとビデオ圧縮データとしての参照画像データとの関係について説明する。図６には、exp_VOBU(i-1), exp_VOBU(i)内に存在するIピクチャー、Bピクチャーなどの参照画像データを模擬的に示している。図６において、ひし形のフレームが参照画像データを意味し、矢印が参照先の画像データに向かっている。

このHD DVD規格においては、２つの連続するexp_VOBU(i-1), exp_VOBU(i)を見た場合、後方のexp_VOBU(i-1)内の基準となるIピクチャー（参照画像データ６１１）より、さらに後方の参照画像データが、このIピクチャー（参照画像データ６１１）を飛び越えて、前方のexp_VOBU(i)内の参照画像データを参照することはないというルールを持つ（例１）。ただし、同じexp_VOBU内であれば、Iピクチャ（参照画像データ６２１）よりも後方の参照画像データが、このIピクチャを飛び越えて前方の参照画像データを参照してもよい（例２）。

したがって、少なくとも2つのexp_VOBU内の参照画像データを格納できるバッファメモリがあれば、１つのexp_VOBUを構築する参照画像データを復号して、再生画像データを得ることが可能である。つまり、１つのexp_VOBU内の最初のIピクチャを用いて、それよりも後方の参照画像データを復号することが可能である。

図６の例で説明すると、まず、exp_VOBU(i)内の最初のIピクチャを復号し、再生画像データ（A１）を得る。次に、図５で説明したグラフに従い次の画像データ（A2）を再生する。このときは、Iピクチャの再生画像データ（A1)と、 exp_VOBU(i)内または次exp_VOBU(i＋1)内（図示せず）の参照画像データを用いて次の再生画像データ（A2）を再生する。さらに図５で説明したグラフに従い次の画像データ（A３）を再生する。このときは、再生画像データ（A２)と、 exp_VOBU(i)内または次exp_VOBU(i＋1)内（図示せず）の参照画像データを用いて次の再生画像データ（A３）を再生する。このように順次再生画像データを取得していく。そして、逆送りのために最初に出力する再生画像データがえら得たところで、この再生画像データを表示部へ出力する。

次に、上記と同様な動作を繰り返して、目的の再生画像データが復号されたときに、この再生画像データを表示部へ出力する。

このように、本装置では、少なくとも2つのexp_VOBU内の参照画像データをバッファメモリに格納し、格納された参照画像データを読み取り、再生画像データを取り出し、また、格納された参照画像データを読み取り、次の目的とする再生画像データを取りだし、さらに、また格納された参照画像データを読み取り、次の目的とする再生画像データを取りだすという方法が採用される。

したがって、本装置では、再生画像データを多数フレーム分蓄積する必要はない、データ量のすくない参照画像データを蓄積するバッファメモリ容量があればよい。

上記したexp_VOBUのルールを考えた場合、上記したような再生画像データを得るために必要なバッファメモリの容量は、以下のように計算できる。まず任意の１つのexp_VOBUに含まれる全ての画像データを蓄積するのに必要なメモリ容量は、以下の２通りの方法で計算することが可能である。

まずHD DVD規格ではH.２６４のメインプロファイルレベル４．１（Main profile Level 4.1 )に従うと言う規定がある。そこで、以下ビデオデータのサンプリングフォーマットは、H.264メインプロファイルで規定されている４：２：０（輝度Y，色差情報Cb,色差情報Crの成分比率）が採用され、またY，Cb, Crには、同じくH.264メインプロファイルで規定の８ビット必要であるとして計算する。

計算方法その１… HD DVD規格で許可されている最大ビットレートとなる水平方向サイズ、垂直方向サイズ、フレームレートの組み合わせは、
１９２０×１０８０×２９．９７
となることから、１つのexp_VOBUあたりのメモリ容量は、
１９２０×１０８０×２９．９７×８×１．５×１．２ビット＝１０６．７Mbyte
となる。１．５倍としたのは、サンプリングフォーマット４：２：０を考慮したためである。

計算方法その２… H.264規格では、メインプロファイルレベル４．１における1秒当たりの最大サンプル数（＝画素数）が６２，９１４，５６０と規定されている。これから１つのexp_VOBUあたりのメモリ容量は、
６２，９１４，５６０×８×１．５×１．２ビット＝１０８MByte
となる。

したがって、上記のメモリ容量が予め分かっているので、バッファ部２に再生用のメモリ領域を一定量確保し、効率よく使用することが可能である。

なお上記の説明では、サンプリングフォーマットを４：２：０としたが、H.264規格としては、ストリーム中にサンプリングフォーマットを表すパラメータが存在する。そこでこのパラメータの値にしたがって、ストリーム毎に必要なメモリ容量を計算して決定してもよい。しかし、このパラメータは、H.264規格のメインプロファイルでは存在しないために、現状のHD DVDにおいては、４：２：０の成分比率であるものとして、予め設定されていてもよいし、今後、他の成分比率がサポートされるようになった場合を考慮して、パラメータの値にしたがって、ストリーム毎に必要なメモリ容量を計算して決定する手段を、制御部６０に内蔵させてもよい。

上記した説明では、逆再生、順方向再生時の機能として説明しているが、特殊再生、つまりスロー順送り再生、スロー逆送り再生、スキップ再生などにも本発明の考え方が適用できることは勿論である。また主記憶部は、光ディスク、磁気ディスク、ハードディスク、半導体メモリなどと交換してもよい。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

本発明が適用された画像再生装置の全体的な構成を示す説明図。 図１の装置の動作例を説明するために示したフローチャート。 H.264規格で採用されている制御データに含まれるデータ部構造の説明図。 H.264規格で採用されている制御データに含まれる画像データ・リストの説明図。 図１のストリーム解析部がローカルメモリに構築した画像参照相互依存関係グラフの説明図。 本発明が利用されるHD DVDシステムにおけるオブジェクトデータが構築される様子を示す説明図。

符号の説明

１０…画像再生装置、２０…バッファ部、３０…主記憶媒体、４０…ユーザ指示部、５０…復号化部、６０…再生制御部、７０…ストリーム解析部、８０…ローカルメモリ。

Claims (5)

1. 主記憶部に蓄積された符号化データを再生し、反時系列に再生出力を得る画像再生装置において、
   符号化データのストリームに付随する制御データを取り込み、復号時に参照すべき複数の参照画像データの相互関連を解析し、相互関連情報を得る解析手段と、
   前記複数の参照画像データを一時的に蓄積するためのバッファ部と、
   前記解析手段により得られた相互関連情報を用いて、前記ストリームから前記複数の参照画像データを抽出して前記バッファ部に一時的に蓄積せしめる蓄積制御手段と、
   前記バッファ部に蓄積された前記複数の参照画像データを、復号手順に従って処理し、復号された再生画像データを反時系列に出力する逆再生手段と
   を具備したことを特徴とする画像再生装置。
2. 前記バッファ部の容量は、前記解析手段により得られた相互関連情報で決まる前記複数の参照画像データの容量に応じて設定されていることを特徴とする請求項１記載の画像再生装置。
3. 前記解析手段は、前記相互関連情報を、ローカルメモリに格納していることを特徴とする請求項１記載の画像再生装置。
4. 前記相互関連情報は、前記ストリームを構成する単位となる少なくとも１つのビデオオブジェクト内の参照画像データの関連情報であることを特徴とする請求項３記載の画像再生装置。
5. 前記解析手段は、順方向再生時に相互関連情報を解析して保存しており、この相互関連情報を前記逆再生手段の動作時にも用いることを特徴とする請求項１記載の画像再生装置。

Images