JP3657855B2

JP3657855B2 - 画像復号装置及び画像復号方法

Info

Publication number: JP3657855B2
Application number: JP2000138570A
Authority: JP
Inventors: 道弘福島; 修司阿部
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2000-05-11
Filing date: 2000-05-11
Publication date: 2005-06-08
Anticipated expiration: 2020-05-11
Also published as: JP2001320653A

Description

【０００１】
【発明の属する技術分野】
本発明は、ハードディスク、光ディスク、磁気テープ等の蓄積媒体に記録保持された、主にＭＰＥＧ（Moving Picture Experts Group）で符号化された画像データを読み出して復号する画像復号装置及び画像復号方法に関し、特に蓄積媒体に記録保持された画像データから特定のピクチャタイプのみを抽出して高速再生する技術に関する。
【０００２】
【従来の技術】
周知のように、ＭＰＥＧで符号化された画像データを復号する装置においては、入力された符号化データをＶＢＶ（Video Buffering Verifier）バッファに順次格納し、その入力データを順次読み出し、可変長復号化、逆量子化、逆ＤＣＴ（Discrete Cosine Transform）、動き補償の各処理を行って、フレームバッファに格納し、このフレームバッファから表示順に読み出して画面上に出力する。
【０００３】
このような画像復号装置において高速再生を行う場合には、Ｂピクチャ（Bidirectionally Predictive Picture：双方向予測符号化画像）またはＢピクチャとＰピクチャ（Predictive Picture：フレーム間順方向予測符号化画像）（以下、Ｂ（，Ｐ）ピクチャと記す）を読み飛ばし、Ｉピクチャ（Intra Picture：フレーム内符号化画像）またはＩピクチャとＰピクチャ（以下、Ｉ（，Ｐ）ピクチャと記す）のみをデコードすることによって高速再生を行う。
【０００４】
しかしながら、高速倍速数が低く、１度デコードしたピクチャを何度もリピート表示する場合においては、Ｂ（，Ｐ）ピクチャの読み飛ばしに要する時間は余り問題とならないが、高速倍速数が高く、一度デコードしたピクチャを表示する回数が少なくなると、Ｂ（，Ｐ）ピクチャの読み飛ばしに要する時間により、デコードに費やせる時間が短くなるため、これによるデコード及び表示可能なＩ（，Ｐ）ピクチャのスキップが発生してしまう。
【０００５】
【発明が解決しようとする課題】
このように、上述した従来の画像復号装置における高速再生方法においては、特定のピクチャの読み飛ばしに要する時間が問題となり、デコード及び表示可能なピクチャのスキップが発生する可能性があった。
【０００６】
本発明は、かかる問題点を鑑みてなされたものであって、特定のピクチャの読み飛ばしに要する時間を削減し、安定した高速再生動作を行うことのできる画像復号装置及び画像復号方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の目的を達成するために本発明は、ＭＰＥＧ（ Moving Picture Experts Group ）方式によって符号化されたＩ（ Intra Picture ：フレーム内符号化画像），Ｐ（ Predictive Picture ：フレーム間順方向予測符号化画像），Ｂ（ Bidirectionally Predictive Picture ：双方向予測符号化画像）のピクチャを有するデータストリームが順次書き込まれるデータ格納部と、前記データ格納部から順次データストリームを読み出して元の画像を復号再生するデコーダと、前記データストリームを入力して各ピクチャのヘッダ情報からピクチャタイプを検出すると共に、ピクチャレイヤより上のヘッダを検出するヘッダ情報検出部と、前記ヘッダ情報検出部の検出結果及び再生速度指示に基づいて前記データストリームを前記データ格納部に選択的に導出するデータ格納制御部とを具備し、前記データ格納制御部は、前記再生速度指示が通常速度再生であるとき前記データストリームの全データを導出状態とし、前記通常速度再生に対して高速再生が指示されるとき、前記ヘッダ情報検出部で検出されるピクチャタイプに基づいて前記Ｂピクチャのデータを非導出状態とし、前記ピクチャレイヤより上のヘッダが検出されるときは前記Ｂピクチャのデータのうちヘッダ部分を導出状態、スライスデータ部分を非導出状態とすることを特徴とする。
【０００８】
すなわち、本発明による画像復号装置及び画像復号方法では、予め読み飛ばしされるピクチャタイプのデータに関しては入力された符号化画像データを記憶手段に格納しないように制御することで、特定のピクチャの読み飛ばしに要する時間を削減し、安定した高速再生動作を行えるようにしている。
【０００９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００１０】
ここで、本実施形態においては、ＭＰＥＧで符号化された画像データが、ＥＳ（Elementary Stream）の形式で図示しない蓄積メディアに記録保持されている場合において、これを読み出し、復号する場合を例に説明する。尚、蓄積メディアにＰＥＳ，ＴＳ，ＰＳの形式で格納されている場合には、入力制御部１０１から出力される際に、ＥＳの形式となるようにＰＥＳ，ＴＳ，ＰＳの各デコード回路を入力制御部１０１内に持つことで対応可能である。また、高速再生に関しては、Ｉ，Ｐピクチャのみをデコードすることによる高速再生を行う場合を例に説明する。
【００１１】
図１は本発明に係る画像復号装置の構成を示すブロック図である。符号化された画像データ（蓄積メディアからの入力ストリーム）は入力制御部１０１に供給される。この入力制御部１０１は、高速再生動作時において、ＶＢＶバッファ１０４のデータ格納容量を監視して、データが溢れないように蓄積メディアからのデータ読み出し量を制御する。
【００１２】
入力制御部１０１を介して入力された画像データはヘッダ情報検出部１０２に供給される。このヘッダ情報検出部１０２は、画像データのピクチャヘッダ中に格納されているピクチャタイプを検出するもので、その検出情報はデータ格納制御部１０３に送られる。
【００１３】
このデータ格納制御部１０３は、ヘッダ情報検出部１０２で得られたピクチャタイプ情報から、現在、入力制御部１０１から入力されている画像データのピクチャタイプを識別し、Ｉ，Ｐピクチャのみを復号することによる高速再生モード設定時には、Ｂピクチャを構成する画像データをＶＢＶバッファ１０４に出力しないように制御する。
【００１４】
データ格納制御部１０３から出力される画像データはＶＢＶバッファ１０４に順次格納され、デコーダ１０５によって順次読み出される。このデコーダ１０５はＶＢＶバッファ１０４から読み出した画像データに対して可変長復号化、逆量子化、逆ＤＣＴ、動き補償の各処理を行ってフレームバッファ１０６に格納し、このフレームバッファ１０６から表示順に読み出して画面上に出力する。
【００１５】
上記構成において、図２を参照してその処理動作を説明する。
【００１６】
今、入力制御部１０１を通じて図２（ａ）に示すストリームが入力されたとする。従来装置では、図２（ｂ）に示すようにストリームの全データが高速再生時を含めて常にＶＢＶバッファ１０４に蓄積される。このため、高速再生動作時（Ｉ，Ｐピクチャのみデコードし、Ｂピクチャを読み飛ばす）には、ＶＢＶバッファ１０４に格納されているＢピクチャを無視し、Ｉ，Ｐピクチャのみを読み出してデコード処理する。このとき、ＶＢＶバッファ１０４には常にＢピクチャも格納されるため、再生の高速になるに従ってＩ，Ｐピクチャの格納が読み出し要求に間に合わなくなる。
【００１７】
そこで、本実施形態では、ヘッダ情報検出部１０２で画像データのピクチャヘッダに格納されているピクチャタイプを検出しておき、高速再生モード設定時には、検出したピクチャタイプがＢピクチャであるときはデータ格納制御部１０３で出力されないように制御するようにしている。これにより、ＶＢＶバッファ１０４には、高速再生モードには図２（ｃ）に示すようにＩ，Ｐピクチャのみが格納される。
【００１８】
したがって、上記構成の画像復号装置によれば、全ピクチャタイプをＶＢＶバッファ１０４に格納していた従来方法の場合に比べ、高速再生時にはデータ格納制御部１０３によってＢピクチャを削除してＶＢＶバッファ１０４に格納するようにしているので、高速再生時に読み飛ばすデータをなくすことができる。
【００１９】
但し、Ｂピクチャを削除してＶＢＶバッファ１０４に格納した場合、削除されたＢピクチャのヘッダ部分に格納されていたパンスキャンパラメータ、ユーザデータ等の補助データも削除されてしまうため、デコーダ１０５でこれらの補助データを必要とする場合に問題が発生する。
【００２０】
そこで、これらの補助データを必要とする場合には、ヘッダ情報検出部１０２において、ピクチャレイヤ以上のヘッダ（シーケンスヘッダ、ＧＯＰ（Group of Pictures）ヘッダ、ピクチャヘッダ、シーケンスエンドコード）を検出し、そのヘッダを検出した場合には、データ格納制御部１０３が無条件にＶＢＶバッファ１０４にＢピクチャを出力するようにする。
【００２１】
すなわち、この場合に実際に削除するのは、Ｂピクチャのスライス（Slice）レイヤ以下のデータとする。この様子を図３に示す。この例の場合、シーケンスヘッダ、ＧＯＰヘッダ、Ｉ，Ｂ，Ｐピクチャそれぞれのピクチャヘッダは常にＶＢＶバッファ１０４に出力され、Ｂピクチャのスライスデータのみが削除される。この結果、高速再生モード設定時において、図４（ａ）に示すストリームが入力された場合、ＶＢＶバッファ１０４には図４（ｂ）に示すようにＢピクチャのスライスデータ以外のデータが格納される。
【００２２】
したがって、高速再生時における読み飛ばしデータを削減しつつ、Ｂピクチャのヘッダに格納されているパンスキャンパラメータ、ユーザデータをデコーダ１０５で抽出可能とすることができる。
【００２３】
ところで、上記実施形態におけるヘッダ情報検出部１０２及びデータ格納制御部１０３の処理は、ソフトウェアによっても実現できる。
【００２４】
図５は補助データを必要としない場合のヘッダ情報検出及びデータ格納制御の処理の流れを示すフローチャートである。
【００２５】
図５において、まず高速再生時におけるＶＢＶバッファ１０４へのデータ出力処理が指示されると、Outputにyesをセットし（Ｓ１）、データ入力を開始する（Ｓ２）。続いて、入力データのピクチャヘッダ検出を行い（Ｓ３）、検出できた場合にはピクチャヘッダの比較を行って（Ｓ４）、Ｉ（，Ｐ）ピクチャか判断する（Ｓ５）。Ｉ（，Ｐ）ピクチャであった場合にはOutputにyesをセットし（Ｓ６）、Ｉ（，Ｐ）ピクチャでなかった場合にはOutputにnoをセットする（Ｓ７）。ここで、Outputにyesがセットされているか判断し、yesでなければステップＳ２に戻り、yesであればデータ出力を行い、ステップＳ２に戻る。以降、高速再生の終了指示が入るまでステップＳ２〜Ｓ９を繰り返す。
【００２６】
上記の処理手順によれば、高速再生時に、入力データからＢピクチャが削除され、Ｉ，ＰピクチャのみがＶＢＶバッファ１０４に格納されるようにすることができる。
【００２７】
図６は補助データを必要とする場合のヘッダ情報検出及びデータ格納制御の処理の流れを示すフローチャートである。
【００２８】
図６において、まず高速再生時におけるＶＢＶバッファ１０４へのデータ出力処理が指示されると、Output及びSliceにそれぞれyesをセットし（Ｓ１１）、データ入力を開始する（Ｓ１２）。続いて、入力データのピクチャヘッダ検出を行い（Ｓ１３）、検出できた場合にはピクチャヘッダの比較を行って（Ｓ１４）、Ｉ（，Ｐ）ピクチャか判断する（Ｓ１５）。Ｉ（，Ｐ）ピクチャであった場合にはOutputにyesをセットし（Ｓ１６）、Ｉ（，Ｐ）ピクチャでなかった場合にはOutputにnoをセットする（Ｓ１７）。ステップＳ１６，Ｓ１７の処理が完了した場合にはsliceにnoをセットする（Ｓ１８）。
【００２９】
一方、ステップＳ１３において、ピクチャヘッダが検出できなかった場合には、ピクチャレイヤより上のヘッダ検出を行い（Ｓ１９）、検出できた場合にはステップＳ１８にてSliceにnoをセットし、検出できない場合はスライスヘッダの検出を行う（Ｓ２０）。ここでスライスヘッダが検出された場合はSliceにyesをセットする（Ｓ２１）。
【００３０】
上記ステップＳ１８、Ｓ２１の処理が完了した場合、及びステップＳ２０でスライスヘッダの検出ができない場合には、Outputにyesがセットされているか判断し（Ｓ２２）、yesがセットされている場合にはデータ出力を行って（Ｓ２３）、ステップＳ１２に戻る。また、yesがセットされていなかった場合には、Sliceにnoがセットされているか判断し（Ｓ２４）、noがセットされている場合にはデータ出力を行わずにステップＳ１２に戻る。以降、高速再生の終了指示が入るまでステップＳ１２〜Ｓ２４の処理を繰り返す。
【００３１】
上記の処理手順によれば、ピクチャレイヤ以上のヘッダを検出し、そのヘッダを検出した場合にはＶＢＶバッファ１０４にＢピクチャのピクチャヘッダを出力するようになる。
【００３２】
以上のようにソフトウェア処理によってもＩ（，Ｐ）ピクチャのみのデコードによる高速再生を行う場合において、符号化画像データをＶＢＶバッファ１０４に格納する際にピクチャタイプを検出し、Ｉ（，Ｐ）ピクチャのフィルタリングを行って、ＶＢＶバッファ１０４に格納することで、読み飛ばしするデータ量を減らし、次デコード画像検出までの処理時間の短縮を図ることができる。
【００３３】
尚、上記実施形態はＶＢＶバッファ１０４に格納されているデータを順次読み出してデコードするタイプの画像復号装置に適用した場合について説明したが、本発明はこれに限定されるものではない。
【００３４】
例えば、符号化画像データをＶＢＶバッファ１０４に格納する際に、各ピクチャデータが格納されているＶＢＶバッファ１０４上の位置を示すポインタテーブルを作成し、ポインタをデコーダ１０５に渡すことで、ＶＢＶバッファ１０４に格納されたピクチャデータを不連続に読み出してデコードするタイプの画像復号装置（ＶＢＶバッファ１０４に格納されたデータ全てをシーケンシャルに読み出せるため、読み飛ばしの時間は問題とならない）に適用することもできる。この場合においても、図２に示すように、全ピクチャをＶＢＶバッファ１０４に格納した場合には、デコード表示を行うピクチャ（Ｉ，Ｐピクチャ）が１枚しかＶＢＶバッファ１０４に格納されないことが存在する場合があり、次のＩ，Ｐピクチャが入力されるまでの待ち時間が生じるため、本発明が有効に働くことが分かる。
【００３５】
また、上記実施形態では入力データがＭＰＥＧによる符号化データである場合について説明したが、例えばＩＥＥＥ勧告Ｈ２６１，Ｈ２６３に規定されるテレビ電話等で利用される符号化方式にも適用可能である。
【００３６】
【発明の効果】
以上のように本発明によれば、特定のピクチャの読み飛ばしに要する時間を削減し、安定した高速再生動作を行うことのできる画像復号装置及び画像復号方法を提供することができる。
【図面の簡単な説明】
【図１】本発明に係る画像復号装置の一実施形態の構成を示すブロック図。
【図２】同実施形態において、入力データをＶＢＶバッファに格納する場合に全ピクチャタイプを入力する場合とＢピクチャを削除して入力する場合と比較して示すタイミング図。
【図３】同実施形態において、入力ストリーム（Elementary Stream）の構造と削除対象となる部分を示すタイミング図。
【図４】同実施形態において、削除対象をシーケンスレイヤ以下とし、入力データからＢピクチャを削除してＶＢＶバッファに入力データを格納する場合の一例を示すタイミング図。
【図５】同実施形態において、Ｂピクチャを削除してＶＢＶバッファに入力データを格納する処理をソフトウェアによって実現する場合の処理の流れを示すフローチャート。
【図６】同実施形態において、削除対象をシーケンスレイヤ以下とし、Ｂピクチャを削除してＶＢＶバッファに入力データを格納する処理をソフトウェアによって実現する場合の処理の流れを示すフローチャート。
【符号の説明】
１０１…入力制御部、１０２…ヘッダ情報検出部、１０３…データ格納制御部、１０４…ＶＢＶバッファ、１０５…デコーダ、１０６…フレームバッファ。

Claims

ＭＰＥＧ（ Moving Picture Experts Group ）方式によって符号化されたＩ（ Intra Picture ：フレーム内符号化画像），Ｐ（ Predictive Picture ：フレーム間順方向予測符号化画像），Ｂ（ Bidirectionally Predictive Picture ：双方向予測符号化画像）のピクチャを有するデータストリームが順次書き込まれるデータ格納部と、
前記データ格納部から順次データストリームを読み出して元の画像を復号再生するデコーダと、
前記データストリームを入力して各ピクチャのヘッダ情報からピクチャタイプを検出すると共に、ピクチャレイヤより上のヘッダを検出するヘッダ情報検出部と、
前記ヘッダ情報検出部の検出結果及び再生速度指示に基づいて前記データストリームを前記データ格納部に選択的に導出するデータ格納制御部とを具備し、
前記データ格納制御部は、前記再生速度指示が通常速度再生であるとき前記データストリームの全データを導出状態とし、前記通常速度再生に対して高速再生が指示されるとき、前記ヘッダ情報検出部で検出されるピクチャタイプに基づいて前記Ｂピクチャのデータを非導出状態とし、前記ピクチャレイヤより上のヘッダが検出されるときは前記Ｂピクチャのデータのうちヘッダ部分を導出状態、スライスデータ部分を非導出状態とすることを特徴とする画像復号装置。
ＭＰＥＧ（ Moving Picture Experts Group ）方式によって符号化されたＩ（ Intra Picture ：フレーム内符号化画像），Ｐ（ Predictive Picture ：フレーム間順方向予測符号化画像），Ｂ（ Bidirectionally Predictive Picture ：双方向予測符号化画像）のピクチャを有するデータストリームを順次データ格納部に書き込み、前記データ格納部から順次データストリームを読み出してデコーダで元の画像を復号再生する画像復号方法において、
前記データストリームの各ピクチャのヘッダ情報からピクチャタイプを検出する第１の検出ステップと、
前記データストリームからピクチャレイヤより上のヘッダを検出する第２の検出ステップと、
前記ピクチャタイプ、ピクチャレイヤより上のヘッダそれぞれの検出結果及び再生速度指示に基づいて前記データストリームを前記データ格納部に選択的に導出する制御ステップとを具備し、
前記制御ステップは、
前記再生速度指示が通常速度再生モードか高速再生モードかを判別する判別ステップと、
前記通常速度再生モードの判別時には前記データストリームの全データを導出状態とする第１の処理ステップと、
前記高速再生モードの判別時には前記ピクチャタイプの検出結果に基づいて前記Ｂピクチャのデータを非導出状態とする第２の処理ステップと、
前記高速再生モードの判別時で前記ピクチャレイヤより上のヘッダが検出されるときは前記Ｂピクチャのデータのうちヘッダ部分を導出状態、スライスデータ部分を非導出状態とする第３の処理ステップとを備えることを特徴とする画像復号方法。