JP2006217635A - 画像再生装置、および画像記録装置 - Google Patents

Abstract

【課題】 ＭＰＥＧ方式の符号化データ列を再生する際、高速再生や逆順再生に制限があった。
【解決手段】 Ｉピクチャ構成情報取得部１０４により、符号化データ列のＧＯＰ内のピクチャの構成情報を取得しておく。高速再生時には、高速再生モード判断部１１２が、ピクチャの構成を参照して、高速スムーズ再生が可能か否かを判断し、可能であれば高速スムーズ再生制御部１１６が高速スムーズ再生を実行し、不可能であれば高速スキップ再生制御部１１４が高速スキップ再生を実行する。
【選択図】 図２

Description

この発明は画像を再生または記録する技術、とくに符号化画像データを再生する画像再生装置、符号化画像データを記録する画像記録装置、およびこれらに利用可能な動画データのデータ構造に関する。

ＢＳ放送やＣＳ放送においてデジタル放送が開始されており、地上波放送もデジタル化が計画されていて、テレビ放送のデジタル化が急速に進展している。デジタルテレビ放送においては、データ圧縮／伸長規格の国際標準であるＭＰＥＧ２（Moving Picture Expert Group 2）を用いることによって、効率の高い情報の伝送、蓄積が可能であり、また単一の中継器によって複数のチャンネルを伝送することができる。これにより、ユーザの利便性の向上が期待されている。

一方で、最近の携帯端末の普及により、高い圧縮率の符号化方式のニーズは一層高まると予想され、これに対応して、低ビットレートで画像を圧縮して伝送することのできるＭＰＥＧ４符号化方式を利用することが検討されている。今後、デジタルテレビ放送ではＭＰＥＧ２とともにＭＰＥＧ４による画像情報の配信が並行して行われるものと思われる。

ＭＰＥＧでは、動画データの符号化に際し、フレーム間予測と呼ばれる圧縮技術を用いる。フレーム間予測は、符号化すべきフレームのデータを、そのフレームよりも過去または未来に当たる符号化済みのフレームのデータに基づいて予測し、圧縮する技術である。ＭＰＥＧにおけるフレーム間予測では、過去のフレームに基づいて予測が行われる順方向予測のみならず、過去と未来の双方のフレームに基づいて予測が行われる双方向予測が取り入れられている。

ＭＰＥＧ２においては、この双方向予測を実現するために、Ｉピクチャ（Intra-Picture）、Ｐピクチャ（Predictive-Picture）、およびＢピクチャ（Bidirectionally Predictive-Picture）と呼ばれる３つのタイプのピクチャを規定している。Ｉピクチャは、フレーム内符号化処理によって過去や未来の再生画像とは無関係に独立して生成される画像であり、その画像内のデータのみで復号が可能である。Ｉピクチャ内のすべてのマクロブロックは、フレーム内符号化処理によって生成される。Ｐピクチャは、フレーム間の順方向符号化処理によって、過去のＩピクチャまたはＰピクチャに基づいた予測により生成される。Ｐピクチャ内のマクロブロックは、フレーム内符号化されたものと順方向予測によりフレーム間符号化されたものの両方を含む。

Ｂピクチャは、フレーム間符号化処理によって、双方向予測により生成される。双方向予測においてＢピクチャは、以下に示す３つの予測のうちいずれか１つにより生成される。
（１）順方向予測；過去のＩピクチャまたはＰピクチャからの予測
（２）逆方向予測；未来のＩピクチャまたはＰピクチャからの予測
（３）双方向予測；過去および未来のＩピクチャまたはＰピクチャからの予測
Ｂピクチャ内のマクロブロックは、フレーム内符号化されたものと、順方向予測、逆方向予測、および内挿的予測のいずれかによりフレーム間符号化されたものを含む。

ＭＰＥＧ４においては、ビデオ・オブジェクトの時系列をＶＯ（Video Object）と呼び、ＶＯを構成する各画像をＶＯＰ（Video Object Plane）と呼ぶ。ＶＯＰはＭＰＥＧ２におけるピクチャに相当する。ＶＯＰには予測符号化の違いにより、次の４種類が存在する。
（１）Ｉ−ＶＯＰ；フレーム内符号化ＶＯＰ
（２）Ｐ−ＶＯＰ；フレーム間順方向予測符号化ＶＯＰ
（３）Ｂ−ＶＯＰ；フレーム間双方向予測符号化ＶＯＰ
（４）Ｓ−ＶＯＰ；スプライトＶＯＰ
最初の３つのタイプＩ−ＶＯＰ、Ｐ−ＶＯＰ、Ｂ−ＶＯＰはそれぞれＭＰＥＧ２におけるＩピクチャ、Ｐピクチャ、Ｂピクチャに相当する。

ＭＰＥＧでは、符号化画像データは、階層構造をもつビットストリームデータとして表現されている。ＭＰＥＧで取り扱われる動画は１秒間に例えば３０枚のフレームで構成される。ＭＰＥＧ２では、一般にフレームがピクチャに対応する。ＭＰＥＧ２ではピクチャの集まりをＧＯＰ（Group Of Picture）と呼び、このＧＯＰ単位のランダムアクセスを可能としている。ランダムアクセスを行うために、ＧＯＰ内には最低１枚のＩピクチャが必要である。ＭＰＥＧ４ではＶＯＰの集まりをＧＯＶ（Group Of VOP）として扱う。

このように、ＭＰＥＧ方式の符号化データストリームを復号して再生するとき、ＧＯＰまたはＧＯＶを単位としてデータにアクセスすることになるが、一つのＧＯＰ（またはＧＯＶ）に含まれるピクチャ（またはＶＯＰ）の数は必ずしも一定でない。標準的には、ＭＰＥＧ２では一つのＧＯＰあたりほぼ１５〜３０のピクチャが含まれ、ＭＰＥＧ４では一つのＧＯＶあたりほぼ１２０のＶＯＰが含まれるが、たとえば、シーンチェンジがあった場合は、そのピクチャから新たなＧＯＰとするなど、編集時にＧＯＰの構成が変更されることがある。そのため、一連の符号化データストリーム内であっても、ＧＯＰに含まれるピクチャの数、種類、順序などは一定であるとは限らない。ＭＰＥＧでは、前述のように双方向予測を行うことから、符号化データストリームにおけるピクチャの出現順と、実際の表示順が異なっており、複雑な復号処理を必要とするが、符号化データストリーム中のピクチャ構成が不規則的である場合は、とくに高速再生、逆順再生などの特殊再生処理を行うときに処理がさらに複雑となり、場合によっては適切な処理を不可能とする要因になっている。

本発明はこうした課題に鑑みてなされたものであり、その目的は、符号化データ列の高速再生の処理技術の向上にある。また、別の目的は、より自然な印象をユーザに与えることのできる高速再生技術を提供することにある。

本発明のある態様は、画像再生装置に関する。この装置は、形式の異なる第１および第２形式フレームが混在した符号化データ列を復号して画像データを生成する復号器と、前記符号化データ列に含まれるフレームのうち、一部のみを前記復号器に復号させ、表示装置に表示させることにより、高速再生を行う高速再生制御部と、前記符号化データ列に含まれるフレームの数、形式、または順序を取得する構成情報取得部と、を備え、前記高速再生制御部は、前記フレームの数、形式、または順序に基づいて、前記高速再生を制御する。

第１形式フレームは、当該フレームの符号化データにより復号可能であり、第２形式フレームは、他のフレームの符号化データを参照することにより復号可能であるような形式であってもよい。より具体的には、第１形式フレームは、ＭＰＥＧにおけるＩピクチャであってもよく、第２形式フレームは、ＭＰＥＧにおけるＰピクチャまたはＢピクチャであってもよい。別の例では、第１形式フレームは、自身のフレーム内またはそのフレームよりも過去のフレームの符号化データを参照して復号可能な形式であってもよく、具体的には、ＭＰＥＧにおけるＩピクチャおよびＰピクチャであってもよい。この場合、第２形式フレームは、そのフレームの前後のフレームの符号化データを参照して復号される形式であってもよく、具体的には、ＭＰＥＧにおけるＢピクチャであってもよい。ここで、「フレーム」は、画像の単位としてフレームに準ずる「フィールド」等の概念を含む。

前記高速再生制御部は、前記第１形式フレームのみを復号して表示する第１の高速再生モードを実現する第１制御部を含み、前記第１制御部は、前記構成情報取得部から、第１形式フレームと、その次に表示すべき第１形式フレームとの間に存在するフレーム数を取得し、前記フレーム数と前記高速再生の速度に基づいて、第１形式フレームの表示間隔を決定してもよい。

前記符号化データ列は、少なくとも１枚の第１形式フレームと、少なくとも１枚の第２形式フレームを含むフレーム群を単位として符号化されたものであり、前記第１制御部は、前記フレーム群に属するフレームの数を取得し、それを第１形式フレームとその次に表示すべき第１形式フレームとの間に存在するフレーム数としてもよい。フレーム群は、たとえば、ＭＰＥＧ２におけるＧＯＰ、ＭＰＥＧ４におけるＧＯＶであってもよい。一般に、１つのＧＯＰには１つのＩピクチャが含まれる場合が多いので、ＧＯＰに含まれるピクチャ数と、Ｉピクチャ間のピクチャ数とを同じとみなしてもよい。

前記高速再生制御部は、前記高速再生の速度に応じてフレームを間引いて表示する第２の高速再生モードを実現する第２制御部を含み、前記第２制御部は、前記構成情報取得部から、再生すべき部分の前記符号化データ列を構成するフレームの種類および順序を取得し、それに基づいて表示すべきフレームおよび復号すべきフレームを決定してもよい。

前記高速再生制御部は、前記復号すべきフレームと、前記復号器の性能に基づいて、前記第２の高速再生モードの可否を判断する判断部をさらに含んでもよい。前記判断部は、前記第２の高速再生モードが不可能と判断されたときに、前記第１の高速再生モードに切り替えてもよい。これにより、再生速度を連続的に変化させた場合にも、シームレスな高速再生を実現することができる。

前記構成情報取得部は、前記符号化データ列の所定位置に格納された情報を読み出すことにより、前記符号化データ列に含まれるフレームの数、形式、または順序を取得してもよい。情報の格納側と読出側とで共通の認識があれば、任意の位置に格納してもよい。

本発明の別の態様は画像記録装置に関する。この装置は、形式の異なる第１および第２形式フレームが混在したフレーム群を単位として符号化された符号化データ列の所定位置に、前記フレーム群に含まれるフレームの数、形式、または順序を示す情報を付加する構成情報付加部を備える。たとえば、第１形式フレームは単一フレームの符号化データにより復号可能な形式であり、第２形式フレームは他のフレームの符号化データを参照することにより復号可能な形式であってもよい。

本発明のさらに別の態様は動画像のデータ構造に関する。このデータ構造は、動画像を表す動画データのデータ構造であって、形式の異なる第１および第２形式フレームが混在したフレーム群を単位として前記動画データを符号化した符号化データ列と、前記符号化データ列の所定位置に格納された、前記フレーム群に含まれるフレームの数、形式、または順序を示す情報と、を含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、符号化データ列の高速再生のための適切な制御技術を提供することができる。

（第１の実施の形態）
本実施の形態では、ＭＰＥＧ方式で符号化された動画の符号化データ列中の所定位置にピクチャ構成情報を予め格納しておき、再生時にそのピクチャ構成情報を取得して各種再生処理の制御に利用する技術を説明する。本実施の形態では、ＭＰＥＧ方式を例にとって説明するが、本実施の形態の技術は、フレーム内符号化方式で符号化されたフレームと、フレーム間符号化方式で符号化されたフレームとが混在する符号化データ列を取扱うときに、一般に利用可能である。また、以下では、説明の簡単のため、ＭＰＥＧ２方式におけるピクチャとＧＯＰという用語を用いるが、これはＭＰＥＧ４方式への適用を除外する趣旨ではなく、ＭＰＥＧ４方式におけるＶＯＰとＧＯＶの概念を包含するものである。

図１は、第１の実施の形態に係る画像再生装置３００の構成図である。この画像再生装置３００は、伝達メディア２００からのＭＰＥＧビデオストリームを表示装置３４４に出力するムービーカメラ、スチルカメラ、テレビジョン、ビデオＣＤ再生装置、ＤＶＤ再生装置などに組み込まれる。なお、伝達メディア２００には、蓄積メディア（ビデオＣＤ，ＣＤ−ＲＯＭ，ＤＶＤ，ＶＴＲなど）、通信メディア（ＬＡＮなど）、放送メディア（地上波放送，衛星放送，ＣＡＴＶなど）などが含まれる。また、蓄積メディアや放送メディアからのデータがＭＰＥＧビデオパートに準拠して符号化されていないデータである場合は、伝達メディアは、このデジタルデータを符号化するためのＭＰＥＧビデオエンコーダをも含む。画像再生装置３００をムービーカメラまたはスチルカメラに組み込む場合は、伝達メディア２００がＣＣＤなどの撮像デバイスおよびその信号処理回路に置き換えられる。

画像再生装置３００は、伝達メディア２００から符号化データストリームを入力する入力ブロック３０４と、入力ブロック３０４により取得された画像および音声データを処理する処理ブロック３０６と、処理ブロック３０６によって復号された音声および画像を再生する再生ブロック３０８と、ユーザからの指示を受けつけるユーザインタフェイス３１２と、ユーザインタフェイス３１２からの命令にもとづいて入力ブロック３０４および処理ブロック３０６を制御する制御部３１０とを含む。またインタフェイスブロック３３６は、処理ブロック３０６による復号画像データを適宜外部機器へ出力する。

処理ブロック３０６の再生制御部３３４は、ＣＰＵ３３０およびメモリ３３２と連携し、符号化データストリーム中の画像および音声データを復号する。再生制御部３３４は、入力された符号化データストリームを復号し、音声データを音声出力部３４０へ、画像データを表示装置３４４へそれぞれ出力する。音声出力部３４０は、入力された音声データに所定の処理を施し、最終的に音声がスピーカ３４２へ出力される。表示装置３４４は、入力された画像データを表示する。

ユーザインタフェイス３１２は、リモートコントローラまたは入力パネルなどを介して、ユーザから再生速度の切り替え、逆順再生の要求などを受けつける。制御部３１０は入力ブロック３０４および処理ブロック３０６に、再生モードの切替信号を送る。再生制御部３３４は、この切替信号に基づいて、通常再生、高速再生、または逆順再生を行う。

図２は、再生制御部３３４の構成図である。これらの構成は、ハードウエア的には、ＣＰＵ、メモリ、その他のＬＳＩや組合せ回路などによって実現でき、ソフトウエア的にはメモリにロードされた画像再生制御機能のあるプログラムなどによって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能がハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。再生制御部３３４のうちハードウェアにより実現されるブロックを１チップのＬＳＩに搭載してもよい。

再生モード切替部１０２は、制御部３１０から再生モードの切替信号を受信して、通常再生制御部１０６、高速再生制御部１１０、および逆順再生制御部１２０に、再生処理の指示を送る。通常再生制御部１０６は、再生モードが通常再生モードであるとき、入力ブロック３０４により入力された符号化データストリームをＭＰＥＧデコーダ１３０に入力して復号し、それを再生ブロック３０８に送り再生するための制御を行う。ＭＰＥＧデコーダ１３０として、既知のＭＰＥＧデコーダを利用しても良く、後述のように、高速再生や逆順再生の処理限界の向上を目指して、通常のＭＰＥＧデコーダよりも高速な処理が可能な、２倍速対応デコーダ、３倍速対応デコーダなどを利用しても良い。

ピクチャ構成情報取得部１０４は、符号化データストリームを構成するピクチャに関する情報を取得する。ピクチャ構成情報取得部１０４は、後述のように、高速再生処理または逆順再生処理のために必要なピクチャ構成情報として、たとえば、１つのＧＯＰを構成するピクチャの数、種類、順序などの情報を取得する。この情報は、符号化データストリームの所定位置に予め格納されており、ピクチャ構成情報取得部１０４は、その所定位置のデータを読み込むことで、取得すべき情報を得る。

高速再生制御部１１０は、再生モードが高速再生モードであるとき、通常再生モードよりも速い速度で符号化データストリームを再生するための制御を行う。本実施の形態では、高速再生モードとして、ＰピクチャおよびＢピクチャを全てスキップしてＩピクチャのみを順に表示する「高速スキップ再生モード」と、ＰピクチャおよびＢピクチャも用いて滑らかに高速再生を行う「高速スムーズ再生モード」の２種類のモードを用意する。高速再生モード判断部１１２は、ピクチャ構成情報取得部１０４が取得したピクチャ構成情報と、制御部３１０を介してユーザから指示された再生速度に基づいて、いずれのモードにより高速再生を行うかを判断する。判断の方法については、後で詳述する。

図３（ａ）（ｂ）（ｃ）は、高速スキップ再生の方法を説明するための図である。図３（ａ）の上段は、符号化データストリームのピクチャ構成の例を示す。この例では、１５ピクチャで構成されるＧＯＰが繰り返し出現するようなピクチャ構成となっている。図３（ａ）の中段は、この符号化データストリームを従来方式で４倍速再生したときのピクチャの表示順を示す。従来方式では、４フレームごとに１枚ずつＩピクチャを順に表示することで、４倍速再生を実現している。図３（ｂ）の下段は、この符号化データストリームを本実施の形態の方式で４倍速再生したときのピクチャの表示順を示す。本方式も、従来方式と同様に、Ｉピクチャのみを順に表示する。これにより、簡便に高速再生を実現することができる。

図３（ｂ）の上段は、１２ピクチャで構成されるＧＯＰが繰り返し出現するような符号化データストリームの例を示す。図３（ｂ）の中段は、この符号化データストリームを従来方式で高速再生したときのピクチャの表示順を示す。従来方式では、前述の通りＩピクチャのみを順に表示するが、このときの表示間隔は固定的であり、図３（ａ）の中段に示した例と同様に、４フレームごとに１枚のＩピクチャを表示している。この例では、１つのＧＯＰが１２ピクチャで構成されているため、結果的に３倍速再生が実現されているが、ユーザが３倍速再生を指定したから３倍速再生を行ったわけではなく、固定間隔でＩピクチャを順に表示した結果、この例では３倍速再生となっただけである。すなわち、従来方式では、高速再生を行うときに、Ｉピクチャを固定間隔で表示するため、再生速度を制御することはできず、符号化データストリーム中のピクチャ構成に依存して再生速度が変化するという問題があった。

さらに顕著な例として、図３（ｃ）の上段は、ＧＯＰを構成するピクチャ数が同じ符号化データストリーム中で変化する例を示す。このとき、図３（ｂ）に示すように、従来方式で高速再生を行うと、実際の符号化データストリーム中ではＩピクチャ間の間隔が変化しているにも関わらず、その変化を反映せずに固定間隔でＩピクチャを表示するため、再生速度が速くなったり遅くなったりして不自然な印象を与える恐れがあった。

このような問題を解決するために、本実施の形態では、ピクチャ構成情報取得部により取得されたピクチャ構成情報を利用して、実際のＩピクチャ間の間隔を反映した自然な高速再生を実現する。たとえば、図３（ｂ）の上段に示した符号化データストリームを４倍速で高速スキップ再生する場合、予め１ＧＯＰが１２ピクチャで構成されていることが分かるので、図３（ｂ）の下段に示すように、３フレームごとに１枚ずつＩピクチャを表示することにより、４倍速の高速スキップ再生が実現される。３倍速の場合は４フレームごとに１枚、６倍速の場合は２フレームごとに１枚のＩピクチャを表示すればよい。５倍速の場合は、たとえば、４倍速（３フレームに１枚）と６倍速（２フレームに１枚）を組み合わせて平均して５倍速になるように制御してもよいし、１枚のＩピクチャを表示する時間が２．４フレーム分になるように制御してもよい。

図３（ｃ）の上段に示した例のように、ＧＯＰを構成するピクチャ数が変化する場合においても、予めＧＯＰを構成するピクチャの情報を取得することにより、図３（ｃ）の下段に示すように、Ｉピクチャ間の間隔を適切に反映した高速スキップ再生を実現することができる。ここで、上記の方法を実現するために、予めＩピクチャが出現する間隔を知っておく必要があるが、１つのＧＯＰに含まれる１枚のＩピクチャが含まれる場合は、ＧＯＰを構成するピクチャの数を取得することで、Ｉピクチャの間隔を取得または類推することができる。もちろん、ＧＯＰを構成するピクチャの種類および順序を取得してもよい。

図４（ａ）（ｂ）（ｃ）（ｄ）（ｅ）は、高速スムーズ再生の方法を説明するための図である。図４（ａ）上段は、符号化データストリームのピクチャ構成の例を、図４（ａ）中段および下段は、それぞれ、この符号化データストリームの表示順および符号順を示す。図４（ｂ）は、この符号化データストリームを２倍速で高速スムーズ再生するときに表示すべきピクチャと、デコードすべきピクチャを示す。２倍速再生の場合は、２フレームごとに１枚のピクチャを表示すればよい。この例では、表示すべきピクチャの種類は、順に、Ｉ_１Ｐ_３Ｐ_５Ｐ_７Ｐ_９Ｐ_１１Ｐ_１３Ｐ_１５となる。ここで、たとえば「Ｉ_１」は、表示順が「１」の「Ｉ」ピクチャを示す。Ｐピクチャは、参照元である過去のＩピクチャまたはＰピクチャが復号されていれば復号可能であるから、間のＢピクチャは復号する必要がない。したがって、デコードすべきピクチャも、順に、Ｉ_１Ｐ_３Ｐ_５Ｐ_７Ｐ_９Ｐ_１１Ｐ_１３Ｐ_１５となる。表示ピクチャ１枚につき、１枚のピクチャをデコードすればよいため、通常のＭＰＥＧデコーダを用いて、この符号化データストリームを２倍速で高速スムーズ再生できることが分かる。

図４（ｃ）は、この符号化データストリームを３倍速で高速スムーズ再生するときに表示すべきピクチャと、デコードすべきピクチャを示す。３倍速再生の場合は、３フレームごとに１枚のピクチャを表示すればよく、順に、Ｉ_１Ｂ_４Ｐ_７Ｂ_１０Ｐ_１３となる。Ｂピクチャを復号するためには、参照元である過去および未来のＩピクチャまたはＰピクチャを復号する必要があるため、デコードすべきピクチャは、順に、［Ｉ_１］Ｐ_３Ｐ_５［Ｂ_４］［Ｐ_７］Ｐ_９Ｐ_１１［Ｂ_１０］［Ｐ_１３］となる。ここで、実際に表示されるピクチャを［］で囲んでいる。このとき、１倍速のＭＰＥＧデコーダではデコードが間に合わず高速スムーズ再生を行うことができないが、１フレーム期間に２フレームのデコードが可能な２倍速対応のＭＰＥＧデコーダを用いると、高速スムーズ再生を行うことができる。

図４（ｄ）は、この符号化データストリームを４倍速で高速スムーズ再生するときに表示すべきピクチャと、デコードすべきピクチャを示す。４倍速再生の場合は、順に、Ｉ_１Ｐ_５Ｐ_９Ｐ_１３が表示されるが、そのために、［Ｉ_１］Ｐ_３［Ｐ_５］Ｐ_７［Ｐ_９］Ｐ_１１［Ｐ_１３］をデコードする必要がある。すなわち、２倍速以上のＭＰＥＧデコーダを用いることにより、この符号化データストリームを４倍速で高速スムーズ再生することができる。

図４（ｅ）は、この符号化データストリームを５倍速で高速スムーズ再生するときに表示すべきピクチャと、デコードすべきピクチャを示す。５倍速再生の場合は、順に、Ｉ_１Ｂ_６Ｐ_１１が表示されるが、そのために、［Ｉ_１］Ｐ_３Ｐ_５Ｐ_７［Ｂ_６］Ｐ_９［Ｐ_１１］をデコードする必要がある。すなわち、もはや２倍速のＭＰＥＧデコーダでも処理が破綻し、３倍速以上のＭＰＥＧデコーダが必要となる。

このように、符号化データストリームのピクチャ構成と、ＭＰＥＧデコーダの性能により、何倍速まで高速スムーズ再生可能かが決まる。いま、ピクチャ構成を示す指標として、Ｂピクチャが繰り返し出現する数をＭとする。すなわち、ピクチャ構成が「ＩＰＰＰＰＰ・・・」の場合は、Ｂピクチャは存在しないのでＭ＝０であり、ピクチャ構成が「ＩＢＰＢＰＢＰ・・・」の場合は、Ｂピクチャが１枚ずつ挿入されているのでＭ＝１であり、ピクチャ構成が「ＩＢＢＰＢＢＰ・・・」の場合は、Ｂピクチャが２枚ずつ挿入されているのでＭ＝２である。また、デコーダの性能を示す指標として、１フレーム期間にデコードできるフレームの数をＤで表す。たとえば、２倍速対応デコーダの場合はＤ＝２であり、３倍速対応デコーダの場合はＤ＝３である。このとき、高速スムーズ再生可能な限界速度Ｌは、Ｌ＝（Ｍ＋１）×Ｄで与えられる。図４（ａ）の例のように、Ｂピクチャが一枚挿入されている場合はＭ＝１であるから、１倍速対応デコーダの場合は、Ｌ＝（１＋１）×１＝２、すなわち２倍速の高速スムーズ再生まで可能であり、２倍速対応デコーダの場合は、Ｌ＝（１＋１）×２＝４、すなわち４倍速の高速スムーズ再生まで可能である。

高速再生モード判断部１１２は、上述したような判断基準をもとに、ユーザから指定された再生速度ＳがＬ以下の場合は高速スムーズ再生モードを選択し、再生速度ＳがＬを超えた場合は、高速スムーズ再生が不可能となるので、高速スキップ再生モードを選択してもよい。また、ピクチャ構成が一定でなく、ＧＯＰごとに変化するような場合は、ＧＯＰごとに高速スムーズ再生の可否を判断して切り替えてもよいし、高速スキップ再生モードを選択してもよい。ＧＯＰ内のピクチャ構成が上述の例のように規則的でない場合についても同様である。ピクチャ構成が不規則的で判断が困難な場合は、高速スキップ再生モードを選択してもよいし、高速スムーズ再生モードで再生を行い、処理が破綻した時点で高速スキップ再生モードに切り替えてもよい。

以上のように、予め符号化データストリームのピクチャ構成に関する情報を取得して高速再生処理を制御することで、適切な再生方式を選択し、符号化データストリームのピクチャ構成を反映した自然な高速再生を実現することができる。また、ユーザが再生速度をアナログ的に変化させることができるように構成した場合にも、高速スムーズ再生から高速スキップ再生への切り替えをシームレスに行うことが可能となる。

図２に戻り、逆順再生制御部３０４は、再生モードが逆順再生モードであるとき、通常再生モードとは逆順に符号化データストリームを再生するための制御を行う。ＭＰＥＧでは、順方向予測、双方向予測を利用して符号化を行い、ピクチャの符号順と表示順が異なるため、通常の正方向の復号に比べて逆順の復号は容易ではない。本実施の形態では、逆順再生をスムーズに行うために、通常再生中に、いったんデコードしたフレームをＭＰＥＧエンコーダ１４０により再びエンコードし、保持部１５０に一時的に保持しておく。メモリを効率良く利用するために、再符号化したデータを次々に上書きし、直前のＧＯＰのみを保持しておく。エンコードの際、全てのピクチャをＩピクチャとして符号化しておいてもよいし、ピクチャを逆順に並べ替えて、通常のＭＰＥＧ方式で符号化してもよい。保持部１５０に保持しておくデータ量は、たとえば、１ＧＯＰであってもよい。

ユーザから制御部３１０を介して逆順再生の要求があったとき、逆順再生制御部１２０は、まず、保持部１５０に保持されている１ＧＯＰ分のＩピクチャを逆順に読み出してＭＰＥＧデコーダ１３０に送り、復号して表示する。その間に並行して、入力ブロック３０４により過去の符号化データストリームを取得し、たとえば１ＧＯＰごとにデコードして、生成したピクチャを逆順に再生する。

ここで、たとえば１ＧＯＰ分のピクチャを符号化して保持部１５０に格納するとき、ＧＯＰに含まれるピクチャの数、種類などが一定でない符号化データストリームの場合は、１ＧＯＰに含まれるピクチャ数が通常よりも多いときに、保持部１５０の容量を超えてしまうことがある。そのため、本実施の形態では、ピクチャ構成情報取得部１０４により取得したピクチャ構成情報を参照して、再符号化したデータが保持部１５０に格納可能か否かを判断する。格納できないと判断された場合、１）圧縮率を高くしてピクチャ１枚あたりの容量を下げる、２）ピクチャを間引いて符号化し、逆順再生時には、間引いたフレームの箇所は直前のフレームを表示し続けることで再生速度を合わせる、３）逆順再生時の表示順にピクチャを格納し、格納できなかった分は逆順再生の要求後にデコードして生成する、４）他のメモリ領域を確保して保持部１５０の容量を上げる、５）逆順再生を不可とし、その旨をユーザに警告する、などの方法をとることができる。これにより、ピクチャ構成が一定でない場合であっても、予めピクチャ構成を取得することにより、メモリを効率的に利用して逆順再生を行うことができるので、メモリの削減にもつながる。

ピクチャ構成情報取得部１０４が取得するピクチャの構成情報は、符号化データ列の所定位置に格納されている。その格納位置は、ＭＰＥＧにおけるＧＯＰヘッダ、シーケンスヘッダなどに設けられているリザーブ領域、すなわちユーザデータ領域であってもよいし、さらに上位のレイヤであってもよいし、ピクチャ構成情報取得部１０４が認識可能であればどの位置に格納されていてもよい。ＧＯＰに含まれるピクチャの数については、ＭＰＥＧ２におけるＩピクチャのピクチャヘッダに設けられた「temporal_reference」コードの差分により算出してもよいし、ＧＯＰヘッダに設けられた「time_code」情報とシーケンスヘッダに設けられたフレームレート情報とから算出してもよい。

ピクチャの構成情報の形式も、ピクチャ構成情報取得部１０４が認識可能な形式であれば任意でよい。たとえば、あるＧＯＰを構成するピクチャが、「ＩＢＰＢＰＢ」であったとき、ユーザデータ領域に、ＧＯＰ内のピクチャ数を示す「６」、ピクチャ形式をそれぞれ「Ｉ：１」、「Ｐ：２」、「Ｂ：３」で表現した、「１３２３２３」を、それぞれ格納してもよい。ピクチャの順序を、間に挿入されるＢピクチャの数で表現してもよい。上述の例では、Ｂピクチャが１枚ずつ挿入されているため、「１」となる。また、代表的なピクチャの順序をテーブル化してもよい。ピクチャ数に代えて、ＧＯＰの時間情報を格納してもよい。

以上、本実施の形態の画像再生装置３００の構成を説明した。この構成に基づく本実施形態の画像再生手順を、図５から図７に示すフローチャートにしたがって説明する。

図５は、本実施の形態の画像再生装置３００における高速スキップ再生の手順を示す。まず、高速スキップ再生モードになると、ピクチャ構成情報取得部１０４が、次に再生すべきＧＯＰに含まれるピクチャ数を取得する（Ｓ１００）。ＧＯＰに複数のＩピクチャが含まれる場合は、Ｉピクチャ間のピクチャ数を取得してもよい。つづいて、再生速度とピクチャ数に基づいて、高速スキップ再生制御部１１４は、Ｉピクチャの表示間隔を算出する（Ｓ１０２）。つづいて、ＭＰＥＧデコーダ１３０によりＩピクチャが復号され（Ｓ１０４）、表示装置３４４に表示される（Ｓ１０６）。Ｉピクチャの表示時間が経過するまでは（Ｓ１０８のＮ）、そのＩピクチャを表示し続け、表示時間が経過すると（Ｓ１０８のＹ）、次のＩピクチャを表示するための処理に移る。以上の手順が、高速スキップ再生モードが終了する（Ｓ１１０のＹ）まで繰り返される。

図６は、本実施の形態の画像再生装置３００における高速スムーズ再生の手順を示す。まず、高速スムーズ再生モードになると、ピクチャ構成情報取得部１０４が、次に再生すべきＧＯＰに含まれるピクチャの形式および順序を取得する（Ｓ２００）。つづいて、高速スムーズ再生制御部１１６が、高速スムーズ再生が可能か否かを判断する（Ｓ２０２）。このとき、上述のように、標準的なピクチャ構成の場合は、ピクチャ構成と再生速度から高速スムーズ再生の可否が判断できる。図４に示したように、表示すべきピクチャと復号すべきピクチャを決定し、それらの構成から高速スムーズ再生の可否を判断してもよい。高速スムーズ再生が可能であると判断されると（Ｓ２０２のＹ）、復号すべきフレームをＭＰＥＧデコーダ１３０により復号し（Ｓ２０４）、そのうち表示すべきフレームを表示装置３４４に表示する（Ｓ２０６）。高速スムーズ再生が不可能であると判断されると（Ｓ２０２のＮ）、高速スキップ再生に切り替え（Ｓ２０８）、Ｉピクチャのみが復号され表示される。以上の手順が、高速スムーズ再生モードが終了する（Ｓ２１０のＹ）まで繰り返される。図６のフローチャートでは、ＧＯＰごとに高速スムーズ再生の可否を判断しているが、符号化データ列内でピクチャ構成が一定である場合は、再生速度が変更されたときに１回判断すれば十分であり、その後は高速スムーズ再生処理を続ければよい。

図７は、本実施の形態の画像再生装置３００における逆順再生の手順を示す。まず、通常再生モードにおいて、ピクチャ構成情報取得部１０４が、次に再生すべきＧＯＰに含まれるピクチャの構成情報を取得する（Ｓ３００）。ピクチャの構成情報として、ピクチャの数、形式、順序などを取得してもよい。つづいて、逆順再生制御部１２０は、そのＧＯＰを再エンコードした符号化データを保持部１５０に格納可能か否かを判断する（Ｓ３０２）。格納可能である場合は（Ｓ３０２のＹ）、ＭＰＥＧエンコーダ１４０により逆順再生可能な形式に符号化し（Ｓ３０４）、保持部１５０に格納する（Ｓ３０６）。格納不可能である場合は（Ｓ３０２のＮ）、フレームを間引いたり、圧縮率を上げるなどして、符号化の態様を変更した後（Ｓ３０８）、同様に符号化し（Ｓ３０４）、格納する（Ｓ３０６）。以上の手順が、通常再生モードの間、繰り返し実行される。

逆順再生モードに変わると（Ｓ３１０のＹ）、逆順再生制御部１２０は、保持部１５０に保持されていた１ＧＯＰ分の逆順再生用画像を読み出し（Ｓ３１２）、それをＭＰＥＧデコーダ１３０により復号して（Ｓ３１４）、表示装置３４４に表示する（Ｓ３１６）。その間に、バックグラウンドで、入力ブロック３０４を介して過去のＧＯＰを入力して復号し、生成した画像データを逆順に表示する。

（第２の実施の形態）
図８は、第２の実施の形態に係る画像記録装置４００の構成図である。この画像記録装置４００は、伝達メディア２００からのＭＰＥＧビデオストリームを記録するムービーカメラ、スチルカメラ、ビデオＣＤ記録装置、ＤＶＤ記録装置などに組み込まれる。なお、伝達メディア２００には、蓄積メディア（ビデオＣＤ，ＣＤ−ＲＯＭ，ＤＶＤ，ＶＴＲなど）、通信メディア（ＬＡＮなど）、放送メディア（地上波放送，衛星放送，ＣＡＴＶなど）などが含まれる。また、蓄積メディアや放送メディアからのデータがＭＰＥＧビデオパートに準拠して符号化されていないデータである場合は、画像記録装置４００は、このデジタルデータを符号化するためのＭＰＥＧビデオエンコーダを含む。画像記録装置４００をムービーカメラまたはスチルカメラに組み込む場合は、伝達メディア２００がＣＣＤなどの撮像デバイスおよびその信号処理回路に置き換えられる。

画像記録装置４００は、伝達メディア２００から符号化データ列を入力する入力ブロック４０４と、入力ブロック４０４により取得された符号化データ列の記録ブロック４０８への記録を制御する処理ブロック４０６と、符号化データ列を記録する記録ブロック４０８と、ユーザからの指示を受けつけるユーザインタフェイス４１２と、ユーザインタフェイス４１２からの命令にもとづいて入力ブロック４０４および処理ブロック４０６を制御する制御部４１０とを含む。

処理ブロック４０６の記録制御部４３４は、符号化データ列を記録ブロック４０８に記録する。ピクチャ構成情報付加部４３６は、符号化データ列に含まれるピクチャの数、形式、順序などの構成情報を、たとえばＧＯＰごとに、ユーザデータ領域などの所定位置に付加する。これにより、形式の異なる第１および第２形式フレームが混在したフレーム群を単位として動画データを符号化した符号化データ列と、符号化データ列の所定位置に格納された、フレーム群に含まれるフレームの数、形式、または順序を示す情報とを含むデータ構造が生成される。ユーザインタフェイス４１２は、リモートコントローラまたは入力パネルなどを介して、ユーザから記録要求などを受けつける。制御部４１０は入力ブロック４０４および処理ブロック４０６に、記録開始信号を送る。記録制御部４３４は、この記録開始信号に基づいて、記録処理を行う。記録ブロック４０８は、ＣＤ、ＭＯ、ＭＤ、ＤＶＤ、その他の各種記録媒体に記録するためのドライブ装置であってもよいし、記録媒体自身であってもよい。

ピクチャ構成情報格納部４３６がピクチャの構成情報を付加することにより、符号化データ列を再生する画像再生装置において、この情報を利用して適切な制御を行うことができる。ピクチャ構成情報を格納するタイミングは、本実施の形態のように符号化データ列を記録する段階であってもよいし、ＭＰＥＧエンコーダにより符号化データ列を生成する段階であってもよいし、その他任意のタイミングであってもよい。

以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、変形例を挙げる。

実施の形態では、高速スキップ再生のときに、Ｉピクチャのみを再生したが、これに加えて、Ｐピクチャ、場合によってはＢピクチャを再生してもよい。ＧＯＰまたはＧＯＶに含まれるピクチャまたはＶＯＰの数が多い場合は、ＩピクチャまたはＩ−ＶＯＰのみを表示すると粗過ぎるので、必要に応じて、途中の画像を表示してもよい。

第１の実施の形態に係る画像再生装置の構成図である。 図１の再生制御部の機能構成図である。 図３（ａ）（ｂ）（ｃ）は、高速スキップ再生の方法を説明する図である。 図４（ａ）（ｂ）（ｃ）（ｄ）（ｅ）は、高速スムーズ再生の方法を説明するための図である。 実施の形態の画像再生装置における高速スキップ再生の手順を示すフローチャートである。 実施の形態の画像再生装置における高速スムーズ再生の手順を示すフローチャートである。 実施の形態の画像再生装置における逆順再生の手順を示すフローチャートである。 第２の実施の形態に係る画像記録装置の構成図である。

符号の説明

１０４ ピクチャ構成情報取得部
１１０ 高速再生制御部
１１２ 高速再生モード判断部
１１４ 高速スキップ再生制御部
１１６ 高速スムーズ再生制御部
１２０ 逆順再生制御部
１３０ ＭＰＥＧデコーダ
１４０ ＭＰＥＧエンコーダ
１５０ 保持部
３００ 画像再生装置
３３４ 再生制御部
４００ 画像記録装置
４３６ ピクチャ構成情報付加部

Claims (9)

1. 形式の異なる第１および第２形式フレームが混在した符号化データ列を復号して画像データを生成する復号器と、
   前記符号化データ列に含まれるフレームのうち、一部のみを前記復号器に復号させ、表示装置に表示させることにより、高速再生を行う高速再生制御部と、
   前記符号化データ列に含まれるフレームの数、形式、または順序を取得する構成情報取得部と、を備え、
   前記高速再生制御部は、前記フレームの数、形式、または順序に基づいて、前記高速再生を制御することを特徴とする画像再生装置。
2. 前記高速再生制御部は、前記第１形式フレームのみを復号して表示する第１の高速再生モードを実現する第１制御部を含み、
   前記第１制御部は、前記構成情報取得部から、第１形式フレームと、その次に表示すべき第１形式フレームとの間に存在するフレーム数を取得し、前記フレーム数と前記高速再生の速度に基づいて、第１形式フレームの表示間隔を決定することを特徴とする請求項２に記載の画像再生装置。
3. 前記符号化データ列は、少なくとも１枚の第１形式フレームと、少なくとも１枚の第２形式フレームを含むフレーム群を単位として符号化されたものであり、
   前記第１制御部は、前記フレーム群に属するフレームの数を取得し、それを第１形式フレームとその次に表示すべき第１形式フレームとの間に存在するフレーム数とすることを特徴とする請求項２に記載の画像再生装置。
4. 前記高速再生制御部は、前記高速再生の速度に応じてフレームを間引いて表示する第２の高速再生モードを実現する第２制御部を含み、
   前記第２制御部は、前記構成情報取得部から、再生すべき部分の前記符号化データ列を構成するフレームの種類および順序を取得し、それに基づいて表示すべきフレームおよび復号すべきフレームを決定することを特徴とする請求項１に記載の画像再生装置。
5. 前記高速再生制御部は、前記復号すべきフレームと、前記復号器の性能に基づいて、前記第２の高速再生モードの可否を判断する判断部をさらに含むことを特徴とする請求項４に記載の画像再生装置。
6. 前記高速再生制御部は、前記第１形式フレームのみを復号して表示する第１の高速再生モードを実現する第１制御部をさらに含み、
   前記判断部は、前記第２の高速再生モードが不可能と判断されたときに、前記第１の高速再生モードに切り替えることを特徴とする請求項５に記載の画像再生装置。
7. 前記構成情報取得部は、前記符号化データ列の所定位置に格納された情報を読み出すことにより、前記符号化データ列に含まれるフレームの数、形式、または順序を取得することを特徴とする請求項１から６のいずれかに記載の画像再生装置。
8. 形式の異なる第１および第２形式フレームが混在したフレーム群を単位として符号化された符号化データ列の所定位置に、前記フレーム群に含まれるフレームの数、形式、または順序を示す情報を付加する構成情報付加部を備えることを特徴とする画像記録装置。
9. 動画像を表す動画データのデータ構造であって、
   形式の異なる第１および第２形式フレームが混在したフレーム群を単位として前記動画データを符号化した符号化データ列と、
   前記符号化データ列の所定位置に格納された、前記フレーム群に含まれるフレームの数、形式、または順序を示す情報と、
   を含むことを特徴とするデータ構造。

Images