JP3876943B2 - ストリーム編集装置および方法、並びに、ストリーム復号装置および方法 - Google Patents
ストリーム編集装置および方法、並びに、ストリーム復号装置および方法 Download PDFInfo
- Publication number
- JP3876943B2 JP3876943B2 JP23449997A JP23449997A JP3876943B2 JP 3876943 B2 JP3876943 B2 JP 3876943B2 JP 23449997 A JP23449997 A JP 23449997A JP 23449997 A JP23449997 A JP 23449997A JP 3876943 B2 JP3876943 B2 JP 3876943B2
- Authority
- JP
- Japan
- Prior art keywords
- gop
- stream
- picture
- information
- independent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はストリーム編集装置および方法、並びに、ストリーム復号装置および方法に関し、特にグループ・オブ・ピクチャ（以下場合によってＧＯＰと記載する。）構造を持つストリームを編集するストリーム編集装置および方法、並びに、グループ・オブ・ピクチャ構造を持つストリームを復号するストリーム復号装置および方法に関する。
【０００２】
【従来の技術】
現在、カラー動画像のデータを圧縮する符号化方法として、ＣＤ−ＲＯＭ等の蓄積メディアを対象としたＭＰＥＧ（Moving Picture Coding Experts Group ）１、また、ＭＰＥＧ１を拡張して通信メディア、放送、通信で共通に利用できるようにしたＭＰＥＧ２が標準化されている。
【０００３】
ＭＰＥＧ１では動画像データから切り出したフレームを圧縮する際、規定されているＩピクチャ、Ｐピクチャ、Ｂピクチャという３つの画像タイプのうち任意の画像タイプで符号化を行い、圧縮効率を高めている。
【０００４】
このうち、Ｉピクチャでは画面のすべてをイントラ符号化（フレーム内符号化）する。また、Ｐピクチャでは先に出現しているＩピクチャもしくはＰピクチャに基づいたフレーム間順方向予測符号化を行う。そしてＢピクチャでは先に出現しているＩピクチャもしくはＰピクチャと、後に出現しているＩピクチャもしくはＰピクチャとに基づいた双方向予測符号化を行う。
【０００５】
ところで、一連の動画像のすべてが相互に依存し合っている場合には、単純な再生のみが可能である。すなわち、早送りや巻き戻し、途中からの再生、逆転再生等のトリックモードには対応できない。そこでＭＰＥＧ１では、少なくとも１枚のＩピクチャを含む、規定の枚数のピクチャデータをひとまとめにして、これをグループ・オブ・ピクチャ（Group Of Picture）と呼ぶ。そして、このＧＯＰを単位として、トリックモードの再生を行う。各ＧＯＰには、そのＧＯＰの性質を示すヘッダ情報が付加されている。デコーダでは、このヘッダ情報によって、トリックモードのためのランダム・アクセスが可能となる。
【０００６】
ヘッダ情報には、ＧＯＰの開始コードや、そのＧＯＰのストリーム先頭からの時間を示すタイムコードが含まれている。また、そのＧＯＰが独立であるか否かを示すクローズドＧＯＰフラグや、そのＧＯＰの再生にあたり直前のＧＯＰのデータが使用できるか否かを示すブロークン・リンク・フラグが含まれている。
【０００７】
生成されたストリームに含まれたＧＯＰのヘッダ情報にクローズドＧＯＰフラグが立っているとき、そのＧＯＰは独立である。これは、そのＧＯＰが、他のＧＯＰに含まれたピクチャデータからの予想に基づいて符号化されるピクチャデータ（Ｂピクチャ）を持たないことを示す。従って、画質よりも独立性を重視したストリームとなり、編集性が高い。
【０００８】
また、独立していないＧＯＰが編集によって切り取られ、つなげられた場合、そのヘッダ情報にはブロークン・リンク・フラグが立てられる。このような場合、独立していないＢピクチャに関しては、そのＧＯＰ内のＩ、Ｐピクチャからの逆方向予測のみにて復号を行う。
【０００９】
【発明が解決しようとする課題】
しかし、独立していないにも関らず、再生にあたって直前のＧＯＰのデータが使用できないＧＯＰがある場合、そのＧＯＰに含まれるＢピクチャのために、映像が乱れてしまうことがあるという問題点があった。
【００１０】
本発明はこのような点に鑑みてなされたものであり、映像を乱すことなく再生できるように動画像データのストリームを編集できるストリーム編集装置および方法を提供することを目的とする。
【００１１】
また、本発明の別の目的は、ブロークン・リンク・フラグが立っていても映像を乱すことなく、符号化された動画像データのストリームを再生できるストリーム復号装置および方法を提供することである。
【００１２】
【課題を解決するための手段】
本発明では上記課題を解決するために、ＧＯＰ構造を持つストリームを編集するストリーム編集装置において、前記ストリームの編集処理に伴い、直前に配置されるＧＯＰに変更が生じた直後ＧＯＰの独立性情報を読み取る読み取り手段と、前記直後ＧＯＰが独立していない場合には、前記直後ＧＯＰに含まれる非独立ピクチャデータに対する代替表現を指示する画柄選択情報の指示入力を受け付け、前記直後ＧＯＰのヘッダ情報に前記画柄選択情報を付加する情報付加手段と、を有することを特徴とするストリーム編集装置が提供される。
【００１３】
このようなストリーム編集装置にて、ＧＯＰ構造を持つストリームを編集する場合、読み取り手段は、ストリームの編集処理に伴い、直前に配置されるＧＯＰに変更が生じた直後ＧＯＰの独立性情報を読み取る。そして、情報付加手段は、直後ＧＯＰが独立していない場合には、直後ＧＯＰに含まれる非独立ピクチャデータに対する代替表現を指示する画柄選択情報の指示入力を受け付け、直後ＧＯＰのヘッダ情報に画柄選択情報を付加する。
また、本発明では上記課題を解決するために、ＧＯＰ構造を持つストリームを編集するストリーム編集方法において、前記ストリームの編集処理に伴い、直前に配置されるＧＯＰに変更が生じた直後ＧＯＰの独立性情報を読み取り、前記直後ＧＯＰが独立していない場合には、前記直後ＧＯＰに含まれる非独立ピクチャデータに対する代替表現を指示する画柄選択情報の指示入力を受け付け、前記直後ＧＯＰのヘッダ情報に前記画柄選択情報を付加するステップを含むことを特徴とするストリーム編集方法が提供される。
このようなストリーム編集方法にて、ストリームの編集処理に伴い、直前に配置されるＧＯＰに変更が生じた直後ＧＯＰの独立性情報が読み取られる。そして、直後ＧＯＰが独立していない場合には、直後ＧＯＰに含まれる非独立ピクチャデータに対する代替表現を指示する画柄選択情報の指示入力が受け付けられ、直後ＧＯＰのヘッダ情報に画柄選択情報が付加される。
【００１４】
このように、本発明のストリーム編集装置および方法では、独立していない直後ＧＯＰの直前のＧＯＰが編集によって変更となった場合に、直後ＧＯＰに含まれる非独立ピクチャデータ（Ｂピクチャ）に対する代替表現を指示する画柄選択情報を、直後ＧＯＰのヘッダ情報に付加するので、動画像のストリームを、映像を乱すことなく再生できるように編集することが可能となる。
【００１５】
また、本発明では上記課題を解決するために、ＧＯＰ構造を持つストリームを復号するストリーム復号装置において、ＧＯＰの独立性情報、依存性情報、及び、前記ＧＯＰに含まれる非独立ピクチャデータに対する代替表現を指示する画柄選択情報を読み取る読み取り手段と、前記ＧＯＰが、他のＧＯＰに依存できず、画柄選択情報を持つ場合には、前記ＧＯＰを、前記画柄選択情報に基づいて復号する動画像復号手段と、を有することを特徴とするストリーム復号装置が提供される。
【００１６】
このようなストリーム復号装置にてＧＯＰ構造を持つストリームを復号する場合、読み取り手段は、ＧＯＰの独立性情報、依存性情報、及び、ＧＯＰに含まれる非独立ピクチャデータに対する代替表現を指示する画柄選択情報を読み取る。そして、動画像復号手段は、ＧＯＰが、他のＧＯＰに依存できず、画柄選択情報を持つ場合には、ＧＯＰを、画柄選択情報に基づいて復号する。
さらに、本発明では上記課題を解決するために、ＧＯＰ構造を持つストリームを復号するストリーム復号方法において、ＧＯＰの独立性情報、依存性情報、及び、前記ＧＯＰに含まれる非独立ピクチャデータに対する代替表現を指示する画柄選択情報を読み取り、前記ＧＯＰが、他のＧＯＰに依存できず、画柄選択情報を持つ場合には、前記ＧＯＰを、前記画柄選択情報に基づいて復号するステップを含むことを特徴とするストリーム復号方法が提供される。
このようなストリーム復号方法において、ＧＯＰの独立性情報、依存性情報、及び、ＧＯＰに含まれる非独立ピクチャデータに対する代替表現を指示する画柄選択情報が読み取られる。そして、ＧＯＰが、他のＧＯＰに依存できず、画柄選択情報を持つ場合には、ＧＯＰが、画柄選択情報に基づいて復号される。
【００１７】
このように、本発明のストリーム復号装置および方法では、符号化された動画像データのストリームを復号する際、ストリームのＧＯＰが、独立していないにも関らず、復号にあたって直前のＧＯＰに依存できない（ブロークン・リンク・フラグが立っている）場合でも、このＧＯＰを、画柄選択情報に基づいて復号するので、映像を乱すことなく、再生することが可能となる。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明のストリーム編集装置の原理構成を示すブロック図である。
【００１９】
本発明のストリーム編集装置２は、グループ・オブ・ピクチャ（ＧＯＰ）構造を持つストリーム１を編集するにあたって、編集受付手段３、ＧＯＰ削除手段４、ＧＯＰ挿入手段５、ストリーム切替え手段６、ヘッダ情報読み取り手段７、ヘッダ情報更新手段８を持つ。
【００２０】
ここで、編集受付手段３はストリーム１に対する編集種類の入力指示を受け付ける。そして、受け付けた編集種類が、削除であった場合にはＧＯＰ削除手段４に、挿入であった場合にはＧＯＰ挿入手段５に、切替えであった場合にはストリーム切替え手段６に、動作指令を出力する。
【００２１】
ＧＯＰ削除手段４は、編集受付手段３から動作指令を、ユーザからストリーム１における削除適用ＧＯＰ範囲の指定を受け付けると、削除処理を行う。すなわち、ストリーム１に含まれている削除適用ＧＯＰ範囲のＧＯＰを削除する。それから、ストリーム１において削除適用ＧＯＰ範囲の直後に配置されていたＧＯＰを直後ＧＯＰとして、ヘッダ情報読み取り部７に通知する。
【００２２】
ＧＯＰ挿入手段５は、編集受付手段３から動作指令を、ユーザからストリーム１における挿入位置の指定と挿入ＧＯＰの入力とを受け付けると、ストリーム１に対して挿入処理を行う。すなわち、受け付けた挿入位置でストリーム１を切断して、受け付けた挿入ＧＯＰを挿入する。それから、ストリーム１において挿入位置の直後に配置されていたＧＯＰと、挿入ＧＯＰの先頭のＧＯＰとを、直後ＧＯＰとして、ヘッダ情報読み取り部７に通知する。
【００２３】
ストリーム切替え手段６は、編集受付手段３から動作指令を、ユーザからストリーム１における切替え位置の指定と切替えストリームの入力とを受け付けると、ストリーム１に対して切替え処理を行う。すなわち、受け付けた切替え位置でストリーム１を切断して、受け付けた切替えストリームを接続する。それから、切替えストリームで先頭に配置されているＧＯＰを、直後ＧＯＰとして、ヘッダ情報読み取り手段７に通知する。
【００２４】
ヘッダ情報読み取り手段７は、通知された直後ＧＯＰのヘッダ情報から、その直後ＧＯＰの独立性情報を読み取る。そして、直後ＧＯＰが独立していない場合には、ヘッダ情報更新手段８にこれを通知する。なお、ここでヘッダ情報読み取り手段７にて読み取られる独立性情報は、そのＧＯＰが、他のＧＯＰに含まれるピクチャデータに依存して符号化された非独立ピクチャデータ（Ｂピクチャ）を持つか否かを示すフラグである。
【００２５】
ヘッダ情報更新手段８は、ヘッダ情報読み取り手段７から直後ＧＯＰが独立していないことを通知され、ユーザから画柄選択情報の指示入力を受け付けると、直後ＧＯＰのヘッダ情報に画柄選択情報を付加してこのヘッダ情報を更新する。画柄選択情報は、直後ＧＯＰに含まれた非独立ピクチャデータ（Ｂピクチャ）に対する代替表現を指示するものであって、ユーザは、非独立ピクチャデータ（Ｂピクチャ）の代わりに黒画像を表示するよう指示する黒画像指示等を選択することができる。
【００２６】
なお、ヘッダ情報はそのＧＯＰの依存性情報を含むことができるので、ヘッダ情報更新手段８では、この更新の際、直後ＧＯＰが他のＧＯＰに依存しないことを示す依存性情報も、このヘッダ情報に記録する。
【００２７】
このように、本発明のストリーム編集装置２では、独立していない直後ＧＯＰの直前のＧＯＰが編集によって変更となった場合に、直後ＧＯＰに含まれた非独立ピクチャデータ（Ｂピクチャ）に対する代替表現を指示する画柄選択情報を、この直後ＧＯＰのヘッダ情報に付加するので、動画像のストリームを、映像を乱すことなく再生できるように編集することが可能となる。
【００２８】
ここで、ストリーム編集装置２にて動画像データのストリーム１を編集する際の手順について説明する。
図２は、図１に示したストリーム編集装置２にて動画像データのストリーム１を編集する手順を示したフローチャートである。以下、ステップ番号に沿って説明を行う。
［Ｓ１］編集受付手段３は、ユーザから入力される編集種類を受け付ける。
［Ｓ２］受け付けた編集種類の内容を判断する。編集種類が「削除」であれば、編集受付手段３はＧＯＰ削除手段４に動作指令を出し、ステップＳ３へ進む。編集種類が「挿入」であれば、編集受付手段３はＧＯＰ挿入手段５に動作指令を出し、ステップＳ５へ進む。編集種類が「切替え」であれば、編集受付手段３はストリーム切替え手段６に動作指令を出し、ステップＳ８へ進む。
［Ｓ３］ＧＯＰ削除手段４は、ユーザから入力されるストリーム１における削除適用ＧＯＰ範囲を受け付ける。
［Ｓ４］ＧＯＰ削除手段４は、受け付けた削除適用ＧＯＰ範囲のＧＯＰを削除する。それから、ストリーム１において削除適用ＧＯＰ範囲の直後に配置されていたＧＯＰを「直後ＧＯＰ」として、ヘッダ情報読み取り部７に通知する。
［Ｓ５］ＧＯＰ挿入手段５は、ユーザから入力されるストリーム１における挿入位置の指定を受け付ける。
［Ｓ６］ＧＯＰ挿入手段５は、ユーザから入力される挿入ＧＯＰを受け付ける。
［Ｓ７］ＧＯＰ挿入手段５は、ステップＳ５で受け付けた挿入位置でストリーム１を切断して、ステップＳ６で受け付けた挿入ＧＯＰを挿入する。それから、ストリーム１において挿入位置の直後に配置されていたＧＯＰと、挿入ＧＯＰの先頭のＧＯＰとを、「直後ＧＯＰ」として、ヘッダ情報読み取り部７に通知する。
［Ｓ８］ストリーム切替え手段６は、ユーザから入力されるストリーム１における切替え位置の指定を受け付ける。
［Ｓ９］ストリーム切替え手段６は、ユーザから入力される切替えストリームを受け付ける。
［Ｓ１０］ストリーム切替え手段６は、ステップＳ８で受け付けた切替え位置でストリーム１を切断して、ステップＳ９で受け付けた切替えストリームを接続する。それから、切替えストリームで先頭に配置されているＧＯＰを、「直後ＧＯＰ」として、ヘッダ情報読み取り手段７に通知する。
［Ｓ１１］ヘッダ情報読み取り手段７は、通知された直後ＧＯＰのヘッダ情報から、その直後ＧＯＰの独立性情報を読み取る。
［Ｓ１２］ヘッダ情報読み取り手段７は、読み取った独立性情報から、直後ＧＯＰが独立しているか否か判断する。直後ＧＯＰが独立している場合には、このフローチャートの処理は終了する。また、直後ＧＯＰが独立していない場合には、これをヘッダ情報更新手段８に通知し、ステップＳ１３へ進む。
［Ｓ１３］ヘッダ情報更新手段８は、ユーザから画柄選択情報の指示入力を受け付ける。
［Ｓ１４］ヘッダ情報更新手段８は、ステップＳ１３で受け付けた画柄選択情報を直後ＧＯＰのヘッダ情報に付加してこのヘッダ情報を更新する。なお、ヘッダ情報はそのＧＯＰの依存性情報を含むことができるので、ヘッダ情報更新手段８では、この更新の際、直後ＧＯＰが他のＧＯＰに依存しないことを示す依存性情報も、このヘッダ情報に記録する。
【００２９】
このように、本発明のストリーム編集装置２では、独立していない直後ＧＯＰの直前のＧＯＰが編集によって変更となった場合に、直後ＧＯＰに含まれた非独立ピクチャデータ（Ｂピクチャ）に対する代替表現を指示する画柄選択情報を、この直後ＧＯＰのヘッダ情報に付加するので、動画像のストリームを、映像を乱すことなく再生できるように編集することが可能となる。
【００３０】
ここで、本発明のストリーム編集装置が編集の対象とするＧＯＰ構造を持つストリームについて説明する。
図３は、動画像を符号化して、ＧＯＰ構造を持つストリームを生成した場合、及びストリームを復号して再生画を得る場合に、ピクチャの配置の順序が変化する様子を示した図である。
【００３１】
一連の動画像１０から切り出したフレームを符号化してストリーム２０を生成する場合、双方向予測を使用するＢピクチャは、依存しているＩピクチャやＰピクチャの符号化及び配置の後で、符号化及び配置を行う。また、ストリーム２０を復号して再生画３０を再生する場合には、フレームの順序を動画像１０と同じになるよう置き換えていく。なお、ここでは流れを説明するために、符号化してＩピクチャとするフレームは、動画像１０〜再生画３０を通してＩピクチャとして示す。また、符号化してＰピクチャとするフレームも、動画像１０〜再生画３０を通してＰピクチャとして示し、同様に符号化してＢピクチャとするフレームも、動画像１０〜再生画３０を通じてＢピクチャとして示す。さらに、ここで示した動画像１０は編集処理を一切行っていない一連のものであり、ＧＯＰn-1 とＧＯＰn 、ＧＯＰn+1 とは連続した動画像であるとする。
【００３２】
動画像１０を符号化してストリーム２０を生成する場合、Ｐピクチャは、前に出現したＩピクチャに依存して符号化される。またＢピクチャは、直前のＩ、Ｐピクチャと、直後のＩ，Ｐピクチャとの双方に依存して符号化される。例えば、図３に示したフレーム１２は、Ｐピクチャ１１とＰピクチャ１３とに依存して生成される。従って、フレーム１２は、Ｐピクチャ１１とＰピクチャ１３とが配置された後でＢピクチャとして配置される。
【００３３】
また、フレーム１４は、Ｐピクチャ１３とＩピクチャ１５とに依存して符号化される。従って、フレーム１４は、Ｐピクチャ１３とＩピクチャ１５とが配置された後でＢピクチャとして配置される。
【００３４】
このように、ストリーム２０に配置されているピクチャの順番は符号化前の動画像１０と異なっている。そこで、ストリーム２０を復号して再生画３０を再生する場合には、この順番を元に戻しながら再生する。なお、図３において動画像１０のフレーム１１、１２、１３、１４、１５は、再生画３０のフレーム３１、３２、３３、３４、３５に対応する。
【００３５】
ここで、本発明のストリーム編集装置を適用したストリーム切替え装置について説明する。
図４は、本発明のストリーム編集装置を適用したストリーム切替え装置の詳細構成を示す図である。
【００３６】
本発明のストリーム編集装置を適用したストリーム切替え装置４０は、ストリームＡとストリームＢとを切替え制御信号に従って切替え、ストリームＣを生成する。ここで、ストリーム切替え装置４０は、ＧＯＰヘッダ情報読み取り部４１、４２と、タイミング情報生成部４３と、タイミング調整用メモリ４４、４５と、ＧＯＰヘッダ情報生成部４６と、黒画面生成部４７と、ＧＯＰヘッダ情報書き換え部４８、４９と、多重化ストリーム生成手段５０とを有している。
【００３７】
ＧＯＰヘッダ情報読み取り部４１、４２は、ストリームＡ、ＢのＧＯＰのヘッダ情報から各ＧＯＰのピクチャ数ＮとＧＯＰの独立性情報とを読み取る。読み取ったピクチャ数Ｎはタイミング情報生成部４３に通知する。また、読み取った独立性情報はＧＯＰヘッダ情報生成部４６に通知する。
【００３８】
タイミング情報生成部４３は、ストリームの切替えを指示する切替え制御信号を受け付ける。また、このタイミング情報生成部４３は、通知される各ＧＯＰのピクチャ数Ｎから、ストリームＡとストリームＢとの時間関係を常時計算している。そして、計算している両ストリームの時間関係と、切替え制御信号とから、切替えのためのタイミング情報を生成する。
【００３９】
タイミング調整用メモリ４４、４５は、切替えやＧＯＰのヘッダ情報の書き換えのための時間調節を行う。
ＧＯＰヘッダ情報生成部４６には、ユーザ等から画柄選択情報が入力される。このＧＯＰヘッダ情報生成部４６は、タイミング情報生成部４３から入力されるタイミング情報と、ＧＯＰヘッダ情報読み取り部４１、４２から入力される独立性情報とからヘッダ情報の書き換えが必要か否か判断する。そして、書き換えが必要であれば、画柄選択情報に基づいて、新たなヘッダ情報を生成する。
【００４０】
ここでヘッダ情報について説明する。ＭＰＥＧの場合、ＧＯＰのヘッダ情報は、ＧＳＣ（Group Start Code：ＧＯＰの開始コード）と、ＴＣ（Time Code ：タイムコード）と、ＣＧ（Closed GOP：ＧＯＰ内の画像が他のＧＯＰから独立して再生可能であることを示す独立性情報）と、ＢＬ（Broken Link ：先行するＧＯＰデータが編集のためには使用不可であることを示す依存性情報）とを含む。また、ＧＯＰのヘッダ情報には、ＥＳＣ（Extension Start Code：将来用の拡張データ開始コード）とＧＥＤ（Group Extension Data：拡張データ）や、ＵＤＳＣ（User Data Start Code：ユーザデータの開始コード）とＵＤ（User Data ：ユーザデータ）を含むことができる。
【００４１】
本発明のストリーム編集装置を適用したストリーム切替え装置４０のＧＯＰヘッダ情報生成部４６では、ストリームの切替えによって、独立していない（ＣＧ＝０）にも拘らず、先行するＧＯＰデータを復号の際に使用できない（ＢＬ＝１）ＧＯＰが発生してしまった場合に、このＧＯＰのヘッダ情報のＵＤ領域に画柄選択情報を付加することで、新たなヘッダ情報を生成する。
【００４２】
黒画像生成部４７は、ＧＯＰヘッダ情報生成部４６から黒画像の生成指示があった場合に、画面全体が黒で塗り潰された静止画である黒画像を生成し、これを多重化ストリーム生成部５０に入力する。
ＧＯＰヘッダ情報書き換え部４８、４９は、ＧＯＰヘッダ情報生成部４６から特定のＧＯＰのヘッダ情報書き換えの指示があった場合に、該当するＧＯＰのヘッダ情報を、入力される新たなヘッダ情報で書き換える。
【００４３】
そして多重化ストリーム生成部５０は、タイミング情報生成部４３から入力されるタイミング情報に基づいて、黒画像、ストリームＡ及びストリームＢの切替えを行って、ストリームＣを生成する。
【００４４】
このように、本発明のストリーム編集装置を適用したストリーム切替え装置４０では、切替え処理によって、独立していないにも拘らず先行するＧＯＰデータを復号の際に使用できないＧＯＰが発生してしまう場合に、そのＧＯＰに含まれた非独立ピクチャデータ（Ｂピクチャ）に対する代替表現を指示する画柄選択情報をこのＧＯＰのヘッダ情報に付加するので、動画像のストリームを、映像を乱すことなく再生できるように切替えて新たなストリームを生成することが可能である。
【００４５】
本発明のストリーム編集装置にて編集されたストリームを復号して再生画を得るストリーム復号装置は、ＧＯＰのヘッダ情報からそのＧＯＰの依存性情報及び画柄選択情報を読み取るヘッダ情報読み取り手段と、そのＧＯＰが、独立していない（ＣＧ＝０）にも拘らず、他のＧＯＰに依存できず（ＢＬ＝１）、画柄選択情報を持つ場合には、そのＧＯＰを、読み取った画柄選択情報に基づいて復号する動画像復号手段と、を有する。
【００４６】
図５は、本発明のストリーム編集装置を適用したストリーム切替え装置４０にて新たに生成されたストリームを復号して再生画を得る場合の、ピクチャの配置の順序が変化する様子を示した図である。
【００４７】
ここでストリーム５０は、２種類のストリームを切替え位置５０ａで接続したものであって、ＧＯＰx とＧＯＰn との間に関連性はないため、フレーム６２の復号の際、フレーム６１に当たるＰピクチャは利用できない。
【００４８】
本発明ではＧＯＰn のヘッダ情報に画柄選択情報が付加されているので、復号の際、付加されている画柄選択情報が黒画像指示であった場合には、Ｂピクチャであったフレーム６２の代替表現として、黒画像を表示して、再生画６０を得る。
【００４９】
また、付加されている画柄選択情報がフリーズ指示であった場合には、Ｂピクチャであったフレーム６２の代替表現として、再度フレーム６１を表示して再生画６０を得る。
【００５０】
更に、付加されている画柄選択情報が不完全指示であった場合には、ＧＯＰn-1 に含まれていた筈のＩ、Ｐピクチャと、Ｉピクチャ６３とに双方向に依存するＢピクチャであったフレーム６２の代替表現として、Ｉピクチャ６３のみに逆方向に依存する不完全表現を生成、これを表示して、再生画６０を得る。
【００５１】
そして、付加されている画柄選択情報が擬似ピクチャ指示であった場合には、Ｂピクチャであったフレーム６２の代替表現として、Ｐピクチャ６１とＩピクチャ６３とから静止画のクロスディゾルブを生成、これを表示して、再生画６０を得る。
【００５２】
このように、本発明のストリーム編集装置では独立していないにも拘らず、他のＧＯＰに依存できないＧＯＰに含まれた非独立ピクチャデータ（Ｂピクチャ）に対する代替表現を指示する画柄選択情報を、このＧＯＰのヘッダ情報に付加するので、動画像のストリームを、映像を乱すことなく再生できるように編集することが可能となる。
【００５３】
また、本発明のストリーム復号装置では、ストリームのＧＯＰが、独立していないにも拘らず、その復号にあたり、他のＧＯＰに依存できない場合でも、符号化された動画像データのストリームを、付加された画柄選択情報に基づき、映像を乱すことなく、再生することが可能となる。
【００５４】
なお、本発明のストリーム編集装置で編集した画柄選択情報を含んだストリームでは、データの互換性が保たれているので、画柄選択情報に基づいて再生画を再生する機能を持たない復号装置にて復号される際にも不都合はない。
【００５５】
【発明の効果】
以上説明したように、本発明のストリーム編集装置および方法は、独立していない直後ＧＯＰの直前のＧＯＰが編集によって変更となった場合に、直後ＧＯＰに含まれる非独立ピクチャデータ（Ｂピクチャ）に対する代替表現を指示する画柄選択情報を、直後ＧＯＰのヘッダ情報に付加する構成としたので、動画像のストリームを、映像を乱すことなく再生できるように編集することが可能となる。
【００５６】
また、以上説明したように、本発明の本発明のストリーム復号装置および方法は、符号化された動画像データのストリームを復号する際、ストリームのＧＯＰが、独立していないにも拘らず、復号にあたって直前のＧＯＰに依存できない（ブロークン・リンク・フラグが立っている）場合でも、このＧＯＰを、画柄選択情報に基づいて復号する構成としたので、映像を乱すことなく、再生することが可能となる。
【図面の簡単な説明】
【図１】本発明のストリーム編集装置の原理構成を示すブロック図である。
【図２】図１に示したストリーム編集装置にて動画像データのストリームを編集する手順を示したフローチャートである。
【図３】動画像を符号化して、ＧＯＰ構造を持つストリームを生成した場合、及びストリームを復号して再生画を得る場合に、ピクチャの配置の順序が変化する様子を示した図である。
【図４】本発明のストリーム編集装置を適用したストリーム切替え装置の詳細構成を示す図である。
【図５】本発明のストリーム編集装置を適用したストリーム切替え装置にて新たに生成されたストリームを復号して再生画を得る場合の、ピクチャの配置の順序が変化する様子を示した図である。
【符号の説明】
１……ストリーム、２……ストリーム編集装置、３……編集受付手段、４……ＧＯＰ削除手段、５……ＧＯＰ挿入手段、６……ストリーム切替え手段、７……ヘッダ情報読み取り手段、８……ヘッダ情報更新手段。
【発明の属する技術分野】
本発明はストリーム編集装置および方法、並びに、ストリーム復号装置および方法に関し、特にグループ・オブ・ピクチャ（以下場合によってＧＯＰと記載する。）構造を持つストリームを編集するストリーム編集装置および方法、並びに、グループ・オブ・ピクチャ構造を持つストリームを復号するストリーム復号装置および方法に関する。
【０００２】
【従来の技術】
現在、カラー動画像のデータを圧縮する符号化方法として、ＣＤ−ＲＯＭ等の蓄積メディアを対象としたＭＰＥＧ（Moving Picture Coding Experts Group ）１、また、ＭＰＥＧ１を拡張して通信メディア、放送、通信で共通に利用できるようにしたＭＰＥＧ２が標準化されている。
【０００３】
ＭＰＥＧ１では動画像データから切り出したフレームを圧縮する際、規定されているＩピクチャ、Ｐピクチャ、Ｂピクチャという３つの画像タイプのうち任意の画像タイプで符号化を行い、圧縮効率を高めている。
【０００４】
このうち、Ｉピクチャでは画面のすべてをイントラ符号化（フレーム内符号化）する。また、Ｐピクチャでは先に出現しているＩピクチャもしくはＰピクチャに基づいたフレーム間順方向予測符号化を行う。そしてＢピクチャでは先に出現しているＩピクチャもしくはＰピクチャと、後に出現しているＩピクチャもしくはＰピクチャとに基づいた双方向予測符号化を行う。
【０００５】
ところで、一連の動画像のすべてが相互に依存し合っている場合には、単純な再生のみが可能である。すなわち、早送りや巻き戻し、途中からの再生、逆転再生等のトリックモードには対応できない。そこでＭＰＥＧ１では、少なくとも１枚のＩピクチャを含む、規定の枚数のピクチャデータをひとまとめにして、これをグループ・オブ・ピクチャ（Group Of Picture）と呼ぶ。そして、このＧＯＰを単位として、トリックモードの再生を行う。各ＧＯＰには、そのＧＯＰの性質を示すヘッダ情報が付加されている。デコーダでは、このヘッダ情報によって、トリックモードのためのランダム・アクセスが可能となる。
【０００６】
ヘッダ情報には、ＧＯＰの開始コードや、そのＧＯＰのストリーム先頭からの時間を示すタイムコードが含まれている。また、そのＧＯＰが独立であるか否かを示すクローズドＧＯＰフラグや、そのＧＯＰの再生にあたり直前のＧＯＰのデータが使用できるか否かを示すブロークン・リンク・フラグが含まれている。
【０００７】
生成されたストリームに含まれたＧＯＰのヘッダ情報にクローズドＧＯＰフラグが立っているとき、そのＧＯＰは独立である。これは、そのＧＯＰが、他のＧＯＰに含まれたピクチャデータからの予想に基づいて符号化されるピクチャデータ（Ｂピクチャ）を持たないことを示す。従って、画質よりも独立性を重視したストリームとなり、編集性が高い。
【０００８】
また、独立していないＧＯＰが編集によって切り取られ、つなげられた場合、そのヘッダ情報にはブロークン・リンク・フラグが立てられる。このような場合、独立していないＢピクチャに関しては、そのＧＯＰ内のＩ、Ｐピクチャからの逆方向予測のみにて復号を行う。
【０００９】
【発明が解決しようとする課題】
しかし、独立していないにも関らず、再生にあたって直前のＧＯＰのデータが使用できないＧＯＰがある場合、そのＧＯＰに含まれるＢピクチャのために、映像が乱れてしまうことがあるという問題点があった。
【００１０】
本発明はこのような点に鑑みてなされたものであり、映像を乱すことなく再生できるように動画像データのストリームを編集できるストリーム編集装置および方法を提供することを目的とする。
【００１１】
また、本発明の別の目的は、ブロークン・リンク・フラグが立っていても映像を乱すことなく、符号化された動画像データのストリームを再生できるストリーム復号装置および方法を提供することである。
【００１２】
【課題を解決するための手段】
本発明では上記課題を解決するために、ＧＯＰ構造を持つストリームを編集するストリーム編集装置において、前記ストリームの編集処理に伴い、直前に配置されるＧＯＰに変更が生じた直後ＧＯＰの独立性情報を読み取る読み取り手段と、前記直後ＧＯＰが独立していない場合には、前記直後ＧＯＰに含まれる非独立ピクチャデータに対する代替表現を指示する画柄選択情報の指示入力を受け付け、前記直後ＧＯＰのヘッダ情報に前記画柄選択情報を付加する情報付加手段と、を有することを特徴とするストリーム編集装置が提供される。
【００１３】
このようなストリーム編集装置にて、ＧＯＰ構造を持つストリームを編集する場合、読み取り手段は、ストリームの編集処理に伴い、直前に配置されるＧＯＰに変更が生じた直後ＧＯＰの独立性情報を読み取る。そして、情報付加手段は、直後ＧＯＰが独立していない場合には、直後ＧＯＰに含まれる非独立ピクチャデータに対する代替表現を指示する画柄選択情報の指示入力を受け付け、直後ＧＯＰのヘッダ情報に画柄選択情報を付加する。
また、本発明では上記課題を解決するために、ＧＯＰ構造を持つストリームを編集するストリーム編集方法において、前記ストリームの編集処理に伴い、直前に配置されるＧＯＰに変更が生じた直後ＧＯＰの独立性情報を読み取り、前記直後ＧＯＰが独立していない場合には、前記直後ＧＯＰに含まれる非独立ピクチャデータに対する代替表現を指示する画柄選択情報の指示入力を受け付け、前記直後ＧＯＰのヘッダ情報に前記画柄選択情報を付加するステップを含むことを特徴とするストリーム編集方法が提供される。
このようなストリーム編集方法にて、ストリームの編集処理に伴い、直前に配置されるＧＯＰに変更が生じた直後ＧＯＰの独立性情報が読み取られる。そして、直後ＧＯＰが独立していない場合には、直後ＧＯＰに含まれる非独立ピクチャデータに対する代替表現を指示する画柄選択情報の指示入力が受け付けられ、直後ＧＯＰのヘッダ情報に画柄選択情報が付加される。
【００１４】
このように、本発明のストリーム編集装置および方法では、独立していない直後ＧＯＰの直前のＧＯＰが編集によって変更となった場合に、直後ＧＯＰに含まれる非独立ピクチャデータ（Ｂピクチャ）に対する代替表現を指示する画柄選択情報を、直後ＧＯＰのヘッダ情報に付加するので、動画像のストリームを、映像を乱すことなく再生できるように編集することが可能となる。
【００１５】
また、本発明では上記課題を解決するために、ＧＯＰ構造を持つストリームを復号するストリーム復号装置において、ＧＯＰの独立性情報、依存性情報、及び、前記ＧＯＰに含まれる非独立ピクチャデータに対する代替表現を指示する画柄選択情報を読み取る読み取り手段と、前記ＧＯＰが、他のＧＯＰに依存できず、画柄選択情報を持つ場合には、前記ＧＯＰを、前記画柄選択情報に基づいて復号する動画像復号手段と、を有することを特徴とするストリーム復号装置が提供される。
【００１６】
このようなストリーム復号装置にてＧＯＰ構造を持つストリームを復号する場合、読み取り手段は、ＧＯＰの独立性情報、依存性情報、及び、ＧＯＰに含まれる非独立ピクチャデータに対する代替表現を指示する画柄選択情報を読み取る。そして、動画像復号手段は、ＧＯＰが、他のＧＯＰに依存できず、画柄選択情報を持つ場合には、ＧＯＰを、画柄選択情報に基づいて復号する。
さらに、本発明では上記課題を解決するために、ＧＯＰ構造を持つストリームを復号するストリーム復号方法において、ＧＯＰの独立性情報、依存性情報、及び、前記ＧＯＰに含まれる非独立ピクチャデータに対する代替表現を指示する画柄選択情報を読み取り、前記ＧＯＰが、他のＧＯＰに依存できず、画柄選択情報を持つ場合には、前記ＧＯＰを、前記画柄選択情報に基づいて復号するステップを含むことを特徴とするストリーム復号方法が提供される。
このようなストリーム復号方法において、ＧＯＰの独立性情報、依存性情報、及び、ＧＯＰに含まれる非独立ピクチャデータに対する代替表現を指示する画柄選択情報が読み取られる。そして、ＧＯＰが、他のＧＯＰに依存できず、画柄選択情報を持つ場合には、ＧＯＰが、画柄選択情報に基づいて復号される。
【００１７】
このように、本発明のストリーム復号装置および方法では、符号化された動画像データのストリームを復号する際、ストリームのＧＯＰが、独立していないにも関らず、復号にあたって直前のＧＯＰに依存できない（ブロークン・リンク・フラグが立っている）場合でも、このＧＯＰを、画柄選択情報に基づいて復号するので、映像を乱すことなく、再生することが可能となる。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明のストリーム編集装置の原理構成を示すブロック図である。
【００１９】
本発明のストリーム編集装置２は、グループ・オブ・ピクチャ（ＧＯＰ）構造を持つストリーム１を編集するにあたって、編集受付手段３、ＧＯＰ削除手段４、ＧＯＰ挿入手段５、ストリーム切替え手段６、ヘッダ情報読み取り手段７、ヘッダ情報更新手段８を持つ。
【００２０】
ここで、編集受付手段３はストリーム１に対する編集種類の入力指示を受け付ける。そして、受け付けた編集種類が、削除であった場合にはＧＯＰ削除手段４に、挿入であった場合にはＧＯＰ挿入手段５に、切替えであった場合にはストリーム切替え手段６に、動作指令を出力する。
【００２１】
ＧＯＰ削除手段４は、編集受付手段３から動作指令を、ユーザからストリーム１における削除適用ＧＯＰ範囲の指定を受け付けると、削除処理を行う。すなわち、ストリーム１に含まれている削除適用ＧＯＰ範囲のＧＯＰを削除する。それから、ストリーム１において削除適用ＧＯＰ範囲の直後に配置されていたＧＯＰを直後ＧＯＰとして、ヘッダ情報読み取り部７に通知する。
【００２２】
ＧＯＰ挿入手段５は、編集受付手段３から動作指令を、ユーザからストリーム１における挿入位置の指定と挿入ＧＯＰの入力とを受け付けると、ストリーム１に対して挿入処理を行う。すなわち、受け付けた挿入位置でストリーム１を切断して、受け付けた挿入ＧＯＰを挿入する。それから、ストリーム１において挿入位置の直後に配置されていたＧＯＰと、挿入ＧＯＰの先頭のＧＯＰとを、直後ＧＯＰとして、ヘッダ情報読み取り部７に通知する。
【００２３】
ストリーム切替え手段６は、編集受付手段３から動作指令を、ユーザからストリーム１における切替え位置の指定と切替えストリームの入力とを受け付けると、ストリーム１に対して切替え処理を行う。すなわち、受け付けた切替え位置でストリーム１を切断して、受け付けた切替えストリームを接続する。それから、切替えストリームで先頭に配置されているＧＯＰを、直後ＧＯＰとして、ヘッダ情報読み取り手段７に通知する。
【００２４】
ヘッダ情報読み取り手段７は、通知された直後ＧＯＰのヘッダ情報から、その直後ＧＯＰの独立性情報を読み取る。そして、直後ＧＯＰが独立していない場合には、ヘッダ情報更新手段８にこれを通知する。なお、ここでヘッダ情報読み取り手段７にて読み取られる独立性情報は、そのＧＯＰが、他のＧＯＰに含まれるピクチャデータに依存して符号化された非独立ピクチャデータ（Ｂピクチャ）を持つか否かを示すフラグである。
【００２５】
ヘッダ情報更新手段８は、ヘッダ情報読み取り手段７から直後ＧＯＰが独立していないことを通知され、ユーザから画柄選択情報の指示入力を受け付けると、直後ＧＯＰのヘッダ情報に画柄選択情報を付加してこのヘッダ情報を更新する。画柄選択情報は、直後ＧＯＰに含まれた非独立ピクチャデータ（Ｂピクチャ）に対する代替表現を指示するものであって、ユーザは、非独立ピクチャデータ（Ｂピクチャ）の代わりに黒画像を表示するよう指示する黒画像指示等を選択することができる。
【００２６】
なお、ヘッダ情報はそのＧＯＰの依存性情報を含むことができるので、ヘッダ情報更新手段８では、この更新の際、直後ＧＯＰが他のＧＯＰに依存しないことを示す依存性情報も、このヘッダ情報に記録する。
【００２７】
このように、本発明のストリーム編集装置２では、独立していない直後ＧＯＰの直前のＧＯＰが編集によって変更となった場合に、直後ＧＯＰに含まれた非独立ピクチャデータ（Ｂピクチャ）に対する代替表現を指示する画柄選択情報を、この直後ＧＯＰのヘッダ情報に付加するので、動画像のストリームを、映像を乱すことなく再生できるように編集することが可能となる。
【００２８】
ここで、ストリーム編集装置２にて動画像データのストリーム１を編集する際の手順について説明する。
図２は、図１に示したストリーム編集装置２にて動画像データのストリーム１を編集する手順を示したフローチャートである。以下、ステップ番号に沿って説明を行う。
［Ｓ１］編集受付手段３は、ユーザから入力される編集種類を受け付ける。
［Ｓ２］受け付けた編集種類の内容を判断する。編集種類が「削除」であれば、編集受付手段３はＧＯＰ削除手段４に動作指令を出し、ステップＳ３へ進む。編集種類が「挿入」であれば、編集受付手段３はＧＯＰ挿入手段５に動作指令を出し、ステップＳ５へ進む。編集種類が「切替え」であれば、編集受付手段３はストリーム切替え手段６に動作指令を出し、ステップＳ８へ進む。
［Ｓ３］ＧＯＰ削除手段４は、ユーザから入力されるストリーム１における削除適用ＧＯＰ範囲を受け付ける。
［Ｓ４］ＧＯＰ削除手段４は、受け付けた削除適用ＧＯＰ範囲のＧＯＰを削除する。それから、ストリーム１において削除適用ＧＯＰ範囲の直後に配置されていたＧＯＰを「直後ＧＯＰ」として、ヘッダ情報読み取り部７に通知する。
［Ｓ５］ＧＯＰ挿入手段５は、ユーザから入力されるストリーム１における挿入位置の指定を受け付ける。
［Ｓ６］ＧＯＰ挿入手段５は、ユーザから入力される挿入ＧＯＰを受け付ける。
［Ｓ７］ＧＯＰ挿入手段５は、ステップＳ５で受け付けた挿入位置でストリーム１を切断して、ステップＳ６で受け付けた挿入ＧＯＰを挿入する。それから、ストリーム１において挿入位置の直後に配置されていたＧＯＰと、挿入ＧＯＰの先頭のＧＯＰとを、「直後ＧＯＰ」として、ヘッダ情報読み取り部７に通知する。
［Ｓ８］ストリーム切替え手段６は、ユーザから入力されるストリーム１における切替え位置の指定を受け付ける。
［Ｓ９］ストリーム切替え手段６は、ユーザから入力される切替えストリームを受け付ける。
［Ｓ１０］ストリーム切替え手段６は、ステップＳ８で受け付けた切替え位置でストリーム１を切断して、ステップＳ９で受け付けた切替えストリームを接続する。それから、切替えストリームで先頭に配置されているＧＯＰを、「直後ＧＯＰ」として、ヘッダ情報読み取り手段７に通知する。
［Ｓ１１］ヘッダ情報読み取り手段７は、通知された直後ＧＯＰのヘッダ情報から、その直後ＧＯＰの独立性情報を読み取る。
［Ｓ１２］ヘッダ情報読み取り手段７は、読み取った独立性情報から、直後ＧＯＰが独立しているか否か判断する。直後ＧＯＰが独立している場合には、このフローチャートの処理は終了する。また、直後ＧＯＰが独立していない場合には、これをヘッダ情報更新手段８に通知し、ステップＳ１３へ進む。
［Ｓ１３］ヘッダ情報更新手段８は、ユーザから画柄選択情報の指示入力を受け付ける。
［Ｓ１４］ヘッダ情報更新手段８は、ステップＳ１３で受け付けた画柄選択情報を直後ＧＯＰのヘッダ情報に付加してこのヘッダ情報を更新する。なお、ヘッダ情報はそのＧＯＰの依存性情報を含むことができるので、ヘッダ情報更新手段８では、この更新の際、直後ＧＯＰが他のＧＯＰに依存しないことを示す依存性情報も、このヘッダ情報に記録する。
【００２９】
このように、本発明のストリーム編集装置２では、独立していない直後ＧＯＰの直前のＧＯＰが編集によって変更となった場合に、直後ＧＯＰに含まれた非独立ピクチャデータ（Ｂピクチャ）に対する代替表現を指示する画柄選択情報を、この直後ＧＯＰのヘッダ情報に付加するので、動画像のストリームを、映像を乱すことなく再生できるように編集することが可能となる。
【００３０】
ここで、本発明のストリーム編集装置が編集の対象とするＧＯＰ構造を持つストリームについて説明する。
図３は、動画像を符号化して、ＧＯＰ構造を持つストリームを生成した場合、及びストリームを復号して再生画を得る場合に、ピクチャの配置の順序が変化する様子を示した図である。
【００３１】
一連の動画像１０から切り出したフレームを符号化してストリーム２０を生成する場合、双方向予測を使用するＢピクチャは、依存しているＩピクチャやＰピクチャの符号化及び配置の後で、符号化及び配置を行う。また、ストリーム２０を復号して再生画３０を再生する場合には、フレームの順序を動画像１０と同じになるよう置き換えていく。なお、ここでは流れを説明するために、符号化してＩピクチャとするフレームは、動画像１０〜再生画３０を通してＩピクチャとして示す。また、符号化してＰピクチャとするフレームも、動画像１０〜再生画３０を通してＰピクチャとして示し、同様に符号化してＢピクチャとするフレームも、動画像１０〜再生画３０を通じてＢピクチャとして示す。さらに、ここで示した動画像１０は編集処理を一切行っていない一連のものであり、ＧＯＰn-1 とＧＯＰn 、ＧＯＰn+1 とは連続した動画像であるとする。
【００３２】
動画像１０を符号化してストリーム２０を生成する場合、Ｐピクチャは、前に出現したＩピクチャに依存して符号化される。またＢピクチャは、直前のＩ、Ｐピクチャと、直後のＩ，Ｐピクチャとの双方に依存して符号化される。例えば、図３に示したフレーム１２は、Ｐピクチャ１１とＰピクチャ１３とに依存して生成される。従って、フレーム１２は、Ｐピクチャ１１とＰピクチャ１３とが配置された後でＢピクチャとして配置される。
【００３３】
また、フレーム１４は、Ｐピクチャ１３とＩピクチャ１５とに依存して符号化される。従って、フレーム１４は、Ｐピクチャ１３とＩピクチャ１５とが配置された後でＢピクチャとして配置される。
【００３４】
このように、ストリーム２０に配置されているピクチャの順番は符号化前の動画像１０と異なっている。そこで、ストリーム２０を復号して再生画３０を再生する場合には、この順番を元に戻しながら再生する。なお、図３において動画像１０のフレーム１１、１２、１３、１４、１５は、再生画３０のフレーム３１、３２、３３、３４、３５に対応する。
【００３５】
ここで、本発明のストリーム編集装置を適用したストリーム切替え装置について説明する。
図４は、本発明のストリーム編集装置を適用したストリーム切替え装置の詳細構成を示す図である。
【００３６】
本発明のストリーム編集装置を適用したストリーム切替え装置４０は、ストリームＡとストリームＢとを切替え制御信号に従って切替え、ストリームＣを生成する。ここで、ストリーム切替え装置４０は、ＧＯＰヘッダ情報読み取り部４１、４２と、タイミング情報生成部４３と、タイミング調整用メモリ４４、４５と、ＧＯＰヘッダ情報生成部４６と、黒画面生成部４７と、ＧＯＰヘッダ情報書き換え部４８、４９と、多重化ストリーム生成手段５０とを有している。
【００３７】
ＧＯＰヘッダ情報読み取り部４１、４２は、ストリームＡ、ＢのＧＯＰのヘッダ情報から各ＧＯＰのピクチャ数ＮとＧＯＰの独立性情報とを読み取る。読み取ったピクチャ数Ｎはタイミング情報生成部４３に通知する。また、読み取った独立性情報はＧＯＰヘッダ情報生成部４６に通知する。
【００３８】
タイミング情報生成部４３は、ストリームの切替えを指示する切替え制御信号を受け付ける。また、このタイミング情報生成部４３は、通知される各ＧＯＰのピクチャ数Ｎから、ストリームＡとストリームＢとの時間関係を常時計算している。そして、計算している両ストリームの時間関係と、切替え制御信号とから、切替えのためのタイミング情報を生成する。
【００３９】
タイミング調整用メモリ４４、４５は、切替えやＧＯＰのヘッダ情報の書き換えのための時間調節を行う。
ＧＯＰヘッダ情報生成部４６には、ユーザ等から画柄選択情報が入力される。このＧＯＰヘッダ情報生成部４６は、タイミング情報生成部４３から入力されるタイミング情報と、ＧＯＰヘッダ情報読み取り部４１、４２から入力される独立性情報とからヘッダ情報の書き換えが必要か否か判断する。そして、書き換えが必要であれば、画柄選択情報に基づいて、新たなヘッダ情報を生成する。
【００４０】
ここでヘッダ情報について説明する。ＭＰＥＧの場合、ＧＯＰのヘッダ情報は、ＧＳＣ（Group Start Code：ＧＯＰの開始コード）と、ＴＣ（Time Code ：タイムコード）と、ＣＧ（Closed GOP：ＧＯＰ内の画像が他のＧＯＰから独立して再生可能であることを示す独立性情報）と、ＢＬ（Broken Link ：先行するＧＯＰデータが編集のためには使用不可であることを示す依存性情報）とを含む。また、ＧＯＰのヘッダ情報には、ＥＳＣ（Extension Start Code：将来用の拡張データ開始コード）とＧＥＤ（Group Extension Data：拡張データ）や、ＵＤＳＣ（User Data Start Code：ユーザデータの開始コード）とＵＤ（User Data ：ユーザデータ）を含むことができる。
【００４１】
本発明のストリーム編集装置を適用したストリーム切替え装置４０のＧＯＰヘッダ情報生成部４６では、ストリームの切替えによって、独立していない（ＣＧ＝０）にも拘らず、先行するＧＯＰデータを復号の際に使用できない（ＢＬ＝１）ＧＯＰが発生してしまった場合に、このＧＯＰのヘッダ情報のＵＤ領域に画柄選択情報を付加することで、新たなヘッダ情報を生成する。
【００４２】
黒画像生成部４７は、ＧＯＰヘッダ情報生成部４６から黒画像の生成指示があった場合に、画面全体が黒で塗り潰された静止画である黒画像を生成し、これを多重化ストリーム生成部５０に入力する。
ＧＯＰヘッダ情報書き換え部４８、４９は、ＧＯＰヘッダ情報生成部４６から特定のＧＯＰのヘッダ情報書き換えの指示があった場合に、該当するＧＯＰのヘッダ情報を、入力される新たなヘッダ情報で書き換える。
【００４３】
そして多重化ストリーム生成部５０は、タイミング情報生成部４３から入力されるタイミング情報に基づいて、黒画像、ストリームＡ及びストリームＢの切替えを行って、ストリームＣを生成する。
【００４４】
このように、本発明のストリーム編集装置を適用したストリーム切替え装置４０では、切替え処理によって、独立していないにも拘らず先行するＧＯＰデータを復号の際に使用できないＧＯＰが発生してしまう場合に、そのＧＯＰに含まれた非独立ピクチャデータ（Ｂピクチャ）に対する代替表現を指示する画柄選択情報をこのＧＯＰのヘッダ情報に付加するので、動画像のストリームを、映像を乱すことなく再生できるように切替えて新たなストリームを生成することが可能である。
【００４５】
本発明のストリーム編集装置にて編集されたストリームを復号して再生画を得るストリーム復号装置は、ＧＯＰのヘッダ情報からそのＧＯＰの依存性情報及び画柄選択情報を読み取るヘッダ情報読み取り手段と、そのＧＯＰが、独立していない（ＣＧ＝０）にも拘らず、他のＧＯＰに依存できず（ＢＬ＝１）、画柄選択情報を持つ場合には、そのＧＯＰを、読み取った画柄選択情報に基づいて復号する動画像復号手段と、を有する。
【００４６】
図５は、本発明のストリーム編集装置を適用したストリーム切替え装置４０にて新たに生成されたストリームを復号して再生画を得る場合の、ピクチャの配置の順序が変化する様子を示した図である。
【００４７】
ここでストリーム５０は、２種類のストリームを切替え位置５０ａで接続したものであって、ＧＯＰx とＧＯＰn との間に関連性はないため、フレーム６２の復号の際、フレーム６１に当たるＰピクチャは利用できない。
【００４８】
本発明ではＧＯＰn のヘッダ情報に画柄選択情報が付加されているので、復号の際、付加されている画柄選択情報が黒画像指示であった場合には、Ｂピクチャであったフレーム６２の代替表現として、黒画像を表示して、再生画６０を得る。
【００４９】
また、付加されている画柄選択情報がフリーズ指示であった場合には、Ｂピクチャであったフレーム６２の代替表現として、再度フレーム６１を表示して再生画６０を得る。
【００５０】
更に、付加されている画柄選択情報が不完全指示であった場合には、ＧＯＰn-1 に含まれていた筈のＩ、Ｐピクチャと、Ｉピクチャ６３とに双方向に依存するＢピクチャであったフレーム６２の代替表現として、Ｉピクチャ６３のみに逆方向に依存する不完全表現を生成、これを表示して、再生画６０を得る。
【００５１】
そして、付加されている画柄選択情報が擬似ピクチャ指示であった場合には、Ｂピクチャであったフレーム６２の代替表現として、Ｐピクチャ６１とＩピクチャ６３とから静止画のクロスディゾルブを生成、これを表示して、再生画６０を得る。
【００５２】
このように、本発明のストリーム編集装置では独立していないにも拘らず、他のＧＯＰに依存できないＧＯＰに含まれた非独立ピクチャデータ（Ｂピクチャ）に対する代替表現を指示する画柄選択情報を、このＧＯＰのヘッダ情報に付加するので、動画像のストリームを、映像を乱すことなく再生できるように編集することが可能となる。
【００５３】
また、本発明のストリーム復号装置では、ストリームのＧＯＰが、独立していないにも拘らず、その復号にあたり、他のＧＯＰに依存できない場合でも、符号化された動画像データのストリームを、付加された画柄選択情報に基づき、映像を乱すことなく、再生することが可能となる。
【００５４】
なお、本発明のストリーム編集装置で編集した画柄選択情報を含んだストリームでは、データの互換性が保たれているので、画柄選択情報に基づいて再生画を再生する機能を持たない復号装置にて復号される際にも不都合はない。
【００５５】
【発明の効果】
以上説明したように、本発明のストリーム編集装置および方法は、独立していない直後ＧＯＰの直前のＧＯＰが編集によって変更となった場合に、直後ＧＯＰに含まれる非独立ピクチャデータ（Ｂピクチャ）に対する代替表現を指示する画柄選択情報を、直後ＧＯＰのヘッダ情報に付加する構成としたので、動画像のストリームを、映像を乱すことなく再生できるように編集することが可能となる。
【００５６】
また、以上説明したように、本発明の本発明のストリーム復号装置および方法は、符号化された動画像データのストリームを復号する際、ストリームのＧＯＰが、独立していないにも拘らず、復号にあたって直前のＧＯＰに依存できない（ブロークン・リンク・フラグが立っている）場合でも、このＧＯＰを、画柄選択情報に基づいて復号する構成としたので、映像を乱すことなく、再生することが可能となる。
【図面の簡単な説明】
【図１】本発明のストリーム編集装置の原理構成を示すブロック図である。
【図２】図１に示したストリーム編集装置にて動画像データのストリームを編集する手順を示したフローチャートである。
【図３】動画像を符号化して、ＧＯＰ構造を持つストリームを生成した場合、及びストリームを復号して再生画を得る場合に、ピクチャの配置の順序が変化する様子を示した図である。
【図４】本発明のストリーム編集装置を適用したストリーム切替え装置の詳細構成を示す図である。
【図５】本発明のストリーム編集装置を適用したストリーム切替え装置にて新たに生成されたストリームを復号して再生画を得る場合の、ピクチャの配置の順序が変化する様子を示した図である。
【符号の説明】
１……ストリーム、２……ストリーム編集装置、３……編集受付手段、４……ＧＯＰ削除手段、５……ＧＯＰ挿入手段、６……ストリーム切替え手段、７……ヘッダ情報読み取り手段、８……ヘッダ情報更新手段。
Claims (17)
- ＧＯＰ（グループ・オブ・ピクチャ）構造を持つストリームを編集するストリーム編集装置において、
前記ストリームの編集処理に伴い、直前に配置されるＧＯＰに変更が生じた直後ＧＯＰの独立性情報を読み取る読み取り手段と、
前記直後ＧＯＰが独立していない場合には、前記直後ＧＯＰに含まれる非独立ピクチャデータに対する代替表現を指示する画柄選択情報の指示入力を受け付け、前記直後ＧＯＰのヘッダ情報に前記画柄選択情報を付加する情報付加手段と、
を有することを特徴とするストリーム編集装置。 - 前記ストリームの編集処理として、前記ストリームを切断して他のストリームを接続するストリーム切換え処理、前記ストリーム内のＧＯＰを削除する削除処理、および、前記ストリームにＧＯＰを挿入する挿入処理のうち少なくとも１つを行う
ことを特徴とする請求項１に記載のストリーム編集装置。 - 前記独立性情報は、前記直後ＧＯＰに、他のＧＯＰに含まれるピクチャデータに依存して符号化された、非独立ピクチャデータが存在するかを示している
ことを特徴とする請求項１に記載のストリーム編集装置。 - 前記画柄選択情報は、前記直後ＧＯＰに含まれる前記非独立ピクチャデータの代替表現として、画面全体が黒で塗り潰された静止画である黒画像ピクチャを指示する黒画像指示、前記非独立ピクチャデータより前のピクチャデータを指示するフリーズ指示、前記非独立ピクチャデータの不完全表現を指示する不完全指示、前記ストリームにおいて、前記直後ＧＯＰの直前に位置するＧＯＰに含まれるピクチャと、前記直後ＧＯＰに含まれるピクチャと、から生成する擬似ピクチャを指示する擬似ピクチャ指示、のいずれかである
ことを特徴とする請求項１に記載のストリーム編集装置。 - 前記黒画像ピクチャを生成する黒画像生成手段を
さらに有することを特徴とする請求項４に記載のストリーム編集装置。 - 前記読み取り手段は、前記直後ＧＯＰのヘッダ情報から前記独立性情報を読み取る
ことを特徴とする請求項１に記載のストリーム編集装置。 - 前記情報付加手段は、さらに、前記直後ＧＯＰが他のＧＯＰに依存できないことを示す依存性情報を前記直後ＧＯＰのヘッダ情報に記録する
ことを特徴とする請求項１に記載のストリーム編集装置。 - ＧＯＰ構造を持つストリームを編集するストリーム編集方法において、
前記ストリームの編集処理に伴い、直前に配置されるＧＯＰに変更が生じた直後ＧＯＰの独立性情報を読み取り、
前記直後ＧＯＰが独立していない場合には、前記直後ＧＯＰに含まれる非独立ピクチャデータに対する代替表現を指示する画柄選択情報の指示入力を受け付け、前記直後ＧＯＰのヘッダ情報に前記画柄選択情報を付加する
ステップを含むことを特徴とするストリーム編集方法。 - ＧＯＰ構造を持つストリームを復号するストリーム復号装置において、
ＧＯＰの独立性情報、依存性情報、及び、前記ＧＯＰに含まれる非独立ピクチャデータに対する代替表現を指示する画柄選択情報を読み取る読み取り手段と、
前記ＧＯＰが、他のＧＯＰに依存できず、画柄選択情報を持つ場合には、前記ＧＯＰを、前記画柄選択情報に基づいて復号する動画像復号手段と、
を有することを特徴とするストリーム復号装置。 - 前記依存性情報は、前記ＧＯＰが、他のＧＯＰに依存できるかを示している
ことを特徴とする請求項９に記載のストリーム復号装置。 - 前記画柄選択情報は、前記ＧＯＰに含まれる前記非独立ピクチャデータの代替表現として、画面全体が黒で塗り潰された静止画である黒画像ピクチャを指示する黒画像指示、前記非独立ピクチャデータより前のピクチャデータを指示するフリーズ指示、前記非独立ピクチャデータの不完全表現を指示する不完全指示、および、前記ストリームにおいて、前記ＧＯＰの直前に位置するＧＯＰに含まれるピクチャと、前記ＧＯＰに含まれるピクチャと、から生成する擬似ピクチャを指示する擬似ピクチャ指示、のいずれかである
ことを特徴とする請求項９に記載のストリーム復号装置。 - 前記動画像復号手段は、前記画柄選択情報が前記黒画像指示である場合、前記非独立ピクチャデータの代替表現として、前記黒画像ピクチャを表示する
ことを特徴とする請求項１１に記載のストリーム復号装置。 - 前記動画像復号手段は、前記画柄選択情報が前記フリーズ指示である場合、前記非独立ピクチャデータの代替表現として、前記非独立ピクチャデータより前のピクチャデータを表示する
ことを特徴とする請求項１１に記載のストリーム復号装置。 - 前記動画像復号手段は、前記画柄選択情報が前記不完全指示である場合、前記非独立ピクチャデータの代替表現として、前記非独立ピクチャデータの不完全表現を生成および表示する
ことを特徴とする請求項１１に記載のストリーム復号装置。 - 前記動画像復号手段は、前記画柄選択情報が前記擬似ピクチャ指示である場合、前記擬似ピクチャを生成および表示する
ことを特徴とする請求項１１に記載のストリーム復号装置。 - 前記読み取り手段は、前記ＧＯＰのヘッダ情報から、前記独立性情報、前記依存性情報、及び、前記画柄選択情報を読み取る
ことを特徴とする請求項９に記載のストリーム復号装置。 - ＧＯＰ構造を持つストリームを復号するストリーム復号方法において、
ＧＯＰの独立性情報、依存性情報、及び、前記ＧＯＰに含まれる非独立ピクチャデータに対する代替表現を指示する画柄選択情報を読み取り、
前記ＧＯＰが、他のＧＯＰに依存できず、画柄選択情報を持つ場合には、前記ＧＯＰを、前記画柄選択情報に基づいて復号する
ステップを含むことを特徴とするストリーム復号方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23449997A JP3876943B2 (ja) | 1997-08-29 | 1997-08-29 | ストリーム編集装置および方法、並びに、ストリーム復号装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23449997A JP3876943B2 (ja) | 1997-08-29 | 1997-08-29 | ストリーム編集装置および方法、並びに、ストリーム復号装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1175156A JPH1175156A (ja) | 1999-03-16 |
| JP3876943B2 true JP3876943B2 (ja) | 2007-02-07 |
Family
ID=16971993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23449997A Expired - Fee Related JP3876943B2 (ja) | 1997-08-29 | 1997-08-29 | ストリーム編集装置および方法、並びに、ストリーム復号装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3876943B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8194751B2 (en) | 2003-02-19 | 2012-06-05 | Panasonic Corporation | Moving picture coding method and moving picture decoding method |
| JP2014049846A (ja) * | 2012-08-30 | 2014-03-17 | Renesas Electronics Corp | 動画像復号処理装置およびその動作方法 |
-
1997
- 1997-08-29 JP JP23449997A patent/JP3876943B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1175156A (ja) | 1999-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100606150B1 (ko) | 기록 장치 및 방법, 재생 장치 및 방법,기록/재생 장치 및 방법, 및 기록 매체 | |
| US7403567B2 (en) | Decoding method and apparatus and recording method and apparatus for moving picture data | |
| EP2186340B1 (en) | A video data reproduction system | |
| US5802240A (en) | Video editing apparatus | |
| US6501901B2 (en) | Apparatus and method for performing an editing operation on data read-out from a storage medium which allows random access | |
| US6707984B2 (en) | Changing a playback speed for video presentation recorded in a modified film format | |
| EP2186328A1 (en) | Method for generating video data for trick play | |
| KR100537392B1 (ko) | 데이터 기록 방법, 데이터 편집 방법 및 데이터 복호 방법, 및 그 장치, 및 기록 매체 | |
| JP2008028793A (ja) | ストリーム編集方法及びストリーム編集装置 | |
| JP3976979B2 (ja) | 画像編集装置 | |
| JP3876943B2 (ja) | ストリーム編集装置および方法、並びに、ストリーム復号装置および方法 | |
| JP3793145B2 (ja) | ビデオデータ変換装置及びビデオデータ変換方法 | |
| TW579652B (en) | Changing a playback speed for video presentation recorded in a field structure format | |
| KR20010050137A (ko) | 디지털신호 기록장치 및 기록매체 | |
| JPH11187310A (ja) | ディジタルデータ伝送方法およびディジタルデータ伝送装置 | |
| JP3918332B2 (ja) | 多重化装置、多重化方法及び記録媒体 | |
| JPH09116866A (ja) | 符号化方法、符号化復号化方法及び記録再生装置 | |
| JP3510782B2 (ja) | 動画像記録方法、再生方法、編集方法および装置 | |
| JP2005151173A (ja) | 動画像記録再生装置、動画像再生装置および動画像再生方法 | |
| JP3273640B2 (ja) | 編集装置及び編集信号復号化装置 | |
| JP4425134B2 (ja) | デジタルコンテンツ分割装置、デジタルコンテンツ再生装置、及びデジタルコンテンツ分割方法 | |
| JP3119374B2 (ja) | 画像逆転再生方法 | |
| JP3541910B2 (ja) | 映像信号処理装置 | |
| JPH05128810A (ja) | 動画出力システム | |
| JP2984298B2 (ja) | 再生方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040420 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040420 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060516 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060718 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060804 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060912 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060919 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061011 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061024 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091110 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |