JP2001513606A

JP2001513606A - 符号化ビデオの処理

Info

Publication number: JP2001513606A
Application number: JP2000506766A
Authority: JP
Inventors: ニコラス、ドミニクウェルス、
Original assignee: British Broadcasting Corp
Current assignee: British Broadcasting Corp
Priority date: 1997-08-08
Filing date: 1998-08-10
Publication date: 2001-09-04
Also published as: GB9716896D0; WO1999008441A8; WO1999008441A2; US6741290B1; AU754879B2; GB2328099B; ES2194338T3; WO1999008441A3; DE69814642T2; EP1002424B1; EP1002424A2; DE69814642D1; GB2328099A; AU8738198A; CA2300389A1

Abstract

(57)【要約】符号化ビデオを受け取ったデコーダからの復号されたビデオの出力のタイミングを調節するために、例えば、生成されたフレームを挿入し、またはタイミングフィールドの値を調節し、またはそれが出力される時刻を調節することによって符号化ビデオを処理する方法が、それに対応する装置とともに開示されている。出力装置は、複数のビデオソースが同期できるように、多ソースビデオシステムの中に設けることができる。出力ビデオは、スタジオ基準クロックに同期させることができる。

Description

【発明の詳細な説明】

【０００１】本発明は、符号化されたビデオ信号の処理に関し、特に、しかし、それだけに
というわけではないけれど、ＭＰＥＧフォーマットの圧縮されたビデオに関する
。本発明は、特に、しかし、それだけにというわけではないけれど、ビデオ信号
のリアルタイム編集に関する。

【０００２】ビデオ信号を、圧縮され、または符号化されたビデオデータストリームとして
送信し、または蓄積することに関する問題は、通常、デコーダが新たなデータス
トリームのデコードを即刻開始することができず、通常は、デコーダが同期を確
立する間に数フレームの遅延があるということである。例えば、ＭＰＥＧデータ
ストリームについては、ビデオ系列は、一連のピクチャグループ（「ＧＯＰ」；
group of pictures）として送信され、各ＧＯＰは、イントラ符号化フレーム（「Ｉフレーム」）と、順方向予測（「Ｐフレーム」）か、または、双方向予測（
「Ｂフレーム」）かによってＩフレームから予測される１つまたは複数のフレー
ムとを含んでいる。デコーダは、Ｉフレームを受信するまで、そのビデオ系列の
デコードを開始することができない。さらに、フレームは、デコーダ内でバッフ
ァに保持されて処理されるので、デコーダへのビデオデータストリームの入力と
ビデオフレームの系列の出力との間にかなりの、予測できない遅延があり得る。

【０００３】このことは、実用上の目的に対して、デコーダが先ず新しい信号を受信し、一
旦、同期されたときにのみ、デコーダは、信頼性をもって出力を生成し続けなけ
れば成らないという問題を提供する。しかし、１つの符号化ビデオソースから他
のビデオソースに切り換えることが望まれるときに、困難に遭遇する。特に、も
し、デコーダへのデータストリーム入力が１つのソースから他のソースへ単に切
り換えられるならば、デコーダバッファは、オーバーフローまたはアンダーフロ
ーすることがあり得る。

【０００４】符号化ビデオソース間の切換え（スイッチング）に関連する問題は、今まで認
識されていて、圧縮されたビットストリーム間の切換えを、その切換えの点で最
小の出力劣化で行うための技術が現在まで提案されている。そのような技術の一
例が、我々の国際出願番号ＷＯ９７／０８８９８に記載されている。

【０００５】従来技術は、概して、切換え点で起こる問題または、切換え点に関して起こる
問題を処理することに集中してきた。そうして、従来技術は、概して、「良い折
衷案」方法を提供することを目的としている。

【０００６】包括的に述べれば、本発明者は、必要な場合には、下流のデコーダからのフレ
ームの出力のタイミングを調整し、かつ、成るべく、下流のデコーダの所望の同
期を設定し維持するように、コード化ビデオソースの構成要素が変更されること
を提案している。このことは、スタディオ基準クロックに基づいてビデオソース
構成要素のタイミングを設定することによって（例えば、データストリームに含
まれているタイミングフィールドの値を明示的に調整することによって、または
、データが実際にデーコーダに出力される時間を変更することによって、または
、それらの両者によって）、達成することができる。このことは、また、特別な
フレームが特別な時刻に表示されるように、「合成フレーム」（既に生成されて
いて、原ビデオソース構成要素に追加されるフレーム）を出力データストリーム
内に挿入することによって（付加的に、または、代わりに）達成することができ
る。もし、デコーダ同期がこのようにして維持されるならば、特別なフレームの
表示タイミングを明示的に特定する必要がないことを注意しておく。

【０００７】本発明に関し、他の観点から見ると、ビデオソース構成要素に含まれているタ
イミング情報（これは、通常、意図されたように、その構成要素の信頼性のある
再生ができるように設けられている）が意図的に変更され、または、付加的なフ
レームが追加されることができる。従来、符号化ビデオデータに含まれている、
内部自己無撞着タイミング情報に関して変更を加えることは、一般に望ましくな
いと考えられていた。しかし、この新規な基本技術は、記述が進行するに従って
明らかになるように、多くの利点を提供する。驚くべきことは、本発明は、最も
包括的表現においては、特定的に、ビットストリームの切換えを目的としていな
いけれど、１つの利点は、もし、１つのビデオソースと他のビデオソースが同期
しているならば、両方のソースの１つのソースから他のソースへの切換えが助長
されることができることである。他の利点は、符号化ビデオ構成要素のプレイア
ウトを、例えば、特別な時刻においてスタートさせ、または、休止させるために
、さらに容易に制御することができることである。

【０００８】第１の態様に従えば、本発明は符号化されたビデオシーケンスを出力するため
の装置を与えるもので、出力すべき符号化ビデオシーケンスを受信する手段と、符号化ビデオシーケンスをシーケンスの実時間（リアルタイム）デコーディン
グを可能にする形で出力し、ピクチャのシーケンスを生じさせる手段と、符号化ビデオシーケンスを処理し、及び／または出力シーケンスを受信するデ
コーダから選択したタイミングでデコードされたピクチャを生成するために前記
出力のタイミングを調整する手段を有する。

【０００９】この様にして、従来の圧縮ビデオソースとは反対に、元のシーケンス内に含ま
れるタイミング情報または出力の実際の時刻が、ビデオシーケンスに含まれるタ
イミングデータに依存するよりも、むしろ外部基準を基にして意図的に制御する
ことが可能である。これは多ビデオソースの同期を容易にする。

【００１０】ビデオ入力シーケンスは、典型的には、ディスク例えばコンピュータのデータ
ファイルのような記憶装置から受信され、またコンピュータネットワークを通し
て送信されよう。しかしながら、そのシーケンスは、リアルタイムに、例えばオ
フエア(off-air)に受信され、かついくつかのシーケンスおよび他のデータを含む多重トランスポートストリームに含まれることもあろう。データがリアルタイ
ムに受信される場合には、入力データは、通常、入出力間のタイミングの差があ
ってもよいようにバッファされる。またもちろん、データが受信される前に出力
は発生しない。バッファのサイズが増加するに従い、“リアルタイム”データの
受信と格納されたシーケンスへのアクセスとの差が縮小することが、理解されよ
う。

【００１１】望ましくは、装置は、スタジオ基準クロックを受信する手段を備え、処理及び
／または出力のタイミングは、スタジオ基準クロックから得られるタイミング情
報に依存して制御される。この特徴は、スタジオ内の他の装置との同期を容易に
することである。

【００１２】スタジオ基準クロックは、好ましくは、比較的大きな最大値を有する比較的高
い周波数のクロックカウンタとして供給され、好ましくは、少なくとも５０ｋＨ
ｚかつ２進表現で少なくとも約３２ビット“幅”である（これは情報の内容を意
味する。クロックの値は他のフォーマット、例えばＢＣＤ(Binary Coded Decima
l)でも与えられよう。この場合９または１０ニブルまたはディジットである。）
。好ましい実施の形態としては、クロックは、ビデオシーケンス内のタイミング
フィールドのフォーマットに容易にまたは直接的に変換可能なフォーマットにあ
ることである。例えばスタジオクロックは、直接、ＭＰＥＧＰＣＲ値として与
えられてもよい。

【００１３】装置は、出力符号化ビデオシーケンスのための実効的なクロック周波数を出力
内に含まれるクロック値の変化の割合（例えばＭＰＥＧビデオシーケンス内のＰ
ＣＲフィールド）に基づいて決定する手段と、実効的なクロック周波数をスタジ
オ基準クロック周波数と比較しまたは同期を取る手段を含んでもよい。これは、
元のタイミング情報中の誤りを識別し、修正し、厳密に制御された速度での再生
（プレイバック）を達成可能にしよう。

【００１４】この装置は、また、ビデオシーケンスの少なくとも１フレームまたはフィール
ドの所望のピクチャ出力時間を規定する情報入力手段を有してもよく、この処理
及び／または調整は、前記少なくとも１フレームまたはフィールドが所望のピク
チャ出力時間にデコーダから出力されるように、所望のピクチャ出力時間とスタ
ジオ基準クロックに基づいて選択される。このようにして、この装置は、将来の
方を見ることができ、しかも、正確に規定された時間にビデオシーケンスを出力
するように用意することができて、ビデオシーケンスを再生するときの共通の問
題を解決する。デコーダが同期をとる前に何か予期せぬ遅延を生じるので、アナ
ログ記憶システム（第１フレーム要求の前に５秒間のリード・イン・シーケンス
を記録し、フレームが要求される前の５秒間このシーケンスを始める）がコード
化されたシーケンスとともに高い信頼性で使用されることができないという、ラ
ン・アップ(run-up)またはリード・イン(lead-in)で共通に使用される問題の解決策として高く評価されてきた。

【００１５】ピクチャ出力時間を設定することができる１方法は、ビデオシーケンス（例え
ば、ＭＰＥＧデータストリーム中の、ＰＣＲ（プログラム・クロック・レファレ
ンス）または、ＰＴＳ（プレゼンテーション・タイム・スタンプ）またはＤＴＳ
（デコーディング・タイム・スタンプ）またはｖｂｖ＿ｄｅｌａｙ（ビデオバッ
ファ可変遅延）フィールド中に含まれるタイミングフィールドの１つかそれ以上
の値を切り替えることによる方法である。出力時間を直接規定する代わりに、出
力時間の尺度を規定するか、またはＰＴＳ，またはＤＴＳ値を明白に規定する。

【００１６】デコーダによってはＰＣＲ、ＰＴＳあるいはＤＴＳフィールドのすべてにおい
て明示的に設定された値に応答しないかもしれないので、装置は（追加あるいは
その代りとして）デコーディングが開始され所望時に終了することを確実にする
ため、データ出力が開始するタイミングを調節することができる。これは、デー
タ伝達とピクチャ出力開始との間の必要な遅延を推定し、この推定された遅延に
基づいて所望のピクチャ出力時間に対するデータ出力時間を調節することによっ
て達成される。遅延は、デコーダ内での遅延を考慮するためのオフセットタイム
と、ビデオ信号経路のケーブル等での伝達遅延と、例えば最初に指定されあるい
は計算されたｖｂｖ遅延値に等しいかもしくはそれに基づく関係するフレームに
対する可変遅延とをも含むことができる。装置は複数の異なる型のデコーダに対
する伝達遅延特性を貯蔵する手段を含み、また、既知の長さのケーブルに対する
伝達遅延を決定する手段を含み得る。装置はデコーダの伝達遅延に基づいて所定
の出力時間よりも早い時間にＰＴＳ値を設定するように配備されている。

【００１７】装置は、第１のフォーマット中のスタジオ基準クロック時間を第２のフォーマ
ット中の所望の出力時間と対比する手段を含むことが好ましい。このようにして
、精細なタイミング制御が達成されるとともに、ユーザや他の編集装置による制
御を容易とすることができる。フォーマット間変換用装置は別に本発明の他の様
相中に備えられている。

【００１８】さらに他の様相では、本発明は多ビデオソースシステムに含まれた上述の出力
装置を提供するものであり、少なくとも一つのビデオシーケンスソースが、各符
号化ビデオシーケンスを受領するように配置されるとともに、自体が各符号化ビ
デオシーケンス出力を生成するための自体の出力に結合されたデコーダを有する
出力装置によりなる複数のビデオシーケンスソースと、そのあるいは各出力装置
にスタジオ基準クロックを提供する手段と、ビデオシーケンスソース間の交替タ
イミングを指定する編集情報を受領する手段と、前記ビデオ情報に基づいてビデ
オ出力チャンネルに選択されたビデオシーケンスソースを提供する手段と、前記
編集情報に基づいてそのあるいは各出力装置に所望の画像出力時間情報を提供す
る手段と、より構成されている。

【００１９】装置は、スタジオ基準クロックを入力する手段に追加しあるいはその代りに、
出力シーケンス中に挿入されるべき一つ以上のフレームのシーケンスを生成する
手段を含むことができ、この手段は処理のために、符号化ビデオシーケンスのフ
レームの画像出力タイミングを調節するため符号化ビデオシーケンス中に生成さ
れたシーケンスを挿入する手段を含み、この生成されたシーケンスは出力シーケ
ンスを受領するデコーダのバッファの同期を維持しあるいは確立するため選択さ
れたものである。このような特徴により、長期の時間にわたってタイミング調節
を達成し、シーケンスが停止する間のデコーダ同期を保持することが可能となる
。さらにスローモーションプレイバックのような効果も可能となろう。また、一
つのシーケンスから他のシーケンスへのカッティング編集も容易化される。この
特徴により、デコーダ出力タイミングは明示的に選択される必要がない。デコー
ダ同期の保持は、この明細書の目的にとって、デコーダ出力タイミングの事実上
の選択と等価であると考えられる。

【００２０】装置は、前記符号化ビデオシーケンスの指定フレームの前に生成されたシーケ
ンスを挿入するように配置され、この生成されたフレームのサイズおよび／また
は組合わされたタイミング情報、伝達の時間、生成された、および／または前記
指定されたフレームは、生成されたシーケンスのデコーディングに続く前記フレ
ームのデコーディング開始に際して、前記出力ビデオシーケンスを受領するデコーダのバッファ占有率がほぼ所望の値に等しいように選択されるものである。

【００２１】生成されたシーケンスは、符号化ビデオシーケンス中、前記指定のフレームの
前で少なくとも一つの先行するフレームの後に挿入されることができ、この場合
、バッファ占有率の望ましい値としては、もし生成されたシーケンスが先行フレ
ームと前記指定フレームとの間に挿入されないものとされたときのバッファ占有
率にほぼ等しいものとして設定される。このようにして中断中のバッファ同期が
保持され得る。

【００２２】本発明はビットストリームの同期がビデオデータソースから独立して制御され
る実時間（リアルタイム）のビットストリーム（ビデオポンプ）を出力し得る装
置を効果的に、備えることができるものであることが評価されるであろう。かく
して、他の利点として、本発明はビデオデータのソース例えばコンピュータのデ
ィスク上の読み取れるファイルのシリーズまたは記録されたＭＰＥＧトランスポ
ートストリームが、例えばコンピュータネットワークを通して、実時間のビット
ストリームの出力する装置により分割できる。このことは次のような様相がえら
れる。すなわち、実時間の符号化されたビデオデータを供給するシステムは、符
号化されたビデオデータを蓄積する手段と、データに対する要求に応じて蓄積さ
れた符号化されたビデオデータを供給するためのデータ転送リンクと、第一の様
相による要求のためにアレンジされ、前記データ転送リンクを越えるデータを受
け、同期した実時間の符号化されたビデオデータを出力する装置とを有する。

【００２３】本発明は、動作に関連した方法にも拡張する。

【００２４】次に、本発明の実施の形態について、例示のみにより、図面を参照して説明す
る。

【００２５】次の説明において、ＭＰＥＧのシーケンスを詳細に説明する。表現された各種
機能が他の符号化されたビデオシーケンスに他の説明なしに適用され得ることが
理解される。背景として、ＭＰＥＧシーケンスのある特殊な機能のレビューから
始める。これは、実施例の異なった特殊な機能を軽減する一つの特殊な問題を明
らかにし、他のビデオシーケンスに対する特定の機能の広い応用への誘導に役立
つ。

【００２６】上述のように新しいシーケンスの復号は新しいＩフレームが完全に受信された
時にのみ開始することができる。Ｉフレームはシーケンスに対する入り口点を持っている。符号化されたフレームは普通Ｐ、Ｂフレームより大きいＩフレーム
によって可変長である。もし、希望のフレームレートで平均のデータレートがフ
レームを十分供給を確実にするのに十分な容量のリンク以上にデータが転送され
るならば、デコーダが何もしない表示時間の間、Ｉフレームが転送に数フレーム
の周期を要するものと思われる。そこには目立つが予測できない遅れがデコーダ
へのシーケンスに続く復号されたシーケンスの初期の出力の前に存在する。デコ
ーダの同期が一旦確立すると、デコーダは確実で安定にフレームの生成する動作
を継続する。もし何らかの理由でバッファがフレーム（例えば大きなＩフレーム
）が書き込まれている間、供給されるデコーダを保持するために不十分なフレー
ムを含むならば、デコーダは、表示のフレームが飛散し、これがバッファのアン
ダーフローとして知られているただ一つの例外が起こる。デコーダが制限時間内
の信号処理、それは与えられたデコーダに対し現実的には一般的に定まっている
が、デコーダからデコーダで変化することが他の問題である。

【００２７】本発明の実施例が、即座に、他の１つあるいはそれ以上の相似的特性、例えば
復号が開始できる特定な入り口点とか、可変なフムームサイズとか、フレームが
出力されている時の特定のタイミングフィールドとか、またはデコーダの同期の
確立や維持に対する必要性とかに適用させることが明らかであろう。

【００２８】上記の全体は、単独なビデオプログラムのデータ内容に集約される。実際に、
装置はコンピュータのデータファイルを受信し、あるいは、多様なプログラムま
たは単一プログラムを含むＭＰＥＧ転送ストリームと、他のヘッダ情報を受信す
るであろう。転送ストリームが受信されるところでは、他のフィールドと情報（
例えば、ＰＡＴ，ＰＭＴなど）は装置によって処理されるであろう。しかしなが
ら、そのような処理は、本発明とは密接な関係にはなく、これ以後の説明に、デ
ータが個別プログラムの復号修正の必要のために前処理されバッファされるもの
と思われる。もちろん、単一の装置は、並行して一つ以上のビデオシーケンスを
処理することができる。

【００２９】デコーダの初期同期に関する上記問題は、単一シーケンスの画面が単に求めら
れるならば、時として容認されることが記されている。問題は、多ソースビデオ
システム例えば放送スタジオにあっては、決定的になり、ビデオシーケンスソー
ス間のしばしばの変更が求められる。本発明に実施されているビデオ出力装置は
、かくして多ソースシステムに関連して説明されるが、装置は、そのような応用
に限定されるものではない。

【００３０】多ソースビデオシステム図１を参照すれば、多ソースビデオシステムは、符号化されたリアルタイムビ
デオをデコーダ２０ａへ供給し符号化されたビデオデータを記憶媒体３０ａから
受け入れるビデオポンプ１０ａを有する。この実施形態例では、ビデオポンプ１
０ａと、第２のデコーダ２０ｂを供給する第２のビデオポンプ１０ｂが、ともに
コンピュータネットワークを介して蓄積媒体３０ａ（例えばコンピュータファイ
ルサーバ）に接続される。この実施形態例は、また、第３のデコーダ２０ｃを供
給し収められたデータソース３０ｂからデータを受け入れる第３のビデオポンプ
１０ｃと、オフエア受信機３２を介してライブ符号化されたビデオを受け入れる
第４のビデオポンプ１０ｄを含むが、このオフエア受信機３２は、受け入れたデ
ータと、多くの時間（ここでは約３０分間）蓄積するに充分なビデオデータの容
量を持つバッファ３４とから単一のプログラムストリームを抽出するためのディ
マルチプレクサを含む。すべてのデコーダの出力は、一つのデコーダから出力を
選択するセレクタ４０に接続されている。出力は、（アナログまたはデジタルの
いずれかの形式で）放送されることができる、あるいは、蓄積、または再符号化
されることができる。この実施形態例において、デコーダは、元の符号化された
ビデオ（ＭＯＬＥフォーマット）に基づく符号決定に関する情報を含む符号化さ
れたデジタルの形式で出力を作成し、質の低下を最小限にして再符号化を可能に
する。しかしながら、さらに他の、例えば完全なアナログへのデコーディングも
採用され得る。さらにビデオソース２２は、例えばスタジオのテレビカメラから
デコーダ出力への類似のフォーマットの符号化されていない信号を造り出すので
、セレクタ４０へのインプットとしても供給される。

【００３１】同期化の目的（さらに後述）で、各ビデオポンプはタイミング信号をスタジオ
基準クロック１２から受け入れる。スタジオ基準クロックは、２７ＭＨｚのクロ
ックを基礎とした４２ビットのＳＳＴＣを供給するのが典型的であるが、３３ビ
ットの９０ｋＨｚ（クロックの振動数を３００で除したものに等しい。）ベース
の値および２７ＭＨｚで時間を測定した９ビット（モジュロ３００）拡張値を有
する。この実施形態例において、クロック１２は、また４２ビットのスタジオ基
準クロックの時刻をＳＭＰＴＥタイムコードに変換し、共通のバスに沿って規則
正しい間隔で両者を供給する。各ビデオポンプは、プレイアウト決定情報を編集
／プレイアウトコントローラ１４から受け入れる。編集／プレイアウトコントロ
ーラは、典型的には、ＳＭＰＴＥコードにおける編集／プレイアウト時間を特定
する。ＳＳＴＣと関連するＳＭＰＴＥ時間値は別個に供給されることができるが
、好ましいのは、ＳＳＴＣバスが、２つを関連させることを可能にする情報を供
給することである。もちろん、他の種のもの例えば、スタジオクロック値はＳＭ
ＰＴＥ値に変換できるので、対応するスタジオクロックカウンタ値がプレイアウ
トコントローラにより供給されるならば、ＳＭＰＴＥ値を供給することは必要が
ない。

【００３２】編集またはプレイアウトの決定は、予め、例えば、時間の区切りに関する再生
予定（例えば、“午後９時に１５．０秒でビデオで、ビデオポンプ１０ａを介し
てフレーム０で始まるフィルムＡ”というタイトルのビデオシーケンスを再生す
る）として特定されることができる。あるいはリアルタイムで修正または設定さ
れ得る。例えば、シーケンスを再生するという即時の要求は、正確に５秒の間に
再生を開始するという要求に変換されることができる。

【００３３】編集またはプレイアウトの決定情報は、セレクタ４０とビデオポンプ１０の両
方に送られる。ビデオポンプのみが単一の符号化ビデオソース、例えば単一のバ
ッファに格納されたオフエアビデオシーケンスを受け入れるビデオポンプ１０ｄ
に対するアクセス有する場合には、編集情報は、ソースの記載を特定する必要が
ない。そうでなければ、ソースの記載は、記憶媒体から適当なデータを要求する
ことができるビデオポンプに送られることができる。または記憶媒体に直接送ら
れることができる。

【００３４】セレクタは、特定された時間に出力を一つのソースから他のソースへ簡単に切
り替え（スイッチ）するもので、全く従来型のものである。適当なビデオポンプ
は、符号化ビデオシーケンスが再生されなければならない時と、同期化の確かめ
方法とを決定するので、デコーダは切り替え時間において正しい出力を作り出し
ている。これは、以降により詳しく述べられるように、多くの方法で実行される
。

【００３５】ビデオ出力装置図２を参照すると、符号化されたビデオソース（“ビデオポンプ”）１０から
コード化されたビデオを出力するための装置が示されている。プログラムあるい
はビデオデータはデータ入力、例えばコンピュータネットワークから受信され、
サーバーやネットワークの遅れ時間に起因するデータの到着の時間的な不連続性
を平滑化するネットワークバッファ１１０に送り出される。データをネットワー
クバッファに送り出す詳細な方法は重要ではなく、それ自身の形態は本発明の一
部ではなく、同様なコンピュータネットワークで用いられる適当なプロトコルを
用いることができ、もちろんバッファには調整される出力のための十分のデータ
が常に含まれている。一般に、装置はコンピュータによって制御され、コンピュ
ータはまたネットワークサーバやディスクからのデータの供給を制御する。デー
タはビットストリームパーサ１１１に送出され、ビットストリームパーサは再ス
タンピングや合成された流れに変換するためにビデオやシステム層の適当なフィ
ールドを検出する。データはまた遅延回路１１２に送出され、遅延回路はビット
ストリームパーサ１１１の遅れを補償する。合成ビットストリーム記憶部１１３
は合成ビットストリームのバージョンを適当なフォームで格納する。スイッチ１
１４は遅延回路１１２と合成ビットストリーム記憶部１１３とからデータを受け
、これらの情報源、すなわちち入力とビットストリ−ムとを選択する。

【００３６】スタジオシステムタイムクロック（ＳＳＴＣ）１２０はデコーダがスタジオタ
イムと同期するようにＰＣＲフィールドに挿入することができるカウントを提供
する。スイッチ１１４から出力されたビットストリームはユニット１２１に送出
され、ユニットは上述のフィールド、特にＰＴＳ／ＤＴＳフィールドを含むフィ
ールドを再スタンプする。ビットストリームは次にユニット１２２を通過し、そ
こでＰＣＲフィールドを再スタンプされる。ＰＣＲフィールドとデコーダのこれ
らのフィールドの受信との間に最低のタイミングジッタが必要なのでこれはビッ
トストリームの分離された最終ブロックを示す。

【００３７】コントローラ１２３はプレイアウト制御リストとローカルＳＳＴＣカウンタ１
２０からのコマンドを与えられる。このコントローラは次の機能を制御する：合成とイメージとのビットストリームの切替えタイミング；上述のその他のフィールドと同様にＰＴＳ／ＤＴＳフィールドの再スタンピン
グ；ＰＣＲフィールドの再スタンピング。

【００３８】インターフェースハードウエア１２１および１２２は合成とイメージとのビッ
トストリームのためにＰＣＲおよびＰＴＣ／ＤＴＳフィールドを再スタンプする
。ＰＣＲフィールドに挿入された値は次に続くデコーダがスタジオの同様なカウ
ントと同期する内部デコーダクロックカウントを有する。このことは特定のデコ
ードされたフレームのプレゼンテーション／ディスプレイのタイムを的確にスタ
ジオのタイムと同期させることを可能にする。

【００３９】ＰＴＳ／ＤＴＳの値はデコーダクロックカウント（ＤＣＣ）の関係において、
以下詳細に記載するように、適当な値で再スタンプされる：合成とイメージとのビットストリームの間のＰＴＳ／ＤＴＳの値が継続性を持
つ；デコーダのバッファがオーバフローもアンダーフローもせず；ＤＣＣがスタジオシステムタイムクロックと同期したときに、ＰＴＳの値は画
像（イメージ）シーケンスの特定のフレームが表示されることが望まれるタイム
に対応した値となる（例えばプレイアウトリストにしたがって）。

【００４０】ＰＴＳ／ＤＴＳの値の継続性はオリジナルのコード化されたビデオシーケンス
の値にオフセットを加えることでセットされる。例えばもし最初のＰＣＲ／ＰＴ
Ｓ／ＤＴＳの値が値ｘ（オリジナルのコーダカウンタ値に基づいてコード化され
たビデオに保存されている）から値ｙ（スタジオの基準クロックに基づいた）に
修正されたとき、すべての後に続く値は単純に入力した値に（ｘ−ｙ）のオフセ
ット（正または負の）を加えることで修正できる。

【００４１】タイミング値を設定するのに加え、デコーダバッファがオーバーフローしたり
アンダーフローしたりしないようにデータ出力比、あるいはコード化されたフレ
ームデータの出力タイミングが、データ出力比、あるいはコード化されたフレー
ムデータの出力タイミングが設定されなければならない。

【００４２】装置の簡略化された変化例では、いずれかの要素を省略できることに注目した
い。例えば単に出力クロック周波数をスタジオ基準クロックと同期させることが
必要ならば、同期フレームを発生する手段を除くことができる。同様に、デコー
ダ出力の正確なタイミングが必要ないならば、スタジオ基準クロック入力を除く
ことができるが、装置はデコーダの事前の同期化や一時休止やスローモーション
の再生に適合したビットストリームを発生する能力を有している。しかし、上述
の要素が揃って備えられることで最高の適応性が保証される。

【００４３】タイミングフィールドの値同期を達成することができる数多くの方法があり、それらはＭＰＥＧシーケン
ス内の様々なタイミングフィールドの作用についての論議の後で説明され、関連
する作用を有するその他のフィールドは、他の符号化されたビデオシーケンスの
中で用いられる。

【００４４】各デコーダはそれ自身のクロック、典型的には２７ＭＨｚで作動し、オリジナ
ルデータの中でＰＣＲ値まで同様の割合で増大するデコーダクロックカウント（
ＤＣＣ）値を生成する。トレランスのために、ＤＣＣとオリジナルコーダークロ
ック値の間に漸進的ドリフトが存在し、蓄積される。符号化データストリームの
中でとびとびに、ＰＣＲ値を伝送することによって、トランスミッタの中のコー
ダ（符号器）は、デコーダクロックの同期をそれ自身のクロックにもたらし、そ
して維持する。このようにして、結果はＤＣＣ値はオリジナルデータストリーム
と同期したが、しかし外部の応用は利かなかった。そのコーダーは、フレームがデコーディングのためにデコーダバッファからとり出される時間を特定するＤＴ
Ｓ値と、デコードされたフレームが表示される時間を特定するＰＴＳ値とを、フ
レームとともに送る。受信機の中に蓄積されないＢフレームのために、ＤＴＳと
ＰＴＳは同一であり、デコーダの中に蓄積されるＩとＰフレームのために、ＤＴ
ＳはＰＴＳに優先する。

【００４５】上述の装置において、オリジナルデータストリームの中のＰＣＲ値は、スタジ
オリファレンスクロックに基づく値に置き換えられる。このようにして、ＤＴＳ
とＰＴＳフイールドは絶対時間を特定するために使用される。このように、原則
として、特別の時間におけるフレームの表示は、ＰＴＳフイールドを適切な時間
にセットすることによって、簡単になしとげられる(実際には、実際的なデコーターにおけるアウトプット遅れにより、実際のアウトプット時間とは実際には異
なるかも知れないので、２つのフイールドに書き込まれた値に加算し又は減算す
るオフセット値を貯える手段を含んでいる)。

【００４６】ＰＴＳとＤＴＳフイールドが、総てのフレームに必須ではなく、そしてまた総
てのデコーダが必ずしもそれらを使用しないことが、複雑化しており、特に同調
後第１に実証される。

【００４７】このため、別のパラメータ、ｖｂｖ＿ｄｅｌａｙフィールドが使用される。これは、フレームの前の、特にＩフレームの遅れを特定し、デコーダバッファから
読みとることができる。ｖｂｖ＿ｄｅｌａｙは、実際には此のより一般的なタイ
ミングから決定することができるということが認識される。この時間は、フレームが受領された時間とフレームがデコーディングのためにバッファから除かれた
時間との差である。したがって次式が得られる。

【００４８】

【数１】

【００４９】もしＤＴＳを用いることができるならば、デコーダは、ｖｂｖ＿ｄｅｌａｙを
決定するためにＤＴＳを使用するべきである。かくて、ｖｂｖ＿ｄｅｌａｙ値は
、ビデオレイヤの中で明白には明示されないかも知れないが（ＭＰＥＧシーケン
スの中で、ＯｘＦＦを含むｖｂｖ＿ｄｅｌａｙフィールドは明記した値を意味し
ない）、この場合、有効なｖｂｖ＿ｄｅｌａｙは、ＰＥＳレイヤの中のＤＴＳフイールド及びフレームの書込みの実際の時間を基にして計算される。本明細書を
通して、有効なｖｂｖ＿ｄｅｌａｙ値を参照することは、デコーダバッファ内の
フレームの滞在時間を決定するパラメータ又はパラメータの組み合わせの幾つか
を包含することが意図されている。

【００５０】上述した情報によって、所望の時間における所望のフレームのプレイアウトが
、同調フレームを付加せずに、単に適当なタイミングフイールド値をセットして
、そして、そのフレームにオフセットディレイを加えたｖｂｖ＿ディレイに等し
い量だけ、所望のピクチャ出力時間の前に、所望のシーケンスの第１のＩフレー
ムに対応するデータを出力し始めることによって、原則的に達成できることが判
るであろう。この方法の可能性がある欠点は、デコーダが同期するためにわずか
１回の期会があるだけであり、そして直ちに安定させなければならぬことである
。もし何らかの理由でデータが破壊されれば、シーケンスの開始は失敗すること
になる。かくて、さらに下に述べるように、生成し又は同期したフレームの初期
化シーケンスを、オリジナルシーケンスに対して予めペンディングにすることに
よって、同期を達成することが通常は好ましい。

【００５１】合成フレームの内容一般に言って、生成されたフレームの少なくともいくつかは、フレームの書き
込みおよび読み出しが比較的短い時間となるように、なるべく、比較的に低い情
報内容（代表的なピクチャフレームと比較して）のものとすることが望まれる。
特に、各生成フレームの平均データ内容が、せいぜいシングルフレーム表示期間
において書き込むことのできるデータの量と同じである場合、むしろ実質上はよ
り少ない（例えば多くて半分）場合に望まれる。

【００５２】より具体的には、ＭＰＥＧシーケンスにおいて、ブラックＩフレーム、または
簡単なロゴ（それによってピクチャが示され、その符号化は平均実ピクチャシー
ンに比較してなるべく少ないデータ、望ましくは、ほぼシングルフレーム期間以
下において送ることのできるデータの量を必要とする）を含むＩフレーム、もし
くは動きを暗号化することのないＰフレームを用いることが可能である。静止ま
たは簡単な動きをするロゴが送られた場合、最初のＩフレームはシングルフレー
ム期間において送ることのできるものより多いデータを含むが、Ｉフレームおよ
び１つ以上のＰフレームを含む平均データレートは要求したレートより低くなる
。このように、フレーム期間に１フレーム、という平均レートでフレームを伝送
することができ、バッファのアンダーフローおよびオーバーフローを起こすこと
無く、また複雑なバッファ占有期間決定方法に頼ることなしに、長期の期間、発
生したフレームを挿入する、という適応性がある。

【００５３】そのうえ、発生したシーケンスの出力は、大きなフレーム用データを出力する
ことのできる“時間とり”が可能である。言い換えれば、発生したシーケンスの
出力に続いて、符号化バッファが常に表示用フレームを含むように、デコーダー
バッファが出力すべきいくつかの合成フレーム用のデータを含む限り、要求した
表示時間に先立って多量のデータを含む最初の符号化ビデオシーケンスの次のフ
レーム用のデータの出力を開始することが可能である。したがって、合成フレー
ム（通常は小さい）のサイズを制御することや、フレームが出力される時間を調
節することや、デコーダバッファーにおけるフレームについての滞留時間を明示
する時間値を調節することによって、望ましいバッファ占有期間を達成すること
ができる。

【００５４】次に、種々の用途のために、挿入可能な合成フレームの具体的な実施例を開示
する。

【００５５】ブラックＩフレーム簡単なブラックＩフレームの関連する特性／パラメータは以下のように要約さ
れる。

【００５６】

【表１】

【００５７】あるいは、Ｉフレームはブラック（黒）Ｉ／Ｐフレームとして符号化してもよ
い。

【００５８】合成Ｐフレーム合成フレームのそれぞれに設定されるべき関連するパラメータは以下のような
ものである。

【００５９】

【表２】

【００６０】出力について、知れられているように、ビデオ基本ストリームはまずＰＥＳパ
ケットに内包される。各ＰＥＳパケットのヘッダには多くのオプションフィール
ドを持たせることができる。合成ビットストリームについて、ＰＥＳパケットヘ
ッダは、可能な限りいくつかのオプションフィールドとし、できるだけ簡単なも
のとする。また、１つのＰＥＳパケットヘッダ内に各符号化フレーム（アクセス
ユニット）を含むようにして使いやすくする。

【００６１】ＰＥＳ（Packetised Elementary Stream）レイヤでは、特に、適切に設定され
るように、ＰＥＳパケットヘッダにおける以下のフィールドが必要である。

【００６２】ＰＴＳ／ＤＴＳフィールドストリームＩＤフィールドこれは、比較的に簡単なことである。：ＰＴＳ／ＤＴＳ値に作用する理由は、
一般には前述の如く論じられるが、より詳細には、以下の具体的な合成ビットス
トリームにおいて論じられる。また、ストリームＩＤフィールドは最初のビデオ
ストリームのそれと同じになるように設定されなければならない。

【００６３】説明した適切な基本合成フレームを持たせることについて、合成フレームを用
いて達成することができるいくつかの機能を、より具体的で適切なシーケンスの
細部とともに次に説明する。

【００６４】初期デコーダ同期化初期デコーダ同期化を達成するのに適切な合成ビットストリームは、ブラック
Ｉフレームと、その後に続く合成（ヌル）Ｐフレームのシーケンスからなる。初
期フレームはブラックである必要はなく、単純なロゴを含んでいてもよい。同期
化を確認するために、そのようなシーケンス（いくつかのＩフレームを含む）が
何回か送信されてもよい。そのようなシーケンスは、望みのシーケンスの要求開
始の、わずかなフレームまたはわずかな秒数だけ前に送信されるが、同様にして
、延長される時間にデコーダの同期を保持するために、そのようなシーケンスを
延長される時間、例えば数時間、送信することが可能である。そのような場合に
は、デコーダもまた（さらなる議論は後述するように）同期状態で“ポーズ”さ
れていてよい。（いったんデコーダが閉ざされると）適当な時刻に画像シーケン
スのビットストリームの最初のＩフレームに切り替えられる。例えば、

【００６５】

【表３】

【００６６】である。合成フレームはイタリック体で示されている。この例から、それぞれの
ＩフレームとＰフレームの合成に対して、

【００６７】

【数２】

【００６８】であることが判る。ここで、Ｔはビデオフレーム時間である。

【００６９】上記したように、ＩフレームとＰフレームは、表示時間の前に正常に出力され
るＢフレームをデコードすることが必要とされるが、Ｂフレームはデコーダに蓄
積されずに復号化されて遅延無しで出力される。こうして、上記したシーケンス
において、Ｂフレームは番号が付けられておらず、上記したように表示シーケン
スのＢフレームは、ビットストリームのシーケンスのＢフレームと垂直に直接一
致する。

【００７０】最初のＩフレーム（Ｉ₀）の画像シーケンスをＳＳＴＣに関連付けられた時刻ｔ_disp(Ｉ₀)に表示することが要求されると仮定する。このフレームのＰＴＳフィールドはｔ_disp(Ｉ₀)から、デコーダに依存しておりシーケンシャルから飛び越し操作方式への変換にかかる時間等に依存したオフセット(offset)だけ減じた
値に等しく設定されているべきである。すなわち、

【００７１】

【数３】

【００７２】である。このフレームに対するＤＴＳは、ビットストリームにおいて次に符号化
されたＰフレームの前の、このＩフレームに続くＢフレームの数ｎ_Bに依存している。すなわち、

【００７３】

【数４】

【００７４】である。ここで、Ｔはビデオフレーム時間である。

【００７５】デコーダが同期化されるとすると、このフレームに対するデータがデコーダへ
送信され始めるべき時刻は、

【００７６】

【数５】

【００７７】で与えられる。すなわち、インタフェースは、

【００７８】

【数６】

【００７９】の時刻に、デコーダにイメージシーケンスの最初のフレームを供給し始めるべき
である。

【００８０】合成ビットストリームが、フレーム時間毎に１つの符号化されたフレームとい
う平均レートでデコーダに供給されるとすると、合成ビットストリームの最初の
フレームはデコーダに、

【００８１】

【数７】

【００８２】で与えられる時刻に提供されるべきである。ここで、ｎ_synthは、合成ビットストリームの初期化において送信される合成フレームの数である。

【００８３】ビデオデータは、固定ビットレート（ＣＢＲ）のストリーム、または可変ビッ
トレート（ＶＢＲ）のストリームとしてデコーダに送信されることができる。Ｖ
ＢＲビデオストリームにおいて、伝送ストリームのトータルのビットレートは、
必要に応じて“ヌル”の伝送ストリームパケットを送信することによって、固定
レートに維持されていてもよい。

【００８４】合成ビットストリームは、実際のビデオシーケンスデータと比較して、低いビ
ットレートしか要求しないので、ＣＢＲ動作を維持するために、フレーム毎に多
くのスタッフィングバイトを、符号化された合成フレームに付加する必要がある
。これらはデコーダバッファに書き込まれ、ＤＴＳに対応する時刻にバッファか
ら読み出されるときに廃棄される。

【００８５】ＣＢＲ命令におけるデコーダバッファの書き込み及び読出しアドレスの例を図
３に示す。実際に、バッファに対しては、その周囲から周期的にアクセスがなさ
れていることがこの図から理解される。読出し或いは書き込みポインターは、バ
ッファの最後（アドレスＢ；Ｂはバッファサイズ）に達すると最初に戻る。容易
に理解されるように、バッファアドレスは、図３（その後に示す図）において直
線的に増加し、実際のアドレスは、図示されたアドレスのうちＢを除いたアドレ
スに等しくなる。例えば、N.B+xのアドレスはxのアドレスに等しい。ここで、N は整数であり、x＜Bである。

【００８６】図３に示した例においては、符号化された合成フレームのそれぞれは、各フレ
ームがＣＢＲのビットレートでデコーダに供給される間隔で一つのフレームを取
り込むように、埋め込みバイト(stuffing bytes)に加えられる。

【００８７】最初の合成フレームに関するvbv＿delayは、画像シーケンスの最初のＩフレー
ムのvbv＿delayと等しくなるように配列される。これにより、ＣＢＲモードが維
持される。

【００８８】ＶＢＲ命令の例としては、予め符号化された画像シーケンスが固定及び一定の
ビットレートを具備している例が挙げられる。しかしながら、ビデオデコーダに
供給される合成ビデオデータのビットレートは、この一定値よりも小さくなるよ
うに供給されている。デコーダバッファがアンダーフロー／オーバーフローにな
るという問題を避けるための簡単な方法としては、合成データがフレーム期間毎
に１つの合成フレームの割合でデコーダに供給されるように、デコーダバッファ
を配列する方法がある。

【００８９】このような方法を図４に示す。最初の合成データに関するデータは、固有のＤ
ＴＳ値に割り当てられ、数式７により与えられた時間にデコーダバッファに供給
される。このため、このvbv＿delay値は、シーケンスの最初のＩフレームのvbv ＿delay値と等しくなる。それから、残りの合成フレームは、フレーム期間毎に１つのフレームの割合で供給される。このとき、シーケンスの最初のＩフレーム
であるt_trans(0)が送信され、このフレームに関するvbv＿delay値が修正される。図４は、デコーダバッファがアンダーフローでない状態を示している。

【００９０】全てのフレーム（合成及び画像）に関して注意すべきことは、ＣＢＲモードと
ＶＢＲモードとの間の各フレームにおいて、vbv＿delay値に相違点がないという
ことである。

【００９１】デコーダの一時停止（ポーズ）合成ビットストリームは、シーケンス内のある時点でデコーダを一時停止させ
るために使用可能である。最適な合成シーケンスは、Ｐフレームのゼロ系列から
構成される。例えば、Ｐフレームのゼロ系列がＰフレーム前に挿入されると仮定
すると、以下に示すように、

【００９２】

【表４】

【００９３】

【表５】

【００９４】デコーダが合成Ｐフレームを復号化している間、最後に復号化された「アンカ
ー」フレーム（本例ではフレームＰ１）が継続して表示される。Ｂフレームはデ
コーダ内に格納されていないため、これらが繰り返されることは不可能である。
なお、合成Ｐフレームのシーケンスに続いて、画像シーケンスを継続して行うこ
とは可能である。

【００９５】このような停止ビットストリームを挿入するための簡単な「ルール」について
以下に述べる。

【００９６】・最初の合成Ｐフレームとこれに置換されるＰフレームとは、ＤＴＳ及び「デ
コーダへの供給開始時間」が等しい（例えば、vbv＿delayが等しい）。

【００９７】・各合成Ｐフレームにおいて、PST_i=(DST_i+T)であり、DTS_i+1=(DST_i+T)である
。

【００９８】・合成Ｐフレームは、フレーム期間毎に１つの合成Ｐフレームの割合でデコー
ダに供給される。これにより、合成シーケンスに続き、最初に符号化された画像
フレームに関するvbv＿delayが合成ビットストリームによって影響を受けないよ
うに保証される。このことは、ＶＢＲモード命令に関する図５に示されている。

【００９９】・合成ビットストリームに続き、符号化された画像フレームのＰＴＳ及びＤＴ
Ｓは、Ｎフレーム期間と等しい量だけインクリメントされる必要がある。ここで
、Ｎとは、ビットストリームに導かれた合成フレームの数である。

【０１００】合成Ｐフレームシーケンスは、Ｉフレームの後にデコーダを停止するための同
様の方法において使用可能であり、それにより、静止画像を表示する方法が与え
られる。

【０１０１】延長された期間（例えば、数時間）にデコーダの停止が要求された場合、特に
、最後のフレームの出力を維持することが重要でない場合、Ｉフレーム、例えば
、ブラックＩフレームをシーケンスに挿入することが要求されるとともに、同期性が不容易に失われないように保証することが要求される。

【０１０２】合成フレームの（通常の）挿入が繰り返し行われることによりスローモーショ
ンの録音再生に効果が得られる。スローモーションの録音再生、計算を円滑に行
う効果が得られるためには、上述したフレームを繰り返し処理することよりも、
フレームに囲まれた内部の動作を処理することが必要となる。しかしながら、そ
れにも係わらず、録音再生の速度を減少することで容易に効果が得られる。動作
を計算処理する場合は、合成フレームのサイズが無視しても良いサイズになる。
しかしながら、元のシーケンスの内容に基づいて合成Ｐ或いはＢフレームを生成
するケースや、これらのフレームを、バッファにてオーバーフロー／アンダーフ
ローが発生するという問題が回避されるよに、単独のフレーム期間内に送信する
ケースが多くなる可能性がある。

【０１０３】ビットストリームのスプライシング組み合わせのシーケンスは、デコーダの初期化や中断に非常に類似すると記述
された類似を用いた異なるビットストリームとともに、スプライシングにおいて
役立つために使用される。この類似に用いられるスプライスは、デコーダの中断
と合成機能における新たなビットストリームへの同期確立に類似すると考えられ
る。しかしながら、フレーム期間毎の１つの組み合わせフレームの送出の規則に
ついては、本出願では言及しない。

【０１０４】これは、単純であまり機能的ではないが、一般的な装置と比べて安価な解決法
をＭＰＥＧ−２ビットストリームとともにスプライシングに供給することができ
る。一般的な要件は、第１のシーケンスビットストリームにおける適正で任意の
いくつかの点において、デコーダに重大な乱れのダウンストリームを引き起こさ
ずに第２のシーケンスビットストリームにリアルタイムで変えられる。ここでの
主要な問題点は、第２のシーケンスの最初の符号化されたフレームの前に要求さ
れたバッファの占有期間に第１のシーケンスを残す点でのデコーダバッファの占
有期間のマッチングである。これらがマッチングしない場合、デコーダバッファ
は符号化されたイメージシーケンスに重要な乱れを生じさせるオーバーフロある
いはアンダーフローとなる。

【０１０５】このvbv＿delay値のマッチングは、組み合わせのビットストリームを用いる事
によって達成される。

【０１０６】以下の例を考える：

【０１０７】

【表６】

【０１０８】ビットストリーム２の最初のＩフレームにおけるデコーダバッファのアンダー
フローを避けるためにビットストリーム２のＩ₀のvbv＿delay値はビットストリーム１のフレームＰ₂のvbv＿delay値よりも大きくなる。しかしながら、組み合わせのビットストリームはビットのほとんど無視してもよい数を含んでいるため
、短期間でそれらを送信することができる。そのため、フレームＩ₀の最初のバイトにおける時間の進行はデコーダに供給される。このようにして、Ｉ₀における正確なvbv＿delay値を達成することができる。これは、図６によって説明され
る。

【０１０９】図６において、３つの組み合わせフレームがデコーダに供給される（無視でき
るビットを含んで）。ディスプレイスケジュールによって予め決められたＩ₀の復号時間が与えられると、インターフェースは、デコーダに以下のタイミングに
てイメージシーケンスの最初のフレームを供給しはじめる。

【０１１０】

【数８】

【０１１１】以下の考察が本実施例に適用される。

【０１１２】・フレーム毎のＰＴＳとＤＴＳとの値の関係は、シーケンス１にてＰフレーム
の代わりに組み合わせフレームが導入されて以降継続される。

【０１１３】・シーケンス２のＰＴＳ／ＤＴＳ値は、スプライスと交差するこれらのフィー
ルドの連続性を継続するためにそれらに加えられるオフセット値を必要とする。

【０１１４】・ＤＴＳ値と最初の組み合わせフレームの「デコーダへの供給開始時間」とは
、シーケンス１にて替えられるＰフレームのそれらと等しい。

【０１１５】・それぞれの組み合わせＰフレームにおいて、ＰＴＳｉ＝（ＤＴＳｉ＋Ｔ）か
つＤＴＳｉ＋１＝（ＤＴＳｉ＋Ｔ）．また、以下の点に注意すべきである。

【０１１６】・最初の組み合わせフレームは、同様に、シーケンス間のフレームに戻される
組み合わせＩフレームとなる。

【０１１７】・組み合わせフレームの最小の数は、要求されたvbv＿delayの補正のサイズに
依存するスプライスを介して要求される。

【０１１８】・シーケンス２の最初のフレームはＩフレームにならなければならない。

【０１１９】上述した記述に加えて、ビデオ出力装置は他の機能を供給することができる。
例えば、組み合わせフレームを生成せずに、スタジオ基準クロックへの同期は、
以下に記載するような効果をもたらす。

【０１２０】ビデオ出力レートの検出と調整格納されたＭＰＥＧビデオシーケンスは、一連のＰＣＲフィールドを含む。どのフィールドも、そのシーケンスが正しいビットレートで動作しているときに
は、オリジナルのキャプチャー装置のクロックレート（典型的には２７ＭＨｚ）
で増加するクロック値を含んでいる。正しいビットレートは、たいてい格納され
たデータに指定されており、従来、ビデオソースは、指定されたビットレートで
データを出力するだけである。例えば、シーケンスは４（Ｍｂｉｔ／ｓ）で取り
込まれ、そして従来のビデオソースは、ただ単に、それ自身のクロックソースに
基づくビットレートでデータを出力している。しかし、４（Ｍｂｉｔ／ｓ）で再
生されるとき、例えば、記録装置のクロック周波数の不正確さのために、２７Ｍ
Ｈｚよりごくわずかに大きいか小さいビットレートでＰＣＲ値が増加しているの
がわかる。このことは、ＰＣＲ値の増加割合とスタジオクロック基準周波数とを
比較することにより検出され、そして、カウンタがスタジオ基準シーケンスによ
って同期状態を維持する記録されたビデオシーケンス中のＰＣＲ値と同じ割合で
更新されるので、データ出力率を調整することによって正される。

【０１２１】本発明は、多くの実施形態があり、上述されたもの以外の実施形態にも拡張さ
れ得ることは理解されるであろう。本発明の他の実施形態としては、再生タイミ
ングフィールド値によって、エラーがあるビデオシーケンスの“修復”または編
集を行うことや、上書きされたエラーがあるデータ内の合成フレームにパッチを
あてることなどがある。ビデオプロセシングの文中に記述されている中では、同
様の技術が、一連の符号化フレームとして、特に、合成符号化オーディオフレー
ムとして供給される他の符号化データにも用いられ、そして、符号化された（例
えばＭＰＥＧ）オーディオの同期もその効果を受けることもまた理解されるであ
ろう。特に、ＭＰＥＧ形式は、ビデオデータを含むデータ転送するのに用いられ
るのが一般的にはほとんどであるが、ビデオを含まないＭＰＥＧオーディオ／ビ
ジュアル／データのシーケンスにおいて、本発明は、シーケンス内に含まれるオ
ーディオまたはデータを送出するのを目的として、同期を確立するのに用いられ
る。合成フレームの形式は、もちろん変化し、特に、無効フレームはたいてい穴
埋めとして用いられる。しかしながら、このような場合、詳細な説明および請求
の範囲を通して用いられるビデオという用語は、必要に応じてオーディオまたは
データによって置き換えることができる。詳細な説明と請求の範囲のいずれの特
徴も、それぞれ個々に生み出されるべきであり、もしそうでなければ、別に示さ
れるべきである。添付された要約は、ここに参考として含まれる。

【図面の簡単な説明】

【図１】図１は、本発明を実施化した多ソーススタジオシステムのブロック図である。

【図２】図２は、図１のスタジオシステム内で用いられるビデオ出力装置のブロック図
である。

【図３】図３は、ＣＢＲ（一定ビットレート）モードでの合成ビットストリームを使用
するデコーダ初期化のためのデコーダバッファのアドレッシングを示す。

【図４】図４は、ＶＢＲ（可変ビットレート）モードでの合成ビットストリームを使用
するデコーダ初期化のためのデコーダバッファのアドレッシングを示す。

【図５】図５は、ＶＢＲモードでの合成ビットストリームを使用するデコーダ一時停止
のためのデコーダバッファのアドレッシングを示す。

【図６】合成ビットストリームを使用するビットストリーム・スプライシング（継ぎ合
わせ）のためのデコーダバッファのアドレッシングを示す。

Claims

【特許請求の範囲】

【請求項１】出力されるべき符号化ビデオシーケンスを受信する手段と、ピクチャシーケンスを生成するために、リアルタイムに復号することが可能な
形で前記符号化ビデオシーケンスを出力する手段と、その符号化ビデオシーケンスを処理し、および／または選択されたタイミング
で出力シーケンスを受信しているデコーダから出力された符号化ピクチャを生成
するための前記出力のタイミングを調整する手段とを備えた符号化ビデオシーケ
ンス出力装置。
【請求項２】スタジオ基準クロックを受信する手段を含み、出力の処理お
よび／またはタイミングは、そのスタジオ基準クロックから得られたタイミング
情報に基いてコントロールされる請求項１記載の装置。
【請求項３】出力されるべき符号化ビデオシーケンスを受信する手段と、スタジオ基準クロックを受信する手段と、ピクチャシーケンスを生成するために、リアルタイムに復号することが可能な
形で前記符号化ビデオシーケンスを出力する手段と、そのシーケンスを処理し、および／または予め定められたタイミングで出力シ
ーケンスを受信しているデコーダから出力された符号化ピクチャを生成するため
の、そのスタジオ基準クロックから得られたタイミング情報に基いてコントロー
ルされる出力のタイミングを調整する手段とを備えた符号化ビデオシーケンス出
力装置。
【請求項４】出力データに含まれているクロックの値の変化率に基いて出
力符号化ビデオシーケンスの有効クロック周波数を判定する手段と、前記有効ク
ロック周波数とスタジオ基準クロック周波数との比較または同期をとる手段とを
有する請求項２または３記載の装置。
【請求項５】前記クロックの値は、ＭＰＥＧビデオシーケンス中のＰＣＲ
フィールドである請求項４記載の装置。
【請求項６】ＤＴＳまたはＰＴＳ値またはビデオシーケンスの少なくとも
１つのフレームまたはフィールドの希望ピクチャ出力時間の長さを特定する情報
を入力する手段を有し、前記処理および／または調整は、前記少なくとも１つの
フレームまたはフィールドが、希望ピクチャ出力タイムにおいてデコーダから出
力されるように、希望ピクチャ出力時間の長さおよびスタジオ基準クロックの値
に基いて選択される請求項２から５のいずれか１項記載の装置。
【請求項７】前記処理手段は、ビデオシーケンス中に含まれるタイミン
グフィールドにおける１つまたはそれ以上の値を変化させる手段を有する請求項
６記載の装置。
【請求項８】前記シーケンスはＭＰＥＧビデオシーケンスであり、前記処
理手段はＰＣＲ、ＰＴＳ、ＤＴＳのうちの少なくとも１つを修正するように構成
されている請求項７記載の装置。
【請求項９】前記調整手段は、前記少なくとも１つのフレームまたはフィ
ールドに対応したデータが出力される時間を調整するように構成されている請求
項６から８のいずれか１項記載の装置。
【請求項１０】前記出力手段によるフレームに対応するデータの出力の開
始とデコーダによるフレームの表示との間での遅延を測定し、測定された遅延に
応じて制御される処理および／または調整を行う手段を含む、請求項６ないし９
のいずれか１項に記載の装置。
【請求項１１】前記タイミングの調整を行う手段は、前記測定された遅延
を差し引いたフレームの所望の表示時間に等しく、少なくとも１つの前記フレー
ムに対応するデータの出力を一度に開始するように整えられている、請求項１０
に記載の装置。
【請求項１２】前記遅延を測定する手段は、前記デコーダを通しての１回
の伝播遅延に対応する所定のオフセット値に基づいた遅延、および前記フレーム
に復調する前の前記遅延に対応する変数を計算するように整えられている、請求
項１０または１１に記載の装置。
【請求項１３】第１の形式で指定された所望の表示時間と、第２の形式で
入力されたスタジオ基準クロックとを受信するように整えられ、前記第１の形式
と前記第２の形式との間で変換を行う手段を有する、請求項６ないし１２のいず
れか１項に記載の装置。
【請求項１４】前記第１の形式は、時間、分、秒、およびフレーム表示時
間情報を含み、前記第２の形式は、好ましくは、クロック周波数が少なくとも５
０ｋＨｚで、少なくとも３２ビットのサイズを有する、スタジオクロックカウン
タ値を含む、請求項１３に記載の装置。
【請求項１５】所望のフレーム表示時間を示すデータと、時間、分、秒、
およびフレーム表示時間情報を含むデータとを受信する手段と、好ましくは、ク
ロック周波数が少なくとも５０ｋＨｚで、少なくとも３２ビットのサイズを有す
る、前記フレーム表示時間情報をスタジオクロックカウンタ値に補正する手段と
、前記フレーム表示時間情報をスタジオクロックカウンタ値として符号化する出
力データを作る手段とを含む、フレームの表示時間の情報を実時間で処理する装
置。
【請求項１６】前記出力シーケンスに挿入される、１つあるいは２つ以上
のフレームのシーケンスを作る手段と、前記符号化されたビデオシーケンスのフ
レームのピクチャ出力の前記タイミングを調整するために、前記作られたシーケ
ンスを前記符号化されたビデオシーケンスに挿入する手段を含む前記処理をする
手段とを含み、前記作られたシーケンスは、出力シーケンスを受信するデコーダ
のバッファを保持あるいは同期化させるために選択されている、請求項１ないし
１４のいずれか１項に記載の装置。
【請求項１７】符号化されたビデオシーケンスを出力する装置であって、出力される符号化されたビデオシーケンスを受信する手段と、ピクチャのシーケンスを制作するのに前記シーケンスの実時間の復調が可能な
形式で前記符号化されたビデオシーケンスを出力する手段と、出力シーケンスに挿入される、１つあるいは２つ以上のフレームのシーケンス
を作る手段と、前記出力シーケンスを受信するデコーダからの前記符号化されたビデオシーケ
ンスのフレームのピクチャ出力の前記タイミングを調整するために、作られたシ
ーケンスを前記符号化されたビデオシーケンスに挿入する手段とを含み、前記作
られたシーケンスは、出力シーケンスを受信するデコーダのバッファを保持ある
いは同期化させるために選択されている、符号化されたビデオシーケンスを出力
する装置。
【請求項１８】前記生成したシーケンスを前記符号化したビデオシーケン
スの所与のフレームの前に挿入するようにされており、生成したおよび／または
前記所与のフレームと関連付けられた前記生成したフレームおよび／またはタイ
ミング情報の大きさ、すなわちデータの出力時間が、前記生成したシーケンスの
復号に続く前記所与のフレームの復号の開始時に、前記出力ビデオシーケンスを
受け取るデコーダのバッファ占有率が実質的に所望の値になるように選択されて
いる、請求項１６または１７に記載の装置。
【請求項１９】前記生成したシーケンスを前記所与のフレームの前でかつ
前記符号化したビデオシーケンスの中の少なくとも１つの先行フレームの後に挿
入するようにされており、バッファ占有率の前記所望の値が、生成したシーケン
スが前記先行フレームと前記所与のフレームとの間に全く挿入されないと予想さ
れるときのバッファ占有率と実質的に同等に定められている、請求項１８に記載
の装置。
【請求項２０】比較的に情報容量が低い１または２以上のフレームを有す
るシーケンスを生成させるようにされており、タイミング情報が、第１の生成し
たフレーム用のデータが前記ビデオシーケンスの前記所与のフレーム用のデータ
のための符号化したビデオシーケンスの中の特定された十分な時間の間に復号す
る前に前記デコーダバッファに残っているように定められており、次の生成した
フレームがこれらのフレームの表示速度と実質的に等しい平均速度で供給されて
いる、請求項１８に記載の装置。
【請求項２１】前記ビデオシーケンスはＭＰＥＧシーケンスであり、前記
第１の生成したフレームの効果的なｖｂｖ＿ｄｅｌａｙ値が前記所与のフレーム
の効果的なｖｂｖ＿ｄｅｌａｙ値と同等に定められている、請求項２０に記載の
装置。
【請求項２２】前記生成したシーケンスが少なくともＩフレーム、好まし
くは実質的に黒いＩフレームまたは簡単なロゴを有しているＩフレームを有する
、ＭＰＥＧシーケンスを有している符号化したビデオシーケンスとの最初のデコ
ーダ同期を確立する請求項１６から２１のいずれか１項に記載の装置。
【請求項２３】前記生成したシーケンスが好ましくはどんな動きも符号化
しない１または２以上のＰフレームを有している、ＭＰＥＧシーケンスを有して
いる符号化したビデオシーケンスの静止またはスローモーション再生をもたらす
請求項１６から２１のいずれか１項に記載の装置。
【請求項２４】第１の符号化したビデオシーケンスから第２の符号化した
ビデオシーケンスへの出力ビデオシーケンスの切り替えを容易にする請求項１６
または１７に記載の装置であって、生成したフレームおよび／または前記第１お
よび第２の符号化したビデオシーケンスと関連付けられた前記生成したフレーム
および／またはタイミング情報の大きさが、前記切り替えに続く前記第２の符号
化したビデオシーケンス復号の開始時に、前記出力ビデオシーケンスを受け取る
デコーダのバッファ占有率が実質的に所望の値になるように選択されている装置
。
【請求項２５】バッファ占有率の前記所望の値が、前記デコーダが前記第
１の符号化したビデオシーケンスおよび前記生成したシーケンスの代わりに前記
第２の符号化したビデオシーケンスを受け取ったとした場合の見積もりに基づい
て決定されている請求項２４に記載の装置。
【請求項２６】編集リスト情報に基づいて前記所望のピクチャ出力を供給
する手段をさらに含んでいる、請求項６または請求項６に従属する請求項のいず
れかに記載の装置。
【請求項２７】少なくとも１つのビデオシーケンスソースが、それぞれの
コード化ビデオシーケンスを受け取るように用意され、該コード化ビデオシーケ
ンスからそれぞれ復号されたビデオシーケンス出力を生成するためのデコーダを
連結して有する請求項６またはその従属請求項に記載された出力装置を含む、複
数のビデオシーケンスソースと、前記出力装置または各々の出力装置にスタジオ基準クロックを供給する手段と
、前記ビデオシーケンスソース間の変更タイミングを指定する、編集またはプレ
イアウト情報を受け取る手段と、選択された前記ビデオシーケンスソースを、前記編集またはプレイアウト情報
に基づくビデオ出力チャンネルに供給する手段と、前記編集情報に基づく前記出力装置または各々の出力装置に、所望のピクチャ
出力時間情報を供給する手段とを有するマルチソースビデオシステム。
【請求項２８】コード化ビデオデータを記憶する手段と、記憶された前記コード化ビデオデータを、データ要求に応じて供給するデータ
伝達リンクと、前記データ伝達リンクを通ってデータを要求し受け取るととともに、同期させ
られたリアルタイムの前記コード化ビデオデータを出力する、請求項１〜２６の
いずれかに記載の装置とを有する、リアルタイムのコード化ビデオデータの供給
システム。
【請求項２９】出力すべきコード化ビデオシーケンスを受け取る工程と、前記コード化ビデオシーケンスを加工する工程、および／または、出力された
前記シーケンスを受け取るデコーダから、所定のタイミングで、復号されたピク
チャ出力を生成するための出力タイミングを設定する工程と、ピクチャシーケンスを生成するための前記シーケンスのリアルタイムの復号を
可能にするような形態の前記コード化ビデオシーケンスを出力する工程とを含む
コード化ビデオシーケンスの出力方法。
【請求項３０】スタジオ基準クロックを受け取る工程を含み、前記加工工
程および／または設定工程が、前記スタジオ基準クロックから得られるタイミン
グ情報に依って制御される、請求項２９に記載の方法。
【請求項３１】出力データ内に包含されているクロック値の変化率に基づ
く、出力されたコード化ビデオシーケンス用の有効クロック周波数を決定する工
程と、前記有効クロック周波数を前記スタジオ基準クロック周波数と比較するま
たは同期させる工程とを含む、請求項３０に記載の方法。
【請求項３２】ビデオシーケンスの少なくとも１つのフレームまたはフィ
ールドの所望のピクチャ出力時間を指定する情報を入力する工程を含み、前記加
工工程および／または調節工程が、前記所望のピクチャ出力時間と前記スタジオ
基準クロックとに基づいて選択され、それによって、前記少なくとも１つのフレ
ームまたはフィールドが、前記所望のピクチャ出力時間にデコーダから出力され
る、請求項３０または３１に記載の方法。
【請求項３３】前記ビデオシーケンス内に含まれているタイミングフィー
ルド中の１つかそれ以上の値の変更を含んでいる請求項３２に記載の方法。
【請求項３４】前記シーケンスが、ＭＰＥＧビデオシーケンスであり、Ｐ
ＣＲ，ＰＴＳおよびＤＴＳフィールドの内の少なくとも１つが変更される請求項
３３に記載の方法。
【請求項３５】前記少なくとも１つのフレームまたはフィールドに対応す
るデータが出力される時間の調節を含んでいる請求項３２から３４のいずれか１
項に記載の方法。
【請求項３６】フレームに対応するデータの出力の開始と、復号器による
該フレームの表示との間の遅れの判定と、該判定された遅れに依存する前記加工
または／および調節のコントロールとを含んでいる請求項３２から３５のいずれ
か１項に記載の方法。
【請求項３７】前記遅れの判定が、前記復号器の通過の伝達の遅れと、前
記フレームへの復号の前の遅れに対応する可変値との計測に対応する、予め決め
られたオフセット値に基づく遅れの計算を含んでいる請求項３６に記載の方法。
【請求項３８】第１のフォーマットにより記述されている所望の表示の時
間と、第２のフォーマットの前記スタジオ基準のクロックの入力との受信と、該
第１のフォーマットと該第２のフォーマットとの間の変換とを含む請求項３２か
ら３７のいずれか１項に記載の方法。
【請求項３９】前記出力シーケンスに挿入されるべき、１つまたはそれ以
上のフレームのシーケンスの生成と、前記符号化ビデオシーケンスのフレームの
画像出力のタイミングを調節するための、前記符号化ビデオシーケンスへの、該
生成されたシーケンスの挿入とを含み、前記生成されたシーケンスが、前記出力
シーケンスを受信する復号器のバッファーの同調を維持する、または確立するよ
うに選択される請求項２９から３８のいずれか１項に記載の方法。
【請求項４０】前記生成されたシーケンスが、前記符号化ビデオシーケン
スの与えられたフレームの前に挿入される方法であって、前記生成されたフレー
ムの大きさ、および／または、前記生成されたシーケンスの復号の次の前記与え
られたフレームの復号の開始時に、前記出力ビデオシーケンスを受信する復号器
の前記バッファーの容量が、実質的に所望の値となるように、前記生成されたフ
レームおよび／または前記与えられたフレームに結び付けられた、タイミングの
情報の設定とを含んでいる請求項３９に記載の方法。
【請求項４１】前記生成されたシーケンスが、前記与えられたフレームの
前に、そして前記符号化ビデオシーケンスの内の、少なくとも１つの先行するフ
レームの後に挿入され、バッファーの容量の前記所望の値が、前記先行するフレ
ームと前記与えられたフレームとの間に、生成されたシーケンスが挿入されてい
ない場合に期待される前記バッファーの容量に、実質的に等しく設定されている
請求項４０に記載の方法。
【請求項４２】前記シーケンスが、比較的少ない情報のコンテンツの１つ
またはそれ以上のフレームから構成されており、タイミングの情報および／また
は前記符号化データの出力する時間が、第１の生成されたフレームのデータが、
前記符号化ビデオシーケンスにより、前記ビデオシーケンスの前記与えられたフ
レームに対するデータとして記述された、実質的な時間の復号の前の、前記復号
器のバッファーに残るように設定されており、次の生成されたフレームが、それ
らのフレームの表示のレートに実質的に等しい、平均的なレートで供給される請
求項４０に記載の方法。
【請求項４３】前記ビデオシーケンスがＭＰＥＧシーケスであり、前記第
１の生成されたフレームに対する有効なvbv＿delayの値が、前記与えられたフレ
ームに対する有効なvbv＿delayの値に等しく設定されている請求項４２に記載の
方法。
【請求項４４】符号化ビデオシーケンスに対して初期デコーダ同期を確立
するための方法であって、生成されたシーケンスが、好ましくは実質的に黒Ｉフ
レームまたは単純なロゴを含むＩフレームである、少なくとも１つのＩフレーム
を含む、請求項３９乃至４３のいずれか１項に記載の方法。
【請求項４５】ＭＰＥＧシーケンスを含む符号化ビデオシーケンスの一時
停止またはスローモーション再生を行うための方法であって、生成されたシーケ
ンスが、好ましくは動きなしをエンコードした１以上のＰフレームを含む、請求
項３９乃至４３のいずれか１項に記載の方法。
【請求項４６】第１の符号化ビデオシーケンスから第２の符号化ビデオシ
ーケンスへの出力ビデオシーケンスのスイッチングを容易にするための方法であ
って、生成されたフレーム及び／または前記第１及び第２の符号化ビデオシーケ
ンスのフレームに関連した、生成されたフレーム及び／またはタイミング情報の
大きさ、またはデータの出力の時刻が、前記スイッチングに引き続く前記第２の
符号化ビデオシーケンスの復号の開始に際して、前記出力ビデオシーケンスを受
け取るデコーダのバッファ占有率が実質的に所望の値となるように、選択される
、請求項３９乃至４３のいずれか１項に記載の方法。
【請求項４７】デコーダが第１のビデオシーケンスと生成されたシーケン
スの代わりに第２のビデオシーケンスを受け取ったとしたときのバッファ占有率
の評価値に基づいて、所望の値が決定される、請求項４６に記載の方法。
【請求項４８】少なくとも１つの符号化ビデオシーケンス出力装置とそれ
に接続されたデコーダとを有する多ソースビデオシステムを制御する方法であっ
て、各出力装置にスタジオ基準クロックを供給し、ビデオシーケンスソース間での変更のタイミングを特定する編集またはプレイ
アウト情報を受け取り、前記編集情報に基づいて、ビデオ出力チャネルへの出力のためにビデオシーケ
ンスソースを選択し、前記編集またはプレイアウト情報にもと着いて、各出力装置に、所望のピクチ
ャ出力時刻情報を出力し、前記ビデオシーケンスソースとしてデコーダ出力が選択されたときに前記デコ
ーダから所望のピクチャ出力が得られるように、前記スタジオ基準クロック及び
前記所望のピクチャ出力時刻に基づいて、各出力装置を制御する方法。
【請求項４９】添付図面を参照してここに記載されているいずれかのもの
と実質的に同様の装置。
【請求項５０】添付図面を参照してここに記載されているいずれかのもの
と実質的に同様の方法。
【請求項５１】出力されるべき符号化ビデオシーケンスを受け取る手段と
、ピクチャのシーケンスを生成するためにシーケンスのリアルタイム復号を可能
にする形態で、制御された出力時刻に、符号化ビデオシーケンスを出力する手段
と、好ましくは入力する入力スタジオ基準クロックに基づいて、符号化ビデオシー
ケンス内に含まれる１以上のタイミングフィールドの値を調節する手段と、符号化ビデオシーケンスに１以上の生成されたフレームを挿入する手段と、を有する、符号化ビデオシーケンスを出力する装置。