JP4197092B2 - 圧縮されたmpegビデオビットストリームについてワイプを実行するための処理方法および装置 - Google Patents
圧縮されたmpegビデオビットストリームについてワイプを実行するための処理方法および装置 Download PDFInfo
- Publication number
- JP4197092B2 JP4197092B2 JP2000526045A JP2000526045A JP4197092B2 JP 4197092 B2 JP4197092 B2 JP 4197092B2 JP 2000526045 A JP2000526045 A JP 2000526045A JP 2000526045 A JP2000526045 A JP 2000526045A JP 4197092 B2 JP4197092 B2 JP 4197092B2
- Authority
- JP
- Japan
- Prior art keywords
- video bitstream
- dct coefficients
- mpeg video
- wipe
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000003672 processing method Methods 0.000 title 1
- 239000000872 buffer Substances 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 16
- 230000000295 complement effect Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 9
- 238000013139 quantization Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims 2
- 230000006870 function Effects 0.000 description 49
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/007—Transform coding, e.g. discrete cosine transform
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00007—Time or data compression or expansion
- G11B2020/00072—Time or data compression or expansion the compressed signal including a video signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Discrete Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Description
連邦によって保証された研究および開発における政府の認可権
合衆国政府は本発明に関して支払い済みのライセンス権を保有し、また制限された状況の下でナショナル・インスティチュート・オブ・スタンダーズ・アンド・テクノロジー(National Institute of Standards and Technology:NIST)による裁定で付与された契約番号第70NANB5H1171号の条件により規定された適正な条件で特許権者が他人に対してライセンスを与えることを要求する権限を保有している。
【0002】
NIST HDTV スタジオ・システム・リクワィアメント・ドキュメント(NIST HDTV Studio System Requirments Document)の1996年3月8日発行の改定3版(rev.3.0)を、特にここで参考として完全な形でそのまま組み入れた。MPEG−2ビデオ(ISO 13818−2)およびMPEG−オーディオ(ISO 13818−1)のMPEG−2(モーション・ピクチャーズ・エクスパーツ・グループ(Motion Pictures Experts Group:MPEG))仕様基準を特にここで参考として組み入れた。
【0003】
産業上の利用分野
a.発明の分野
本発明は、ディジタル信号の処理に関するものであり、特に圧縮されたMPEGビデオにワイプ機能(ワイプファンクション:wipe function)を実行することに関する。
【0004】
発明の背景
b.従来技術の開示
極く普通のビデオ切換え動作にワイプ(wipe)がある。ワイプは、本質的に幾つかのフレームにわたって2つあるいはそれ以上のビデオ源の間で徐々に(漸増的に)切換えることである。ワイプを実行することのできる幾つかの方法がある。このような方法の1つとして、完結までに若干数のフレームを使ったスイープ(sweep:掃引)により第1のビデオ源からのビデオに代えて第2のビデオ源からのビデオを使用するように置換する水平スイープがある。スイープを実行する他のさらに複雑な方法に円形ワイプがある。円形ワイプでは、新しいビデオ源すなわち第2のビデオ源が元のビデオ源すなわち第1のビデオ源内に小さな円形として開始され、フレーム毎に順次に第1のビデオ源を大きな円に置き換える。
【0005】
ワイプはテレビジョンスタジオにおけるプロダクションスイッチャ(production switcher:切換え装置)の1つの機能である。NIST ATP高精細度技術プロジェクトのようなディジタルスタジオアーキテクチャでは、プロダクションスイッチャはMPEG−2フォーマットにおいて、その最低レベルにあるビデオのストリームに関して動作する。これらのストリームはATM(非同期伝送モード式:Asynchronous Transmission Mode)セルの形式にパックされるが、このセルはブロックベースDCT(ブロック単位の離散コサイン変換:block−based Discrete Cosine Transform)係数を有するMPEG−2ビデオビットストリームからなる。
【0006】
スタジオ環境内で、これらのMPEG−2ビデオビットストリームを処理することの望ましい目標は圧縮された(MPEG)領域内で(圧縮された(MPEG)領域を出ることなく)処理できることである。
【0007】
従って、本発明の目的は、圧縮されたビデオビットストリームを処理する方法および装置を提供することにある。
【0008】
本発明の他の目的は、圧縮されたビデオビットストリーム、特に、MPEGビデオビットストリームに対してワイプ機能を実行する方法および装置を提供することにある。
【0009】
本発明のさらに他の目的は、MPEGビットストリーム、特に、すべてのIフレームからなるこれらのビットストリームに対してあらゆる複雑さのワイプを実行する方法および装置を提供することにある。
【0010】
発明の概要
本発明は、表示装置に対してワイプを実行するためにMPEG−2ビデオビットストリームのような圧縮されたディジタルビデオビットストリームを処理するための方法および装置に関するものあり、その処理はすべて圧縮された領域中で実行される。このようなワイプは、プロダクションスタジオにおけるプロダクションスイッチャにより使用される。
【0011】
入力する各圧縮されたビットストリームは各別に且つ部分的にデコードされて、ブロックベース(ブロック単位の)DCT係数、フレーム情報、さらにスライスおよびマクロブロックヘッダのようなより高位(高次)の情報を得る。アドレス可能なメモリは各種のワイプ機能用の係数を記録(ストア)する。圧縮されたビットストリームのブロックベースDCT係数および選択されたワイプ機能用のDCT係数は2次元畳み込み回路に送られ、ここで2組のDCT係数の畳み込みが行なわれる。畳み込みされた各ビットストリームはその量子化数値でバッファされ且つ互に加算される。次いで加算されたビットストリーム出力は元のマクロブロックヘッダとマルチプレクス(多重化)される。マルチプレクサの出力はワイプシーケンスを実行する圧縮されたMPEGビデオビットストリームである。アドレス可能なメモリおよびマルチプレクサと通信するコントローラ(制御部)は、選択されたワイプを実行するのに必要な制御を行う。
【0012】
入力する圧縮されたビットストリーム用のフレーム情報はアドレス可能なメモリに送られ、入力するビットストリーム用のフレームとワイプ機能ビットストリームとを整列させるためにコントローラで使用されるのが望ましい。
【0013】
上記のような本願発明の特徴、利点および目的を得るための方法、態様を理解するために、上に概略的に示した本願発明を添付の図面に示された実施例を参照して詳細に且つより具体的に説明する。しかしながら、添付の図面は本願発明の代表的な実施例についてのみ示したもので、本願発明は他の同等の有効な実施例をも対象とするものであることを理解すべきである。
【0014】
発明の実施の形態
図1のAには全体を10で表したビデオシーケンスAのフレームが示されている。図1のBには全体を16で表したビデオシーケンスBの相互に通信するフレームが示されている。表示装置上で単一のビデオワイプシーケンスを生成するために、各ビデオシーケンスAおよびBに対して相補関係にある円形ワイプ機能が実行される。図1のAおよび図1のBは円形ワイプ機能を表わしているが、本願発明の原理は任意の形式のワイプ機能を実行することが可能であることを理解すべきである。従って、実行されるワイプシーケンスとしては多角形状の水平あるいは垂直スイープ、あるいは任意の複雑なパターンが可能である。ワイプ機能では、一般にフレーム単位で(フレームベースで)順次に古いビデオに代えて新しいビデオが置換される。図1のAおよび図1のBはワイプシーケンスの期間中にフレーム毎に古いビデオと新しいビデオに何が生じ、表示装置上に実際に何が示されないかを表している。以下にさらに詳細に説明するように、表示装置上に示された生成されたビデオ(ワイプシーケンス)は図1のAと図1のBで生じつつあるシーケンス間の畳み込みされた、あるいは合成されたシーケンスである。
【0015】
置き換えられるべき古いビデオシーケンスが図1のAに示されており、新しく配置されるビデオシーケンスが図1のBに示されている。図1のAで、12で示された領域は古いビデオを示しあるいは表わし、14で示す円形の領域は古いビデオの空白または消去領域を表している。ワイプシーケンスが実行されると、円形領域14は領域12が完全に満たされるまでが段々と大きくなる。このようにしてぬぐい消された部分14が古いビデオに取って代わる。図1のBでは、20で示された円形が新しいビデオを表示しあるいは表わし、領域18はその空白あるいは消去領域を表わす。
【0016】
時間領域では、図1のAのビデオシーケンスに適用されるワイプ機能は、ビデオ領域12に対応するピクセル位置における1.0の係数と、円形領域14に対応するピクセル位置における0.0の係数をもった関数で古いビデオシーケンスを乗ずることと等価である。換言すれば、古いビデオシーケンスが“ワイプ”されていない所では、ピクセル値の1.0倍はそのピクセル値に等しいので、ピクセルはその値に止まっている。古いビデオシーケンスが“ワイプ”された所では、ピクセル値はそのピクセル値の0.0倍、すなわち0.0である。図1のBのビデオシーケンスに適用されるワイプ機能は、円形領域20に対応するピクセル位置における1.0の係数と、領域18に対応するピクセル位置における0.0の係数をもった関数で新しいビデオシーケンスを乗ずることと等価である。従って円形領域20では、新しいビデオはピクセル値の1.0倍がそのピクセル値に等しいので、新しいビデオシーケンスのピクセル値を持ち、ピクセル値がそのピクセル値の0.0倍の所では、ピクセル値は0.0に等しくなる。
【0017】
上記では本発明のワイプシーケンスは別々であるように説明したが、それらは総合のワイプ効果(wipe effect)を生成するために同時に実行されることを理解すべきである。換言すれば、図1のAと図1のBの2つのシーケンスは単一のシーケンスを形成するように加算され、円が拡大するとき各順次フレームで、図1のBのシーケンスは新しいビデオシーケンスが古いビデオシーケンスと完全に入れ代わるまでより多くの表示を満たす。2つのワイプ機能が適用されるとき、一方が1.0の係数を持ち、他方が0.0の係数をもつとき、およびその逆のとき(一方が0.0の係数をもち、他方が1.0の係数をもつとき)完全な状態になる。
【0018】
ピクセルのブロックがDCT係数で表わされるMPEG−2ビットストリームについては、DCT領域からピクセル値領域に変換し、処理後DCT領域に戻るよりもむしろDCT係数について動作するのが本発明の特徴である。すべてのシーケンスが切換わるすべてIフレームが存在すると仮定する。次に、図2を参照すると、同図には本願発明によるブロック図22が示されている。シーケンスA(円の外側では1.0の計数値、円の内側では0.0の係数値)で動作する特定のワイプ機能のすべてのフレーム中のすべてのブロックでDCTが実行され、これらのDCTが記録(ストア)されると仮定する。同様な処理がシーケンスBに関して動作する相補関係にあるワイプ機能に対しても実行され、これらのDCTが記録(ストア)される。もしワイプが実行されるのに例えば20フレーム必要とすれば、シーケンスAのワイプ機能用の20フレームのブロックベース(ブロック単位の)DCT係数と、シーケンスBのワイプ機能用の20フレームのブロックベース(ブロック単位の)DCT係数が存在する。
【0019】
しかしながら、各フレームに対して、ピクセル係数がすべて1.0または0.0のいずれかの領域中に全体が位置する多数のブロックが存在する。全体が1.0の領域中に位置するブロックに対するDCTは直流成分のみからなり、全体が0.0の領域中に位置するブロックに対するDCTは0である。AC係数をもつブロックのみがピクセル領域で1.0と0.0の両方のピクセル係数をもつブロックである。ブロック内における1.0と0.0の係数の正確なパターンに基づいて、これらのブロックに対するDCT係数は1.0と0.0の係数のすべての特有のパターンに対して異なるものとなる。特定のワイプパターンが既知であれば、例えば15フレームにわたる円形ワイプを想定すると、シーケンスAのワイプと相補関係にあるシーケンスBのワイプのすべてのフレームに対するその機能用のすべてのDCT係数が判り、従ってメモリに記録(ストア)することができる。従って、多くの特定されたフレームにわたる円形ワイプ機能、水平ワイプ機能、垂直ワイプ機能、多角形ワイプ機能、その他の任意の形式のワイプ機能について、シーケンスAおよび相補関係のシーケンスBに対するワイプ機能用のDCT係数を予め決定して各ビデオシーケンスにおける動作のために記録(ストア)することができる。
【0020】
時間領域では、ワイプシーケンスは、シーケンスAをそのワイプ関数で乗じ、シーケンスBをそのワイプ関数で乗じ、次いで2つを加算することと等価であるから、DCT係数に関する等価動作は畳み込みである。
【0021】
図2を参照すると、これには本発明の原理を実施するためのブロック図が示されている。シーケンスAのビデオビットストリーム(古い表示ビデオビットストリームまたはシーケンスか、そのときの表示ビデオビットストリームまたはシーケンスのどちらでもよい)は入力24を経由して部分MPEGデコーダおよびバッファ25に導かれる。部分MPEGデコーダおよびバッファ25は入力シーケンスAのビットストリームをそのブロックベース(ブロック単位の)DCT係数にデコード(デコードダウン)して、入力シーケンスAのビットストリームの上記ブロックベースDCT係数をライン26を経て2次元(2D)畳み込み回路(コンボルバ)28に伝送する。MPEGデコーダおよびバッファ25は、また処理中のブロック用に使用される量子化数値をデコードし、これをライン29を経て数値制御回路30に伝送する。さらにMPEGデコーダおよびバッファ25は、より高次の(スライスおよびマクロブロックヘッダ)情報をライン31を経て出力マルチプレクサ32に伝送し、またフレーム情報をライン33を経てメモリ装置34に伝送する。デコーダおよびバッファ25からのビットストリームとメモリ34からのビットストリームが、畳み込み回路(convolution circuit)28でブロックベースで(ブロックを単位として)整列(整合)できるようにデコーダ25において多少のバッファリングが必要である。メモリ34から供給されるDCT係数はライン27を経て2次元畳み込み回路(コンボルバ:convolver)28に到達する。メモリ装置34は、またワイプ機能が図1のAおよび図1のBに示すような円形ワイプであるか、垂直あるいは水平ワイプのような他のワイプ機能のいずれであるかを示すすべてのシーケンスA用のすべてのDCT係数を記録(ストア)する。メモリ装置34に記録(ストア)され、選択される特定のワイプ機能のDCT係数はMPEGデコーダおよびバッファ25によってライン33を経てアドレスされる。
【0022】
シーケンスAの処理は、ライン35を経由してメモリ装置34と通信するコントローラ(制御部)36によって制御される。コントローラ36は、マルチプレクサ32からの出力ビットストリームがマルチプレクサの出力60を経てプロダクションスイッチャ(図示せず)にクロック入力されるときにオンザフライ(on the fly:常時休むことなく)に選択されたワイプ機能用のDCT係数をアクセスするのに必要な信号を供給する。コントローラ36は、切り換えられ、畳み込みされ、加算される2(あるいはそれ以上)のビットストリームのトラックを保持する必要がある。従って、コントローラ36は、これが制御ライン37を介してマルチプレクサ32の出力を制御するために使用する特定の入力ビットストリームのフレーム情報によって整列(整合)されたビットストリームを保持する必要がある。これはデコーダおよびバッファ25から供給されるメモリ34からのフレーム情報をアドレスするコントローラ36により行なわれる。ユーザにより選択され、コントローラ36に入力された特定のワイプ機能用の記録(ストア)されたDCT係数は、MPEGデコーダおよびバッファ25からのブロックベース(ブロック単位の)DCT係数と共にライン27を経由して2次元畳み込み回路(コンボルバ:convolver)28に送られる。このステップは、同じブロック(および、必然的にその相補関係)中に1.0と0.0の両方の係数が含まれるときのみ非自明(non−trivial:ノントリビアル)である。1.0と0.0の混合されたピクセル領域係数をもつシーケンスA用のワイプ関数のブロックは、最大64個の非ゼロ項を含むそれ自体のDCT係数の組をもつ。これらは対応するビデオストリーム中の適当なブロック用のDCTブロック係数で畳み込みされるのに必要である。オーバラップ加算(overlap add)あるいはオーバラップ退避(overlap save)法のような畳み込み技術の1つを使用することができる。さらに、畳み込み期間中、各ブロックの量子化マトリックス(quantization matrices)の各々を適正に考慮して適当なスケール係数を使用する必要がある。
【0023】
デコーダおよびバッファ25からライン26を介して2次元畳み込み回路(コンボルバ)28に供給されるシーケンスAのブロックベース(ブロック単位の)DCT係数は、メモリ34からライン27を介して上記2次元畳み込み回路(コンボルバ)28に供給される選択されたワイプ機能のDCT係数で畳み込みされる。2次元畳み込み回路(コンボルバ)28は畳み込みされたビットストリームをライン38を経由してバッファ39に伝送し、数値制御回路30はデコーダおよびバッファ25から供給された入力された量子化数値をライン40を経由して上記バッファ39に伝送し、畳み込みされたビットストリームをその加算前にスケーリング(scaling)する。
【0024】
シーケンスAと同様に、シーケンスBのビデオビットストリーム(新しいビデオビットストリームまたはシーケンスのどちらでもよい)は入力43を経由して部分MPEGデコーダおよびバッファ44に導かれる。部分MPEGデコーダおよびバッファ44は入力シーケンスBのビットストリームをそのブロックベース(ブロック単位の)DCT係数にデコード(デコードダウン)して、入力シーケンスBのビットストリームの上記ブロックベースDCT係数をライン45を経て2次元(2D)畳み込み回路(コンボルバ)46に伝送する。MPEGデコーダおよびバッファ44は、また処理中のブロック用に使用される量子化数値をデコードし、これをライン47を経て数値制御回路30に伝送する。さらにMPEGデコーダおよびバッファ44は、より高次の(スライスおよびマクロブロックヘッダ)情報をライン51を経て出力マルチプレクサ32に伝送し、またフレーム情報をライン56を経てメモリ装置48に伝送する。デコーダおよびバッファ44からのビットストリームとメモリ48からのビットストリームが、畳み込み回路46でブロックを単位として整列(整合)できるようにデコーダ44において多少のバッファリングが必要である。メモリ48から供給されるDCT係数はライン50を経て2次元畳み込み回路(コンボルバ)46に到達する。メモリ装置48は、またワイプ機能が図1のAおよび図1のBに示すような円形ワイプであるか、垂直あるいは水平ワイプのような他のワイプ機能のいずれであるかを示すすべてのシーケンスB用のすべてのDCT係数を記録(ストア)する。メモリ装置48に記録(ストア)され、選択される特定のワイプ機能のDCT係数はMPEGデコーダおよびバッファ44によってライン56を経てアドレスされる。
【0025】
シーケンスBの処理はライン49を経由してメモリ装置48と通信するコントローラ(制御部)36によって制御される。コントローラ36は、マルチプレクサ32からの出力ビットストリームがマルチプレクサの出力60を経てプロダクションスイッチャ(図示せず)にクロック入力されるときにオンザフライ(on the fly:常時休むことなく)に選択されたワイプ機能用のDCT係数をアクセスするのに必要な信号を供給する。コントローラ36は、切り換えられ、畳み込みされ、加算される2(あるいはそれ以上)のビットストリームのトラックを保持する必要がある。従って、コントローラ36は、これが制御ライン37を介してマルチプレクサ32の出力を制御するために使用する特定の入力ビットストリームのフレーム情報によって整列されたビットストリームを保持する必要がある。これはデコーダおよびバッファ44から供給されるメモリ48からのフレーム情報をアドレスするコントローラ36により行なわれる。ユーザにより選択され、コントローラ36に入力された特定のワイプ機能用の記録(ストア)されたDCT係数は、MPEGデコーダおよびバッファ44からのブロックベースDCT係数と共にライン50を経て2次元畳み込み回路(コンボルバ)46に送られる。このステップは、同じブロック(および、必然的にその相補関係)中に1.0と0.0の両方の係数が含まれるときのみ非自明(non−trivial:ノントリビアル)である。1.0と0.0の混合されたピクセル領域係数をもつシーケンスB用のワイプ関数のブロックは、最大64個の非ゼロ項を含むそれ自体のDCT係数の組をもつ。これらは対応するビデオストリーム中の適当なブロック用のDCTブロック係数で畳み込みされるのに必要である。オーバラップ加算(overlap add)あるいはオーバラップ退避(overlap save)法のような畳み込み技術の1つを使用することができる。さらに、畳み込み期間中、各ブロックの量子化マトリックス(quantization matrices)の各々を適正に考慮して適当なスケール係数を使用する必要がある。
【0026】
デコーダおよびバッファ44からライン45を介して2次元畳み込み回路(コンボルバ)46に供給されるシーケンスBのブロックベースDCT係数は、メモリ48からライン50を介して上記2次元畳み込み回路(コンボルバ)46に供給される選択されたワイプ機能のDCT係数で畳み込みされる。2次元畳み込み回路(コンボルバ)46は畳み込みされたビットストリームをライン52を経由してバッファ54に伝送し、数値制御回路30はデコーダおよびバッファ44から供給された入力された量子化数値をライン53を経由して上記バッファ44に伝送し、畳み込みされたビットストリームをその加算前にスケーリングする。
【0027】
バッファ39および54からの出力は加算器41で加算される。加算器41の出力55は生成されたブロックのDCT係数で、これはその後コントローラ36の制御の下で出力マルチプレクサ32を使用してビットストリームにシームバック(seam back:繋ぎ合わせてビットストリームの形式に戻す)される。マルチプレクサ32は記録(ストア)された係数セクションからの制御情報に基づいてシーケンスAあるいはシーケンスBのいずれかを通過させ、最終的に生成された出力ビットストリームは、そのときのワイプ機能のピクセル係数が総合的に1.0(シーケンスBの係数は0.0であることを意味する)の領域ではシーケンスAであり、そのときのワイプ機能のピクセル係数が総合的に1.0(シーケンスAの係数は0.0であることを意味する)の領域ではシーケンスBであり、1.0と0.0の混合されたワイプ機能係数が存在するときは両方のシーケンスA、Bの組合わせである。この最後の場合は、制御回路は有効MPEG−2ビットストリームを生成するためにマクロブロックヘッダ中の情報をインテリジェントに(intelligently:知的に)繋ぎ合わせる必要がある。
【0028】
シーケンスAおよびBに対するワイプ機能が丁度1.0または0.0以外の異なるDCTの値をもつように本発明を普遍化することは容易であり、ワイプ機能が丁度1.0および0.0のDCT係数をもっている場合については、古いビデオは消去(ブランク:blank)され、新しいビデオに置換される。ここでワイプ機能用のDCT係数が1.0と0.0以外の場合は、一方のワイプ機能中のDCT係数値はXであり、他方のワイプ機能中のDCT係数は1.0−Xである。これによって、“消去(ブランク)と置換”以外の何らかの他のワイプ機能をも実行することができる。一方のワイプ機能がフレーム全体にわたって一定であり、幾つかのフレームの間に線形に変化した場合は、この効果はディゾルブ(dissolve:画面がダブリながら切換わる)として知られているものである。
【0029】
本発明は、任意の数の多数の入力ビットストリームにも適用できることは上の説明からも明白である。各ビットストリームは等価の処理を受け、各処理されたビットストリームは出力マルチプレクサで最終的に加算され、制御される。
【図面の簡単な説明】
【図1】 図1のAは、現在のビデオビットストリーム上で実行されつつある円形ワイプ機能の2分の1のフレームを一般的に示した図である。
図1のBは、新しいビデオビットストリーム上で実行されつつある円形ワイプ機能の2分の1のフレームを一般的に示した図で、図1のAの表示と相補関係にある表示を示す図である。
【図2】 本願発明の原理を実行するための装置をブロック形式で示した図である。
【符号の説明】
25 第1のデコーダ
28 第1の畳み込み回路
30 数値制御回路
32 マルチプレクサ
34 第1のメモリ
36 コントローラ
39 第1のバッファ
41 加算器
44 第2のデコーダ
46 第2の畳み込み回路
48 第2のメモリ
54 第2のバッファ
Claims (4)
- 第1のMPEGビデオビットストリームおよび第2のMPEGビデオビットストリームからワイプシーケンスを発生させる方法であって、
a.前記第1のMPEGビデオビットストリームを部分的にデコードして当該第1のMPEGビデオビットストリームのブロックベースDCT係数、フレーム情報、スライスおよびマクロブロックヘッダ情報を得るステップと、
b.前記第1のMPEGビデオビットストリーム用のフレーム情報を記憶するステップと、
c.ワイプ機能用のDCT係数を供給するステップと、
d.前記第1のMPEGビデオビットストリーム用の前記ブロックベースDCT係数を前記ワイプ機能用のDCT係数で畳み込みを行って第1の畳み込みされたビデオビットストリームを得るステップであって、
前記ワイプ機能用の前記DCT係数は、前記第1のMPEGビデオビットストリーム用の前記記憶されたフレーム情報の供給により、前記第1のMPEGビデオビットストリーム用の前記ブロックベースDCT係数とフレーム整列されいる、前記ステップと、
e.前記第2のMPEGビデオビットストリームを部分的にデコードして当該第2のMPEGビデオビットストリームのブロックベースDCT係数、フレーム情報、スライスおよびマクロブロックヘッダ情報を得るステップと、
f.前記第2のMPEGビデオビットストリーム用のフレーム情報を記憶するステップと、
g.前記ワイプ機能に対して相補関係にあるワイプ機能用のDCT係数を供給するステップと、
h.前記第2のMPEGビデオビットストリーム用の前記ブロックベースDCT係数を前記相補関係にあるワイプ機能用のDCT係数で畳み込みを行って第2の畳み込みされたビデオビットストリームを得るステップであって、
前記相補関係にあるワイプ機能用の前記DCT係数は、前記第2のMPEGビデオビットストリーム用の前記記憶されたフレーム情報の供給により、前記第2のMPEGビデオビットストリーム用の前記ブロックベースDCT係数とフレーム整列されている、前記ステップと、
i.前記第1および第2の畳み込みされたビデオビットストリームを加算して加算されたビットストリームを得るステップと、
j.前記加算されたビットストリームを前記第1のMPEGビデオビットストリーム用のスライスおよびマクロブロックヘッダ情報、および前記第2のMPEGビデオビットストリーム用のスライスおよびマクロブロックヘッダ情報と多重化して出力MPEGビデオビットストリームを得るステップと、
を含む、前記方法。 - 前記第1のMPEGビデオビットストリームを部分的にデコードするステップは、さらに、前記第1のMPEGビデオビットストリーム用の量子化数値を確認するステップを含み、
前記第2のMPEGビデオビットストリームを部分的にデコードするステップは、さらに、前記第2のMPEGビデオビットストリーム用の量子化数値を確認するステップを含み、さらに、
k.前記加算されたビットストリームを得るステップに先立って、前記第1の畳み込みされたビデオビットストリームを前記第1のMPEGビデオビットストリーム用の前記量子化数値でスケーリングするステップと、
l.前記加算されたビットストリームを得るステップに先立って、前記第2の畳み込みされたビデオビットストリームを前記第2のMPEGビデオビットストリーム用の前記量子化数値でスケーリングするステップと、
を含む、請求項1に記載の方法。 - 第1の圧縮されたビデオビットストリームおよび第2の圧縮されたビ デオビットストリームからワイプシーケンスを生成する装置であって、
前記第1の圧縮されたビデオビットストリームを受信して、当該第1の圧縮されたビデオビットストリームから第1のブロックベースDCT係数、第1のフレーム情報、第1のスライスおよびマクロブロックヘッダ情報を抽出するように構成された第1のデコーダと、
前記第1のデコーダと通信し、前記第1のフレーム情報およびワイプ機能用のDCT係数を記憶する第1のメモリ装置と、
前記第1のデコーダおよび前記第1のメモリ装置と通信し、前記第1のブロックベースDCT係数を前記ワイプ機能用のDCT係数で畳み込みを行って第1の畳み込みされたビデオビットストリームを得ると共に、前記第1のブロックベースDCT係数を、前記第1のフレーム情報の供給により、前記ワイプ機能用のDCT係数とフレーム整列させるように構成された第1の畳み込み回路と、
前記第2の圧縮されたビデオビットストリームを受信して、当該第2の圧縮されたビデオビットストリームから第2のブロックベースDCT係数、第2のフレーム情報、第2のスライスおよびマクロブロックヘッダ情報を抽出するように構成された第2のデコーダと、
前記第2のデコーダと通信し、前記第2のフレーム情報および前記ワイプ機能に対して相補関係にあるワイプ機能用のDCT係数を記憶する第2のメモリ装置と、
前記第2のデコーダおよび前記第2のメモリ装置と通信し、前記第2のブロックベースDCT係数を前記相補関係にあるワイプ機能用のDCT係数で畳み込みを行って第2の畳み込みされたビデオビットストリームを得ると共に、前記第2のブロックベースDCT係数を、前記第2のフレーム情報の供給により、前記相補関係にあるワイプ機能用のDCT係数とフレーム整列させるように構成された第2の畳み込み回路と、
前記第1および第2の畳み込み回路と通信し、前記第1および第2の畳み込みされたビデオビットストリームを加算するように構成された加算器と、
前記第1および前記第2の畳み込み回路と通信し、前記第1および第2のスライス、さらに、前記第1および第2のマクロブロックヘッダを使用して圧縮されたビデオビットストリームの出力を生成するマルチプレクサと、
を含む、前記装置。 - 前記第1のデコーダは、さらに、前記第1の圧縮されたビデオビットストリームから第1の量子化数値を抽出し、
前記第2のデコーダは、前記第2の圧縮されたビデオビットストリームから第2の量子化数値を抽出し、さらに、
第1および第2のデコーダと通信し、前記第1および第2の量子化数値を受信するように構成された量子化回路を含み、
前記量子化回路は、さらに、前記第1の畳み込み回路と前記加算器との間に設けられて前記第1の畳み込み回路および前記加算器と通信する第1のバッファと通信し、前記第2の畳み込み回路と前記加算器との間に設けられて前記第2の畳み込み回路および前記加算器と通信する第2のバッファと通信し、
前記第1のバッファは、前記第1の量子化数値を受信して当該第1の量子化数値を前記第1の畳み込みされたビデオビットストリームに供給し、
前記第2のバッファは、前記第2の量子化値を受信して当該第2の量子化数値を前記第2の畳み込みされたビデオビットストリームに供給する、請求項3に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/994,079 | 1997-12-19 | ||
US08/994,079 US6100930A (en) | 1997-12-19 | 1997-12-19 | Process and apparatus for performing wipes on compressed MPEG video bitstreams |
PCT/US1998/026860 WO1999033262A1 (en) | 1997-12-19 | 1998-12-17 | Process and apparatus for performing wipes on compressed mpeg video bitstreams |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2001527345A JP2001527345A (ja) | 2001-12-25 |
JP2001527345A5 JP2001527345A5 (ja) | 2006-02-16 |
JP4197092B2 true JP4197092B2 (ja) | 2008-12-17 |
Family
ID=25540263
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000526045A Expired - Lifetime JP4197092B2 (ja) | 1997-12-19 | 1998-12-17 | 圧縮されたmpegビデオビットストリームについてワイプを実行するための処理方法および装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US6100930A (ja) |
JP (1) | JP4197092B2 (ja) |
KR (1) | KR100564838B1 (ja) |
CN (1) | CN1144452C (ja) |
AU (1) | AU2001499A (ja) |
BR (1) | BR9813605A (ja) |
WO (1) | WO1999033262A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8526971B2 (en) * | 1996-08-15 | 2013-09-03 | Snaptrack, Inc. | Method and apparatus for providing position-related information to mobile recipients |
US6735253B1 (en) | 1997-05-16 | 2004-05-11 | The Trustees Of Columbia University In The City Of New York | Methods and architecture for indexing and editing compressed video over the world wide web |
US7143434B1 (en) | 1998-11-06 | 2006-11-28 | Seungyup Paek | Video description system and method |
JP2000151974A (ja) * | 1998-11-11 | 2000-05-30 | Sony Corp | 信号編集装置、信号編集方法 |
DE60002611T2 (de) * | 1999-11-10 | 2003-11-27 | Thomson Licensing S.A., Boulogne | Überspringen von Werbesendungen bei beschreibbaren Datenträgern |
US7339992B2 (en) | 2001-12-06 | 2008-03-04 | The Trustees Of Columbia University In The City Of New York | System and method for extracting text captions from video and generating video summaries |
WO2006096612A2 (en) | 2005-03-04 | 2006-09-14 | The Trustees Of Columbia University In The City Of New York | System and method for motion estimation and mode decision for low-complexity h.264 decoder |
US20070044123A1 (en) * | 2005-08-16 | 2007-02-22 | Alcatel | System and method for smoothing channel changing in internet protocol television systems |
WO2009126785A2 (en) | 2008-04-10 | 2009-10-15 | The Trustees Of Columbia University In The City Of New York | Systems and methods for image archaeology |
WO2009155281A1 (en) | 2008-06-17 | 2009-12-23 | The Trustees Of Columbia University In The City Of New York | System and method for dynamically and interactively searching media data |
US8671069B2 (en) | 2008-12-22 | 2014-03-11 | The Trustees Of Columbia University, In The City Of New York | Rapid image annotation via brain state decoding and visual pattern mining |
KR101041687B1 (ko) * | 2008-12-26 | 2011-06-14 | 경북대학교 산학협력단 | 심전도 신호의 세그먼트 압축 및 복원 방법 |
WO2012159371A1 (zh) * | 2011-08-09 | 2012-11-29 | 华为技术有限公司 | 网络电视切台时画面显示效果的实现方法及装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0216881A (ja) * | 1988-07-05 | 1990-01-19 | Sony Corp | スーパーインポーズ装置 |
SG42859A1 (en) * | 1991-07-18 | 1997-10-17 | Ibm | System and method for combining multiple composite video signals |
US5477276A (en) * | 1992-12-17 | 1995-12-19 | Sony Corporation | Digital signal processing apparatus for achieving fade-in and fade-out effects on digital video signals |
GB9307894D0 (en) * | 1993-04-16 | 1993-06-02 | Avid Technology Inc | Multichannel digital image compression and processing |
JP3301679B2 (ja) * | 1994-12-07 | 2002-07-15 | 松下電器産業株式会社 | 映像合成回路 |
US5909539A (en) * | 1995-09-20 | 1999-06-01 | Casio Computer Co., Ltd. | Image generating system and method |
KR100219133B1 (ko) * | 1996-01-06 | 1999-09-01 | 윤종용 | 변환부호화시스템의 변환계수선택방법및그장치 |
-
1997
- 1997-12-19 US US08/994,079 patent/US6100930A/en not_active Expired - Lifetime
-
1998
- 1998-12-17 JP JP2000526045A patent/JP4197092B2/ja not_active Expired - Lifetime
- 1998-12-17 BR BR9813605-4A patent/BR9813605A/pt not_active Application Discontinuation
- 1998-12-17 AU AU20014/99A patent/AU2001499A/en not_active Abandoned
- 1998-12-17 WO PCT/US1998/026860 patent/WO1999033262A1/en active IP Right Grant
- 1998-12-17 KR KR1020007006063A patent/KR100564838B1/ko not_active IP Right Cessation
- 1998-12-17 CN CNB988121409A patent/CN1144452C/zh not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2001527345A (ja) | 2001-12-25 |
CN1281615A (zh) | 2001-01-24 |
AU2001499A (en) | 1999-07-12 |
KR20010032768A (ko) | 2001-04-25 |
KR100564838B1 (ko) | 2006-03-30 |
WO1999033262A1 (en) | 1999-07-01 |
BR9813605A (pt) | 2000-10-10 |
CN1144452C (zh) | 2004-03-31 |
US6100930A (en) | 2000-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3395166B2 (ja) | 統合ビデオ復号化システム、フレーム・バッファ、符号化ストリーム処理方法、フレーム・バッファ割当て方法及び記憶媒体 | |
KR100253931B1 (ko) | 디지탈 영상 시퀀스의 디코딩 방법 및 장치 | |
KR100542146B1 (ko) | Mpeg 코딩된 이미지 표현 데이터의 디지털 데이터스트림을 처리하는 방법 및 시스템 | |
CA2165492C (en) | Temporally-pipelined predictive encoder/decoder circuit and method | |
JP4197092B2 (ja) | 圧縮されたmpegビデオビットストリームについてワイプを実行するための処理方法および装置 | |
US5754243A (en) | Letter-box transformation device | |
JP2898413B2 (ja) | 所要メモリ容量の低減化を伴う圧縮ビデオデータ流の復号化及び符号化のための方法 | |
De With et al. | An MPEG decoder with embedded compression for memory reduction | |
WO2004025944A2 (en) | Mpeg video bitstream decoder system and method | |
US6556714B2 (en) | Signal processing apparatus and method | |
JP2004357313A (ja) | 画像情報処理装置及び画像情報処理方法 | |
Kleihorst et al. | MPEG2 video encoding in consumer electronics | |
EP0858206A1 (en) | Method for memory requirement reduction in a video decoder | |
US8335256B2 (en) | Motion compensation in video coding | |
JPH08130741A (ja) | 画像復号化装置 | |
Shen et al. | Closed-loop MPEG video rendering | |
KR100243464B1 (ko) | Mpeg-2 부호화기에 있어서 차분펄스 부호변조기 | |
KR970008413B1 (ko) | 영상복호장치 | |
KR20040073095A (ko) | Mpeg/jpeg 인코딩 및 디코딩 장치 | |
KR100215789B1 (ko) | 디지탈 티브이의 피아이피 구현장치 및 그 방법 | |
KR100188217B1 (ko) | Mpeg엔코더의 움직임예측장치 | |
JPH08130742A (ja) | 画像復号化装置 | |
JPH08130740A (ja) | 画像復号化装置 | |
JP2001268571A (ja) | 動画像再符号化装置 | |
JPH0662390A (ja) | 動画像符号化復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051215 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051215 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060728 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060810 |
|
A072 | Dismissal of procedure [no reply to invitation to correct request for examination] |
Free format text: JAPANESE INTERMEDIATE CODE: A073 Effective date: 20061121 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070329 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070405 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20080319 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080415 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080513 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080520 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080818 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080916 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080924 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131010 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |