JP3685386B2 - 複数のビデオ・ソースを有し、オンスクリーン表示グラフィックスでピクチャ内ピクチャを実現する統合ビデオ処理システム - Google Patents
複数のビデオ・ソースを有し、オンスクリーン表示グラフィックスでピクチャ内ピクチャを実現する統合ビデオ処理システム Download PDFInfo
- Publication number
- JP3685386B2 JP3685386B2 JP2000173413A JP2000173413A JP3685386B2 JP 3685386 B2 JP3685386 B2 JP 3685386B2 JP 2000173413 A JP2000173413 A JP 2000173413A JP 2000173413 A JP2000173413 A JP 2000173413A JP 3685386 B2 JP3685386 B2 JP 3685386B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- signal
- display
- picture
- mpeg
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【発明の属する技術分野】
本発明は、一般的にはビデオ信号処理に向けられ、更に具体的には、圧縮されたディジタル・ビデオ信号及び圧縮されていないアナログ・ビデオ信号を受け取って、オンスクリーン表示グラフィックスのオーバーレイを伴うか伴わないで、テレビジョン・システムのピクチャ内ピクチャ(picture-in-picture)表示へマージすることのできる統合されたディジタル・ビデオ処理システムに向けられている。例として、統合されたディジタル・ビデオ処理システムは、ディジタル・ビデオ・セット・トップ・ボックス(STB)又はディジタル・ビデオ・ディスク(DVD)プレーヤとして実現されることができる。
【0002】
【従来の技術】
今日、複数の機能が単一のシステム・チップの上へ普通に統合されている。例えば、セット・トップ・ボックス又はディジタル・ビデオ・ディスク・プレーヤで使用されるディジタル・ビデオ・システム・チップのような統合ディジタル・ビデオ処理システム・チップの市場性を高めるために、外部入力又は機能を統合システム・チップへ結合できることが望ましいであろう。
【0003】
一般的に、ピクチャ内ピクチャ・テレビジョン・システムは、或るピクチャをメイン・スクリーンとして表示し、相互に同一の画像ソースを有する所与の数のサブスクリーンを、メイン・スクリーン上の所定の場所に配列して表示する。通常、テレビジョン・システムはピクチャ内ピクチャ・モジュールを含む場合と含まない場合があり、後者の場合、テレビジョン・システムは非ピクチャ内ピクチャ(non-picture-in-picture)システムを含む。通常、テレビジョン・システムのピクチャ内ピクチャ特徴は、ハイエンド・テレビジョン・システムをローエンド・テレビジョン・システムから区別する。ピクチャ内ピクチャを提示するシステムは、しばしばピクチャ内ピクチャを有しない同様のテレビジョンよりもかなりの追加費用がかかる。
【0004】
【発明が解決しようとする課題】
ここで、ディジタル・ビデオ・デコード・セット・トップ・ボックス又はディジタル・ビデオ・ディスク・プレーヤのような統合ディジタル・ビデオ・システムへ、ピクチャ内ピクチャ特徴を最小の追加製品コストで付け加えて、複数のピクチャを同時に表示する能力を、非ピクチャ内ピクチャ・テレビジョン・システムへ提供する商業的欲求が認められる。
【0005】
【課題を解決するための手段】
簡単に要約すれば、本発明は、1つの様相では、非ピクチャ内ピクチャ・テレビジョン・システムへ提示するためのマルチスクリーン表示を形成する方法を含む。この方法は、圧縮されたディジタル・ビデオ信号を受け取ってデコードし、伸長(圧縮解除)されたディジタル・ビデオ信号を発生すること、圧縮されていないビデオ信号を受け取ること、伸長されたディジタル・ビデオ信号と圧縮されていないビデオ信号とをマージし、テレビジョン・システムのためにマルチスクリーン表示信号を発生し、それによって、複数のスクリーンを同時に表示する能力を、非ピクチャ内ピクチャ・テレビジョン・システムへ提供することを含む。
【0006】
他の様相では、アナログ・ビデオ信号を処理する方法が提供される。この方法は、ディジタル・ビデオ処理システムへ入力するためアナログ・ビデオ信号をディジタル化すること、及びディジタル・ビデオ処理システムの中で、ディジタル化されたビデオ信号とオンスクリーン表示(OSD)グラフィックスとを混合することを含む。
【0007】
更に、他の様相では、非ピクチャ内ピクチャ・テレビジョン・システムのためにマルチスクリーン表示を形成するシステムが提供される。このシステムは、第1のビデオ・ソースからの圧縮されたディジタル・ビデオ信号をデコードして伸長されたディジタル・ビデオ信号を発生するビデオ・デコーダを含む。更に、システムは、第2のビデオ・ソースからの圧縮されていないビデオ信号をビデオ・デコーダへ受け取るための入力を含む。ビデオ・デコーダは、伸長されたディジタル・ビデオ信号と圧縮されていないビデオ信号とをマージしてテレビジョン・システムのためにマルチスクリーン表示信号を発生し、それによって複数のスクリーンを同時に表示する能力を、非ピクチャ内ピクチャ・テレビジョン・システムへ提供するように適合させられている。
【0008】
更に他の様相では、アナログ・ビデオ信号を処理するシステムが提供される。このシステムは、ディジタル・ビデオ処理システム、及びディジタル・マルチ・スタンダード(multi-standard)デコーダを含む。ディジタル・マルチ・スタンダード・デコーダは、ディジタル・ビデオ処理システムへ入力するためのアナログ・ビデオ信号をディジタル化する。ディジタル・ビデオ処理システムは、ディジタル化されたビデオ信号をオンスクリーン表示(OSD)グラフィックスと混合して、混合されたビデオ信号として出力するように適合化させられている。
【0009】
更なる様相において、本発明はコンピュータ・プログラム製品を含む製造物を提供する。このコンピュータ・プログラム製品は、非ピクチャ内ピクチャ・テレビジョン・システムのためにマルチスクリーン表示を形成するコンピュータ読み取り可能プログラム・コード手段を含むコンピュータ使用可能媒体を有する。コンピュータ・プログラム製品内のコンピュータ読み取り可能プログラム・コード手段は、圧縮されたディジタル・ビデオ信号をデコードして伸長されたディジタル・ビデオ信号を発生することをコンピュータに行わせるコンピュータ読み取り可能プログラム・コード手段と、圧縮されていないビデオ信号を受け取ることをコンピュータに行わせるコンピュータ読み取り可能プログラム・コード手段と、伸長されたディジタル・ビデオ信号と圧縮されていないビデオ信号とをマージしてテレビジョン・システムのためにマルチスクリーン表示信号を発生し、それによって複数のピクチャを同時に表示する能力を非ピクチャ内ピクチャ・テレビジョン・システムへ提供することをコンピュータに行わせるコンピュータ読み取り可能プログラム・コード手段とを含む。
【0010】
更なる様相において、本発明はコンピュータ・プログラム製品を含む製造物を含む。このコンピュータ・プログラム製品は、アナログ・ビデオ信号を処理するコンピュータ読み取り可能プログラム・コード手段を含むコンピュータ使用可能媒体を有する。コンピュータ・プログラム製品内のコンピュータ読み取り可能プログラム・コード手段は、アナログ・ビデオ信号をディジタル化することをコンピュータに行わせるコンピュータ読み取り可能プログラム・コード手段と、ディジタル化されたビデオ信号とオンスクリーン表示(OSD)グラフィックスとを混合してテレビジョン・システムへ提示することをコンピュータに行わせるコンピュータ読み取り可能プログラム・コード手段とを含む。
【0011】
言い換えれば、1つの実施形態において、圧縮されたディジタル・ビデオ信号と圧縮されていないアナログ・ビデオ信号とを受け取って、ピクチャ内ピクチャ能力を欠いているテレビジョン・システムのためにピクチャ内ピクチャ表示の中へマージすることのできる統合ディジタル・ビデオ処理システムが、ここに提供される。向上したシステムとして、統合ディジタル・ビデオ処理システムによって発生したピクチャ内ピクチャ表示は、オンスクリーン表示(OSD)グラフィックスでオーバーレイすることができる。代替の実施形態では、アナログ・ビデオ信号を受け取って、表示のためにテレビジョン・システムへ提示する前にOSDグラフィックスでオーバーレイすることのできる統合ディジタル・ビデオ処理システムが提供される。
【0012】
統合ディジタル・ビデオ処理システムは、例えば、ディジタル・ビデオ・セット・トップ・ボックス(STB)又はディジタル・ビデオ・ディスク(DVD)プレーヤとして実現することができる。本発明に従えば、ピクチャ内ピクチャ能力、及びOSDグラフィックス・オーバーレイ能力は、最小の追加製品コストでセット・トップ・ボックス・コントローラ・チップを介して追加することができる。結果のピクチャ内ピクチャの一部分を形成する圧縮されていないアナログ・ビデオは、ビデオ・カセット・レコーダ、カムコーダ、テレビジョン・カメラ、レーザ・ディスク、DVDプレーヤ、TV出力を有するコンピュータ、ケーブル・テレビジョン信号、衛星アナログ・チャネル、又はチューナ接続アンテナを含む多数のソースの任意の1つから引き出すことができる。有利には、ここに提示された本発明の1つの実施形態において、圧縮されていないビデオと伸長されたビデオとのミキシング/混合は、ビデオ・デコーダのビデオ処理の最後の段階で実行され、従って、ビデオの伸長及びオンスクリーン表示を提供するために必要なロジックは、ビデオの伸長、表示のリフレッシュ、及びビデオのダウンスケールを自由に継続することができる。
【0013】
【発明の実施の形態】
一般的に言えば、例えば、ディジタル・ビデオ・セット・トップ・ボックス(STB)又はディジタル・ビデオ・ディスク(DVD)プレーヤのために、ピクチャ内非ピクチャ・テレビジョン・システムへピクチャ内ピクチャ能力を提供する統合ディジタル・ビデオ・デコード・システムが、ここに提示される。更に、例えば、ケーブル、衛星、ビデオ・カセット・レコーダ、又は外部チューナからの圧縮されていないアナログ入力信号とオンスクリーン表示グラフィックスとを混合することができ、また統合されたディジタル・ビデオ・デコード・システムによって発生された複合マルチスクリーン表示とOSDグラフィックスとを混合する能力を有する統合ディジタル・ビデオ処理システムが、ここに提示される。
【0014】
アナログ(又は2次のディジタル)ビデオ・ストリームの入力は、例えば、前記の組み込まれた「ディジタル・ビデオ・デコード・システム・チップのプログラム可能外部グラフィックス/ビデオ・ポート」(Programmable External Graphics/Video Port For Digital Video Decode System Chip)と題して同時に出願された特許出願に説明されるような外部グラフィックス/ビデオ(EGV)ポートを介して行うことができる。簡単に要約すると、EGVポートは、ビデオ・デコーダ及び内部ディジタル表示発生器回路を有するビデオ・デコード・システム・チップのためのプログラム可能双方向ポートを含む。EGVポートは、ビデオ・デコード・システム・チップ上で一定数の信号入力/出力(I/O)ピンを使用し、外部グラフィックス・コントローラ、外部ディジタル表示発生器回路、及び外部ディジタル・マルチ・スタンダード・デコーダのための複数の接続構成を、チップのビデオ・デコーダ又は内部ディジタル表示発生器回路へ提供する。EGVポートは、ピクセル・データ信号及び対応する同期信号を含む複数の入力/出力信号を並列に提供するレシーバ/ドライバ回路を含む。
【0015】
更に、例えば、通常のテレビジョン・システムの上に表示する縮減サイズの伸長されたビデオ信号を発生する1つの実施形態については、前記の組み込まれた「統合されたスケーリング及び表示機能を有するMPEGビデオ・デコーダ」(MPEG Video Decoder With Integrated Scaling And Display Functions)と題する特許出願を参照することができる。伸長されたビデオのダウンスケールは、後で図6〜図12を参照して詳細に説明される。OSD領域プロセッサの1つの実施形態は、「4:2:2プロファイル・デコード機能のサポートを有するカラー・マップ及び直接カラーOSD領域プロセッサ」(Color Mapped And Direct Color OSD Region Processor With Support For 4:2:2 Profile Decode Function)と題する出願に詳細に説明されており、グラフィックスのOSDオーバーレイは、後で更に注意するように商業的に利用可能な能力である。1つの実施形態では、これらの出願で説明される能力は、本発明の原理に従って使用される統合ディジタル・ビデオ・デコード・システムへ組み込まれる。しかし、これら出願の教示は単なる例として組み込まれる。他のアプローチが、ここで提供される説明に基づいて当業者に明らかであろう。
【0016】
周知のように、MPEG−2標準は、可逆的圧縮を伴う本質的に不可逆的な圧縮によってかなりのバンド幅縮減を生じるディジタル・ビデオ・エンコーディング法を記述している。圧縮されてエンコードされたディジタル・データは、続いてMPEG−2デコーダ内で伸長されデコードされる。例として、MPEG−2標準に従ったビデオのデコーディングは、「ビデオ・デコーダ」(Video Decoder)と題する前記の組み込まれた共通譲渡の米国特許第5,576,765号で詳細に説明されている。
【0017】
以下で、本発明は、米国特許第5,576,765号で説明されるようなMPEG−2ビデオ・デコーダに関連して説明されるが、本発明はMPEG−2デコーダとの使用に限定されず、向上したグラフィックス及び、又はビデオ処理の実現が望まれる任意の統合ビデオ処理システムの中で使用することができる。
【0018】
背景として、図1は通常のビデオ・デコーダの図を示す。圧縮されたデータは、信号11として入り、圧縮データ・メモリ12に記憶される。可変長デコーダ(VLD)14は圧縮されたデータを信号13として読み取り、動き補償情報を信号16として動き補償(MC)ユニット17へ送り、量子化された係数を信号15として逆量子化(IQ)ユニット18へ送る。動き補償ユニットは、参照データを信号19として参照フレーム・メモリ20から読み取り、予測されたマクロブロックを形成する。予測されたマクロブロックは、信号22として加算器25へ送られる。逆量子化ユニットは量子化されない係数を計算する。この係数は信号21として逆変換(IDCT)ユニット23へ送られる。逆変換ユニットは、再構成された差分マクロブロックを、量子化されない係数の逆変換として計算する。再構成された差分マクロブロックは、信号24として加算器25へ送られ、そこで予測されたマクロブロックへ加算される。加算器25は、再構成されたマクロブロックを、再構成された差分マクロブロック及び予測されたマクロブロックの合計として計算する。次に、再構成されたマクロブロックは、信号26としてデマルチプレクサ27へ送られ、デマルチプレクサ27は、マクロブロックが参照ピクチャから来たのであれば、再構成されたマクロブロックを信号29として参照メモリへ記憶するか、又はそれを信号28として外部へ(メモリ又はディスプレイへ)送る。参照フレームは信号30として参照フレーム・メモリから外部へ送られる。
【0019】
本発明の概念を使用するデコード・システム・チップの部分的実施形態が、大まかに40として図2に示される。システム40は、例えば、PCIバス・インタフェース44を含み、これはデコード・システム40をPCIバス42へ結合する。MPEGエンコードされたビデオ・データは、DMAコントローラ46によってPCIバス42からフェッチされ、DMAコントローラ46はそのデータをビデオ先入れ先出し(FIFO)バッファ48へ書き込む。更に、DMAコントローラは、オンスクリーン表示(OSD)及び、又はオーディオ・データをPCIバス42からフェッチし、OSD/オーディオFIFO50へ書き込む。メモリ・コントローラ52はビデオ・データをダイナミック・ランダム・アクセス・メモリ(DRAM)53内の正しいメモリ・バッファへ置く。次に、MPEG圧縮ビデオ・データは、ビデオ・デコーダ54によってDRAM53から検索され、図1に関連して前述したようにデコードされる。通常、デコードされたビデオ・データは、後続の使用のためにDRAM53のフレーム・バッファへ記憶される。参照フレームが必要であるとき、又はビデオ・データがデコード・システムから出力されるとき、DRAM53内の記憶されたデータは、メモリ・コントローラによって検索され、表示及びOSDインタフェース58及びディジタル・ビデオ・エンコーダ/ディジタル・アナログ変換器チップ59を介して出力されるように転送される。更に、ビデオ・コントローラ52によって検索されたオーディオ・データは、オーディオ・インタフェース60を介して出力される。
【0020】
前に簡単に注意したように、本発明は、1つの様相では、ピクチャ内ピクチャ特徴を実現する能力をディジタル・ビデオ・デコード・システムへ提供することに向けられる。本発明の他の様相は、グラフィックスをアナログ・ビデオ信号の上にオーバーレイする能力をディジタル・ビデオ・デコード・システムへ提供することに向けられる。アナログ・ビデオ信号は、例えば、前記の組み込まれた「ディジタル・ビデオ・デコード・システム・チップのプログラム可能外部グラフィックス/ビデオ・ポート」(Programmable External Graphics/Video Port For Digital Video Decode System Chip)と題して同時に出願された特許出願に説明されるような外部グラフィックス/ビデオ(EGV)ポートを介して、ディジタル・ビデオ処理システムへ入力される。本発明は、当初に組み込まれた出願で説明される統合ディジタル・ビデオ・デコード・システムの2つの特徴を使用する。具体的には、本発明は、オンスクリーン表示(OSD)グラフィックスとアナログ・ビデオ・チャネルとを混合する前述の能力、及び伸長されたディジタル・ビデオを、フルスクリーン・サイズの部分を含む領域へダウンスケールする能力を使用する。これらの特徴は、この後で、また組み込まれた出願で、更に詳細に説明されている。
【0021】
図3は、本発明の原理に従って統合ディジタル・ビデオ・デコード・システムによって発生される画像を表示するテレビジョン・システムの表示スクリーン70の1つの実施形態を示す。周知のように、スクリーン70は、スクリーンを横切って広がる複数のピクセル71を介して画像を表示する。スクリーン70内では、第1のピクチャ72が、より大きなピクチャ74の中に配置されて示される。従って、図3は、ピクチャ内ピクチャ又はマルチスクリーン表示の例である。
【0022】
図4は、本発明の原理を組み込んだディジタル・ビデオ・デコード・システム・チップの1つの実施形態を、大まかに100で示す。システム100は、例えば、ケーブル又は衛星ソースのような第1のビデオ・ソースからディジタル・ビデオ信号101を受け取る。信号101は、ネットワーク・インタフェース・モジュール(NIM)102を介して転送され、NIM102は、MPEGトランスポート・ストリームを、統合システム100の一部分を含むトランスポート・ロジック103へ出力する。トランスポート103は、トランスポート・ストリームをデマルチプレックスし、圧縮されたビデオ・ストリームを、統合システム内のビデオ・デコーダ106(図2を参照)へ送る。ビデオ・デコーダは伸長されたMPEGビデオ信号を発生し、この信号は、内部ディジタル・ビデオ・エンコーダ(DENC)マクロ107へ最終的に転送され、テレビジョン・システム(図示されない)のためにフォーマットされる。ビデオ信号のディジタル・アナログ変換は、テレビジョン・システムへの出力110に先立って起こる。
【0023】
本発明の原理に従えば、伸長されたディジタル・ビデオのサイズを、1つの実施形態では、部分的ピクチャ表示サイズへ縮減して、図3のウィンドウ72のような2次ウィンドウとしてプレゼンテーションするために、ビデオ・デコーダ106のダウンスケール能力(図6〜図12に関連して以下で詳細に説明される)が使用される。ピクチャ内ピクチャ表示を形成する他のピクチャは、例えば、前記の組み込まれた「ディジタル・ビデオ・デコード・システム・チップのプログラム可能外部グラフィックス/ビデオ・ポート」(Programmable External Graphics/Video Port For Digital Video Decode System Chip)と題する出願で説明される外部グラフィックス/ビデオ・ポートを介して、圧縮されていないビデオ信号として受け取られる。代替的に、当業者は、圧縮されていないビデオ信号を、ビデオ・デコーダを含む統合ディジタル処理システムへ入力するために、専用ポートを構築することができよう。この圧縮されていない信号は、第2のビデオ・ソースから受け取られ、他のディジタル信号又はアナログ信号を含んでよい。
【0024】
もしアナログ・ビデオ信号104が、例えば、ケーブル、衛星、VCR、又はチューナ・ソースから受け取られると、ディジタル・マルチ・スタンダード・デコーダ(DMSD)105は、アナログ信号をディジタル化して、統合ディジタル・ビデオ・デコード・システム100へ入力する。ビデオ・デコーダ及び関連する表示及びOSDロジック106に対するDMSD105のインタフェースは、前記の組み込まれたEGVポート出願に説明されている。DMSD105は、アナログ・ビデオ信号のディジタル変換を提供すると共に、(1つの実施形態では)ビデオ・デコーダ及び内部DENCへの同期マスターとなることに注意されたい。DMSD105は、例えば、水平同期及び垂直同期入力ポート、CCIR−656SAV/EAVコード・ワード、又は同様な手段を介して、ビデオ・デコーダの表示/OSDユニット及び内部DENCの双方へ同期信号を提供する。後者の2つのユニットは、同期情報を解釈してデータを正しく処理することに責任を有する。これを実行する手段は、例えば、同期スレーブ信号を使用する標準動作であることができる。
【0025】
図5は、本発明に従ってマージ及び混合能力を組み込むために、ビデオ・デコーダ/表示及びOSDロジック106を修正する1つの実施形態を示す。この実施形態では、プロセッサから発生した「ピクセル選択制御」信号によって制御される2:1MUX202が、伸長されたディジタル・ビデオ、即ち、トランスポート103を介して受け取られたMPEGストリームから引き出された伸長ビデオ、又は圧縮されていないビデオ、即ち、DMSD105を介して受け取られたアナログ(又はディジタル)信号のいずれかを選択する。1つの実施形態では、「ピクセル選択制御」は、ホスト・プロセッサによってセットされる3つの動作モードを有する。ホスト・プロセッサは、ピクセル選択制御を、(1)伸長されたビデオをディスプレイへ転送する、(2)圧縮されていないビデオをディスプレイへ転送する、又は(3)ピクチャ内ピクチャ表示をサポートするようにセットして、伸長されたビデオ及び圧縮されていないビデオの双方を、表示のためにダイナミックに選択することができる。モード(3)では、伸長されたビデオ及び圧縮されていないビデオを、同時に表示するために切り換えることは、2次ピクチャ72(図3を参照)の所望の位置に従ったレートで行われる。
【0026】
1つの実施形態では、伸長されたディジタル・ビデオは、圧縮されていないビデオを含むより大きなピクチャの中にウィンドウを形成するためにダウンスケールされる。従って、「ピクセル選択制御」信号は、表示スクリーン上の上部最左方位置から、伸長されたビデオ又は圧縮されていないビデオからのピクセル情報が、ラスタ・スキャン・ライン内の左から右へ、また表示スクリーンの上部から下部へ進行するように使用されるべきことを命令する。この点に関して、挿入ピクチャの配置、及び挿入ピクチャのサイズは、本発明の教示から逸脱することなく、当業者によって容易に修正され得ることに注意されたい。2:1MUX202からの結果のビデオ出力は、統合ディジタル・ビデオ・デコード・システム・チップ100(図4)上のOSD混合ロジック204へ基本入力として送られる。更に、結果のビデオと混合されるOSDグラフィックスがロジック204へ入力され、ロジック204の出力は、グラフィックスを有する所望のピクチャ内ピクチャである。OSD混合ロジック204の機能は、OSDグラフィックスを、伸長されたディジタル・ビデオのみの上に重畳することに関連して既に知られた機能と同じである。
【0027】
OSD混合機能は、ビデオ及びOSDグラフィックス・ソースの間の、ピクセルのルーマ及びクロマ値の加重平均を提供する。この平均は、0から1までの範囲を有する加重係数アルファ(ここでは、'a'によって表される)に基づいている。平均は次のように計算される。
(ビデオ × a)+(OSD ×(1 - a))
更に、大部分の実現形態は、1つ又は複数の領域(矩形)から構成されるOSDグラフィックス区域を提供し、アルファ係数は各領域で個別に選択可能である(即ち、混合はOSDの全体にわたって一定である必要はない)。伸長されたディジタル・ビデオと共に使用されるOSD混合機能は、IBMの「MPEG2CS22ディジタル・オーディオ/ビデオ・デコーダ」のように、当技術分野の製品で利用可能である。
【0028】
要約すれば、同時出願され、組み込まれたEGVポート特許出願は、統合ディジタル・ビデオ・デコード・システム(セット・トップ・ボックス又はディジタル・ビデオ・ディスク・プレーヤなど)へ、圧縮されていないビデオ・ストリームを導入し、出力ビデオ/オーディオ・プレゼンテーションをストリームへ同期する能力を説明している。本願では、グラフィックスを出力ビデオ・ストリームへミキシング及び、又は混合する更なる能力が提示される。出力ビデオ・ストリームは、圧縮されていないビデオ・ストリームを含むか、伸長されたディジタル・ビデオ及び圧縮されていないビデオの双方を含むマージされたピクチャ内ピクチャ・ビデオ・ストリームを含んでよい。混合されたストリームは、次に内部ディジタル・ビデオ・エンコーダ(DENC)マクロへ出力され、テレビジョン・フォーマットへエンコードされる。従って、圧縮されていない(例えば、アナログ)チャネルは、統合ディジタル・デコード・システムを使用する既存のディジタル・チャネルと同じグラフィカル特徴、機能、及びプログラミング・モデル能力を与えられる。圧縮されていないアナログ・ビデオの典型的なソースは、ビデオ・カセット・レコーダ(VCR)、カムコーダ、テレビジョン・カメラ、レーザ・ディスク、ディジタル・ビデオ・ディスク・プレーヤ、TV出力を有するコンピュータ、ケーブル・テレビジョン・アナログ・チャネル、衛星アナログ・チャネル、チューナ接続アンテナ(放送)であろう。これらソースのいずれも、複合テレビジョン又はSビデオ信号を、ディジタル・マルチ・スタンダード・デコーダ(DMSD)チップへ提供してよく、このチップは、到着するビデオをディジタル化して、ディジタル化されたビデオを統合デコード・システムへ送り、ビデオ信号を混合しグラフィックスをミキシングする。
【0029】
前に簡単に注意したように、デコードされたディジタル・ビデオのダウンスケールが、好ましい実施形態で更に使用される。この実施形態では、ピクチャ内ピクチャ・ビデオのストリームが生成されて、通常の非ピクチャ内ピクチャ・テレビジョン・システムの上で表示される。伸長されたディジタル・ビデオのダウンスケールは、視聴者がテレビを見ているとき一時的により興味を抱くようなグラフィックス情報のためにテレビジョン表示面領域を自由化するものとして、前記の組み込まれた関連出願で説明されている。グラフィックス情報は、インターネット情報、番組案内情報、又はオーディオ又はビデオ・プレゼンテーションへの任意の調整であってよい。ダウンスケールされたビデオは、スクリーンの様々なロケーションに置くことができる。
【0030】
本願で説明される非圧縮ビデオのミキシング/混合は、ビデオ処理における最後の段階として実行されるので(図2を参照)、ビデオの伸長及びオンスクリーン表示を提供するために必要な全てのロジックは、ビデオの伸長、表示のリフレッシュ、及びビデオのダウンスケールを自由に継続する。本願では、OSDグラフィックスと伸長されたディジタル・ビデオ、又は圧縮されていないアナログ・ビデオとの間で、ミキシング/混合が実行されることを提案する。縮減されたピクチャの伸長されたディジタル・ビデオと圧縮されていないビデオ・ソースとの間をダイナミックに切り換える制御をビデオ・ソースの選択に提供することによって、フルスクリーンの圧縮されていないビデオが背景に提示され、縮減されたディジタル・ビデオが前景に提示される。前景ビデオの配置は、縮減された画像が、フルスクリーンのビデオ画像ストリームの重要な部分をブロックしないように、ソフトウェア及びユーザ制御の下で移動することができる。OSDグラフィックスは、全表示領域をカバーするように双方の画像と混合することができる。OSDグラフィックスは、望みのままに、縮減された前景画像の周りに境界を置くために使用することができる。
【0031】
当初に説明したように、本発明は、MPEG−2ビデオ・プレゼンテーションのサイズを、所定の縮減ファクタでスケーリングすることのできる統合スケーリング能力を有するデコーディング・システムを含む。MPEG−2ビデオ・デコーダ市場が、ますます競合的になるにつれて、可能な限りの最低コストで高レベルの特徴集積を行うことが、市場での成功を達成する重要な必要事項となる。本発明は、水平及び垂直軸の双方で2及び、又は4のような所定のファクタで表示ピクチャのサイズを縮減するスケーリング・モードを提供することによって、これに対処する。
【0032】
図6は、本発明の原理に従ったビデオ・デコード・システムの1つの実施形態を示す。このビデオ・デコード・システムは外部メモリ653を含み、これは、示された実施形態では、SDRAMフレーム・バッファ・ストレージを含む。メモリ653はメモリ制御ユニット652とインタフェースする。メモリ制御ユニット652は、デコードされたビデオ・データをビデオ・デコーダ654から受け取り、ビデオ表示ユニット690を介して表示するビデオ・データを提供する。本発明の原理に従って、ビデオ・デコード・システムは、ビデオ・スケーリング・モード能力を実現する多数の特徴を含む。
【0033】
例えば、デシメーション・ユニット682は、正規ビデオ・デシメーション・モード及びビデオ・スケーリング・モードの双方を含むように修正される。フレーム・バッファ653は、デコードされたビデオ・データを、フルフレーム・フォーマット、又はフルフレーム・フォーマットとスケーリングされたビデオ・フォーマットとの組み合わせのいずれかで記憶できるように修正される。正規ビデオ・モードとスケーリング・ビデオ・モードとの間をシームレスに切り換えることを容易にするため、表示モード切り換えロジック696がビデオ表示ユニット690の中に設けられる。フレーム・バッファ・ポインタ制御686は、正規ビデオ・モードにあるとき、及びスケーリング・ビデオ・モードにあるとき、フレーム・バッファの新規な区画化に基づいて正しいフレーム・バッファ・ポインタを与えるように修正される。
【0034】
動作としては、MPEG入力ビデオ・ソースは、符号化されたMPEG−2ビデオ・データとして、メモリ制御ユニット652を介してビデオ・デコーダ654の入力へ送られる。デコーダ654はハフマン・デコーダ672、逆量子化器674、逆DCT676、動き補償678、及び加算器680を含む。これらは図1のビデオ・デコーダに関連して前に説明したように機能する。内部プロセッサ670は、ビデオ・デコード・プロセスを監督し、また本発明の原理に従って、例えば、正規ビデオ表示とスケーリングされたビデオ表示との間でビデオ表示を切り換えることをホストが望むとき、常にホスト・システムから信号を受け取る。この信号は、図6では、「ホスト制御フォーマット変更」信号として示される。ホスト・フォーマット変更に応答して、制御信号が、内部プロセッサ670からハフマン・デコーダ672、逆量子化器674、及び動き補償678へ送られ、またビデオ・ディスプレイ690内のアップサンプル・ロジック694、表示フェッチ・ユニット692、及び表示モード切り換えロジック696へ送られる。再び、これらの制御信号は、例えば、正規ビデオ・モードとスケーリング・ビデオ・モードとの間で表示出力を切り換えるように、本発明の原理に従って(以下で説明するようにして)、ビデオ・デコード・システムを管理する。
【0035】
デコードされたビデオ・データのフルサイズ・マクロブロックは、ビデオ・デコーダ654からデシメーション・ユニット682へ順次に出力される。デシメーション・ユニット682では、1つの実施形態において、フルサイズ・マクロブロックは2種の圧縮の1種を受ける。最初に、もしフルサイズのビデオが望まれるならば、B符号化ピクチャのみのデシメーションが、好ましくは実行される。この正規ビデオ・モードにおいて、デシメーションは、結合値を補間又は平均化して補間されたピクセル値を得ることによってデータ量を縮減するプロセスである。補間は、ピクセルの数を縮減し、従って、全体のシステムで必要な外部メモリは小さくなる。第2のモードにおいて、デシメーション・ユニット682は、本発明の原理に従ってピクチャのスケーリングを実行する。例として、使用されるスケーリングのタイプは、水平及び垂直軸の双方で2又は4のファクタだけ表示ピクチャの全体のサイズを縮減するかも知れない。
【0036】
デコードされたフルサイズ・マクロブロックのストリームをデシメーション・ユニット682へ提供することに加えて、更にビデオ・デコーダは、線683上に「動き補償ユニット・ブロック完了」信号を送る。この信号は、いつマクロブロックが完全にデコードされたかをデシメーション・ユニット682に知らせる。同様に、デシメーション・ユニット682は、ビデオ・デコーダ654の動き補償ユニット678へ行く線685上に、「デシメータ・ビジー」信号を与える。この「デシメータ・ビジー」信号は、いつデシメーション・ユニットがビジーであるか、及び、いつデシメーション・ユニットがその動作を完了したかを動き補償ユニットに通知する。デシメーション・ユニットの動作が完了した後に、動き補償ユニットは次のマクロブロックへ進むことができる。
【0037】
ビデオ・デコーダ654の動き補償ユニット678は、読み取りビデオ・アドレスをメモリ制御ユニット652へ直接与え、デコードされたビデオ・データ(フルサイズ)及び、又はスケーリングされたマクロブロックを外部メモリ653へ書き込むために書き込みビデオ・アドレスをデシメーション・ユニット682へ与える。読み取りビデオ・アドレス及び書き込みビデオ・アドレスと並列に、ポインタが、フレーム・バッファ・ポインタ制御686によってメモリ制御ユニットへ与えられる。これらのポインタは、SDRAM653内のどのフレーム・バッファ領域が、(以下で説明するように)本発明に従ったフレーム・バッファ・メモリ空間の区画化に従って、所与の読み取りビデオ・アドレス又は書き込みビデオ・アドレスによってアクセスされるべきかを規定する。これらのポインタは、図6では現在ポインタ及び現在小(small)ポインタとして示される。現在ポインタはフルサイズ・マクロブロックのポインタを含み、現在小ポインタはスケーリングされたマクロブロックのポインタを含む。
【0038】
デシメーション・ユニット682は、デコードされたフルサイズ・マクロブロックを受け取り、情報を内部的にバッファし、もしスケーリング・モードが活性化されていれば、以下で説明するようにしてスケーリングを実行する。正規モードでは、デシメーション・ユニット682は、デコードされたビデオ・データのフルサイズ・マクロブロックを、フレーム・バッファ653に記憶するためにメモリ制御ユニット652へ出力する。スケーリング・モードでは、デシメーション・ユニット682は、フルサイズ・マクロブロックをスケーリングし、スケーリングされたマクロブロックを、フレーム・バッファ653に記憶するためにメモリ制御ユニット652へ出力する。
【0039】
フレーム・バッファ・ポインタ制御686は、重要な働きをし、本発明の原理に従って、正規ビデオ・モード及びビデオ・スケーリング・モードにあるとき、フレーム・バッファのローテーション、即ち、フレーム・バッファの割り当てを制御する(以下で更に説明する)。
【0040】
前記の組み込まれた出願で説明されるように、更にデシメーション・ユニット682は、表示用のデータを検索しているとき、ビデオ表示ユニット690の部分として機能する。具体的には、フルサイズのスキャン・ラインを含むデコードされたビデオ・データが、フレーム・バッファ・ストレージ653から検索され、ピクチャのBフレーム再拡張のために、デシメーション・ユニット682を介して送られる。これは、ピクチャのグループ内でビデオの一貫性が維持されるようになされ、従って、任意の1つのピクチャの縮減解像度は認知できない。再拡張の後、フルサイズのスキャン・ラインは表示出力インタフェース698へ与えられる。
【0041】
代替的に、ビデオ・スケーリング・モードでは、スケーリングされたスキャン・ラインを含むデコードされたビデオが、フレーム・バッファ・ストレージ653から検索され、スキャン・ライン・ビデオ・バッファ684へ直接送られる。スキャン・ラインは輝度データとクロミナンス・データに分割され、現在のスキャン・ライン及び先行スキャン・ラインの双方が、スキャン・ライン・ビデオ・バッファ684から垂直及び水平アップサンプル・ロジック694へ送られる。アップサンプル制御は表示フェッチ・ユニット692から受け取られる。表示フェッチ・ユニット692はレターボックス・フォーマッティング、SIFアップサンプリング、4:2:0から4:2:2へのアップサンプリング、及びフリッカ低減を調整する。
【0042】
表示フェッチ・ユニット692は、フレーム・バッファ・ストレージ653からスキャン・ラインを検索するために、読み取りビデオ・アドレスを与える。表示用の「現在ポインタ、現在小ポインタ」同期信号は、メモリ制御ユニット652によってビデオ表示ユニット690の表示モード切り換えロジック696から受け取られる。前に注意したように、現在ポインタ、現在小ポインタ信号は、スキャン・ラインが検索されるべき特定のフレーム・バッファ領域を指し、読み取りビデオ・アドレス信号は、そのフレーム・バッファ領域内で検索されるべき特定のスキャン・ラインを指定する。
【0043】
例えば、スケーリングされたビデオ・モードと正規のビデオ・モードとをシームレスに切り換えることを保証するため、本発明の原理に従って、表示モード切り換えロジック696が設けられる。ロジック696は、入力として、ビデオ・デコーダ654の内部プロセッサ670から制御信号を受け取り、また垂直同期(VSYNC)信号(表示出力インタフェース698から)及びビデオ・デコーダ654のハフマン・デコーダ672からのBピクチャ「MPEG−2反復フィールド」信号を受け取る。垂直同期は、新しい表示フィールドのスタートを示す外部同期信号である。表示モード切り換えロジック696からの出力は、表示用の現在ポインタ、現在小ポインタ同期に加えて、表示フェッチ・ユニット692へ送られる「表示用の表示フォーマット同期」信号であり、またデシメーション・ユニット682のデコード・ロジックへ送られる「デコード用の表示フォーマット同期」信号である。更に、表示モード切り換えロジック696は、「ブロック・ビデオ」信号を表示出力インタフェース698へ出力する。この信号は、本発明の原理に従って、表示モードの切り換え中に1つの表示フレームをブロックして表示にノイズを生じさせないために使用される。ビデオ・データは、表示出力インタフェースでアップサンプル・ロジック694から受け取られる。デシメーション・ユニット、フレーム・バッファの区画化、フレーム・バッファのポインタ制御、及び表示モード切り換えロジックは、全て本発明の原理に従って実現され、以下で、図7から図12を参照して詳細に説明される。
【0044】
先ず、フレーム・バッファを説明する。フレーム・バッファは、表示及び後続ピクチャの予測を目的として、構成されたピクチャを記憶するために使用される。Bピクチャは予測に使用されないので、そのフレーム・バッファは、ピクチャが表示された後に使用可能である。I又はPピクチャについては、表示の後に、特にBピクチャを予測するために、フレーム・バッファを保持する必要がある。
【0045】
図7は、本発明の原理に従った正規ビデオ・モード及びスケーリング・ビデオ・モードの双方に対するフレーム・バッファ700の割り振りを示す。正規モードでは、デコーディング及び表示プロセスをサポートする3つのフレーム・バッファが存在する。フレーム・バッファ0及びフレーム・バッファ1は、I及びPピクチャのために割り振られ、フレーム・バッファ2は、Bピクチャへ割り当てられる。フレーム・バッファは、バッファ・ポインタ、即ち、図6のフレーム・バッファ・ポインタ制御686からの現在ポインタによってタグされる。
【0046】
スケーリング・ビデオ・モードでは、少なくとも5つのフレーム・バッファが使用される。フレーム・バッファ0及びフレーム・バッファ1は、再びフルサイズのI及びPピクチャ・ビデオのために使用される。示された例で、フレーム・バッファ2、フレーム・バッファ4、フレーム・バッファ6とラベルを付けられた少なくとも3つの他のバッファは、フレーム・バッファ・ポインタ制御によって発生された小ポインタによってタグされる。これらの小さなバッファは、スケーリング・ビデオ・モードのとき、主に表示目的のために使用される。バッファは、ビデオのスケーリングに適合させるため、小さいサイズである。I又はPピクチャをデコードするとき、構成されたピクチャはバッファ0又はバッファ1へ記憶されるが、それはどちらが利用可能であるかに依る。同時に、同じピクチャのスケール・ダウンされたものが、より小さなバッファ、即ち、フレーム・バッファ2、フレーム・バッファ4、又はフレーム・バッファ6の1つへ記憶される。次に、フルサイズのビデオが予測に使用され、小さなフレーム・バッファ内の小サイズのビデオは、スケール・ダウンされたピクチャの表示に使用される。
【0047】
フレーム・バッファは、ビデオ・デコード・システムの初期化の間に、マイクロコードによって構成される。メモリ・ベース・アドレスが各フレーム・バッファに割り当てられ、これらのメモリ・ベース・アドレスは、フレーム・バッファ・ポインタ制御によって発生されたバッファ・ポインタによって選択される。読み取り及び書き込みビデオ・アドレスは、選択されたフレーム・バッファ内の特定のアドレスを参照する。特別の指示があるときを除いて、「フレーム・バッファ」の用語は、ここでは初期化の間に構成された全てのフレーム・バッファ・メモリを含むものとして使用される。「フレーム・バッファ領域」とは、図7に示された具体的なフレーム・バッファの1つを意味する。
【0048】
ビデオ・ディスプレイはリアルタイムで動作し、従って、フレーム・バッファ・ポインタは垂直同期タイミングに従って切り換えられる必要がある。デコーディングは、常に表示の前になされるので、デコードされたピクチャを記憶するためフレーム・バッファを使用可能にする必要がある。従って、デコーディングがスタートする前に、フレーム・バッファ・ポインタを切り換える必要がある。表示フレーム・バッファへの攪乱を避けるため、表示バッファ・ポインタのコピーが維持される。バッファ切り換え時間は、各々のピクチャ・デコードの始めである。更に、表示バッファ・ポインタはその時点で変更されるが、それは、ピクチャ表示の始まりである表示ポインタ・コピー時間まで使用されないであろう。正規モード・バッファ・ポインタ・ローテーションの1つの実施形態を、以下で説明する。
【0049】
以下の説明では、4つのバッファ・ポインタがあり、各ポインタは2つのビットを含んで、3つのフレーム・バッファ(バッファ0、1、及び2)のどれがアクセスされているかを指し示すものと仮定する。
・ 現在ポインタ − 構成中のピクチャに使用されるフレーム・バッファを指し示す。
・ 表示ポインタ − 表示に使用されるフレーム・バッファを指し示す。
・ 将来ポインタ − 逆方向予測に使用されるフレーム・バッファを指し示す。
・ 過去ポインタ − 順方向予測に使用されるフレーム・バッファを指し示す。
【0050】
開始時に、将来ポインタは「1」へ初期化され、他のポインタは「0」へセットされる。I又はPピクチャの開始時に、過去ポインタからの値が現在ポインタへロードされ、将来ポインタからの値が表示ポインタへロードされる。将来ポインタ及び過去ポインタの値は交換される。もしデコード中のピクチャがBピクチャであれば、現在ポインタ及び表示ポインタは「2」へセットされる。フレーム・バッファ2は、1つの例では、Bピクチャのために予約される。将来ポインタ及び過去ポインタは、不変のままに残される。正規モードにおけるポインタ切り換えは、「MPEG−2準拠デコーダのメモリ管理」(Memory Management For An MPEG-2 Compliant Decoder)と題するCheneyらの米国特許第5,668,599号に詳細に説明されている。この米国特許の全体は、参照してここに組み込まれる。
【0051】
スケーリング・ビデオ・モードでは、ピクチャの表示時間は、本発明に従った追加のフィールド時間によって遅延される。この遅延の目的は、デコードされてスケーリングされたビデオを、スクリーン上の任意の場所に置くことができるように、デコード・プロセスと表示プロセスとをデカップルすることである。図8は、スケーリング・ビデオ・モードにおける遅延された表示タイミングの1つの例を示す。この表示タイミングは、モード、即ち、正規モードであるかスケーリング・ビデオ・モードであるかに従って、ダイナミックに調節される。本発明に従ってバッファを適切に管理するために、1フィールドの時間遅延が必要である。ビデオ・スケーリング・モードでは、再び、少なくとも5つのバッファが仮定される。前述したように、これら5つのバッファの2つは、フルサイズのフレーム・バッファを含み、図7でフレーム・バッファ0及びフレーム・バッファ1として示される。これらのフルサイズ・フレーム・バッファは、正規ビデオ・モードで使用される対応するバッファと同じである。少なくとも3つの小さなフレーム・バッファ、即ち、フレーム・バッファ2、フレーム・バッファ4、及びフレーム・バッファ6が、正規ビデオ・モードで使用されるフレーム・バッファ2によって占拠される同じメモリ空間の中で割り振られる。これら3つの小さなフレーム・バッファは、前述したアルゴリズムとは異なったアルゴリズムによって制御される。
【0052】
具体的には、4つの追加ポインタがスケーリング・ビデオ・モードで使用される。これらのポインタは次のとおりである。
・ 小現在ポインタ − デシメーションされた構成中のピクチャのための小さいバッファを指し示す。
・ 小表示ポインタ − 表示のための小さいバッファを指し示す。
・ 小将来ポインタ − 将来の表示のための小さいバッファを指し示す。
・ 小遷移ポインタ − 遷移のための小さいバッファを指し示す。
【0053】
デコーダが初期化されるとき、小現在ポインタ、小表示ポインタ、将来ポインタ、及び小遷移ポインタは、それぞれ0、2、4、及び6へセットされる。各ピクチャの各デコーディングの開始時に、小現在ポインタは小遷移ポインタからロードされ、小遷移ポインタは小表示ポインタからロードされる。もしデコード中のピクチャがBピクチャであれば、小表示ポインタは小遷移ポインタからロードされ、小将来ポインタは不変のまま残される。デコード中のピクチャがI又はPピクチャであれば、小表示ポインタは小将来ポインタからロードされ、小将来ポインタは小遷移ポインタからロードされる。本発明に従った小フレーム・バッファの切り換えの1つの例は、図9に示される。
【0054】
フルサイズのフレーム・バッファ、フレーム・バッファ0及びフレーム・バッファ1は、デコーダが正規モードで動作しているかのように切り換えられる。これら2つのバッファは、予測のために必要であるが、スケーリング・ビデオ・モードの表示には必要とされない。I又はPピクチャがデコードされているとき、ピクチャは現在(フルフレーム)ポインタ及び小現在ポインタによって指し示される双方のバッファに記憶される。Bピクチャのデコード中には、現在(フルフレーム)ポインタによって指し示されるフレーム・バッファ2は、使用されないであろう。デシメーションされたピクチャについては、小現在ポインタによって識別される小フレーム・バッファのみが使用される。正規モードでは、表示ポインタが表示のために使用されるが、スケーリング・ビデオ・モードでは、小表示ポインタが使用される。2つのバッファ切り換えアルゴリズムは、ピクチャの各デコードの開始時に同時に動作する。バッファ・ポインタは、デコーダがどのモードにあるかに依存して単純に選択される。
【0055】
次に、図10は、本発明に従って使用されるデシメーション・ユニット682(図6)の1つの実施形態を示す。
【0056】
デコード・デシメーション・ユニットの以前の実施形態では、例えば、デシメーション・ユニットは、レターボックス又はメモリの縮減を目的として、Bピクチャのみに対する動作へ限定された。しかし、ここで提示されるスケーリング・ビデオ・モードでは、デコード・デシメーシヨン・ユニットは、全てのピクチャ・タイプを処理する。これは、表示時間にメモリ・バンド幅を節約するために望ましい。なぜなら、(1つの実施形態では)スケーリングされたピクチャと多面高解像度OSDグラフィックスとを、出力でミキシングしてよいからである。
【0057】
図10の実施形態では、デシメーション・ユニットはデシメーション・ロジック800を含む。デシメーション・ロジック800は、デコードされたビデオ・データをビデオ・デコーダから受け取り、デシメーションされたデータ・フローをデシメーション・バッファ820へ出力する。デシメーション・バッファ820からの出力は、マルチプレクサ830によって、ビデオ・デコーダから受け取られたデコードされデシメーションされないビデオ・データと多重化され、マルチプレクサ830が、デコードされたビデオ・データ及びスケーリングされたマクロブロックを出力して、スケーリング・ビデオ・モードにおける前述したフレーム・バッファ0、1、2、4、及び6に記憶されるようにする。ビデオ・デコーダの動き補償ユニットからの書き込みビデオ・アドレスは、デシメーション・ユニット内のメモリ書き込み制御840へ送られる。メモリ書き込み制御840はデシメーション・バッファ820からのデータの書き込みを制御する。更に、書き込みビデオ・アドレスは、デシメーション・スケーリングを伴うか伴わないで、マルチプレクサ850を介してメモリ制御ユニット(図6を参照)へ出力される。
【0058】
マルチプレクサ830及び850は、デシメーション制御信号810によって制御される。デシメーション制御ロジックは、ビデオ・デコーダの動き補償ユニットから「MCU_block_complete」と呼ばれる信号を入力として受け取る。この信号は、いつデシメータがスケーリングされたマクロブロックの書き込みを始めることができるかを示す。デシメータは、「デシメータ・ビジー」のラベルを有する信号を介して、それが現在ビジーであることを動き補償ユニットへ通知する。
【0059】
所与のマクロブロックについて、2つのフェーズが存在する。1つは、輝度のフェーズであり、他の1つはクロミナンスのフェーズである。再び、スケーリング・ビデオ・モードであると仮定して、各フェーズは、1つのフルサイズ・マクロブロック及び1つのスケーリング・マクロブロックの書き込みを必要とする。
【0060】
前述したデシメーション・ハードウェア/プロセスへの様々な具体的変更が、ここで意図されている。デシメーション・プロセスのデータ・フローにおける1つの変更は、(1つの実施形態では)4対1水平縮減の追加である。この縮減はデシメーション・ロジックの水平デシメーション機能で実現される。これは、1/16サイズ・スケーリングをサポートするためである。
【0061】
他の変更は、デシメーション・バッファ・サイズを32×32ビットへ増大することである。I及びPピクチャが処理されるにつれて、フルサイズのマクロブロックがメモリへ書き込まれ、デシメータは同時にマクロブロックをスケール・ダウンして、小さなマクロブロックをデシメーション・バッファ820に記憶する。フルサイズのマクロブロックがメモリへ書き込まれた後、デシメータはスケーリングされたマクロブロックをメモリ内の他のバッファ・ロケーション(即ち、前記の例では、フレーム・バッファ2、フレーム・バッファ4、又はフレーム・バッファ6)に書き込む。より大きなデシメーション・バッファは、小さなマクロブロックの記憶を可能にする。
【0062】
再び、スケーリング・ビデオ・モードであると仮定して、デシメーション状態マシン・ロジックは、2つの動作モードを可能とするように更に変更される。最初のモードはBピクチャ処理であり、第2のモードは参照ピクチャ処理である。Bピクチャ処理については、小さなマクロブロックのみが、デシメーション・バッファ820を介してメモリへ書き込まれる。データは、動き補償ユニットがそれを引き渡すことができる速度のペースでデシメーション・ユニットへ送られる。なぜなら、デシメーション・バッファはスケーリングされたマクロブロックの全体を保持することができるからである。参照ピクチャの動作については、フルサイズのマクロブロックが、最初にマルチプレクサ830を介して書き込まれ、次にスケーリングされたマクロブロックが書き込まれる。これは、データ・フローが、書き込み要求に応答するメモリ制御ユニットのペースであることを必要とする。
【0063】
ソースの圧縮された画像のサイズは変化してよいので、前記のプロセスには例外が存在する。デシメータが必要となるのは、スケーリングされたピクチャを形成するために或るタイプの縮減が必要なときだけである。或るビデオ・ソースは既に小さなサイズで、1つの次元、又は双方の次元はスケーリングを必要としないかも知れない。例えば、352×240サイズの画像は普通である(典型的なMPEG−1サイズ)。この場合、デシメーションを実行して1/4スケーリングを提供する必要はないであろう。参照フレームについては、フルサイズのマクロブロックを、メモリ内の参照フレーム・バッファへ書き込み、次にメモリ内の表示フレーム・バッファへ書き込むために、動き補償ユニットが必要である。なぜなら、表示プロセスは、スケーリング中に表示フレーム・バッファ上で動作するからである。
【0064】
同じ画像サイズを1/16スケーリングへ縮減するためには、デシメーション・ステップが必要であろう。再び、この場合にも例外が存在する。
【0065】
スケーリング特徴の目的の1つは、インタレース妨害を除去することである。真のMPEG−1画像上では、インタレースは存在しない。なぜなら、画像は排他的にフレーム・エンコードされるからである。MPEG−2は同じ解像度(352×240)のインタレースされた画像を許容することができ、デシメータはトップ・フィールドのピクチャのみを使用して、スケーリングされたマクロブロックを作成する。ボトム・フィールドは廃棄される。従って、参照ピクチャについては、動き補償ユニットは、トップ・フィールド・ピクチャのマクロブロックを参照フレーム・バッファ及び表示バッファの双方へ書き込むことが必要であろう。Bピクチャについては、動き補償ユニットは、トップ・フィールド・ピクチャを表示フレーム・バッファへ書き込むことだけが必要となろう。
【0066】
本発明に従ったビデオ・デコード・システムは、小ピクチャ・モードへ進入及び退出するとき、スムーズな遷移を提供する。フレーム・バッファ2は、ビデオ・スケーリング・モードにあるとき、小ピクチャ画像(参照及びBピクチャを含む)をキャプチャ及び表示するために使用されるので、表示フォーマットの切り換え時に、デコード・プロセスと表示・プロセスとの間で干渉が起こらないように注意しなければならない。更に、遷移中に起こらなければならない1フィールド・タイムの待ち時間調整が存在する。正規表示モードは、参照ピクチャのデコードと表示との間に1.5フレームの待ち時間を有し、Bピクチャのために0.5フレームの待ち時間を有する。小ピクチャ・モードでは、参照フレームの待ち時間は2フレームへ変化し、Bフレームの待ち時間は1フレームへ変化する。
【0067】
表示フォーマットがシームレスに起こるためには、ディスプレイは、遷移が起こるときBピクチャを表示するプロセスにあってはならない。そうでないと、ピクチャは攪乱されて現れるであろう。従って、遷移は参照ピクチャが表示されているときに起こる必要がある。これは、新しいシーケンスの最初のフレームが参照フレームであり、ディスプレイが前のシーケンスの最後のフレームの上に作用しているとき、シーケンス・ヘッダの間にマイクロコードによって起こるように強制される。
【0068】
小ピクチャ・モードへの遷移、及び、そこからの遷移の間に、ハードウェアは、デコード又は表示プロセスを攪乱することなく待ち時間の調節を行わなければならない。フレーム同期は新しいモードへ調節される必要がある。更に、フィールド・パリティを維持しなければならない。小ピクチャ・モードへの調節を行った結果として、1フレーム・タイムの遅延が導入される。これはPTS比較をもたらすかも知れない。その後で、時間差を補うためにスキップされたフレームが必要となるかも知れない。これは、小ピクチャ・モードへ入るときにのみ起こる。小ピクチャ・モードから出るとき、同期は失なわれない。更に、遷移は、ピクチャが既にスキップ又は反復されている時点で生じることになろう。
【0069】
図11を参照すると、表示フォーマット変更信号は、ホストによって非同期的に書き込まれる。フォーマットは制御信号として表示フォーマット・レジスタ910へ受け取られ、マイクロコードは、情報を表示フォーマット・レジスタ910へ書き込む前に、シーケンス・ヘッダを処理するまで待つ。従って、この情報は同期発生器900、及びレジスタ・ステージ930、940、960によって認識される。「レジスタ・ステージ1」930は、次のフレーム同期で情報をキャプチャする。デコード・プロセスはステージ1レジスタ930を使用し、表示プロセスはステージ3レジスタ960を使用する。
【0070】
フィールド・カウンタ920は、フレーム内のフィールドの開始番号から1の値へ単純にカウント・ダウンし、そして反復する。カウンタ920は、図示されるように制御信号を介して同期発生器900によってロードされる。更に、同期発生器900は垂直同期信号及びステージ1レジスタ930の出力を受け取る。同期発生器900は3つの信号、即ち、「フレーム同期」信号、「新しいピクチャ」信号、及び「ブロック・ビデオ」信号を作成する。「フレーム同期」信号は、いつ新しいフレームのデコードを始めるかを、デコード・プロセスへ示す。「新しいピクチャ」信号は、いつ新しいフレームの表示を始めるかを、表示プロセスへ示す。「ブロック・ビデオ」は、ビデオ・デコード・システムが正規フレームからスケーリング・フレームへ遷移する間に、ビデオ画像の1フレームを選択的に抑制するために使用される。フレーム同期及び「新しいピクチャ」信号は、2フィールド・タイムごとに1回作成されるパルスである。正規モードでは、信号は180°の位相外れを有するが、スケーリング・モードでは、本発明に従って、信号は位相を合わせられる。これは、更に以下で、図12のフローチャートに関連して説明される。
【0071】
スケーリング・ピクチャ・モードへの切り換えに関連する全ての場合に、ディスプレイで表示をブロックされる反復フレームが存在する。現在の参照フレームと、現在表示されている参照フレームとの間の衝突に起因して、ブロックが必要である。ビデオがブロックされるとき、デコーダの出力を、黒のような背景色へ強制することができる。
【0072】
待ち時間の調節は、ステージ1レジスタが変化するや否や実行される。フレーム同期の不在が起こり、これは現在の表示フレームが反復をスケジュールされることを可能にする。従って、同期発生器は、フレーム同期が新しいピクチャと位相を合わせて起こるように調節し、待ち時間調節を生じる。反復された参照フレームの間に、ビデオは1フレーム・タイムの間ブロックされる。
【0073】
図12は、同期発生器900(図11)によって実現される処理の1つの実施形態のフローチャートである。
【0074】
初期化(1000)と共に、処理は新しいフィールドのスタートを表す垂直同期信号を待つ(1010)。垂直同期信号を受け取ると、処理は「新しいピクチャ」同期信号を発生し、フィールドが、受け取られたMPEG−2シンタクスに基づいて反復されているかどうかを質問する(1030)。初期フィールド・カウンタ(FC)値は、フィールドが反復されるかどうかに依存する。もし3:2プルダウンが使用されると、フィールド・カウンタの初期値は3であり(1040)、そうでなければ、正規インタレースが望まれており、フィールド・カウンタは2の値をロードされる。
【0075】
一度、フィールド・カウンタがセットされると、処理は、スケーリングが実現されるべきか否かを質問する(1050及び1070)。もしノーであれば、デコード・システムは非スケーリング又は正規ビデオ・モードにある。この場合、処理は次の垂直同期信号を待ち(1080)、次にフィールド・カウントが2に等しいかどうかを質問する(1090)。もしノーであれば、(例えば、フィールド・カウンタが値3をロードされたため)、フィールド・カウンタが減少され(1110)、処理は次の垂直同期信号を待つ(1080)。一度、フィールド・カウントが2に等しくなると、「フレーム同期」信号が発生する(1100)。その後で、フィールド・カウントは減少され(1110)、処理はフィールド・カウント値が今や1に等しいかどうかを決定する(1120)。もし値が1に等しければ、処理は、新しい垂直同期を待った後で(1010)、「新しいピクチャ」信号を発生する(1020)。
【0076】
スケーリング・モードが望まれるものと仮定すると、処理は質問1050又は1070から進行して、次の垂直同期を待ち(1130)、その後でフィールド・カウントが1に等しいかどうかの決定がなされる(1140)。もしノーであれば、フィールド・カウンタは減少され、処理は戻って、次の垂直同期を待つ(1130)。もしフィールド・カウント値が1であれば、新しいピクチャ同期信号が発生する(1150)。その後で、フィールド・カウンタは2の値をロードされ、ブロック・ビデオ信号が発生する(1160)。再び、ビデオの次のフレームをブロックするため、ブロック・ビデオ信号が同期発生器から表示出力インタフェース(図6を参照)へ出力される。
【0077】
ブロック・ビデオ信号を送った後、処理は安定状態へ入り、次の垂直同期信号を待つことによってビデオ・スケーリング・サブプロセスが始まる(1180)。1180の後で、処理はフィールド・カウントが1に等しいかどうかを決定する(1190)。もしノーであれば、処理はフィールド・カウントが2に等しいかどうかを質問し(1240)、そして再びノーであれば、処理はフィールド・カウンタを減少し(1260)、次の垂直同期信号を待つために戻る(1180)。そうでなければ、スケーリング・コマンドが今やホスト・システムによってオフにされたかどうかの決定がなされる(1250)。もしノーであれば、フィールド・カウンタは減少され、処理は次の垂直同期信号を待つ(1180)。もしスケーリング・モードがオフに切り換えられると、フィールド・カウンタは、前述した非スケーリング・プロセスの命令1110で減少される。
【0078】
もしフィールド・カウントが質問1190で1に等しければ、処理は「新しいピクチャ」信号及び「フレーム同期」信号の双方を同じ位相で発生する。再び、スケーリングを実現するためには、デコード・プロセスと表示プロセスとの間の待ち時間を、参照ピクチャのために1.5フレーム・タイムから2フレーム・タイムへ変化させ、新しいピクチャ信号とフレーム同期信号の位相を合わせることが必要である。次に、正規のインタレース又は3:2プルダウンのいずれが望まれるかに依存して、フィールド・カウンタに2(1230)又は3(1220)の値のロードを決定するために、処理はMPEG−2反復フィールドがセットされているかどうかを決定する(1210)。これは、任意タイプのフレーム・レート変換を提供するために、待ち時間の調節がなされていても必要である。フィールド・カウンタをセットした後、処理は戻って、次の垂直同期信号を待つ(1180)。
【0079】
本発明は、例えば、コンピュータ使用可能媒体を有する製造物(例えば、1つ又は複数のコンピュータ・プログラム製品)に含めることができる。この媒体は、例えば、本発明の能力を提供及促進するコンピュータ読み取り可能プログラム・コード手段を、その中で具体化している。製造物はコンピュータ・システムの一部分として含めるか、別々に販売することができる。
【0080】
更に、本発明の能力を実行するために、マシンによって実行可能な命令の少なくとも1つのプログラムを有形的に具体化したマシン読み取り可能な少なくとも1つのプログラム記憶装置を提供することができる。
【0081】
ここで示された流れ図は、例として提供される。本発明の趣旨から逸脱することなく、これらの図、又は、ここで説明されたステップ(又は動作)に対してバリエーションが存在するかも知れない。例えば、或る場合には、ステップを異なった順序で実行するか、ステップを追加、削除、又は修正してよい。これらバリエーションの全ては、従属項で列挙されるように本発明の一部分を構成するものと考えられる。
【0082】
本発明は、或る好ましい実施形態に従って、ここで詳細に説明されたが、多くの修正及び変更が当業者によってなされてよい。従って、全てのそのような修正及び変更を、本発明の真の趣旨及び範囲に入るものとしてカバーすることが、従属項によって意図されている。
【0083】
まとめとして、本発明の構成に関して以下の事項を開示する。
(1)非ピクチャ内ピクチャ・テレビジョン・システムのためにマルチスクリーン表示を形成する方法であって、
圧縮されたディジタル・ビデオ信号を受け取ってデコードし、伸長されたディジタル・ビデオ信号を発生し、
圧縮されていないビデオ信号を受け取り、
伸長されたディジタル・ビデオ信号及び圧縮されていないビデオ信号をマージして、前記テレビジョン・システムのために単一のマルチスクリーン表示信号を発生し、それによって複数のピクチャを同時に表示する能力を前記非ピクチャ内ピクチャ・テレビジョン・システムへ提供する
方法。
(2)さらに、前記伸長されたディジタル・ビデオ信号を、前記圧縮されていないビデオ信号とマージする前にダウンスケールし、
前記伸長されてダウンスケールされたディジタル・ビデオ信号は、前記マルチスクリーン表示の少なくとも1つのスクリーンを含む、上記(1)に記載の方法。
(3)前記圧縮されていないビデオ信号は、圧縮されていないアナログ・ビデオ信号を含む、上記(2)に記載の方法。
(4)前記マージは、前記伸長されたディジタル・ビデオ信号と前記圧縮されていないアナログ・ビデオ信号とを切り換えて、前記テレビジョン・システムで表示する少なくとも幾つかのビデオ・フレームを作成することを含み、前記切り換えは、前記マルチスクリーン表示を作成する、上記(1)に記載の方法。
(5)オンスクリーン表示(OSD)グラフィックスを、前記伸長されたディジタル・ビデオ信号、前記圧縮されていないビデオ信号の少なくとも1つと混合することを更に含み、前記マルチスクリーン表示は、前記伸長されたディジタル・ビデオ信号及び前記圧縮されていないビデオ信号を含む、上記(1)に記載の方法。
(6)ディジタル・ビデオ・セット・トップ・ボックス(STB)又はディジタル・ビデオ・ディスク・プレーヤの少なくとも1つの中で前記方法を実現することを含む、上記(1)に記載の方法。
(7)前記圧縮されたディジタル・ビデオ信号が第1のビデオ・ソースから受け取られ、前記圧縮されていないビデオ信号が第2のビデオ・ソースから受け取られる、上記(1)に記載の方法。
(8)アナログ・ビデオ信号を処理する方法であって、
ディジタル・ビデオ処理システムへ入力するためにアナログ・ビデオ信号をディジタル化し、
ディジタル・ビデオ処理システムの中で、ディジタル化されたビデオ信号とオンスクリーン表示(OSD)グラフィックスとを混合する
方法。
(9)前記ディジタル化がディジタル・マルチ・スタンダード・デコーダの中で実行され、前記ディジタル・ビデオ処理システムが統合ディジタル・ビデオ・デコード・システムを含む、上記(8)に記載の方法。
(10)アナログ・テレビジョン・システムで表示するために、前記ディジタル化されて混合されたビデオ信号及びOSDグラフィックスをフォーマットすることを更に含む、上記(9)に記載の方法。
(11)ディジタル・ビデオ・セット・トップ・ボックス(STB)又はディジタル・ビデオ・ディスク・プレーヤの少なくとも1つの中で前記方法を実現し、アナログ・テレビジョン・システムで表示するために前記ディジタル化されて混合されたビデオ信号及びOSDグラフィックスをフォーマットすることを更に含む、上記(8)に記載の方法。
(12)非ピクチャ内ピクチャ・テレビジョン・システムのためにマルチスクリーン表示を形成するシステムであって、
第1のビデオ・ソースからの圧縮されたディジタル・ビデオ信号をデコードして、伸長されたディジタル・ビデオ信号を発生するビデオ・デコーダと、
圧縮されていないビデオ信号を、第2のビデオ・ソースから前記ビデオ・デコーダの中へ受け取る入力とを含み、
前記ビデオ・デコーダは前記伸長されたディジタル・ビデオ信号と前記圧縮されていないビデオ信号とをマージして、前記テレビジョン・システムのためにマルチスクリーン表示信号を発生するように適合させられ、それによって複数のピクチャを同時に表示する能力を前記非ピクチャ内ピクチャ・テレビジョン・システムへ提供する
システム。
(13)前記ビデオ・デコーダは、前記伸長されたディジタル・ビデオ信号を、前記圧縮されていないビデオ信号とマージする前にダウンスケールするように更に適合させられ、前記伸長されてダウンスケールされたディジタル信号は、前記マルチスクリーン表示の少なくとも1つのスクリーンを含む、上記(12)に記載の方法。
(14)前記圧縮されていないビデオ信号が、圧縮されていないアナログ・ビデオ信号を含み、前記システムが、前記圧縮されていないアナログ・ビデオ信号を、前記ビデオ・デコーダへ入力する前にディジタル化するディジタル・マルチ・スタンダード・デコーダを更に含む、上記(13)に記載のシステム。
(15)前記ビデオ・デコーダが、前記伸長されたディジタル・ビデオ信号と前記圧縮されていないアナログ・ビデオ信号とを切り換えて、前記テレビジョン・システムによってピクチャ内ピクチャ・フォーマットで表示するための少なくとも幾つかのビデオ・フレームを作成するように更に適合させられている、上記(12)に記載のシステム。
(16)前記ビデオ・デコーダが、オンスクリーン表示(OSD)グラフィックスを、前記テレビジョン・システムへ提示する前に前記マルチスクリーン表示信号と混合するように更に適合させられている、上記(12)に記載のシステム。
(17)前記システムが、ディジタル・ビデオ・セット・トップ・ボックス(STB)又はディジタル・ビデオ・ディスク(DVD)プレーヤの1つを含む、上記(12)に記載のシステム。
(18)非ピクチャ内ピクチャ・テレビジョン・システムのためにマルチスクリーン表示を形成するシステムであって、
圧縮されたディジタル・ビデオ信号を受け取ってデコードし、伸長されたディジタル・ビデオ信号を発生する手段と、
圧縮されていないビデオ信号を受け取る手段と、
伸長されたディジタル・ビデオ信号と圧縮されていないビデオ信号とをマージして、前記テレビジョン・システムのために単一のマルチスクリーン表示信号を発生する手段とを含み、それによって複数のピクチャを同時に表示する能力を前記ピクチャ内非ピクチャ・テレビジョン・システムへ提供する
システム。
(19)アナログ・ビデオ信号を処理するシステムであって、
ディジタル・ビデオ処理システムと、
アナログ・ビデオ信号を、前記ディジタル・ビデオ処理システムへ入力するためにディジタル化するディジタル・マルチ・スタンダード・デコーダとを含み、
前記ディジタル・ビデオ処理システムは、ディジタル化されたビデオ信号とオンスクリーン表示(OSD)グラフィックスとを混合して、混合されたビデオ信号として出力するように適合させられている
システム。
(20)前記ディジタル・ビデオ処理システムがビデオ・デコーダを含み、前記ビデオ・デコーダが、前記ディジタル化されたビデオ信号と前記OSDグラフィックスとの前記混合を実行するように適合させられている、上記(19)に記載のシステム。
(21)前記システムが、ディジタル・ビデオ・セット・トップ・ボックス(STB)又はディジタル・ビデオ・ディスク(DVD)プレーヤの少なくとも1つを含む、上記(20)に記載のシステム。
(22)前記ディジタル・ビデオ処理システムが、前記ディジタル化されて混合されたビデオ信号とOSDグラフィックスとを、アナログ・テレビジョン・システムで表示するためにフォーマットするように適合させられている、上記(19)に記載のシステム。
(23)アナログ・ビデオ信号を処理するシステムであって、
アナログ・ビデオ信号を、ディジタル・ビデオ処理システムへ入力するためにディジタル化する手段と、
ディジタル・ビデオ処理システムの中で、ディジタル化されたビデオ信号とオンスクリーン表示(OSD)グラフィックスとを混合する手段と
を含むシステム。
(24)コンピュータ・プログラム製品を含む製造物であって、
前記コンピュータ・プログラム製品は、コンピュータ読み取り可能プログラム・コード手段を有するコンピュータ使用可能媒体を含み、前記コンピュータ読み取り可能プログラム・コード手段は、非ピクチャ内ピクチャ・テレビジョン・システムのためにマルチスクリーン表示を形成し、前記コンピュータ・プログラム製品内の前記コンピュータ読み取り可能プログラム・コード手段は、
コンピュータが、圧縮されたディジタル・ビデオ信号をデコードして、伸長されたディジタル・ビデオ信号を発生するようにするコンピュータ読み取り可能プログラム・コード手段と、
コンピュータが、圧縮されていないビデオ信号を受け取るようにするコンピュータ読み取り可能プログラム・コード手段と、
コンピュータが、伸長されたディジタル・ビデオ信号と圧縮されていないビデオ信号とをマージして、前記テレビジョン・システムのためにマルチスクリーン表示信号を発生するようにし、それによって複数のピクチャを同時に表示する能力を前記非ピクチャ内ピクチャ・テレビジョン・システムへ提供するようにするコンピュータ読み取り可能プログラム・コード手段と
を含む製造物。
(25)コンピュータ・プログラム製品を含む製造物であって、前記コンピュータ・プログラム製品は、コンピュータ読み取り可能プログラム・コード手段を有するコンピュータ使用可能媒体を含み、前記コンピュータ読み取り可能プログラム・コード手段は、アナログ・ビデオ信号を処理し、前記コンピュータ・プログラム製品内の前記コンピュータ読み取り可能プログラム・コード手段は、
コンピュータが、アナログ・ビデオ信号をディジタル化するようにするコンピュータ読み取り可能プログラム・コード手段と、
コンピュータが、ディジタル化されたビデオ信号とオンスクリーン表示(OSD)グラフィックとを混合して、テレビジョン・システムへ提示するようにするコンピュータ読み取り可能プログラム・コード手段と
を含む製造物。
【図面の簡単な説明】
【図1】 ビデオ・デコード・ユニットの概略ブロック図である。
【図2】 本発明の原理に従ってオンスクリーン表示(OSD)グラフィックス能力と共にピクチャ内ピクチャを実現するビデオ・デコード・システムを示すブロック図である。
【図3】 本発明の原理に従って実現されるマルチスクリーン表示(即ち、ピクチャ内ピクチャ)を示すブロック図である。
【図4】 本発明に従って、統合されたシステムの内部でマージするためのビデオ信号を入力する第1のディジタル・ビデオ・ソース及び第2のアナログ・ビデオ・ソースを有する統合ビデオ・デコード・システムの1つの実施形態を示すブロック図である。
【図5】 本発明の原理に従って、伸長されたディジタル・ビデオ及び圧縮されていないアナログ・ビデオをマルチスクリーン表示へマージする1つの手法を、結果のビデオとオンスクリーン表示(OSD)グラフィックスとを混合する能力と共に示す詳細図である。
【図6】 本発明の原理に従ったビデオ・デコード・システムの詳細な実施形態を示す図である。
【図7】 本発明に従った正規モード及びビデオ・スケーリング・モードにおけるフレーム・バッファの分割を示す図である。
【図8】 本発明の原理に従ったビデオ・スケーリング・モードにおける遅延された表示タイミングを示すタイミング図である。
【図9】 本発明に従って、図7の小フレーム・バッファ2、4、6を切り換える1つの例を示す図である。
【図10】 図6のビデオ・デコード・システムのための、本発明の原理に従ったデシメーション・ユニットの1つの実施形態を示すブロック図である。
【図11】 図6のビデオ・デコード・システムのための、本発明の原理に従った表示モード切り換えロジックの1つの実施形態を示すブロック図である。
【図12】 本発明の原理に従って図11の同期発生器によって実現される処理の1つの実施形態を示すフローチャートである。
【符号の説明】
11 信号
12 圧縮データ・メモリ
13 信号
14 可変長デコーダ(VLD)
15、16 信号
17 動き補償(MC)ユニット
18 逆量子化(IQ)ユニット
19 信号
20 参照フレーム・メモリ
21、22 信号
23 逆変換(IDCT)ユニット
24 信号
25 加算器
26 信号
27 デマルチプレクサ
28、29、30 信号
40 デコード・システム・チップ
42 PCIバス
44 PCIバス・インタフェース
46 DMAコントローラ
48 ビデオ先入れ先出し(FIFO)バッファ
50 OSD/オーディオFIFO
52 メモリ・コントローラ52
53 ダイナミック・ランダム・アクセス・メモリ(DRAM)
54 ビデオ・デコーダ
58 表示及びOSDインタフェース
59 ディジタル・ビデオ・エンコーダ(DENC)/ディジタル・アナログ変換器チップ
60 オーディオ・インタフェース
70 表示スクリーン
71 ピクセル
72、74 ピクチャ
100 ディジタル・ビデオ・デコード・システム・チップ
101 ディジタル・ビデオ信号
102 ネットワーク・インタフェース・モジュール(NIM)
103 トランスポート・ロジック
104 アナログ・ビデオ信号
105 ディジタル・マルチ・スタンダード・デコーダ(DMSD)
106 ビデオ・デコーダ
107 内部ディジタル・ビデオ・エンコーダ(DENC)マクロ
110 出力
202 2:1MUX
204 OSD混合ロジック
652 メモリ制御ユニット
653 外部メモリ
654 ビデオ・デコーダ
670 内部プロセッサ
672 ハフマン・デコーダ
674 逆量子化器
676 逆DCT
678 動き補償ユニット
680 加算器
682 デシメーション・ユニット
684 スキャン・ライン・ビデオ・バッファ
686 フレーム・バッファ・ポインタ制御
690 ビデオ表示ユニット
692 表示フェッチ・ユニット
694 アップサンプル・ロジック
696 表示モード切り換えロジック
698 表示出力インタフェース
700 フレーム・バッファ
800 デシメーション・ロジック
810 デシメーション制御信号
820 デシメーション・バッファ
830 マルチプレクサ
840 メモリ書き込み制御
850 マルチプレクサ
900 同期発生器
910 表示フォーマット・レジスタ
920 フィールド・カウンタ
930、940、960 レジスタ・ステージ
Claims (10)
- 非ピクチャ内ピクチャ・テレビジョン・システムのためにマルチスクリーン表示を形成するシステムであって、
正規ビデオ表示モードと、マルチスクリーン表示のためのサイズが縮減されたビデオ表示モード(スケーリング・ビデオ・モード)との間でビデオ表示モードを切り換える信号(「フォーマット変更」信号)及びピクセル選択信号を生成するホスト・プロセッサと、
第1のビデオ・ソースからのMPEG信号と、オンスクリーン表示(OSD)信号とをフェッチするDMAコントローラと、
フェッチされたMPEG信号を格納するためのメモリと、
ハフマン・デコーダ、逆量子化器、動き補償及び内部プロセッサを含むビデオ・デコーダであって、前記メモリからMPEG信号を読取り、該MPEG信号をデコードして伸長されたMPEG信号を発生し、ここで前記内部プロセッサは、前記デコード・プロセスを制御し及び前記フォーマット変更信号に応答して制御信号を生成して前記ハフマン・デコーダ、逆量子化器、動き補償に夫々送る、ビデオ・デコーダと、
前記伸長されたMPEG信号のデータ量を縮減し、及び、スケーリング・ビデオ・モードの場合には、水平及び垂直軸の双方で所定のファクタの水平縮減によりスケーリングをも実行して前記メモリ内のフレーム・バッファに格納するデシメーション・ユニットと、
第2のビデオ・ソースから、アナログ・ビデオ信号を受け取りディジタル化し、及び、同期マスターとして機能する手段と、
前記伸長され、及び、データ量が縮減されたもしくはデータ量が縮減され及びスケーリングされた、MPEG信号と、前記ディジタル化されたアナログ・ビデオ信号とを受け取り、前記ホスト・プロセッサからの前記ピクセル選択信号に基いて、(1)前記伸長されたMPEG信号、(2)前記アナログ・ビデオ信号、又は(3)前記スケーリングされたMPEG信号及び前記アナログ・ビデオ信号の双方、を選択するマルチプレクサと、
選択された前記信号と、前記オンスクリーン表示信号とを混合してテレビジョン・システムの表示出力インタフェースに送る、表示及びOSDロジックと、
前記内部プロセッサからの制御信号と、前記表示出力インタフェースから垂直同期信号と、前記ビデオ・デコーダから双方向予測符号化ピクチャの反復フィールド信号とを受け取り、いつ新しいフレームの表示を始めるべきかの信号を、前記表示出力インタフェースに送る表示モード切り換えロジックと、
を含み、それによって、複数のピクチャを同時に表示する能力を前記非ピクチャ内ピクチャ・テレビジョン・システムへ提供するシステム。 - 前記表示モード切り換えロジックが、いつ新しいフレームのデコードを始めるかを示す信号をデコード・プロセスにおいて使用されるレジスタへ送信する、請求項1記載のシステム。
- 前記表示モード切り換えロジックが、ビデオ画像の1フレームを選択的に抑制する信号を表示出力インタフェースに送り、それによって、表示プロセスを撹乱することなく正規ビデオ表示から縮減されたビデオ表示へと切り換えることを可能とする、請求項1または2記載のシステム。
- 前記MPEG信号が、MPEG−2標準に従った信号である、請求項1〜3のいずれか1項記載のシステム。
- 前記デシメーション・ユニットが、正規ビデオ表示モードにおいては、双方向予測符号化ピクチャのみデータ量の縮減をし、スケーリングビデオ表示モードにおいては、参照ピクチャ及び双方向予測符号化ピクチャの双方のデータ量の縮減をする、請求項1〜4のいずれか1項記載のシステム。
- 縮減されたビデオ表示モードにおいて、正規ビデオ表示モードにおける双方向予測符号化ピクチャに割り当てられる1のフレームが、スケーリングされたビデオフレーム3つに割り当てられる、請求項1〜5のいずれか1項記載のシステム。
- フレーム・バッファの前記割り当てを制御するフレーム・バッファ・ポインタ制御をさらに含む、請求項6記載のシステム。
- 前記システムが、ディジタル・ビデオ・セット・トップ・ボックス(STB)又はディジタル・ビデオ・ディスク(DVD)プレーヤの1つを含む、請求項1〜7のいずれか1項に記載のシステム。
- 前記システムが、ネットワーク・インターフェースをさらに含み、前記MPEG信号が、ケーブル又は衛星から前記ネットワーク・インターフェースを介して受け取られる、請求項1〜7のいずれか1項記載のシステム。
- 前記第2のビデオ・ソースが、ケーブル、衛星、ビデオカセットレコーダ、又はチューナ・ソースである、請求項1〜9のいずれか1項記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/328756 | 1999-06-09 | ||
US09/328,756 US6519283B1 (en) | 1999-01-25 | 1999-06-09 | Integrated video processing system having multiple video sources and implementing picture-in-picture with on-screen display graphics |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001045370A JP2001045370A (ja) | 2001-02-16 |
JP3685386B2 true JP3685386B2 (ja) | 2005-08-17 |
Family
ID=23282303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000173413A Expired - Lifetime JP3685386B2 (ja) | 1999-06-09 | 2000-06-09 | 複数のビデオ・ソースを有し、オンスクリーン表示グラフィックスでピクチャ内ピクチャを実現する統合ビデオ処理システム |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP3685386B2 (ja) |
KR (1) | KR100385527B1 (ja) |
MY (1) | MY127855A (ja) |
SG (1) | SG99306A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100517979B1 (ko) | 2002-12-10 | 2005-10-04 | 엘지전자 주식회사 | 이동 통신 단말기의 영상 오버레이 장치 |
KR100531311B1 (ko) * | 2004-01-09 | 2005-11-29 | 엘지전자 주식회사 | 멀티 패스를 갖는 osd의 구현 방법 |
CN115550608A (zh) * | 2022-09-19 | 2022-12-30 | 国网智能科技股份有限公司 | 多用户高并发ai视频实时融合显示控制方法及*** |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2590899B2 (ja) * | 1987-07-24 | 1997-03-12 | 松下電器産業株式会社 | 文字図形情報表示装置 |
US5208660A (en) * | 1989-07-29 | 1993-05-04 | Sharp Kabushiki Kaisha | Television display apparatus having picture-in-picture display function and the method of operating the same |
JPH03112279A (ja) * | 1989-09-26 | 1991-05-13 | Toshiba Corp | 高品位多画面テレビジョン受像機 |
SG44005A1 (en) * | 1992-12-11 | 1997-11-14 | Philips Electronics Nv | System for combining multiple-format multiple-source video signals |
JPH0990921A (ja) * | 1995-09-20 | 1997-04-04 | Sony Corp | 画像合成装置及び受信装置 |
KR970048332A (ko) * | 1995-12-29 | 1997-07-29 | 김태구 | 범퍼의 성능 시험장치 |
US5847771A (en) * | 1996-08-14 | 1998-12-08 | Bell Atlantic Network Services, Inc. | Digital entertainment terminal providing multiple digital pictures |
KR100265231B1 (ko) * | 1997-07-03 | 2000-09-15 | 윤종용 | 방송방식이 서로 다른 복수화면의 동시시청 가능한 tv수신장치 |
US6141062A (en) * | 1998-06-01 | 2000-10-31 | Ati Technologies, Inc. | Method and apparatus for combining video streams |
-
2000
- 2000-05-24 MY MYPI20002290A patent/MY127855A/en unknown
- 2000-05-30 SG SG200002913A patent/SG99306A1/en unknown
- 2000-06-01 KR KR10-2000-0030051A patent/KR100385527B1/ko active IP Right Grant
- 2000-06-09 JP JP2000173413A patent/JP3685386B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
MY127855A (en) | 2006-12-29 |
JP2001045370A (ja) | 2001-02-16 |
KR20010007175A (ko) | 2001-01-26 |
KR100385527B1 (ko) | 2003-05-27 |
SG99306A1 (en) | 2003-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6519283B1 (en) | Integrated video processing system having multiple video sources and implementing picture-in-picture with on-screen display graphics | |
KR100376607B1 (ko) | 통합 비디오 디코딩 시스템 및 그를 이용한 비디오 데이터의 인코딩 스트림 처리 방법과, 비디오 디코딩 시스템의 프레임 버퍼 할당 방법과, 기록 매체 | |
US7030932B2 (en) | Apparatus and method for converting multi-source input images | |
US5990958A (en) | Apparatus and method for MPEG video decompression | |
KR101366203B1 (ko) | 공유 메모리 멀티 비디오 채널 디스플레이 장치 및 방법 | |
US6442206B1 (en) | Anti-flicker logic for MPEG video decoder with integrated scaling and display functions | |
KR101335270B1 (ko) | 공유 메모리 멀티 비디오 채널 디스플레이 장치 및 방법 | |
US20070242160A1 (en) | Shared memory multi video channel display apparatus and methods | |
JPH08228349A (ja) | 高帯域幅メモリを有するmpegビデオ復号器 | |
KR101366199B1 (ko) | 공유 메모리 멀티 비디오 채널 디스플레이 장치 및 방법 | |
US5929911A (en) | Multiformat reduced memory MPEG-2 compliant decoder | |
KR100995032B1 (ko) | 화면 정지 기능을 갖는 비디오 디코딩 장치 및 방법 | |
JP3685386B2 (ja) | 複数のビデオ・ソースを有し、オンスクリーン表示グラフィックスでピクチャ内ピクチャを実現する統合ビデオ処理システム | |
US7301582B2 (en) | Line address computer for providing line addresses in multiple contexts for interlaced to progressive conversion | |
JP2000333166A (ja) | 高効率符号化画像の復号手段及び同手段を有する画像表示装置 | |
Brosz et al. | A single-chip HDTV video decoder design | |
KR100425136B1 (ko) | 비디오 디코딩 시스템 | |
JP2000175114A (ja) | 映像表示装置およびプログラム格納媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20031211 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20031216 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040315 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040315 |
|
RD12 | Notification of acceptance of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7432 Effective date: 20040315 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040813 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041111 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20041111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050428 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050428 |
|
RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20050428 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050526 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3685386 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090610 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090610 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090610 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100610 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100610 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110610 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120610 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120610 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130610 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |