JP4989051B2 - オフラインマルチビュービデオ圧縮のシステムおよび方法 - Google Patents
オフラインマルチビュービデオ圧縮のシステムおよび方法 Download PDFInfo
- Publication number
- JP4989051B2 JP4989051B2 JP2005217365A JP2005217365A JP4989051B2 JP 4989051 B2 JP4989051 B2 JP 4989051B2 JP 2005217365 A JP2005217365 A JP 2005217365A JP 2005217365 A JP2005217365 A JP 2005217365A JP 4989051 B2 JP4989051 B2 JP 4989051B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- module
- frame
- video
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Description
図1に、本発明を実施できる適切なコンピューティングシステム環境100の例を示す。コンピューティングシステム環境100は、適切なコンピューティング環境の1つの例にすぎず、本発明の使用または機能性の範囲に関する制限を提案することを意図された物ではない。また、コンピューティング環境100を、例示的なオペレーティング環境100に示されたコンポーネントのいずれかまたはその組合せに対する依存性または要件を有するものと解釈してはならない。
本発明によるシステムおよび方法を、次のセクションで詳細に説明する。インタラクティブマルチビュービデオのシステムは、3つの主要な部分すなわち、キャプチャコンポーネント、サーバコンポーネント、およびクライアントコンポーネントからなる。
本発明のインタラクティブマルチビューカメラシステムのキャプチャコンポーネント202は、カメラ(例えば、ビデオカメラ)、レンズ、パンチルトヘッド、コントロールPC、および同期化ユニットからなる。図2からわかるように、本発明の一実施形態で、それぞれがそれ自体のパンチルトヘッド206aおよび206bならびにレンズ(例えば、ズームレンズ)208aおよび208bを有する2つのビデオカメラ204aおよび204bが、それぞれ1つのコントロールPC 210および1394ポート(図示せず)に接続されている。各カメラは、それ自体のID番号を有する。コントロールPC 210は、例えばRS232インターフェースを介して、パンチルトヘッド206およびレンズ208を制御することによって、カメラの視点およびアングルを変更することができる。同期化ユニット214は、1つまたは複数のコントロールPC 210に、好ましくはその1394ポートまたは他の適切な手段を介してリンクされる。このシステムのキャプチャコンポーネントに、ある位置でのすべてのオーディオを記録するオーディオ記録機器209も含めることができる。
マスタスレーブトラッキングの前に、カメラを較正しなければならない。組込みパラメータ、外来パラメータ、および手目関係を判定する較正プロセスが、本発明のマルチビュービデオシステムで使用される。このプロセスの全般的な流れ図を、図3に示す。まず、組込みカメラパラメータを計算し(処理アクション302)、次に、外来カメラパラメータを判定する(処理アクション304)。次に、手目パラメータを判定する(処理アクション306)。最後に、判定された組込みパラメータ、外来パラメータ、および手目パラメータを使用して、共通の座標系ですべてのカメラの外来パラメータを調整することによってカメラを較正する。マスタカメラのこれらのパラメータおよびパンチルトパラメータのすべてを与えられれば、スレーブカメラがマスタカメラと同一の関心ポイントをポイントするようにするスレーブカメラのパンチルトパラメータを、効率的に計算し、調整することができる。
本発明の一実施形態では、その精度および単純さに起因して、プレーンベースアルゴリズム[2]を、組込みパラメータの較正に使用する。そのような較正は、組込みパラメータが非常にわずかに変化するので、数週間に1回だけ実行されなければならない。すべてのカメラの外来パラメータは、共通のワールド座標系で、好ましくはパターンプレーンの座標系で較正される。その後、各カメラの手目関係も、3パンチルト位置以内で、その外来パラメータから較正される。
2.1.3.1 パターンフリー較正プロシージャの概要
本発明の一実施形態で、自動パターンフリー較正ツールが使用されている。イメージ点とパターン点の間の対応を使用してカメラ外来パラメータを判定するパターンベース方法と対照的に、パターンフリー較正方法は、異なるカメラからのイメージ点の間の対応に基づく。図5に、本発明のインタラクティブマルチビュービデオシステムで使用されるパターンフリー較正プロシージャの全般的な流れ図を示す。第1に、処理アクション502に示されているように、マスタカメラとスレーブカメラの両方の各イメージ内の特徴点を抽出する。これらの特徴点を使用して、各イメージの特徴をマスタカメラのイメージにマッピングするイメージ間相同の集合を推定する(処理アクション504)。次に、処理アクション506および508に示されているように、外来パラメータの線形解を、好ましくは特異値分解(SVD)演算を使用して、これらの相同に基づいて入手することができる。SVDは、行列の固有値および固有ベクトルを見つけるのに使用できる、古典的な数学演算である。本発明で使用される方法では、SVDが、特徴点の相同の積行列およびその転置行列の固有値および対応する固有ベクトルを見つけるのに使用される。これらの得られた固有成分に基づいて、カメラの外来パラメータを、線形方程式の組に対する最小自乗解として推定することができる。この後に、処理アクション510に示されているように、外来カメラパラメータのバンドル調整を適用して、すべての特徴対応の再射影誤差の合計を最小にすることによって、これらを洗練する。推定された外来パラメータを使用することによって、マスタイメージ(例えば、マスタカメラによって撮影された)内の特徴をスレーブイメージ(例えば、スレーブカメラによって撮影された)に射影することができる。用語「再射影誤差」は、スレーブイメージに射影されたこれらの特徴と、マスタイメージの対応する特徴との間の誤差を指す。射影誤差の合計を使用することが、較正されたパラメータの精度を評価する便利な形である。本発明の一実施形態で、推定されたパラメータは、Levenberg−Marquardt(LM)法を使用して射影誤差を最小にすることによって洗練される。
本発明のパターンフリー較正技法は、次のように、より具体的に説明することができる。ほとんどの環境で、通常は基平面である支配的な平面がある。複数のカメラがそのようなシナリオでセットアップされる場合に、カメラのそれぞれが、支配的平面などの共通の平面のイメージを形成する。例えば、異なる位置から基平面を見る2つのカメラ(一方はマスタカメラ、他方はスレーブカメラ)からの2つのイメージは、
相同Hについて、
ステップ1。イメージの獲得。特徴点を検出し、普通の方法を介してまたは上で説明したように相同Hを推定する。
ステップ2。標準SVD分解演算によってMTMの固有値および固有ベクトルを計算する。
ステップ3。投票方法によって法線ベクトルnの初期値を推定する。
ステップ4。式の符号を判定し、その後、ベクトルnを洗練する。
ステップ5。並進t(スケールまで)および回転Rを推定する。
ステップ6。すべての特徴対応の再射影誤差の合計を最小にすることによって外来カメラパラメータをバンドル調整する。
サーバは、インタラクティブマルチビュービデオシステムで最も強力なユニットである。サーバは、大量のビデオデータの伝送およびストレージを管理し、多数のクライアントにサービスを提供する。図2からわかるように、サーバ216は、2つのネットワーク218および220に接続されている。例えば広帯域ネットワークバックボーンなどのネットワーク218は、サーバ216とコントロールPC 210を接続し、その結果、圧縮ビデオをコントロールPC 210からサーバ216に配布できるようにするために採用される。本発明の一実施形態では、本発明のマルチビュービデオシステムが、1GBネットワークを使用して、サーバ216とすべてのコントロールPC 210を接続する。外部ネットワーク220(例えば、LAN、WAN、またはインターネット)は、サーバ216とクライアント222を接続するのに使用される。本発明の一実施形態では、クライアント222が、10/100MB以上のネットワークを介してサーバ216に接続される。本発明のもう1つの実施形態では、クライアント222が、インターネットを介してサーバ216に接続される。
サーバ216は、コントロールPC 210からビデオを受信し、これをマルチビュービデオまたはビデオビームの形で保存する。ビデオビームは、ビデオと、好ましくは同一のイベントまたはイベントスペースから同時にとられたオーディオストリームのセットからなる。本発明のインタラクティブマルチビュービデオのストレージスキームは、大量のビデオデータと、ビデオビームの効率的な検索とをサポートする。本発明の一実施形態で、インデックス構造が、検索を高速化するために作成される。本発明のマルチビュービデオは、大量のビデオビームをサポートし、同時にビームにアクセスする膨大な数のユーザをサポートすることができる。そのコア技法は、任意の瞬間のオーディオビットストリームおよびビデオビットストリームの検索を容易にするためにインデックスを使用することである。このインデックス構造の例を、図6Aおよび6Bに示す。図6Aは、ビデオビットストリーム602のフォーマットを示し、図6Bは、ビデオビットストリームに対応するオーディオビットストリーム604のフォーマットを示す。実際のビデオデータおよびオーディオデータは、インデックスファイルと共に、しばしば、サーバにストアされる。これらを、オフライン再生のためにクライアントでローカルにストアすることができる。例えば、ビデオビームを、DVDディスクにストアし、クライアント側でPCによって再生することができる。
受信されたビデオビームは、オンラインインタラクティブサービスに直接に使用するか、オフライン処理のためにディスクに保存することができる。本発明によるシステムおよび方法の一実施形態の文脈で、オンラインは、見られるビデオビームがリアルタイムでキャプチャされることを意味する。オフラインは、ビデオビームが取り込まれ、記憶媒体にストアされていることを意味する。オフライン再生には、2つのタイプがある。1つは、例えばビデオオンデマンド(VOD)で行われているように、ビデオビームが、サーバにストアされ、クライアントが、ストリーミングプロセスによってそれを再生することである。このモードでは、サーバは、ストリーミングサーバとして働く。したがって、このタイプのオフライン再生を、「ストリーミングサービス」と称する。オフライン再生のもう1つのタイプは、ビデオビームがローカルディスクまたは別の場所にストアされる場合に発生する。このモードでは、クライアントが、サーバの助けなしでそのビデオビームを再生することができる。
オンラインサービスでは、クライアントが、LAN、WAN、およびインターネットでサーバにリモート接続することができる。クライアントとサーバの間の接続が確立されたならば、ユーザは、通常のメディアプレイヤのように普通のコマンドにクライアント部分でサブスクライブし、インタラクティブマルチビューと同様に、独自コマンド(例えば、スイッチ、スイープ、フリーズおよび回転、ならびにヒストリレビュー)を発行する能力にもサブスクライブする。
オフライン再生では、クライアントが、ローカルディスクまたは別の場所にストアされたマルチビュービデオビームを直接にオープンし、再生することができる。通常のビデオプレイヤの普通の効果(例えば、再生、早送り、巻き戻し、一時停止、停止など)の他に、ユーザは、例えば、異なるビデオストリームの間での切り替え、スイープ効果、ならびにフリーズおよび回転効果などの変わった特殊効果を経験することができる。これらの特殊効果の短い説明を、下で提供する。
オンラインおよびオフラインの両方の圧縮プロシージャを、本発明のインタラクティブマルチビュービデオのシステムおよび方法と共に使用することができる。オンライン圧縮プロシージャは、リアルタイムマルチビュービデオキャプチャ用に設計されている。その出力は、オンラインサービスに直接に使用するか、将来の処理(例えば、将来のオフライン圧縮または将来の再生)のためにディスクに保存することができる。オフライン圧縮プロシージャは、事前に符号化されたビットストリームをさらに効率的に圧縮するために、トランスコーディングプロセスで採用されている。その後に、出力ビットストリームが、ストレージおよびオフラインサービスのためにディスクに保存される。
一般に、普通のシングルビュービデオコーディングに似て、本発明のインタラクティブマルチビュービデオシステムの一実施形態で使用されるオンライン圧縮では、ビデオの各ビューを、IPPPフレームのフォーマットでコーディングすることができる。
オフライン圧縮を使用して、ビデオデータストリームを圧縮するか、さらに圧縮することができる。図13および14からわかるように、オフライン圧縮の主要なアイデアは、すべてのビューを3Dマッピングに分解することであり、この3Dマッピングは、3D環境内の特徴点のグループからなる。図13からわかるように、処理アクション1302では、各特徴点を、その3D座標(x,y,z)および対応する色成分(Y,U,V)によって表す。作成されたマッピングは、各ビューのすべてのピクセルを再構成することができる特徴点の最小限の集合である。DCTおよびDWTなどの変換ベースの分解と異なって、この種の分解は、マルチビュービデオのデコリレートに関する最も効率的な分解である。明らかに、ビューの数が増えた場合に、新しい特徴点(すなわち、新しい情報)だけを記録する必要があり、他の特徴点は、既存マッピングから見つけることができる。
134 オペレーティングシステム
135 アプリケーションプログラム
136 他のプログラムモジュール
137 プログラムデータ
198 オーディオレコーダ
120 処理ユニット
199 オーディオインターフェース
194 カメラインターフェース
190 ビデオインターフェース
195 出力周辺インターフェース
192 カメラ
191 モニタ
196 プリンタ
197 スピーカ
121 システムバス
140 ノンリムーバブル不揮発性メモリインターフェース
150 リムーバブル不揮発性メモリインターフェース
160 ユーザ入力インターフェース
170 ネットワークインターフェース
171 ローカルエリアネットワーク
144 オペレーティングシステム
145 アプリケーションプログラム
146 他のプログラムモジュール
147 プログラムデータ
161 マウス
162 キーボード
172 モデム
173 広域ネットワーク
180 リモートコンピュータ
185 リモートアプリケーションプログラム
Claims (9)
- ビデオ信号を符号化するシステムであって、
汎用コンピューティングデバイスと、
前記汎用コンピューティングデバイスによって実行可能なプログラムモジュールを含むコンピュータプログラムと
を含み、前記コンピューティングデバイスは、前記コンピュータプログラムの前記プログラムモジュールによって、
ビデオフレームを入力し、
前記フレームをブロックに分割し、
前記ビデオフレームがイントラフレームまたはインターフレームのどちらであるかを判定し、
前記フレームタイプがイントラフレームである場合に、前記フレームのすべてのブロックをイントラブロックモードでコーディングし、
前記フレームタイプがインターフレームである場合に、前記フレームの前記ブロックのそれぞれのコーディングのために、イントラブロック、インターブロック、またはスタティックブロックのコーディングモードの中で選択し、
選択されたモードで各ブロックをコーディングする
ように指示され、
前記スタティックブロックのコーディングモードの使用が選択され、ブロックがスタティックモードでコーディングされ、前記スタティックモードは、インターフレームのモードで前記ブロックをコーディングすること、および、対応する基準イメージをコピーすることを含み、当該基準イメージは、以前再構成されたイメージから、時間的な予測のために次のフレームに使用され、
前記フレームの各々の前記ブロックをコーディングするために、イントラブロック、インターブロック、またはスタティックブロックのコーディングモードを選択する前記プログラムモジュールは、
過去の入力フレームを有する入力フレーム内の各ブロックの差を判定するために、各ブロックごとに動き補償動作を実行するサブモジュールと、
前記差が非常に小さい場合に、前記ブロックをコーディングするために、前記スタティックブロックのコーディングモードを選択するサブモジュールと、
前記差が非常に大きくも非常に小さくもない場合に、前記ブロックをコーディングするために、前記インターブロックコーディングモードを選択するプログラムのサブモジュールと
を含み、
前記スタティックのコーディングモードを選択する前記サブモジュールは、
前記フレームのブロック、および、格納された基準フレームを入力するモジュールと、
前記格納された基準フレームで動き補償動作を実行し、前記入力フレームのブロックで最も類似する領域を探すモジュールと、
動き補償動作を、前記入力フレームのブロックで最も類似する領域に適用し、前記動き補償動作から得られる第2のブロックを取得するモジュールと、
前記入力フレームと、前記第2のブロックとの差を判定するモジュールと、
前記差を変換するモジュールと、
前記差を量子化するモジュールと、
前記差をコーディングするモジュールと、
前記第2のブロックをコピーし、その第2のブロックを、更新された基準フレームとして、保存するモジュールと
を含むことを特徴とするシステム。 - 各ブロックは、16×16ピクセルのマクロブロック(MB)であることを特徴とする請求項1に記載のシステム。
- イントラフレームのコーディングモードを選択する前記プログラムモジュールは、
各ブロックの空間相関を除去するために、各ブロックを表す係数を変換するサブモジュールと、
前記変換された係数を量子化するサブモジュールと、
前記量子化された変換された係数を符号化するサブモジュールと、
前記変換された量子化された係数を逆量子化するサブモジュールと、
更新された基準フレームを入手するために、前記逆量子化された係数を逆変換するサブモジュールと
を含むことを特徴とする請求項1に記載のシステム。 - 各ブロックを表す係数を変換する前記サブモジュールは、変換モジュールを使用することを特徴とする請求項3に記載のシステム。
- 前記変換された係数を量子化する前記サブモジュールは、量子化モジュールを使用することを特徴とする請求項3に記載のシステム。
- 前記量子化された変換された係数を符号化する前記サブモジュールは、エントロピ符号化モジュールを使用することを特徴とする請求項3に記載のシステム。
- インターブロックのコーディングモードを選択する前記サブモジュールは、
前記フレームおよび格納された基準フレームのブロックを入力するモジュールと、
入力された前記フレームの前記ブロック内の最も似た領域を見つけるために、前記ストアされた基準フレームに対して動き推定処理を実行するモジュールと、
動き補償動作から得られる第2ブロックを得るために、見つかった前記最も似た領域をコピーするために、前記入力フレームの前記ブロック内の前記最も似た領域に前記動き補償動作を適用するモジュールと、
前記入力ブロックと前記動き補償動作から得られた前記第2ブロックとの間の差を判定するモジュールと、
前記差を変換するモジュールと、
前記差を量子化するモジュールと、
前記差をコーディングするモジュールと、
前記入力ブロックと前記動き補償動作から得られた前記第2ブロックとの間の前記差を逆量子化するモジュールと、
前記入力ブロックと前記動き補償動作から得られた前記第2ブロックとの間の前記差を逆変換するモジュールと、
更新された基準フレームを得るために、前記動き補償動作から得られた前記第2ブロックに前記逆量子化され逆変換された差を加算するモジュールと
を含むことを特徴とする請求項1に記載のシステム。 - 前記更新された基準フレームをフレームバッファに保存するモジュールをさらに含むことを特徴とする請求項7に記載のシステム。
- 前記ビデオ信号は、リアルタイムでコーディングされることを特徴とする請求項1に記載のシステム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/901,477 US7671893B2 (en) | 2004-07-27 | 2004-07-27 | System and method for interactive multi-view video |
US10/901,477 | 2004-07-27 | ||
US10/922,743 | 2004-08-19 | ||
US10/922,743 US20060023787A1 (en) | 2004-07-27 | 2004-08-19 | System and method for on-line multi-view video compression |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006042360A JP2006042360A (ja) | 2006-02-09 |
JP4989051B2 true JP4989051B2 (ja) | 2012-08-01 |
Family
ID=35355304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005217365A Expired - Fee Related JP4989051B2 (ja) | 2004-07-27 | 2005-07-27 | オフラインマルチビュービデオ圧縮のシステムおよび方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20060023787A1 (ja) |
EP (1) | EP1622390A3 (ja) |
JP (1) | JP4989051B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100779875B1 (ko) * | 2005-01-14 | 2007-11-27 | 주식회사 휴맥스 | 다-시점 코딩을 위한 참조 프레임 순서 설정 방법 및 그방법을 기록한 기록매체 |
JP2008005112A (ja) * | 2006-06-21 | 2008-01-10 | Matsushita Electric Ind Co Ltd | ストリームエンコーダ及びストリームデコーダ |
JP5029062B2 (ja) * | 2007-02-26 | 2012-09-19 | 富士通株式会社 | 多視点動画像伝送システム |
KR101460362B1 (ko) | 2007-06-25 | 2014-11-14 | 삼성전자주식회사 | 다시점 비디오 코딩에서 휘도 보상 방법 및 장치 |
KR20080114482A (ko) * | 2007-06-26 | 2008-12-31 | 삼성전자주식회사 | 다시점 비디오 코딩에서 휘도 보상 방법 및 장치 |
JP5401909B2 (ja) * | 2008-10-16 | 2014-01-29 | 富士通株式会社 | トランスコード装置およびトランスコード方法 |
KR101594048B1 (ko) * | 2009-11-09 | 2016-02-15 | 삼성전자주식회사 | 카메라들의 협력을 이용하여 3차원 이미지를 생성하는 방법 및 상기 방법을 위한 장치 |
JP5549476B2 (ja) * | 2010-08-24 | 2014-07-16 | ソニー株式会社 | 画像処理装置と画像処理方法 |
US9552597B2 (en) * | 2012-02-17 | 2017-01-24 | Ebay Inc. | Electronic commerce file system |
US20170201558A1 (en) * | 2016-01-11 | 2017-07-13 | Hanwha Techwin Co., Ltd. | Method of managing a network and image obtaining apparatus |
US10341650B2 (en) * | 2016-04-15 | 2019-07-02 | Ati Technologies Ulc | Efficient streaming of virtual reality content |
US10212428B2 (en) * | 2017-01-11 | 2019-02-19 | Microsoft Technology Licensing, Llc | Reprojecting holographic video to enhance streaming bandwidth/quality |
US20190268601A1 (en) * | 2018-02-26 | 2019-08-29 | Microsoft Technology Licensing, Llc | Efficient streaming video for static video content |
US11132819B2 (en) * | 2018-12-13 | 2021-09-28 | Konkuk University Industrial Cooperation Corp | Method and apparatus for decoding multi-view video information |
CN110896464B (zh) * | 2019-11-19 | 2022-03-04 | 北京奇艺世纪科技有限公司 | 一种音频数据生成方法、装置、***及控制器 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH082106B2 (ja) * | 1986-11-10 | 1996-01-10 | 国際電信電話株式会社 | 動画像信号のハイブリツド符号化方式 |
US4821119A (en) * | 1988-05-04 | 1989-04-11 | Bell Communications Research, Inc. | Method and apparatus for low bit-rate interframe video coding |
US5179441A (en) * | 1991-12-18 | 1993-01-12 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Near real-time stereo vision system |
JP3183301B2 (ja) * | 1992-01-27 | 2001-07-09 | 日本電信電話株式会社 | フレーム間差分信号変化検出通信方法 |
JP2677775B2 (ja) * | 1994-04-14 | 1997-11-17 | 株式会社東芝 | 再生装置 |
CA2168327C (en) * | 1995-01-30 | 2000-04-11 | Shinichi Kikuchi | A recording medium on which a data containing navigation data is recorded, a method and apparatus for reproducing a data according to navigationdata, a method and apparatus for recording a data containing navigation data on a recording medium. |
US5619256A (en) * | 1995-05-26 | 1997-04-08 | Lucent Technologies Inc. | Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions |
JPH09261653A (ja) * | 1996-03-18 | 1997-10-03 | Sharp Corp | 多視点画像符号化装置 |
US5796434A (en) * | 1996-06-07 | 1998-08-18 | Lsi Logic Corporation | System and method for performing motion estimation in the DCT domain with improved efficiency |
JPH09331528A (ja) * | 1996-06-11 | 1997-12-22 | Hitachi Ltd | 画像符号化機能付復号装置 |
US6055274A (en) * | 1997-12-30 | 2000-04-25 | Intel Corporation | Method and apparatus for compressing multi-view video |
EP2280398A3 (en) * | 1998-02-23 | 2011-03-09 | Kabushiki Kaisha Toshiba | Information storage medium, information playback method and apparatus and information recording method |
US7796162B2 (en) * | 2000-10-26 | 2010-09-14 | Front Row Technologies, Llc | Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers |
US20030210329A1 (en) * | 2001-11-08 | 2003-11-13 | Aagaard Kenneth Joseph | Video system and methods for operating a video system |
JP3793100B2 (ja) * | 2002-02-14 | 2006-07-05 | キヤノン株式会社 | 情報処理方法、装置および記録媒体 |
KR100550695B1 (ko) * | 2002-06-24 | 2006-02-08 | 엘지전자 주식회사 | 다중 재생 경로 비디오 데이터의 재생을 관리하기 위한데이터 구조를 갖는 기록 매체와 그에 따른 기록 및 재생방법 및 장치 |
JP3880495B2 (ja) * | 2002-09-25 | 2007-02-14 | キヤノン株式会社 | 撮像装置の制御方法及び画像配信装置 |
KR100534207B1 (ko) * | 2002-12-09 | 2005-12-08 | 삼성전자주식회사 | 비디오 부호화기의 움직임 추정기 및 그 방법 |
KR100561394B1 (ko) * | 2002-12-30 | 2006-03-16 | 삼성전자주식회사 | 영상 부호화 시 부호화 모드 결정 및 관리 장치와 그 방법 |
KR100556848B1 (ko) * | 2003-05-13 | 2006-03-10 | 엘지전자 주식회사 | 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치 및방법 |
-
2004
- 2004-08-19 US US10/922,743 patent/US20060023787A1/en not_active Abandoned
-
2005
- 2005-07-20 EP EP05106633A patent/EP1622390A3/en not_active Withdrawn
- 2005-07-27 JP JP2005217365A patent/JP4989051B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP1622390A2 (en) | 2006-02-01 |
US20060023787A1 (en) | 2006-02-02 |
EP1622390A3 (en) | 2012-10-17 |
JP2006042360A (ja) | 2006-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4955234B2 (ja) | インタラクティブマルチビュービデオのシステムおよび方法 | |
JP4975985B2 (ja) | マルチビュービデオフォーマット | |
JP4989051B2 (ja) | オフラインマルチビュービデオ圧縮のシステムおよび方法 | |
JP4965092B2 (ja) | パターンを利用せずに画像間ホモグラフィによって複数のカメラを校正するためのシステムおよび方法 | |
JP2006081161A (ja) | オフラインマルチビュービデオ圧縮のシステムおよび方法 | |
EP1622381A2 (en) | A system and method for client services for interactive multi-view video | |
US10419737B2 (en) | Data structures and delivery methods for expediting virtual reality playback | |
US10567464B2 (en) | Video compression with adaptive view-dependent lighting removal | |
US10341632B2 (en) | Spatial random access enabled video system with a three-dimensional viewing volume | |
JPH10271511A (ja) | 画像符号化装置と画像復号化装置 | |
AU2005272287A1 (en) | Method and device for motion estimation and compensation for panorama image | |
Chan et al. | The plenoptic video | |
Chan et al. | The plenoptic videos: capturing, rendering and compression | |
JP2000285260A (ja) | 多視点画像の符号化方法及び任意視点画像の生成方法 | |
JPH11161800A (ja) | 多視点画像符号化/復号化装置および多視点画像符号化/復号化方法ならびに三次元物体の画像符号化/復号化装置 | |
Fecker et al. | Complexity evaluation of random access to coded multi-view video data | |
JP2000285259A (ja) | 多視点画像からの任意視点画像再生方法 | |
Kum et al. | Intra-stream encoding for multiple depth streams | |
JPH1118091A (ja) | 多視点画像の符号化/復号化装置およびその符号化/復号化方法 | |
Müller et al. | Video Data Processing: Best pictures on all channels | |
Salehi Doolabi | Cubic-Panorama Image Dataset Analysis for Storage and Transmission | |
JP2000232659A (ja) | 多視点における動画像の処理方法 | |
Cheng | Global Motion Compensation Using Motion Sensor to Enhance Video Coding Efficiency | |
Verlani et al. | Parametric Proxy-Based Compression of Multiple Depth Movies of Humans | |
Shum et al. | Compression of Dynamic Image-based Representations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080728 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110510 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111202 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120330 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120427 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |