JP2015228669A - 多人数参加型テレビ会議における映像処理 - Google Patents
多人数参加型テレビ会議における映像処理 Download PDFInfo
- Publication number
- JP2015228669A JP2015228669A JP2015138031A JP2015138031A JP2015228669A JP 2015228669 A JP2015228669 A JP 2015228669A JP 2015138031 A JP2015138031 A JP 2015138031A JP 2015138031 A JP2015138031 A JP 2015138031A JP 2015228669 A JP2015228669 A JP 2015228669A
- Authority
- JP
- Japan
- Prior art keywords
- image
- participant
- video
- frame
- composite
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/57—Motion estimation characterised by a search window with variable size or shape
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Telephonic Communication Services (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【解決手段】2人以上の参加者110、115、120からビデオ画像を受信する中央配信装置125を有する。中央配信装置は、中央配信装置が参加者に送り返す合成画像を受信した画像から生成する。各合成画像はサブ画像のセットを含み、各サブ画像は1人の参加者に属する。中央配信装置は、中央配信装置が特定の各参加者に送出する合成画像からその特定の参加者の画像を除去することによりネットワーク帯域幅を節約する。また、各参加者から受信した画像は、非インターリーブ方式で配置されて合成画像になる。合成画像は、各参加者に対して最大1つのサブ画像を含み、2つのサブ画像がインターリーブされない。
【選択図】図1
Description
図1は、本発明のいくつかの実施形態のテレビ会議アーキテクチャ100の一例を示す。このアーキテクチャは、複数の参加者がテレビ会議に参加することを可能にする。図1に示す例において、4人の参加者A、B、C及びDは、各々の4つのコンピュータ105〜120及びそれらコンピュータを接続するネットワーク(不図示)を介してテレビ会議に参加する。それらコンピュータを接続するネットワークは、ローカルエリアネットワーク、ワイドエリアネットワーク、複数のネットワークのうちの1つのネットワーク(例えば、インターネット)等の任意のネットワークである。
図6は、本発明のいくつかの実施形態の焦点位置モジュール510を示す。この例において、3人の非焦点参加者及び1人の焦点参加者の4人の参加者を含むテレビ会議の間の焦点位置モジュール510を示す。特に図6は、3つの復号器620〜630、3つの中間バッファ635〜645、3つのリサイザ647〜649、ローカル画像取り込みモジュール651、フレームレートコントローラ652、合成画像バッファ655、符号器660、冗長性除去器665、パースペクティブ調整器675及びローカル画像コントローラ685を利用する、焦点位置モジュール510を示す。
図12は、本発明のいくつかの実施形態の非焦点位置モジュール515を示す。非焦点位置モジュールは、符号化及び復号化動作を実行する。符号化動作に対して、非焦点位置モジュール515は、ローカル画像取り込みモジュール1240、フレームレートコントローラ1242及び符号器1250を利用する。復号化動作に対して、非焦点位置モジュール515は、復号器1210、中間バッファ1215、パースペクティブ調整器1220及びローカル画像コントローラ1230を利用する。
A.概要
上記節IIで説明したように、焦点位置モジュールは、2つ以上のサブフレームを有する合成フレームを生成する。各サブフレームは、テレビ会議の参加者のうちの1人からのフレームである。いくつかの実施形態において、焦点位置モジュールは、非インターリーブ方式で各参加者のフレームを合成フレームに配置する。それら実施形態において、符号化処理は、各サブフレームの符号化が別のサブフレームのいずれの部分にも依存しないように制約のセットを利用する。
上述のように、符号化処理1700は、複数の制約を規定し(1710)、それら制約に基づいて合成フレームのサブフレームを符号化する(1720)。それら制約は、ブロック間符号化(interblock encoding)の制約、ブロック内符号化(intrablock encoding)の制約及びループフィルタリングの制約である。それら制約のいくつかの例を以下に説明する。
ブロック間符号化の2つの例を以下に説明する。それら例は、(1)符号化中の探索ウィンドウのサイズに対する制約及び(2)画素ブロックを探索又は符号化するのに使用される目標サブ画素に対する制約である。ブロック間符号化は、1つ以上の参照フレームの1つ以上の部分を参照して現在のフレーム中の画素の1つのブロックを符号化する。ブロック間符号化は1つ以上の動き推定動作を含み、各動き推定動作は、現在のフレーム中の画素のブロックに最も適合する参照フレームの一部分を識別する。そのような識別により、現在のフレームの画素ブロックの符号化表現としての役割を果たすことができる動きベクトルが得られる。現在のフレームの画素ブロックを復号化中において、その動きベクトルは、現在のフレームの画素ブロックの画素値を提供する参照フレームブロックの一部分を識別するために使用される。
各参加者のサブフレームを独立させるために、各画素ブロックに対する探索ウィンドウは、特定の画素ブロックが位置付けられるサブフレームと同一のサブフレーム内に制限される必要がある。例えば図18は、本発明により許可される探索ウィンドウ1815を示す。この例において、現在の合成フレーム1801は、参照合成フレーム1802を使用して符号化される。符号化される画素ブロック1805は、参加者Aのサブフレーム1810内に位置付けられる。この画素ブロックを符号化するために、符号器は、いくつかの実施形態において初期動きベクトル1830により識別される位置を中心に配置される探索ウィンドウ1815内を探索する。いくつかの実施形態における初期動きベクトルは、デフォルト値に設定されるか、あるいは既にブロック間符号化された隣接する画素ブロックの動きベクトルから得られる。動き推定動作は、現在のフレームの画素ブロック1805に最も適合する探索ウィンドウ1815の参照サブフレーム1825の画素ブロック1835を識別するためにウィンドウ1815を探索する。図18に示すように、参照サブフレーム1825の画素ブロックは、動き推定動作により特定される最終的な動きベクトル1840により識別される。
いくつかの実施形態において、符号器は、いくつかの実施形態の動き推定動作中に参照のサブ画素位置と位置合わせされる(すなわち、整数画素位置と位置合わせされない)ブロックを検査する。いくつかの実施形態の復号器は、いくつかの例において、サブ画素位置と位置合わせされる(すなわち、画素位置と位置合わせされない)参照フレームブロックを参照フレームから検索する必要がある。
符号器660により実行される別の圧縮動作は、マクロブロック内予測である。マクロブロック内予測動作は、隣接するマクロブロックの選択された画素の値からマクロブロックの値を予測する。参加者のサブフレームを独立させるために、ブロック内予測に対するソース画素は、現在のサブフレーム内に位置付けられるマクロブロックから選択されるべきである。
符号器は、種々の符号化方法を使用して隣接する画素のブロックを符号化してもよい。例えば符号器は、ブロック間符号化、ブロック内符号化を使用して画素のブロックを符号化してもよく、あるいはブロック全体をスキップしてもよい。従って、種々の符号化方法を使用して符号化された隣接する画素ブロックは、ほぼ同等の値を有するべきであるにもかかわらず種々の値を有する可能性がある。それらアーティファクトを除去するために、フレームが動き予測動作において利用される前に、符号器は参照フレームにループフィルタを適用する。
上述の符号化の制約は、焦点位置モジュールが種々の会議参加者からの種々のフレームを有する合成フレームを生成することを許可する。例えば、ある特定の合成フレームは、1人の参加者に対する相対的に大きなブロック内符号化サブフレーム(Iサブフレーム)及び1人以上の他の参加者に対する相対的に小さなブロック間符号化サブフレーム(P又はBサブフレーム)から構成されてもよい。
いくつかの実施形態において、1人の参加者の符号器(例えば、焦点位置モジュール符号器)は、別の参加者(例えば、非焦点位置モジュール復号器)と通信するためにハンドシェイクプロトコルを使用し、フレームが送信中にドロップされるかを決定する。例えば、非焦点復号器が特定の参加者に関係するサブフレームの1つ以上の部分を完全に受信していないと判定する場合、復号器は、焦点位置符号器にリフレッシュ要求を送出し、破損したサブフレームを識別する。復号器が誤り伝播を阻止する符号器からデータを受信するまで(例えば、特定の参加者に対するブロック内符号化サブフレームを受信するまで)、復号器は符号器にリフレッシュ要求を繰り返し送信する。いくつかの実施形態において、サブフレームは、各々がいくつかのマクロブロックを含むいくつかのスライス(例えば、2つのスライス)に分割される。これら実施形態において、復号器が完全性に対する解析を行なうサブフレームの部分はスライスである。
帯域幅節約技術のいくつかの例を以下に説明する。MPEG−4の例を使用してそれら技術を説明する。MPEG−4において、参加者の1画像はフレームと呼ばれる。フレームは、I、P又はBフレームである。Iフレームは、フレーム自体に含まれる情報のみを使用して符号化される。従って、それらフレームは他のフレームとは無関係に復号化される。しかし、IフレームはP及びBフレームより非常に大きい。
本発明のいくつかの実施形態において、焦点位置モジュール510及び非焦点モジュール515は、サブフレームの全体的な独立性を利用して失われたフレームの再送信中に帯域幅を節約する。図29のシーケンス図2900は、参加者A、B、C及び焦点位置Fが会議に参加しているいくつかの実施形態において交換されるフレームの例を示す。このシーケンス図において、縦軸は時間の経過(上から下へ)を表し、横軸はオブジェクト間のメッセージの受け渡しを示す。参加者A、B及びCの非焦点モジュール2905〜2915及び焦点モジュール2920は、ライフライン、すなわち各モジュールが存在いている時間の限界を示す垂直の破線の上部にラベル付けされた矩形で示される。それらモジュール間のメッセージは、送信オブジェクトのライフラインから受信オブジェクトのライフラインへの水平の矢印で描かれる。
フレーム(例えば、多人数参加型会議のサブフレーム又はピアツーピア会議のフレーム)をリフレッシュするのに必要なデータを複数の後続フレームに分割するために、いくつかの実施形態は、上述の符号化の制約をフレームの1つ以上のセクションに拡張する。例えば、いくつかの実施形態は、合成フレームのサブフレーム境界に関係なく符号化の制約を規定するが、スライス境界においてそれら制約を規定する。それら制約の使用により、符号器はフレームをリフレッシュするのに必要なデータを複数の後続フレームに分割できる。
本発明のいくつかの実施形態において、符号器は、符号器と復号器との間で上述のハンドシェイクを使用して、復号器が受信した最後の周知の完全な参照フレーム(Iフレーム又はPフレーム)を追跡する。復号器は、この最後の周知の完全なフレーム又は長期参照フレームを保管する。送信エラーの場合、符号器は、保管される長期参照フレームを使用して後続フレームの符号化を開始する。従って、符号器は、大きなIフレームを送信する必要なく更なる誤り伝播を阻止する。この技術は、ピアツーピア会議及び多人数参加型会議において使用される。
図33は、本発明のいくつかの実施形態を実現するのに使用されるコンピュータシステムを概念的に示す。コンピュータシステム3300は、バス3305、プロセッサ3310、システムメモリ3315、読み出し専用メモリ3320、永久記憶装置3325、入力装置3330及び出力装置3335を含む。
Claims (40)
- 複数参加者を含むテレビ会議中に画像を符号化する方法であって、
a)少なくとも2つの参加装置からの少なくとも2つのサブ画像を有する合成画像を生成することと、
b)各サブ画像を別個に制約符号化することとを含み、前記制約符号化は、各サブ画像の符号化を他のサブ画像の符号化とは無関係にする制約のセットに基づいて前記サブ画像を符号化する方法。 - a)前記符号化は、ブロック間符号化動作に対して動き推定処理を実行することを含み、
b)前記制約のセットは、前記動き推定処理中に使用される探索ウィンドウの場所に対する制約を含む請求項1に記載の方法。 - 前記動き推定処理を実行することは、
a)前記動き推定処理が目標サブ画像内で探索を実行することを伴い、
b)前記場所に対する制約は、前記探索ウィンドウが前記目標サブ画像内に位置付けられることを要求する請求項2に記載の方法。 - a)部分的に前記目標サブ画像の外側に位置する探索ウィンドウを識別することと、
b)全体が前記目標サブ画像内に位置するように前記識別された探索ウィンドウをトリミングすることとを更に含む請求項3に記載の方法。 - a)少なくとも部分的に前記目標サブ画像の外側に位置する探索ウィンドウを識別することと、
b)全体が前記目標サブ画像内に位置するように前記識別された探索ウィンドウを移動することとを更に含む請求項3に記載の方法。 - a)前記符号化は、サブ画素位置に位置合わせされるブロックを検査することを含み、
b)前記制約のセットは、サブ画素位置に位置合わせされるブロックが検査される領域に対する制約を含む請求項1に記載の方法。 - 前記検査は、画素のセットに対応する画像値のセットに対して補間動作を実行することを含む請求項6に記載の方法。
- サブ画像間の境界領域のセットを確立することを更に含み、前記境界領域の大きさは、前記補間動作に対して使用される前記画素のセットの画素数により判定される請求項7に記載の方法。
- 前記境界領域内にある複数のサブ画素位置に位置合わせされるブロックの検査を行なわないことを更に含む請求項8に記載の方法。
- 前記境界領域内で検査されない前記ブロックは、複数の1/2画素位置に位置合わせされる複数のブロックである請求項9に記載の方法。
- 前記境界領域内にあり且つ当該境界領域内の2つの整数画素位置の間に位置付けられる複数の1/2画素位置に位置合わせされる複数のブロックを検査することを更に含む請求項10記載の方法。
- 前記境界領域内で検査されない前記ブロックは、1/4画素位置に位置合わせされる複数のブロックである請求項9に記載の方法。
- 前記境界領域内にあり且つ当該境界領域の2つの整数位置内の整数画素位置及び1/2画素位置を利用して補間される複数の1/4画素位置に位置合わせされる複数のブロックを検査することを更に含む請求項12に記載の方法。
- 前記制約符号化は、
a)特定のサブ画像の画素セットに対してブロック内予測を実行することと、
b)前記特定のサブ画像の外側に位置する画素のセットを前記ブロック内予測から除外することとを含む請求項1に記載の方法。 - a)特定のサブ画像の前記符号化中にループフィルタ動作を実行することと、
b)前記特定のサブ画像にない画素を前記ループフィルタ動作から除外することとを更に含む請求項1に記載の方法。 - 映像コンテンツの1つの中央配信装置を有する多人数参加型テレビ会議において映像コンテンツを配信する方法であって、
a)前記中央配信装置において、各参加装置からビデオ画像を受信することと、
b)前記受信したビデオ画像から合成画像を生成することと、
c)前記合成画像を符号化することと、
d)前記符号化した合成画像を前記参加装置に送信することとを含む方法。 - 前記合成画像は、第1の参加装置に対するブロック間符号化画像及び第2の参加装置に対するブロック内符号化画像を含む請求項16に記載の方法。
- a)ブロック内符号化データを介して特定の参加装置からの画像データのリフレッシュを要求する条件を検出することと、
b)前記特定の参加装置からの第1の画像の一部分をブロック内符号化することと、
c)第1の合成画像の前記第1の画像の前記ブロック内符号化した部分を送信することと、
d)前記特定の参加装置からの第2の画像の第1の部分をブロック内符号化することと、
e)第2の合成画像の前記第2の画像の前記ブロック内符号化した部分を送信することとを更に含み、
f)前記第1の画像の前記ブロック内符号化した部分及び前記第2の画像の前記ブロック内符号化した部分は、前記特定の参加装置の画像データをリフレッシュする請求項16に記載の方法。 - 前記第2の画像の第2の部分をブロック間符号化することと、前記第2の部分の前記ブロック間符号化を送信することとを更に含み、前記第2の部分はブロック内符号化された前記第1の画像の前記部分に対応する請求項18に記載の方法。
- 少なくとも2人の参加者間のテレビ会議において映像コンテンツを配信する方法であって、
a)ブロック内符号化データを介して第1の参加装置の画像データのリフレッシュを要求する条件を検出することと、
b)前記第1の参加装置の第1の画像の一部分をブロック内符号化することと、
c)前記第1の画像の前記ブロック内符号化した部分を前記第2の参加装置に送信することと、
d)前記第1の参加装置の第2の画像の第1の部分をブロック内符号化することと、
e)前記第2の画像の前記ブロック内符号化した部分を前記第2の参加装置に送信することとを含み、
f)前記第1の画像の前記ブロック内符号化した部分及び前記第2の画像の前記ブロック内符号化した部分は、前記第1の参加装置の画像データをリフレッシュする方法。 - 前記第2の画像の第2の部分をブロック間符号化することと、前記第2の部分の前記ブロック間符号化を前記第2の参加装置に送信することを更に含み、前記第2の部分はブロック内符号化された前記第1の画像の前記部分に対応する請求項20に記載の方法。
- 2人の参加者間のテレビ会議において映像コンテンツを配信する方法であって、
a)第1の参加装置において長期参照フレームを格納することと、
b)第1の参加装置が第2の参加装置により送信された映像データをドロップしたことを前記第1の参加装置が第2の参加装置に通知することと、
c)前記長期参照フレームを参照して規定されるブロック間符号化データを第2の参加装置が前記第2の参加装置から前記第1の参加装置に送出することとを含む方法。 - 映像コンテンツの1つの中央配信装置を有する多人数参加型テレビ会議において映像コンテンツを配信する方法であって、
a)前記中央配信装置において、各参加装置から参加者ビデオ画像を受信することと、
b)前記受信した参加者画像から合成画像を生成することと、
c)前記合成画像を前記参加装置に送信することとを含む方法。 - 前記中央配信装置はデータ記憶装置を含み、前記方法は、前記受信した参加者画像の各々が前記受信した他の参加者画像のいずれともインターリーブされないような非インターリーブ方式で前記受信した参加者画像の各々を前記データ記憶装置に配置することを更に含む請求項23に記載の方法。
- a)特定の参加装置の各々に対して別個の合成画像を作成することと、
b)前記特定の参加装置の別個の合成画像を前記特定の参加装置に送信する前に、前記別個の合成画像から前記特定の参加装置の各々より受信した参加者画像を除去することとを更に含む請求項23に記載の方法。 - 特定の各参加装置の別個の合成画像において除去された前記特定の参加装置からの画像の代わりにインディケータを配置することを更に含む請求項25記載の方法。
- 特定の各参加装置において、
a)前記特定の参加装置に送信された前記合成画像を受信することと、
b)前記特定の参加装置によって画像を取り込むことと、
c)表示するために、前記特定の参加装置の前記取り込んだ画像と共に前記送信された合成画像内に含まれる前記参加者画像を描画することとを更に含む請求項25に記載の方法。 - 前記合成画像は複数の画素セットを含み、各画素セットは前記画素セットと関連する前記参加者画像を識別する識別子を有し、前記方法は、各参加装置において、前記送信した合成画像内に含まれる前記参加者画像を識別するために前記画素セットの識別子を利用することを更に含む請求項27に記載の方法。
- 前記受信した画像を合成する前に前記受信した参加者画像の各々をサイズ変更することを更に含む請求項23に記載の方法。
- a)前記中央配信装置において、前記合成画像を生成する前に前記受信したビデオ画像を保管することと、
b)各参加装置からの前記受信したビデオ画像を前記特定の参加装置からの前記保管した先のビデオ画像と比較することと、
c)前記受信したビデオ画像及び前記先に受信したビデオ画像が同一でない場合に、前記合成画像を生成する際に前記受信したビデオ画像を利用することとを更に含む請求項23に記載の方法。 - 多人数参加型テレビ会議に対する中央配信装置であって、
a)前記テレビ会議の参加装置のセットから受信されるビデオ画像を復号化する復号器のセットと、
b)前記復号化したビデオ画像から合成ビデオ画像を生成する合成エンジンと、
c)前記合成ビデオ画像を符号化する少なくとも1つの符号器とを具備する中央配信装置。 - 前記合成エンジンが復号化ビデオ画像のセットに基づいて合成ビデオ画像を生成する前に、前記復号化ビデオ画像のセットを格納する中間バッファのセットを更に具備する請求項31に記載の中央配信装置。
- 前記合成エンジンが合成ビデオ画像を生成するレートを調整するフレームレートコントローラを更に具備する請求項31に記載の中央配信装置。
- 特定の各参加装置に送出される合成ビデオ画像から前記特定の参加装置の画像を除去する冗長性除去器を更に具備する請求項31に記載の中央配信装置。
- 多人数参加型テレビ会議において映像コンテンツを受信及び送信するアーキテクチャであって、
a)焦点位置モジュールと、
b)非焦点位置モジュールのセットと、
c)前記非焦点位置モジュールのセットからビデオ画像を受信し且つ前記非焦点位置モジュールのセットに合成ビデオ画像を送信する前記焦点位置モジュールとを具備し、各合成ビデオ画像は、複数の非焦点位置モジュールから受信した複数のビデオ画像の合成であるアーキテクチャ。 - 前記焦点位置モジュールは、特定の各参加装置に送出される合成ビデオ画像から前記特定の参加装置の画像を削除する請求項35に記載のアーキテクチャ。
- 映像コンテンツの1つの中央ディストリービュータを有する多人数参加型テレビ会議において映像コンテンツを配信するコンピュータプログラムを格納するコンピュータ可読媒体であって、前記コンピュータプログラムは、
a)前記中央配信装置において、各参加装置から参加者ビデオ画像を受信し、
b)前記受信した参加者画像から合成画像を生成し、
c)前記合成画像を前記参加者に送信する命令のセットを含むコンピュータ可読媒体。 - 前記中央配信装置はデータ記憶装置を含み、前記コンピュータプログラムは、前記受信した参加者画像の各々が他の前記受信した参加者画像のいずれともインターリーブされないような非インターリーブ方式で前記受信した参加者画像の各々を前記データ記憶装置に配置する命令のセットを更に含む請求項37記載のコンピュータ可読媒体。
- 前記コンピュータプログラムは、
a)特定の各参加装置に対して別個の合成画像を作成し、
b)特定の各参加装置の別個の合成画像を前記特定の参加装置に送信する前に、前記別個の合成画像から前記特定の参加装置から受信した参加者画像を除去する命令のセットを更に含む請求項37記載のコンピュータ可読媒体。 - 前記コンピュータプログラムは、前記受信した画像を合成する前に前記受信した参加装置からの画像の各々をサイズ変更する命令のセットを更に含む請求項37記載のコンピュータ可読媒体。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/118,615 | 2005-04-28 | ||
US11/118,615 US7692682B2 (en) | 2005-04-28 | 2005-04-28 | Video encoding in a video conference |
US11/118,553 | 2005-04-28 | ||
US11/118,553 US7817180B2 (en) | 2005-04-28 | 2005-04-28 | Video processing in a multi-participant video conference |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013270022A Division JP2014099880A (ja) | 2005-04-28 | 2013-12-26 | 多人数参加型テレビ会議における映像処理 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015228669A true JP2015228669A (ja) | 2015-12-17 |
JP6231049B2 JP6231049B2 (ja) | 2017-11-15 |
Family
ID=37215539
Family Applications (7)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008509154A Expired - Fee Related JP5103379B2 (ja) | 2005-04-28 | 2006-04-27 | 多人数参加型テレビ会議における映像処理 |
JP2011264102A Active JP5411244B2 (ja) | 2005-04-28 | 2011-12-01 | 多人数参加型テレビ会議における映像処理 |
JP2012085859A Pending JP2012178839A (ja) | 2005-04-28 | 2012-04-04 | 多人数参加型テレビ会議における映像処理 |
JP2012085860A Expired - Fee Related JP5373144B2 (ja) | 2005-04-28 | 2012-04-04 | 多人数参加型テレビ会議における映像処理 |
JP2013270022A Pending JP2014099880A (ja) | 2005-04-28 | 2013-12-26 | 多人数参加型テレビ会議における映像処理 |
JP2015026866A Active JP6212064B2 (ja) | 2005-04-28 | 2015-02-13 | 多人数参加型テレビ会議における映像処理 |
JP2015138031A Expired - Fee Related JP6231049B2 (ja) | 2005-04-28 | 2015-07-09 | 多人数参加型テレビ会議における映像処理 |
Family Applications Before (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008509154A Expired - Fee Related JP5103379B2 (ja) | 2005-04-28 | 2006-04-27 | 多人数参加型テレビ会議における映像処理 |
JP2011264102A Active JP5411244B2 (ja) | 2005-04-28 | 2011-12-01 | 多人数参加型テレビ会議における映像処理 |
JP2012085859A Pending JP2012178839A (ja) | 2005-04-28 | 2012-04-04 | 多人数参加型テレビ会議における映像処理 |
JP2012085860A Expired - Fee Related JP5373144B2 (ja) | 2005-04-28 | 2012-04-04 | 多人数参加型テレビ会議における映像処理 |
JP2013270022A Pending JP2014099880A (ja) | 2005-04-28 | 2013-12-26 | 多人数参加型テレビ会議における映像処理 |
JP2015026866A Active JP6212064B2 (ja) | 2005-04-28 | 2015-02-13 | 多人数参加型テレビ会議における映像処理 |
Country Status (3)
Country | Link |
---|---|
EP (2) | EP1878229A4 (ja) |
JP (7) | JP5103379B2 (ja) |
WO (1) | WO2006116659A2 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7692682B2 (en) | 2005-04-28 | 2010-04-06 | Apple Inc. | Video encoding in a video conference |
US7899170B2 (en) | 2005-04-28 | 2011-03-01 | Apple Inc. | Multi-participant conference setup |
US7864209B2 (en) | 2005-04-28 | 2011-01-04 | Apple Inc. | Audio processing in a multi-participant conference |
US7653250B2 (en) | 2005-04-28 | 2010-01-26 | Apple Inc. | Adjusting sampling rate for encoding |
US7949117B2 (en) | 2005-04-28 | 2011-05-24 | Apple Inc. | Heterogeneous video conferencing |
US8861701B2 (en) | 2005-04-28 | 2014-10-14 | Apple Inc. | Multi-participant conference adjustments |
US7817180B2 (en) | 2005-04-28 | 2010-10-19 | Apple Inc. | Video processing in a multi-participant video conference |
US20100149301A1 (en) * | 2008-12-15 | 2010-06-17 | Microsoft Corporation | Video Conferencing Subscription Using Multiple Bit Rate Streams |
US8570907B2 (en) | 2010-04-07 | 2013-10-29 | Apple Inc. | Multi-network architecture for media data exchange |
US8711736B2 (en) | 2010-09-16 | 2014-04-29 | Apple Inc. | Audio processing in a multi-participant conference |
JP5849681B2 (ja) * | 2011-12-16 | 2016-02-03 | 富士通株式会社 | 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、及び復号プログラム |
JP6692087B2 (ja) * | 2013-12-27 | 2020-05-13 | サン パテント トラスト | 配信方法、およびシステム |
US9571535B2 (en) | 2014-06-12 | 2017-02-14 | International Business Machines Corporation | Quality of experience for communication sessions |
JP6279415B2 (ja) * | 2014-06-12 | 2018-02-14 | モイ株式会社 | 合成データ提供装置、合成データ提供方法及びプログラム |
US9769494B2 (en) | 2014-08-01 | 2017-09-19 | Ati Technologies Ulc | Adaptive search window positioning for video encoding |
JP2019501584A (ja) | 2015-12-04 | 2019-01-17 | スリング メディア,インク. | 遠隔制御されるメディアスタジオ |
WO2018067728A1 (en) * | 2016-10-04 | 2018-04-12 | Livelike Inc. | Picture-in-picture base video streaming for mobile devices |
KR20220114326A (ko) * | 2021-02-08 | 2022-08-17 | 삼성전자주식회사 | 미디어 스트림을 송수신하는 전자 장치 및 그 동작 방법 |
EP4352951A1 (en) | 2021-05-21 | 2024-04-17 | Technologies Crewdle Inc. | Peer-to-peer conferencing system and method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62200994A (ja) * | 1986-02-28 | 1987-09-04 | Toshiba Corp | 動画通信システム |
JPH1066070A (ja) * | 1996-08-19 | 1998-03-06 | Nec Eng Ltd | 多地点通信を考慮したテレビ会議システム |
JPH11187372A (ja) * | 1997-12-22 | 1999-07-09 | Kyocera Corp | 多地点テレビ会議システム |
JPH11220709A (ja) * | 1998-01-30 | 1999-08-10 | Kyocera Corp | 多地点通信システム |
JP2004072741A (ja) * | 2002-07-10 | 2004-03-04 | Seiko Epson Corp | バックチャンネルビデオインタフェースによりコンテンツ及び引き渡しの制御が可能な多数参加者会議システム |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2641899B2 (ja) * | 1988-05-13 | 1997-08-20 | 日本電気株式会社 | マルチポイント画像伝送方式 |
JPH04310084A (ja) * | 1991-04-08 | 1992-11-02 | Mitsubishi Electric Corp | 多地点間通信方式におけるリフレッシュ方式 |
JPH05130601A (ja) * | 1991-11-07 | 1993-05-25 | Canon Inc | 多地点間制御装置 |
US5689641A (en) * | 1993-10-01 | 1997-11-18 | Vicor, Inc. | Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal |
JPH07131772A (ja) * | 1993-10-28 | 1995-05-19 | Toshiba Corp | 集中管理方式によるtv会議装置 |
US5838664A (en) * | 1997-07-17 | 1998-11-17 | Videoserver, Inc. | Video teleconferencing system with digital transcoding |
JPH08251567A (ja) * | 1995-03-15 | 1996-09-27 | Toshiba Corp | テレビ会議装置 |
JPH09130798A (ja) * | 1995-10-30 | 1997-05-16 | Toshiba Corp | 情報合成装置および情報合成方法 |
JPH09214924A (ja) * | 1996-01-31 | 1997-08-15 | Canon Inc | 画像通信装置 |
JPH1028260A (ja) * | 1996-07-10 | 1998-01-27 | Matsushita Electric Ind Co Ltd | 映像データ伝送方法および多地点テレビ会議装置 |
JPH1066088A (ja) * | 1996-08-16 | 1998-03-06 | Ricoh Co Ltd | 多地点テレビ会議制御装置 |
JPH1174868A (ja) * | 1996-09-02 | 1999-03-16 | Toshiba Corp | 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置/復号化装置、並びに符号化・多重化装置/復号化・逆多重化装置 |
JPH10224797A (ja) * | 1997-02-04 | 1998-08-21 | Hitachi Ltd | 動きベクトル検出装置及びそれを用いた動画像符号化装置 |
JP3684525B2 (ja) * | 1998-02-19 | 2005-08-17 | 富士通株式会社 | 多画面合成方法及び多画面合成装置 |
JPH11239331A (ja) * | 1998-02-23 | 1999-08-31 | Kyocera Corp | 多地点通信システム |
JP3196753B2 (ja) * | 1999-01-29 | 2001-08-06 | 日本電気株式会社 | 画像表示方法及び画像表示装置 |
JP2001128132A (ja) * | 1999-10-28 | 2001-05-11 | Nippon Telegr & Teleph Corp <Ntt> | ビデオ会議システム、方法、およびその方法を記録した記録媒体 |
EP1126710A1 (en) * | 2000-02-15 | 2001-08-22 | Telefonaktiebolaget L M Ericsson (Publ) | A method and an apparatus for video mixing of bit streams |
US6711212B1 (en) * | 2000-09-22 | 2004-03-23 | Industrial Technology Research Institute | Video transcoder, video transcoding method, and video communication system and method using video transcoding with dynamic sub-window skipping |
US6920175B2 (en) * | 2001-01-03 | 2005-07-19 | Nokia Corporation | Video coding architecture and methods for using same |
KR100322485B1 (ko) * | 2001-07-05 | 2002-02-07 | 이동욱 | 다중채널 영상신호 부호화 장치 및 그 방법 |
US20040022202A1 (en) * | 2002-08-05 | 2004-02-05 | Chih-Lung Yang | Method and apparatus for continuously receiving images from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual images containing information concerning each of said video channels |
FR2828055B1 (fr) * | 2001-07-27 | 2003-11-28 | Thomson Licensing Sa | Procede et dispositif de codage d'une mosaique d'images |
US7020203B1 (en) * | 2001-12-21 | 2006-03-28 | Polycom, Inc. | Dynamic intra-coded macroblock refresh interval for video error concealment |
EP1670259A3 (en) * | 2002-01-23 | 2010-03-03 | Nokia Corporation | Grouping of image frames in video coding |
US8040949B2 (en) * | 2003-01-09 | 2011-10-18 | The Regents Of The University Of California | Video encoding methods and devices |
JP4544879B2 (ja) * | 2003-03-03 | 2010-09-15 | パナソニック株式会社 | 画像符号化方法、画像符号化装置及びプログラム |
CN1571508B (zh) * | 2003-07-19 | 2010-05-12 | 华为技术有限公司 | 一种实现多画面的方法 |
JP3804796B2 (ja) * | 2003-07-24 | 2006-08-02 | 沖電気工業株式会社 | 動画像符号化方法及び動画像復号方法 |
US7782940B2 (en) * | 2003-08-01 | 2010-08-24 | Polycom, Inc. | Methods for encoding or decoding in a videoconference system to reduce problems associated with noisy image acquisition |
JP3913726B2 (ja) * | 2003-10-30 | 2007-05-09 | 株式会社リコー | 多地点テレビ会議制御装置及び多地点テレビ会議システム |
US20050201471A1 (en) * | 2004-02-13 | 2005-09-15 | Nokia Corporation | Picture decoding method |
US7864209B2 (en) | 2005-04-28 | 2011-01-04 | Apple Inc. | Audio processing in a multi-participant conference |
US7899170B2 (en) | 2005-04-28 | 2011-03-01 | Apple Inc. | Multi-participant conference setup |
-
2006
- 2006-04-27 WO PCT/US2006/016169 patent/WO2006116659A2/en active Application Filing
- 2006-04-27 JP JP2008509154A patent/JP5103379B2/ja not_active Expired - Fee Related
- 2006-04-27 EP EP06758716A patent/EP1878229A4/en not_active Withdrawn
- 2006-04-27 EP EP08075236A patent/EP1936996A3/en not_active Ceased
-
2011
- 2011-12-01 JP JP2011264102A patent/JP5411244B2/ja active Active
-
2012
- 2012-04-04 JP JP2012085859A patent/JP2012178839A/ja active Pending
- 2012-04-04 JP JP2012085860A patent/JP5373144B2/ja not_active Expired - Fee Related
-
2013
- 2013-12-26 JP JP2013270022A patent/JP2014099880A/ja active Pending
-
2015
- 2015-02-13 JP JP2015026866A patent/JP6212064B2/ja active Active
- 2015-07-09 JP JP2015138031A patent/JP6231049B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62200994A (ja) * | 1986-02-28 | 1987-09-04 | Toshiba Corp | 動画通信システム |
JPH1066070A (ja) * | 1996-08-19 | 1998-03-06 | Nec Eng Ltd | 多地点通信を考慮したテレビ会議システム |
JPH11187372A (ja) * | 1997-12-22 | 1999-07-09 | Kyocera Corp | 多地点テレビ会議システム |
JPH11220709A (ja) * | 1998-01-30 | 1999-08-10 | Kyocera Corp | 多地点通信システム |
JP2004072741A (ja) * | 2002-07-10 | 2004-03-04 | Seiko Epson Corp | バックチャンネルビデオインタフェースによりコンテンツ及び引き渡しの制御が可能な多数参加者会議システム |
Non-Patent Citations (2)
Title |
---|
READER,CLIFF: "History of Video Compression (Draft)[online]", JOINT VIDEO TEAM (JVT) OF ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16 Q.6) JVT, JPN6014002618, 22 July 2002 (2002-07-22), pages 75, ISSN: 0003404541 * |
木全英明 他: "受信側主体のリアルタイムエラー耐性画像通信方式 −受信側メモリサイズに応じた適応的エラー波及防止方法", 電子情報通信学会論文誌B, vol. 82, no. 10, JPN6016036617, 25 October 1999 (1999-10-25), JP, pages 1819 - 1829, ISSN: 0003644119 * |
Also Published As
Publication number | Publication date |
---|---|
JP5373144B2 (ja) | 2013-12-18 |
JP6212064B2 (ja) | 2017-10-11 |
WO2006116659A2 (en) | 2006-11-02 |
JP2012178840A (ja) | 2012-09-13 |
JP2015133721A (ja) | 2015-07-23 |
JP2012105289A (ja) | 2012-05-31 |
JP2012178839A (ja) | 2012-09-13 |
EP1878229A2 (en) | 2008-01-16 |
JP5103379B2 (ja) | 2012-12-19 |
JP2008546224A (ja) | 2008-12-18 |
JP2014099880A (ja) | 2014-05-29 |
EP1936996A3 (en) | 2011-07-27 |
WO2006116659A3 (en) | 2008-12-24 |
JP5411244B2 (ja) | 2014-02-12 |
EP1878229A4 (en) | 2011-07-27 |
EP1936996A2 (en) | 2008-06-25 |
JP6231049B2 (ja) | 2017-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6231049B2 (ja) | 多人数参加型テレビ会議における映像処理 | |
US8520053B2 (en) | Video encoding in a video conference | |
US7817180B2 (en) | Video processing in a multi-participant video conference | |
JP6437096B2 (ja) | ビデオ合成 | |
US10666863B2 (en) | Adaptive panoramic video streaming using overlapping partitioned sections | |
EP3804349B1 (en) | Adaptive panoramic video streaming using composite pictures | |
JP2008546224A5 (ja) | ||
US20210360047A1 (en) | Video coding method and video decoding method | |
JP2011521570A5 (ja) | ||
KR20130092509A (ko) | 멀티-홉 rtp 스트림에서의 중요 패킷 손실 처리 시스템 및 방법 | |
US20220329883A1 (en) | Combining Video Streams in Composite Video Stream with Metadata | |
JP2011176827A (ja) | テレビ会議システムの処理方法、テレビ会議システム、プログラム及び記録媒体 | |
US20200260075A1 (en) | Systems and methods for group of pictures encoding | |
US7884882B2 (en) | Motion picture display device | |
US9706134B2 (en) | Efficient recording of transaction video | |
JP5760458B2 (ja) | Tv会議システム | |
KR19990070821A (ko) | 화상회의 시스템에서 참가자 4명까지의 비디오를 단일 비디오 스트림으로 변환하는 서버 | |
JP2005252898A (ja) | 符号化データの再構成プログラム | |
JP2000224594A (ja) | 画像表示方法及び画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160926 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20161222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171018 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6231049 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |