JP2010526506A

JP2010526506A - マルチポイントビデオ会議ユニット機能を提供するデバイス、方法及び媒体

Info

Publication number: JP2010526506A
Application number: JP2010507057A
Authority: JP
Inventors: ハゲンドルフピエール; ビエナーイエール; ドロンエリ
Original assignee: ラドヴィジョンリミテッド
Priority date: 2007-05-08
Filing date: 2008-05-06
Publication date: 2010-07-29
Anticipated expiration: 2028-05-06
Also published as: CN101731008B; US20080282165A1; JP5604617B2; EP2156664B1; CN101731008A; WO2008135999A1; US8208004B2; EP2156664A1

Abstract

マルチポイントビデオ会議ユニット機能を提供するデバイス、方法及び媒体が提供される。いくつかの実施例においては、マルチポイントビデオ会議ユニット機能を提供するデバイスは、複数のビデオ信号を受信するとともにＥＭＣＵエンドポイントからビジュアルレイアウトを受信する少なくとも１つの入力インターフェースの組み合わせと、前記複数のビデオ信号のサブセットを選択するプロセッサと、前記複数のビデオ信号のサブセットを前記ＥＭＣＵエンドポイントに送り、前記複数のビデオ信号のサブセットを内蔵する前記ビジュアルレイアウトをビデオ会議エンドポイントに送る少なくとも１つの出力インターフェースの組み合わせとを具える。

Description

本発明はマルチポイントビデオ会議ユニット（多地点ビデオ会議装置）機能を提供するデバイス、方法及び媒体に関する。

エンベデッドマルチポイント会議ユニット（ＥＭＣＵ：Embedded Multi-point Conferencing Unit）を備えたビデオ会議エンドポイント（ＥＭＣＵエンドポイントという）は、いくつかのビデオ会議エンドポイントにマルチポイントビデオ会議を提供することができる。小さなビデオ会議ネットワークを展開する組織は、必要とされるコストが比較的低いこと及びその展開が簡単であるために、ＥＭＣＵエンドポイントを選択する傾向にある。例えば、１つ以上のＥＭＣＵエンドポイントは（例えば多大な費用をかけずに）直ちに購入することができ、ビデオ会議ネットワークを構築する初期段階において容易に展開することができる。

しかし、ビデオ会議ネットワークが成長するにつれて、ＥＭＣＵエンドポイントは媒体及び／又は大規模ビデオ会議ネットワークを展開するために必要とされるスケーラビリティ及びキャパシティを提供できなくなる。例えば、ＥＭＣＵエンドポイントは、ＥＭＣＵエンドポイントがビデオ会議においてサポートできるビデオ会議エンドポイントの数に制限がある。ＥＭＣＵエンドポイントがサポートできるビデオストリームレイアウトの数及び異なるビットレートの数も制限される。

このような欠点を解決するためにこれまでいくつかの解決策が提案されている。例えば、既存のＥＭＣＵエンドポイントを含むことができるネットワークベースマルチポイント会議システムが提案されている。しかし、このような会議システムはさらに多くの費用を要する。その上、このような提案システムは既存のＥＭＣＵエンドポイントの能力を利用しきっていない。例えば、先に提案された会議システムは、ＥＭＣＵエンドポイントが実行するように設計されたビデオ処理等の機能を十分に利用しておらず、既存のＥＭＣＵエンドポイントをビデオ会議エンドポイントの限られた役割に追いやっている。

いくつかの実施例においては、マルチポイント会議ユニット機能を提供するデバイスは、複数のオーディオ信号を受信するとともにＥＭＣＵエンドポイントから分離されたＥＭＣＵエンドポイントユーザオーディオ信号を受信する少なくとも１つの入力インターフェースの組み合わせと、前記複数のオーディオ信号のサブセットを選択し、前記複数のオーディオ信号のサブセットを混合して混合オーディオ信号を生成するプロセッサと、前記混合オーディオ信号を前記ＥＭＣＵエンドポイントに送る少なくとも１つの出力インターフェースの組み合わせとを具える。

いくつかの実施例においては、マルチポイントビデオ会議ユニット機能を提供する方法が提供される。これらの方法は、複数のビデオ信号を受信するステップ、ＥＭＣＵエンドポイントからビジュアルレイアウトを受信するステップ、前記複数のビデオ信号のサブセットを選択するステップ、前記複数のビデオ信号のサブセットを前記ＥＭＣＵエンドポイントに送るステップ、及び前記複数のビデオ信号のサブセットを内蔵する前記ビジュアルレイアウトをビデオ会議エンドポイントに送るステップを具える。

いくつかの実施例においては、マルチポイントビデオ会議ユニット機能を提供する方法が提供される。これらの方法は、複数のオーディオ信号を受信するステップ、ＥＭＣＵエンドポイントから分離されたＥＭＣＵエンドポイントユーザオーディオ信号を受信するステップ、前記複数のオーディオ信号のサブセットを選択するステップ、前記複数のオーディオ信号のサブセットを混合して混合オーディオ信号を生成するステップ、及び前記混合オーディオ信号を前記ＥＭＣＵエンドポイントに送るステップを具える。

いくつかの実施例においては、プロセッサにより実行されたとき、該プロセッサにマルチポイントビデオ会議ユニット機能を提供する方法を実行させるコンピュータ読み取り可能な命令を含むコンピュータ読み取り可能な媒体が提供される。前記方法は、複数のビデオ信号を受信するステップ、ＥＭＣＵエンドポイントからビジュアルレイアウトを受信するステップ、前記複数のビデオ信号のサブセットを選択するステップ、前記複数のビデオ信号のサブセットを前記ＥＭＣＵエンドポイントに送るステップ、及び前記複数のビデオ信号のサブセットを内蔵する前記ビジュアルレイアウトをビデオ会議エンドポイントに送るステップを具える。

いくつかの実施例においては、プロセッサにより実行されたとき、該プロセッサにマルチポイントビデオ会議ユニット機能を提供する方法を実行させるコンピュータ読み取り可能な命令を含むコンピュータ読み取り可能な媒体が提供される。前記方法は、複数のオーディオ信号を受信するステップ、ＥＭＣＵエンドポイントから分離されたＥＭＣＵエンドポイントユーザオーディオ信号を受信するステップ、前記複数のオーディオ信号のサブセットを選択するステップ、前記複数のオーディオ信号のサブセットを混合して混合オーディオ信号を生成するステップ、及び前記混合オーディオ信号を前記ＥＭＣＵエンドポイントに送るステップを具える。

図１は本発明のいくつかの実施例による、ネットワークＭＣＵ及び１つ以上のＥＭＣＵエンドポイントを用いるマルチポイントビデオ会議提供システムの概略図である。図２は本発明のいくつかの実施例による、ネットワークＭＣＵとＥＭＣＵエンドポイントとの間の一組の通信チャネル及びネットワークＭＣＵとビデオ会議エンドポイントとの間の一組の通信ネットワークの説明図である。図３Ａ−Ｂは本発明のいくつかの実施例による、マルチポイントビデオ会議提供方法を示す図である。図４Ａ−Ｂは本発明のいくつかの実施例による、ＥＭＣＵエンドポイント及び／又はビデオ会議エンドポイントのスクリーン上に表示されるビジュアルレイアウトの説明図である。

マルチポイントビデオ会議ユニット機能を提供するデバイス、方法及び媒体が提供される。本発明のいくつかの実施の形態においては、１つ以上のＥＭＣＵエンドポイントの処理能力を活用することによってマルチポイントビデオ会議ユニット機能を提供するデバイス、方法及び媒体が提供される。ＥＭＣＵエンドポイントを制御するためにネットワークＭＣＵを使用することがえきる。例えば、ＥＭＣＵエンドポイントの各々はネットワークＭＣＵを介してビデオ会議エンドポイント及び／又は他のＥＭＣＵエンドポイントと通信することができる。ネットワークＭＣＵはビデオ会議エンドポイント及びＥＭＣＵエンドポイントからのビデオストリームに対してスイッチングサービスを提供することができ、且つビデオ会議エンドポイントからのオーディオストリームに対してスイッチングサービスを提供することができる。ＥＭＣＵエンドポイントはビデオストリームを処理し、ビデオ会議エンドポイントのためにビジュアルレイアウトを生成し、これらのビジュアルレイアウトを他のエンドポイントに分配するためにネットワークＭＣＵに供給することができる。

図１及び図２を一緒に参照してマルチポイントビデオ会議を提供するシステム１００を説明する。

図１は、いくつかの実施例による、ネットワークＭＣＵ及び１つ以上のＥＭＣＵエンドポイントを用いるマルチポイントビデオ会議提供システム１００の概略図である。図に示されるように、システム１００は、ネットワークＭＣＵ１０２、ネットワーク１０４、１つ以上のＥＭＣＵエンドポイント１０６、１つ以上のビデオ会議エンドポイント１０８、一組のＥＭＣＵエンドポイントコール（呼接続）１１０及び一組のビデオ会議エンドポイントコール（呼接続）１１２を含む。

ネットワークＭＣＵ１０２はプログラム、例えばアプリケーションソフトウェア、ライブラリファンクション及び／又はプロシージャのインスタンス、１つ以上のバックグラウンドデーモンプロセス、実行可能なスレッドの１つ以上のインスタンス、及び／又は種々の他の適切なソフトウェアピースとすることができる。ネットワークＭＣＵ１０２は、このようなプログラムを実行できる１つ以上のプロセッサ、例えば汎用コンピュータ、特殊目的のコンピュータ、ディジタルプロセッシングデバイス、サーバ及び／又は種々の他の適切なデバイスとすることもできる。

ネットワーク１０４は、マルチポイントビデオ会議システムを実施できるローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、無線ネットワーク、ケーブルネットワーク、電話ネットワーク、インターネット及び／又は種々の他の適切なネットワークとすることができる。

ＥＭＣＵエンドポイント１０６は、ＥＭＣＵを具えたビデオ会議エンドポイントとすることができる。例えば、このようなＥＭＣＵエンドポイントのいくつかは、ビデオ会議エンドポイント製造業者、例えばＰＯＬＹＣＯＭ（登録商標）、ＴＡＮＤＢＥＲＧ（登録商標）、ＳＯＮＹ（登録商標）、ＬＩＦＥＳＩＺＥ（登録商標）、ＡＥＴＨＲＡ（登録商標）及び／又は種々の他の適切な製造業者により製造されている。いくつかの実施例では、ネットワークＭＣＵ１０２と同様に、ＥＭＣＵエンドポイント１０６はプログラム又はプログラム実行デバイスとすることができる。

ビデオ会議エンドポイント１０８はビデオ会議エンドポイントを提供する任意の適切なデバイスとすることができる。例えば、このデバイスは、ビデオ会議に参加するために用いることができる専用のエンドポイントデバイス、適切なソフトウェアを実行するパーソナルコンピュータ、電話、携帯電話、形態情報端末（ＰＤＡ）、ｅメールデバイス及び／又は種々の他の適切なデバイスとすることができる。いくつかの実施例では、ビデオ会議に参加するために必要な機能はビデオ会議エンドポイント１０８に組み込まれる。いくつかの実施例では、ビデオ会議エンドポイント１０８は、このような機能を提供し得る周辺装置とインターフェースすることによってこれらの機能のいくつかを付加することができる。例えば、いくつかのこのようなビデオ会議エンドポイントは、ビデオ会議エンドポイント製造業者、例えばＰＯＬＹＣＯＭ（登録商標）、ＴＡＮＤＢＥＲＧ（登録商標）、ＳＯＮＹ（登録商標）、ＬＩＦＥＳＩＺＥ（登録商標）、ＡＥＴＨＲＡ（登録商標）及び／又は種々の他の適切な製造業者により製造されている。

図２は、ネットワークＭＣＵ１０２とＥＭＣＵエンドポイント１０６との間の一組のコール１１０及びネットワークＭＣＵ１０２とビデオ会議エンドポイント１０８との間の一組のコール１１２を示す。コール１１０及び１１２はネットワークＭＣＵ１０２とＥＭＣＵエンドポイント１０６及びビデオ会議エンドポイント１０８のそれぞれとの間の任意の論理接続とすることができる。例えば、コール１１０及び１１２はダイアルアップ電話コール、ＴＣＰ／ＩＰ接続（例えばインターネット経由）等で実施することができる。

ＥＭＣＵエンドポイントコール１１０は、ビデオチャネル１１１Ａ及び１１１Ｂと、オーディオチャネル１１１Ｃ及び１１１Ｄと、制御チャネル１１１Ｅとを含むことができる。ビデオチャネル１１１Ａ及び１１１Ｂは、ＥＭＣＵエンドポイント１０６への１つ以上の出ビデオチャネル１１１Ａと、ＥＭＣＵエンドポイント１０６からの１つ以上の入ビデオチャネル１１１Ｂとを含むことができる。

同様に、オーディオチャネル１１１Ｃ及び１１１Ｄは、ＥＭＣＵエンドポイント１０６への１つ以上の出オーディオチャネル１１１Ｃと、ＥＭＣＵエンドポイント１０６からの１つ以上の入オーディオチャネル１１１Ｄとを含むことができる。

制御チャネル１１１ＥはネットワークＭＣＵ１０２とＥＭＣＵエンドポイント１０６との間での制御コマンドの送信及び受信に使用することができる。

ビデオ会議エンドポイントコール１１２は、ビデオチャネル１１３Ａ及び１１３Ｂと、オーディオチャネル１１３Ｃ及び１１３Ｄと、制御チャネル１１３Ｅとを含むことができる。ビデオチャネル１１３Ａ及び１１３Ｂは、ビデオ会議エンドポイント１０８への１つ以上の出ビデオチャネル１１３Ｂと、ＥＭＣＵエンドポイント１０６からの１つ以上の入ビデオチャネル１１３Ａとを含むことができる。

同様に、オーディオチャネル１１３Ｃ及び１１３Ｄは、ビデオ会議エンドポイント１０８への１つ以上の出オーディオチャネル１１３Ｄと、ビデオ会議エンドポイント１０８からの１つ以上の入オーディオチャネル１１３Ｃとを含むことができる。

制御チャネル１１３ＥはネットワークＭＣＵ１０２とビデオ会議エンドポイント１０８との間での制御コマンドの送信及び受信に使用することができる。

コール１１０及び１１２は、出席情報チャネル、データチャネル、遠端カメラ制御チャネル及び種々の他の標準及び／又は専用チャネルを含むこともできる。

ＭＣＵ１０２とＥＭＣＵエンドポイント１０６との間に３つのコール１１０を示すが、任意の適切な数のコールを使用することができる。同様に、ＭＣＵ１０２とビデオ会議エンドポイント１０８との間に３つのコール１１２を示すが、任意の数のコール１１２を使用することができる。

マルチポイントビデオ会議を提供する方法３００を説明するために、図２、図３Ａ−Ｂ及び図４Ａ−Ｂを一緒に参照する。

図３Ａ−Ｂは、いくつかの実施例による、マルチポイントビデオ会議提供方法３００を示す。図３Ａは、いくつかの実施例による、ＥＭＣＵエンドポイント１０６及びビデオ会議エンドポイント１０８によって実行できる一組の代表的な機能を示す。図３Ｂは、いくつかの実施例による、ＭＣＵ１０２及びＥＭＣＵエンドポイント１０６によって実行できる一組の代表的な機能を示す。

ステップ３０２において、マルチポイントビデオ会議のための接続を確立する要求が行われる。ユーザはビデオ会議エンドポイント１０８又はＥＭＣＵエンドポイント１０６を用いてこのような要求を行うことができる。

ステップ３０４において、要求されたマルチポイントビデオ会議のために１つ以上の接続が確立される。いくつかの実施例では、ネットワークＭＣＵ１０２が接続を確立する。いくつかの実施例では、この接続はＥＭＣＵエンドポイントコール１１０とビデオ会議エンドポイントコール１１２を含む。いくつかの実施例では、これらのコールはマルチポイントビデオ会議中にいつでもダイナミックに確立及び／又は終了される。

ステップ３０６において、コールを介して確立された接続を経てデータストリームを送信する。データストリームは、ビデオストリーム、オーディオストリーム、ホワイトボードを示すストリーム及び／又は種々の他の適切なタイプのデータストリームを含むことができる。例えば、ユーザがビデオ会議エンドポイント１０８又はＥＭＣＵエンドポイント１０６を用いてビデオ会議への参加を開始すると、ビデオストリームが生成され、送信することができ、ビデオストリームはビデオフレームを含むものとし得る。ユーザが話し始めると、オーディオストリームが生成され、送信することができる。

ステップ３０８において、データストリームが受信される。いくつかの実施例では、例えばネットワークＭＣＵ１０２は最初にビデオ会議エンドポイント１０８からデータストリームをチャネル１１３Ａ及び１１３Ｃを経て受信する。

いくつかの実施例では、ネットワークＭＣＵ１０２はデータストリームを制御するためにエンドポイント１０８及び／又はＥＭＣＵエンドポイント１０６にフロー制御コマンドを送信する。例えば、ネットワークＭＣＵ１０２はエンドポイント１０８及び１０６に、ビデオ帯域幅を５１２kbps又は任意の他の適切なビットレートに低減するように命令することができる。

ステップ３１０において、３０８で受信したデータストリームを処理する。データストリームの処理は、符号化、復号化、混合、選択、スイッチング及び種々の他の適切な処理を含むことができる。いくつかの実施例では、ネットワークＭＣＵ１０２が受信データストリームを処理する。いくつかの実施例では、ＥＭＣＵエンドポイント１０６が受信データストリームを処理する。いくつかの実施例では、ネットワークＭＣＵ１０２とＥＭＣＵエンドポイント１０６がデータストリーム処理タスクをシェアする。例えば、ネットワークＭＣＵ１０２はオーディオストリームの復号、混合、選択及び／又はスイッチングとビデオストリームの選択及びスイッチングを行い、ＥＭＣＵエンドポイント１０６はビデオストリームの復号、符号化及び／又は混合を行うようにすることができる。いくつかの実施例では、別の例として、ネットワークＭＣＵ１０２はビデオストリームの復号化、符号化及び／又は混合を行うようにすることもできる。

オーディオストリームの選択は１つ以上のファクタに基づいて行うことができる。いくつかの実施例では、例えばこの選択は、ネットワークＭＣＵ１０２により、どのユーザが現在最も大声で話しているかに基づいて行われ、このユーザのみが会議オーディオに含められる。いくつかの実施例では、例えば最も大声で話している複数のユーザが会議オーディオに含められる。いくつかの実施例では、会議ビデオに選択されたユーザが会議オーディオにも選択される。いくつかの実施例では、オーディオストリームはユーザ入力に基づいて選択することができる。オーディオの選択には任意の他の適切な基準を用いることができる。

選択されたオーディオはネットワークＭＣＵ１０２により混合し、エンドポイント１０８及び１０６に分配することができる。各エンドポイント１０８に供給されるオーディオは、当該エンドポイントのユーザのオーディオを含まない、ビジュアルレイアウトに提示されている１以上のユーザからのオーディオの混合とすることができる。

ビデオストリームの選択は１つ以上のファクタに基づいて行うことができる。いくつかの実施例では、例えばこの選択は、どのユーザが最も直前に話したかに基づいて行われる。いくつかの実施例では、この選択は、各ユーザがビデオ会議に参加した順序に基づいて行われる。いくつかの実施例では、この選択は、各ユーザがどのタイプのエンドポイントデバイスを使用しているかに基づいて部分的に行われる。例えば、ビジュアルレイアウトを生成するＥＭＣＵエンドポイントを用いてビデオ会議に参加しているユーザは常にビジュアルレイアウトの一部分とすることができる。いくつかの実施例では、この選択は、話しているどのユーザのビデオも常にビジュアルレイアウトを生成する所定のＥＭＣＵエンドポイント１０８に供給されるように行うことができる。いくつかの実施例では、ビデオストリームの選択はユーザ入力に基づいて行うことができる。ビデオの選択には任意の他の適切な基準を用いることもできる。

ステップ３１２において、３１０で処理されたデータストリームを用いてビジュアルレイアウトを生成することができる。ビジュアルレイアウトの例が図４Ａ及び図４Ｂに示されている。いくつかの実施例では、ネットワークＭＣＵ１０２は一つのＥＭＣＵエンドポイント１０６に接続され、このＥＭＣＵエンドポイントによりビジュアルレイアウト４０２Ａが生成される。複数のＥＭＣＵエンドポイント１０６がネットワークＭＣＵ１０２に接続されると、各エンドポイントは他のＥＭＣＵエンドポイント１０６により生成されるビジュアルレイアウトと同一もしくは異なるビジュアルレイアウトを生成することができる。いくつかの実施例では、ビデオストリームの各フレームごとに新しいビジュアルレイアウトを生成することができる。

いくつかの実施例では、ＥＭＣＵエンドポイント１０６を用いてビデオ会議に参加するユーザ又はネットワークＭＣＵ１０２は、ユーザが見るビジュアルレイアウトをカスタマイズすることができる。例えば、当該ユーザは他の指定したユーザのみを見るように選択することができる。このような場合には、コマンドをネットワークＭＣＵに送り、対応するビデオ信号をＥＭＣＵエンドポイントに供給するように命令することができる。このコマンドは、例えばＥＭＣＵからネットワークＭＣＵへのインターフェース、ネットワークＭＣＵと関連してホスティングされた（例えば）ウェブページ上のインターフェース、ユーザにより入力されネットワークＭＣＵにより受信されるＤＴＭＦコマンド、ユーザにより入力されネットワークＭＣＵにより認識される音声コマンド等のような任意の適切なメカニズムを用いて送ることができる。この場合、カスタマイズされたビジュアルレイアウトを有するＥＭＣＵエンドポイント１０６は、その出力ビデオとして、そのディスプレイに提示されているビデオ及び／又は当該ＥＭＣＵエンドポイントにおけるユーザのビデオをネットワークＭＣＵ１０２に送ることができる。

ステップ３１４において、３１２で生成されたビジュアルレイアウトは３１０で選択され混合された任意のオーディオストリームと一緒に分配される。例えば、ネットワークＭＣＵ１０２は、入ビデオチャネル１１１Ｂを経てビジュアルレイアウトを受信し、ビジュアルレイアウト及びオーディオを出ビデオ及びオーディオチャネル１１３Ｂ及び１１３Ｄを経てユーザＡ及びＤ−Ｇ又はユーザＡ，Ｃ−Ｄ及びＦ−Ｇにそれぞれ分配することができる。

いくつかの実施例では、エンドポイント１０８のユーザは、ネットワークＭＣＵ１０２により受信される任意のビジュアルレイアウト又はユーザビデオ（例えばエンドポイント１０８又は１０６により当該エンドポイントのユーザのために生成されたビデオ）を見るように選択することができる。このような場合には、ユーザはそれらのエンドポイント１０８から適切な制御信号を（例えば、エンドポイント１０８とネットワークＭＣＵ１０２との間のインターフェース、ウェブページ、ＤＴＭＦコマンド又は音声コマンド等を用いて）を送信して、ネットワークＭＣＵ１０２に、適切なビジュアルレイアウト又はユーザビデオを送信するように命令することができる。

ステップ３１６において、３１２で生成されたビジュアルレイアウトが付随オーディオストリームと一緒に受信される。いくつかの実施例では、例えば、ビデオ会議エンドポイント１０８はチャネル１１３Ｂ及び１１３Ｄを経てビジュアルレイアウト及び付随オーディオストリームを受信することができる。ステップ３１８において、ビジュアルレイアウトが表示され、付随オーディオストリームが再生される。

その後、ステップ３１０〜３１８がストリームの各部分、例えばフレームごとに繰り返され、ステップ３０６〜３１８が次のストリームに対して繰り返されること明らかであろう。

図４Ａ−Ｂを参照してステップ３１２〜３１８を説明する。図４Ａ−Ｂは、いくつかの実施例においてＥＭＣＵエンドポイント１０６及び／又はビデオ会議エンドポイント１０８のスクリーン上に表示できるビジュアルレイアウト、例えば４０２Ａ及び４０２Ｂの説明図である。ビジュアルレイアウト４００は１つ以上の独立の表示領域４０４及び４０６を含むことができる。

これらのレイアウトの理解を助けるために、例えば、ネットワークＭＣＵ１０２はビデオ会議に参加している７人の異なるユーザＡ−Ｇから７つのビデオストリーム及び７つのオーディオストリームを受信していると仮定する。更に、ユーザＢはＥＭＣＵエンドポイント１０６を用いてビデオ会議に参加し、ユーザＡ及びＣ−Ｇはビデオ会議エンドポイント１０８を用いてビデオ会議に参加していると仮定する。最初に、ユーザＡが話しており、その間他のユーザはユーザＡの話を聞いている。

ネットワークＭＣＵ１０２は、ユーザＡ及びＣ−Ｇにより対応するコール１１２のビデオチャネル１１３Ａで送信されるビデオストリームを受信する。このとき、ネットワークＭＣＵ１０２は１つ以上のビデオストリームを選択し、選択したビデオストリームをＥＭＣＵエンドポイント１０６へ送る。例えば、ネットワークＭＣＵ１０２は、図４Ａに示すように、３つのビデオストリームＡ，Ｃ及びＤを選択し、これらのビデオストリームを３つのそれぞれのコール１１０の出ビデオチャネル１１１Ａを経てＥＭＣＵエンドポイント１０６へ送る。このとき、ＥＭＣＵエンドポイント１０６はビデオストリームを復号し、選択されたビデオストリームをユーザＢにより生成されたビデオストリームと混合してビジュアルレイアウト４０２Ａを生成し、ビジュアルレイアウト４０２Ａを１つ以上のコール１１０の入ビデオチャネル１１１Ｂを経てネットワークＭＣＵ１０２に送り返す。次に、ネットワークＭＣＵ１０２はビジュアルレイアウト４０２Ａを対応するコール１１２の出ビデオチャネル１１３Ｂを経てビデオ会議エンドポイント１０８へ分配することができる。

ネットワークＭＣＵ１０２は、１人以上のユーザからのオーディオストリームを混合し、混合したオーディオをユーザへの提示のためにエンドポイント１０６及び１０８へ送ることもできる。例えば、エンドポイント１０８のユーザ（例えばユーザＡ）が話していると決定され、ネットワークＭＣＵが話しているユーザの声のみを提示するように構成されている場合、当該ユーザのオーディオを選択し、随意に混合し、エンドポイント１０６及び１０８の各々に分配することができる。

ＥＭＣＵエンドポイント１０６に供給されるオーディオストリームは種々の方法で供給することができる。例えば、ユーザＡ，Ｃ及びＤの各々からのオーディオを選択し、一緒に混合することができる。その後、混合されたオーディオを１つのコール１１０の出オーディオチャネル１１１Ｃを経てＥＭＣＵエンドポイント１０６へ送ることができる。代案として、ユーザＡ，Ｃ及びＤのオーディオは、これらのオーディオストリームのいくつか（例えば、ユーザＡ及びＣのオーディオストリーム）を一緒に混合し、１つのコール１１０の出オーディオチャネル１１１ＣでＥＭＣＵエンドポイント１０６へ送り、１つ以上のオーディオストリーム（例えば、ユーザＤのオーディオストリーム）の各々は別々にしておき、コール１１０の各自のチャネル１１１ＣでＥＭＣＵエンドポイント１０６へ送るようにすることもできる。更に他の代案として、オーディオストリームの各々を、他のオーディオストリームから分離して、コール１１０の各自の出オーディオチャネル１１１Ｃで送ることができる。いくつかの実施例においては、２つ以上のオーディオストリームが一緒に混合され、単一のオーディオチャネルで送られるとき、ＥＭＣＵエンドポイント１０６へのオーディオチャネル１１１Ｃのいくつかを不要にすることができ、従ってこれらのチャネルを省略し、無信号状態又は強く減衰又はミュートされた信号状態に確立することができる。

ＥＭＣＵエンドポイントのユーザのオーディオを分離するためにネットワークＭＣＵにおいて適切な処理が必要とされる。例えば、いくつかの実施例では、ＥＭＣＵエンドポイントに供給されるすべてのオーディオストリーム（例えば、ユーザＡ，Ｃ及びＤのオーディオストリーム）が一緒に混合され、単一のオーディオチャネル１１１Ｃで送られるとき、ＥＭＣＵエンドポイントはＥＭＣＵエンドポイントのユーザ（例えばユーザＢ）のオーディオを単一のオーディオチャネル１１１Ｃと同じコール１１０の入オーディオチャネル１１１ＤでネットワークＭＣＵへ送り返す。この例では、この処理は、ユーザＡ，Ｃ及びＤのオーディオストリームを、これらのストリームがＥＭＣＵエンドポイントに送られる前に、混合することによって実行される。別の例として、ＥＭＣＵエンドポイントが、１人以上の他のユーザ（例えば、ユーザＤ）と混合された当該エンドポイントのユーザ（例えばユーザＢ）のオーディオをネットワークＭＣＵに送り返す場合、ネットワークＭＣＵはこれらの他のユーザのオーディオを差し引いてユーザＢのオーディオを得る必要がある。ＥＭＣＵエンドポイントのユーザのオーディオが分離されたら、このオーディオをネットワークＭＣＵ１０２によって任意のエンドポイント１０８のオーディオと同様に選択し混合することができる。

いくつかの実施例では、ネットワークＭＣＵ１０２は２つ以上のＥＭＣＵエンドポイント１０６に接続される。例えば、ユーザＢ及びＥが異なるＥＭＣＵエンドポイント１０６を用いてビデオ会議に参加しているとする。いくつかの実施例では、ネットワークＭＣＵ１０２はユーザＢのＥＭＣＵエンドポイント１０６からビジュアルレイアウト４０２Ａを受信し、それをその出ビデオチャネルの一つでユーザＥのＥＭＣＵエンドポイント１０６へ、ネットワークＭＣＵ１０２が選択した２つの他のビデオストリーム（例えば、図に示されるようにユーザＦ及びＧのビデオストリーム）と一緒に供給する。この場合、ユーザＥのＥＭＣＵエンドポイント１０６は、ビジュアルレイアウト４０２Ａと例えばユーザＦ及びＧの２つの他のビデオストリームを用いて、図４Ｂに示されるような異なるビジュアルレイアウト４０２Ｂを生成することができる。その後、ネットワークＭＣＵ１０２はビジュアルレイアウト４０２ＢをユーザＡ，Ｃ−Ｄ及びＦ−Ｇのすべて又はいくつかに分配することができる。

本発明を以上の例示的実施例について記載し説明したが、この開示は一例にすぎず、本発明の実施に当たっては、本発明の精神及び範囲内において多くの細部の変更が可能であり、本発明の精神及び範囲は後記の特許請求の範囲によってのみ限定される。開示の実施例の特徴は種々に組み合わせ、再編成することができる。

Claims

複数のビデオ信号を受信するとともにＥＭＣＵエンドポイントからビジュアルレイアウトを受信する少なくとも１つの入力インターフェースの組み合わせと、前記複数のビデオ信号のサブセットを選択するプロセッサと、前記複数のビデオ信号のサブセットを前記ＥＭＣＵエンドポイントに送り、前記複数のビデオ信号のサブセットを内蔵する前記ビジュアルレイアウトをビデオ会議エンドポイントに送る少なくとも１つの出力インターフェースの組み合わせとを具える、マルチポイントビデオ会議ユニット機能を提供するデバイス。
前記少なくとも１つの入力インターフェースの組み合わせは複数のオーディオ信号も受信するとともに、ＥＭＣＵエンドポイントから分離されたＥＭＣＵエンドポイントユーザオーディオ信号も受信し、前記プロセッサは前記複数のオーディオ信号のサブセットを選択し、前記複数のオーディオ信号のサブセットを混合して混合オーディオ信号を生成し、前記少なくとも１つの出力インターフェースの組み合わせは前記混合オーディオ信号を前記ＥＭＣＵエンドポイントに送る、請求項１記載のデバイス。
前記少なくとも１つの出力インターフェースの組み合わせはミュートされたオーディオ信号も前記ＥＭＣＵエンドポイントに送る、請求項２記載のデバイス。
前記少なくとも１つの出力インターフェースの組み合わせは、オーディオ信号のないＥＭＣＵエンドポイントに対してオーディオチャネルを維持する、請求項２記載のデバイス。
前記ＥＭＣＵエンドポイントに供給される唯一のオーディオ信号は前記混合オーディオ信号である、請求項２記載のデバイス。
前記複数のビデオ信号の一つは、第２のＥＭＣＵエンドポイントから受信される第２のビジュアルレイアウトであり、前記プロセッサは前記第２のビジュアルレイアウトを前記複数のビデオ信号のサブセットの一部分として選択する、請求項１記載のデバイス。
前記複数のビデオ信号のすべてがビデオ会議エンドポイントから受信される、請求項１記載のデバイス。
複数のオーディオ信号を受信するとともにＥＭＣＵエンドポイントから分離されたＥＭＣＵエンドポイントユーザオーディオ信号を受信する少なくとも１つの入力インターフェースの組み合わせと、前記複数のオーディオ信号のサブセットを選択し、前記複数のオーディオ信号のサブセットを混合して混合オーディオ信号を生成するプロセッサと、前記混合オーディオ信号を前記ＥＭＣＵエンドポイントに送る少なくとも１つの出力インターフェースの組み合わせとを具える、マルチポイント会議ユニット機能を提供するデバイス。
前記少なくとも１つの出力インターフェースの組み合わせはミュートされたオーディオ信号も前記ＥＭＣＵエンドポイントに送る、請求項８記載のデバイス。
前記少なくとも１つの出力インターフェースの組み合わせは、オーディオ信号のないＥＭＣＵエンドポイントに対してオーディオチャネルを維持する、請求項８記載のデバイス。
前記ＥＭＣＵエンドポイントに供給される唯一のオーディオ信号は前記混合オーディオ信号である、請求項８記載のデバイス。
複数のビデオ信号を受信するステップ、
ＥＭＣＵエンドポイントからビジュアルレイアウトを受信するステップ、
前記複数のビデオ信号のサブセットを選択するステップ、
前記複数のビデオ信号のサブセットを前記ＥＭＣＵエンドポイントに送るステップ、及び
前記複数のビデオ信号のサブセットを内蔵する前記ビジュアルレイアウトをビデオ会議エンドポイントに送るステップ、
を具える、マルチポイント会議ユニット機能を提供する方法。
複数のオーディオ信号を受信するステップ、
ＥＭＣＵエンドポイントから分離されたＥＭＣＵエンドポイントユーザオーディオ信号を受信するステップ、
前記複数のオーディオ信号のサブセットを選択するステップ、
前記複数のオーディオ信号のサブセットを混合して混合オーディオ信号を生成するステップ、及び
前記混合オーディオ信号を前記ＥＭＣＵエンドポイントに送るステップ、
を更に具える、請求項１２記載の方法。
ミュートされたオーディオ信号を前記ＥＭＣＵエンドポイントに送るステップを更に具える、請求項１３記載の方法。
オーディオチャネルをオーディオ信号のないＥＭＣＵエンドポイントに対して維持するステップを更に具える、請求項１３記載の方法。
前記ＥＭＣＵエンドポイントに供給される唯一のオーディオ信号は前記混合オーディオ信号である、請求項１３記載の方法。
前記複数のビデオ信号の一つは、第２のＥＭＣＵエンドポイントから受信される第２のビジュアルレイアウトであり、前記第２のビジュアルレイアウトが前記複数のビデオ信号のサブセットの一部分として選択される、請求項１２記載のデバイス。
前記複数のビデオ信号のすべてがビデオ会議エンドポイントから受信される、請求項１２記載の方法。
複数のオーディオ信号を受信するステップ、
ＥＭＣＵエンドポイントから分離されたＥＭＣＵエンドポイントユーザオーディオ信号を受信するステップ、
前記複数のオーディオ信号のサブセットを選択するステップ、
前記複数のオーディオ信号のサブセットを混合して混合オーディオ信号を生成するステップ、及び
前記混合オーディオ信号を前記ＥＭＣＵエンドポイントに送るステップ、
を具える、マルチポイント会議ユニット機能を提供する方法。
ミュートされたオーディオ信号を前記ＥＭＣＵエンドポイントに送るステップを更に具える、請求項１９記載の方法。
オーディオチャネルをオーディオ信号のないＥＭＣＵエンドポイントに対して維持するステップを更に具える、請求項１９記載の方法。
前記ＥＭＣＵエンドポイントに供給される唯一のオーディオ信号は前記混合オーディオ信号である、請求項１９記載の方法。
プロセッサにより実行されたとき、
複数のビデオ信号を受信するステップ、
ＥＭＣＵエンドポイントからビジュアルレイアウトを受信するステップ、
前記複数のビデオ信号のサブセットを選択するステップ、
前記複数のビデオ信号のサブセットを前記ＥＭＣＵエンドポイントに送るステップ、及び
前記複数のビデオ信号のサブセットを内蔵する前記ビジュアルレイアウトをビデオ会議エンドポイントに送るステップ、
を具えるマルチポイント会議ユニット機能を提供する方法を、前記プロセッサに実行させるコンピュータ読み取り可能な命令を含むコンピュータ読み取り可能な媒体。
前記方法は、
複数のオーディオ信号を受信するステップ、
ＥＭＣＵエンドポイントから分離されたＥＭＣＵエンドポイントユーザオーディオ信号を受信するステップ、
前記複数のオーディオ信号のサブセットを選択するステップ、
前記複数のオーディオ信号のサブセットを混合して混合オーディオ信号を生成するステップ、及び
前記混合オーディオ信号を前記ＥＭＣＵエンドポイントに送るステップ、
を更に具える、請求項２３記載の媒体。
前記方法は、ミュートされたオーディオ信号を前記ＥＭＣＵエンドポイントに送るステップを更に具える、請求項２４記載の媒体。
前記方法は、オーディオチャネルをオーディオ信号のないＥＭＣＵエンドポイントに対して維持するステップを更に具える、請求項２４記載の媒体。
前記ＥＭＣＵエンドポイントに供給される唯一のオーディオ信号は前記混合オーディオ信号である、請求項２４記載の媒体。
前記複数のビデオ信号の一つは、第２のＥＭＣＵエンドポイントから受信される第２のビジュアルレイアウトであり、前記第２のビジュアルレイアウトが前記複数のビデオ信号のサブセットの一部分として選択される、請求項２３記載の媒体。
前記複数のビデオ信号のすべてがビデオ会議エンドポイントから受信される、請求項２３記載の媒体。
プロセッサにより実行されたとき、
複数のオーディオ信号を受信するステップ、
ＥＭＣＵエンドポイントから分離されたＥＭＣＵエンドポイントユーザオーディオ信号を受信するステップ、
前記複数のオーディオ信号のサブセットを選択するステップ、
前記複数のオーディオ信号のサブセットを混合して混合オーディオ信号を生成するステップ、及び
前記混合オーディオ信号を前記ＥＭＣＵエンドポイントに送るステップ、
を具えるマルチポイント会議ユニット機能を提供する方法を、前記プロセッサに実行させるコンピュータ読み取り可能な命令を含むコンピュータ読み取り可能な媒体。
前記方法は、ミュートされたオーディオ信号を前記ＥＭＣＵエンドポイントに送るステップを更に具える、請求項３０記載の媒体。
前記方法は、オーディオチャネルをオーディオ信号のないＥＭＣＵエンドポイントに対して維持するステップを更に具える、請求項３０記載の媒体。
前記ＥＭＣＵエンドポイントに供給される唯一のオーディオ信号は前記混合オーディオ信号である、請求項３０記載の媒体。