JP3948904B2 - エッジポイントミキシングを有する遠隔会議ブリッジ - Google Patents
エッジポイントミキシングを有する遠隔会議ブリッジ Download PDFInfo
- Publication number
- JP3948904B2 JP3948904B2 JP2000619903A JP2000619903A JP3948904B2 JP 3948904 B2 JP3948904 B2 JP 3948904B2 JP 2000619903 A JP2000619903 A JP 2000619903A JP 2000619903 A JP2000619903 A JP 2000619903A JP 3948904 B2 JP3948904 B2 JP 3948904B2
- Authority
- JP
- Japan
- Prior art keywords
- audio
- participant
- mixing
- conference
- station
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/10—Architectures or entities
- H04L65/102—Gateways
- H04L65/1033—Signalling gateways
- H04L65/104—Signalling gateways in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/10—Architectures or entities
- H04L65/102—Gateways
- H04L65/1023—Media gateways
- H04L65/103—Media gateways in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
- H04L65/4038—Arrangements for multi-party communication, e.g. for conferences with floor control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/562—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities where the conference facilities are distributed
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/57—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player
- A63F2300/572—Communication between players during game play of non game information, e.g. e-mail, chat, file transfer, streaming of audio and streaming of video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1101—Session protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2242/00—Special services or facilities
- H04M2242/14—Special services or facilities with services dependent on location
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/22—Arrangements for supervision, monitoring or testing
- H04M3/2281—Call monitoring, e.g. for law enforcement purposes; Call tracing; Detection or prevention of malicious calls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M7/00—Arrangements for interconnection between switching centres
- H04M7/006—Networks other than PSTN/ISDN providing telephone service, e.g. Voice over Internet Protocol (VoIP), including next generation networks with a packet-switched transport layer
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Circuit For Audible Band Transducer (AREA)
- Interconnected Communication Systems, Intercoms, And Interphones (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
(発明の背景)
(1.関連技術)
本願は、1999年5月21日に出願された、名称「Teleconferencing Bridge with EdgePoint Mixing」の米国仮出願第60/135,239号、および、1999年6月17日に出願された、名称「Automatic Teleconferencing Control System」の米国仮出願第60/139,616号の優先権を主張する。両者を本願明細書において参考として援用する。本願は、また、これらと同時に出願された、名称「Conferencing System and Method」の米国特許出願第60/204,438号に関する。これもまた、本願明細書において参考として援用する。
【0002】
(2.発明の分野)
本発明は、通信システムに関し、より詳細には、会議参加者に対して現実的で真に迫った体験および会議パラメータに対するハイレベルな制御を提供することができる音響会議システムに関する。
【0003】
(3.関連技術の説明)
通信ネットワークにおいて、会議の手配を提供し、それにより、多くの参加者が会議電話でともにつなげられ得る(bridge)ことが望ましい。会議ブリッジは、通信会議を確立するために複数のコネクションエンドポイントをともに接続することが可能なデバイスまたはシステムである。現代的な会議ブリッジは、オーディオおよびデータの両方に適応し得、それにより、例えば、会議の参加者によって書類を共作することが可能になる。
【0004】
しかし、歴史的に、音響会議の経験はまだ十分ではなく、出席者が多い会議は特にそうである。スピーカ領域の認識(誰が話しているかを知る)、音量制御、話者クリッピング、話者ブレークスルー(別の話者が割りこむ機能)、線路雑音、待機音楽状況、会議経験を制御するためのエンドユーザの無機能の問題が存在している。
【0005】
従来のシステムにおいて、1つのミキシング機能のみが音響会議全体に適用される。自動ゲイン制御を用いて、全ての参加者に対して十分な音響レベルを提供する試みがあるが、参加者は、自らの電話の調整とは異なり、会議における音響ミキシングレベルを制御するすべがない(例えば、入り混じった会議全体の音響レベルを変更しても、その中の任意の個人のオーディオに対して変更できない)。このように、会議参加者のそれぞれのオーディオを増幅または減衰することができない。さらに、従来の会議ブリッジ技術では、個人のオーディオを認識するか、話者の名前の明示的な言明すること以外に誰が話しているかを特定するのが困難である。さらに、線路雑音を分離および補正できるのは、人間の会議オペレータの介入によってのみである。
【0006】
従来の会議システムの非フレキシビリティは重大な問題を引き起こす。例えば、従来の会議システムは、異なった品質の会議コネクションおよび/またはエンドポイントデバイスを有するユーザに対して十分に対応することができない。ある会議参加者は、会議に対するコネクションおよび/またはエンドポイント会議機器の品質により、会議ブリッジから高忠実度ミキシング音響信号を受け取ることができる。しかし、1つのミキシングアルゴリズムのみが会議全体に適用されるので、ミキシングアルゴリズムは最低レベルの参加者にあわせなければならない。したがって、たとえある会議出席者が会議ブリッジからかなりの高忠実度出力に対応することができても、ミキシングアルゴリズムは、2人が話せるだけであり、第三者は妨害される。
【0007】
さらに、従来の音響ブリッジシステムは、会議参加者のオーディオのそれぞれに適用されるゲインを均一化しようとする。しかし、ほとんどいつも特定の参加者は、ラインの品質、バックグラウンドノイズ、話者の音量、マイクロフォンの感度などの変動に起因して他の人の話しを聞くことはさらに困難である。例えば、ビジネス遠隔会議の間、ある参加者は大きすぎて、別の参加者は小さすぎることがよくある。さらに、従来のビジネス会議システムは、視覚インターフェースを提供するものではないので、任意の特定の時間に誰が話しをしているかを認識するのが困難である。待機音楽(music−on−held)は、また、会議を待機している任意の参加者が、会議の他の全ての人に音楽を放送するような従来のシステムについて問題を示す。個々にミキシングを制御しなければ、会議の参加者は、望まない音楽を消すことができない。
【0008】
より多くのエンドユーザ制御が必要とされる特定の音響会議環境は、「仮想チャットルーム」である。チャットルームは、近年、インターネットにおいて普及している。チャットルームの参加者は、インターネットを介して同じウェブサイトにアクセスし、チャットルームの中心となる特定の話題(例えば、スポーツ、映画など)について伝達する。従来の「チャットルーム」は、実際にはテキストベースのウェブサイトであり、それにより、参加者は「ルーム」にいる全ての人によって見られるようにリアルタイムでメッセージをタイプする。最近では、テキストチャットの、一般的でより現実的な代替物として、オーディオベースのチャットが登場した。オーディオチャットルームにおいて、参加者は、インターネットウェブサイトを介してイネーブルされる音響会議において、実際にお互いに話しをする。チャットルーム参加者は、一般に、特定のチャットルームセッションの前にお互いを知らないので、各参加者は、彼らの「スクリーンネーム」によって、オーディオチャットルームにおいて一般に特定される。「スクリーンネーム」は会議の間、ウェブページにリストされ得る。
【0009】
音響会議に対してエンドユーザ制御をより大きくする必要性は、ビジネス会議よりもチャットルーム設定において、さらに強く言われている。インターネットユーザは、品質が広く変化するサービスを受ける。とりわけ、サービスの品質は、ユーザのインターネットサービスプロバイダ(ISP)、接続速度、マルチメディア計算機能に依存する。サービスの品質がオーディオチャットルームの参加者によって変わるので、可変する忠実度の会議出力を異なる参加者に供給することが必要であると特に切望される。さらに、各ユーザが入力する音響信号の明確さおよび音量は、ユーザのサービスの品質ごとに変化する。インターネットへのブロードバンドアクセスおよび高品質マルチメディアコンピュータを有する参加者は、ダイアルアップアクセスおよび低級のパーソナルコンピュータを使用する参加者よりも、かなり明瞭な音響信号をオーディオチャットルームに送信する。結果として、インターネットチャットルームにおいて聞こえるオーディオの音量および明確さは著しく変化し得る。
【0010】
さらに、参加者の発言の内容は、オーディオチャットルームにおいてほとんど監視されない。あるチャットルームは、「モデレータ(moderator)」、すなわち、会話が特定のカテゴリー対して適切であることを保証することを負う人間監視人を含む。例えば、参加者が子供の本の議論を主題とするチャットルームに入る場合、人間モデレータは、セックスについて、または、下品なものの使用に関する話しを始めた参加者を追放し得る。しかし、チャットウェブサイトはコスト中心であるので、全てのチャットウェブサイトは人間モデレータを提供するものではない。さらに、たとえ人間管理人を使用するチャットルームでさえも、一般に、単に不快な(低俗に反対な)ユーザから参加者を保護しない。
【0011】
代わりに、個々のミキシング制御がないと、すなわち、人間の監視を終了すると、音質がどのように乏しいのか、または、その内容がどのように低俗もしくは不快なのかにかかわらず、チャットルーム参加者は他の参加者全員に聞かせる。さらに、従来のチャットルームはユーザに「実生活」経験を与えるものではない。参加者のオーディオは、通常、各参加者のオーディオに適用されるゲインを均一化して、会議全体にその内容を伝える単一アルゴリズムにしたがって、ミキシングされる。したがって、会議にいる誰もが同じ音響ストリームを受け取る。これは、話をする人で満ちている実体験の部屋と対比される。実体験の「チャットルーム」は、その部屋の誰もが、他の話者に対する部屋内の位置によってわずかに異なって話しを聞く。
【0012】
従来の会議技術(「ささやき(whisper)回路の使用など」)の制限を克服するための従来の試みは、依然として会議参加者に完全なミキシング忠実度を提供しないので、不充分である。ロバストで、フレクシブルな音響会議ブリッジシステムに対する必要性が存在する。
【0013】
(発明の要旨)
本発明の原理によれば、音響会議ブリッジシステムおよび方法が提供される。本発明は、会議のための単一ミキシング機能の従来の通知を廃棄する。代わりに、本発明の新規でフレクシブルな設計は、会議の各参加者に別のミキシング機能を提供する。この新規なアーキテクチャは、本明細書において、一般に「エッジポイントミキシング」として記載される。
【0014】
エッジポイントミキシングは、各参加者の会議体験の制御を各参加者に提供することによって、従来の会議システムの制限を克服する。例えば、待機音楽は、本発明によって円滑化されるビジネス遠隔会議にとって重要ではない。残りの参加者は、待機中の会議の参加者の信号を単に減衰し、参加者が会議に戻ると減衰を終了し得る。同様に、声の小さい話者、すなわち、線路雑音に起因してはっきりと聞くことができない話者は、任意の参加者によって個別に増幅され得る。
【0015】
エッジポイントミキシングは、また、所望な場合、各参加者が仮想会議世界内の話者の「位置」に応じて会議から明確なミキシング音響信号を受け取ることができることによって、「実体験」会議のシュミレーションが可能になる。好ましくは、会議の参加者には、仮想会議世界の他の参加者の位置を示す仮想インターフェースが設けられる。次いで、ミキシングパラメータは、参加者が仮想会議世界をあちこち動く(特定の会議出席者の方に近づき、他の会議出席者から離れる)ように、参加者に対して変化する。
【0016】
本発明の好適な実施形態は、3段制御システムに従って各参加者のミキシングパラメータの動的改変を可能にする。第1に、デフォルトミキシングパラメータをアルゴリズム(例えば、仮想チャットルーム内の距離ベース減衰)に従って設定する。次いで、アルゴリズムが決定されたミキシングパラメータは、システムセットまたは参加者集団の方針(例えば、低俗な話者を消す)にしたがって自動的に変更され得る。最終的に、アルゴリズムおよび/または方針は、明示的な参加者の要求(例えば、特定の話者のオーディオを増幅する要求など)によって無効にされ得る。
【0017】
本発明は、好ましくは、サービスの品質の異なる参加者に対応する。このように、高速接続および/または高忠実度エッジポイント会議機器を有する参加者は、低速接続または低忠実度機器を有する同じ会議の参加者よりも、よりよいミキシング信号を受け取る。次いで、参加者の各々は、参加者のコネクションおよび機器が許容する最高レベルの会議体験を享受することができる。
【0018】
(好適な実施形態の詳細な説明)
本発明の特徴は、添付の図面とともに、本発明の例示的な実施形態の以下の詳細な説明を参照することによって、より容易に明らかとなり、よりよく理解される。
【0019】
本発明のシステムおよび方法は、会議の各参加者に別個のミキシング機能を提供することによって、従来のブリッジの制限を克服する。従って、本発明は、実世界の会議体験のよりリアルなシミュレーションを伝送しようとする会議用途を支援する。実際の顔を向かい合わせた会議では、各参加者は、位置および部屋の音響等に起因してわずかに異なって聞こえる。すなわち、各参加者は、実際には、自身の聴覚システムに組み込まれる別個のミキシング機能を有している。各会議参加者に別個のミキシング機能を提供することによって、本発明は、実世界の会議環境のレクリエーションを可能にする。
【0020】
本発明はまた、好ましくは、会議においてエンドユーザの高度な制御を提供する。その制御を用いて、聞くのを困難とする他のスピーカを増幅し、ノイズ源を減らし、(品のないような)不要な内容をフィルタリング除去する等を可能にする。従って、各参加者は、自身の必要性を正確に満たす会議のオーディオ品質を調整することができる。当然のことながら、この能力は、実際の会議(特に、会議が大きい場合)では達成するのは容易ではない。従って、エッジポイントミキシングは、所望ならば、参加者の「より生に近い」体験を提供することができる。
【0021】
エッジポイントミキシングと従来のミキシングとの間の概念上の違いを図1に簡単に示す。図1に示されるように、従来のミキシング会議では、各参加者20は、自身のメディアストリームを会議ブリッジ30に送信する。会議ブリッジ30は、1つのミキシング機能をその会議に適用し、各参加者20にミキシング信号を出力する。1つのミキシング機能のみが会議10に適用されるので、各参加者は、基本的には、同じミキシング信号を受信する。
【0022】
エッジポイントミキシングはより一層柔軟性がある。各参加者20は、自身のメディアストリーム60を会議ブリッジ50に送信する。しかしながら、会議ブリッジ50は、各参加者20用に別のエッジポイントミキサ70を備えている。さらに、各参加者は、制御ストリーム80をオーディオブリッジ50に送信する。制御ストリーム80の少なくとも一部に基づいて、オーディオブリッジ50は、別個のミキシングオーディオ信号を各参加者20に返す。各参加者の制御ストリーム80は、おそらく異なっているので、各参加者20は、別の十分に調整された会議体験を得ることができる。
【0023】
図2は、本発明によるオーディオ会議ブリッジシステム100の一般的な機構を示すブロック図である。図示される例示的な実施形態において、複数の会議参加者ステーション(A、BおよびC)110は、システム制御ユニット200およびオーディオブリッジユニット300とインターフェースをとる。3つの参加者ステーション100のみが図示されているが、任意の数のステーション110が本システム100に接続され得る。システム制御ユニット200は、一般的に、参加者ステーション110のためのミキシング制御データ140を受信し、そのミキシング制御データをオーディオブリッジユニット300が取り入れるようにミキシング制御パラメータ150へ翻訳することを担っている。システム制御ユニット200とオーディオブリッジユニット300との両方が、おそらく、ハードウェアに単にインプリメントされ得るが、ユニット200と300とのそれぞれおよび/または両方が、適切なハードウェアプラットフォーム上で実行するコンピュータプログラムを備えている。
【0024】
本発明の好適な実施形態において、会議参加者ステーション110とシステム制御ユニット200との間のインターフェースは、インターネットプロトコル(IP)ネットワークのようなパケット交換型ネットワークを利用する。会議参加者ステーション110とオーディオブリッジユニット300との間のメディアインターフェースは、別の通信ネットワーク上にあり得る。このような別の通信ネットワークには、例えば公衆電話通信交換網(PSTN)、パケット交換型ネットワーク、またはPSTNとパケット交換型ネットワークとの間のゲートウェイまでわたる2つの組み合わせがある。しかしながら、参加者ステーション110は、(イーサネット(登録商標)のような)ローカルエリアネットワーク、プライベートネットワーク、回路交換型ネットワーク等を含む任意の通信ネットワークによって本システムに接続され得る。
【0025】
オーディオブリッジユニット300は、複数のエッジポイントミキサ310を備えている。好適な実施形態において、各エッジポイントミキサ310は、オーディオブリッジユニット300上で実行するソフトウェアプロセスであるか、またはオーディオブリッジユニット300の一部としてインプリメントされる。好ましくは、各参加者ステーション110(例えば、A、BおよびC)には1つのエッジポイントミキサ310が割り当てられている。そのエッジポイントミキサ310は、システム制御ユニット200によって動的に供給されるミキシングパラメータ150に従って、入来する複数のオーディオ信号をミキシングすることによってその参加者ステーション110用のオーディオミキシングを実行する。簡単なシステムにおいて、ミキシングパラメータ150は、他の参加者ステーション110それぞれの入来オーディオ信号の個々の音量またはゲイン制御に相当し得る。
【0026】
図3は、図2のオーディオ会議ブリッジシステムの動作のフローを一般的に示す。入来オーディオ信号325は、メディアインターフェースユニット(MIU)400によるオーディオ会議ブリッジシステム100よって受信され、送信される。MIU400は、オーディオブリッジユニット300と参加者ステーション110によって用いられる任意のネットワーク(単数または複数)との間のメディアインターフェースを提供し、オーディオ信号を送受信する。MIU400は、メディアストリームのパケット化および脱パケット化、自動ゲインコントロール、(必要ならば)音響エコーキャンセルおよび(RTPおよびTCP/IPといった)下位レイヤープロトコル処理のような機能を実行する。1実施形態において、参加者ステーション110からオーディオブリッジユニット300への入来オーディオ信号325は、MIU400を介してオーディオストリーム複製器399へと受信され、そこで入来オーディオ信号は、複製されて、所与の会議のためのエッジポイントミキサ310のそれぞれに配信される。以降で述べるように、オーディオストリーム複製器399は、マトリクスの増幅を適切に用いることによって省略することができる。
【0027】
この実施形態において、各エッジポイントミキサ310は、乗算器関数311、312、313からなる群と加算器関数319を含む。乗算器311、312、313は、システム制御ユニット200によって供給される関連するミキシング制御パラメータ150を各入来オーディオ信号325のそれぞれに乗じる。加算器関数319は、次いで、乗算された入来オーディオ信号325を加算して、それにより実際のミキシングを実行し、ミキシングオーディオ出力信号330を生成する。再度、ミキシング制御パラメータ150(図2参照)、システム100の基本的なインプリメンテーションにおいて、簡単なゲインコントロールであり得る。より複雑なインプリメンテーションにおいて、乗算器関数311は、より複雑な線形または非線形関数、時間変化または非時間変化のいずれかによって置き換え可能であり、それにより多様な会議体験を作成することができる。例えば、ミキシング制御パラメータ150は非常に複雑であり得、遅延、残響(エコー)、周波数および位相シフト、高調波、ひずみ、または予備入来オーディオ信号に基づいた任意の他の音響処理機能といった効果をもたらすようにエッジポイントミキサ310に命令して、それにより会議体験を向上させる。
【0028】
図4および5は、本発明のオーディオ会議ブリッジシステムとともに用いられる参加者ステーション110の好適な実施形態を示す。参加者ステーション110は、参加者(例えば、A、BおよびC)にオーディオ会議ブリッジシステム100へのオーディオインターフェースと視覚インターフェースとの両方を提供する。
【0029】
図4に示されるように、参加者ステーション110は、パーソナルコンピュータ(PC)450と標準の電話460との組み合わせを備え得る。この構成において、PC450は、好ましくは、(インターネットまたは管理されたIPネットワークのような)パケット交換型ネットワーク455への低速または高速接続のいずれかを有し、参加者インターフェースの視覚部分を提供し、システム制御ユニット200と通信する。このビジュアルインターフェース(図示せず)は、好ましくは、Java(登録商標)appletのようなPC450上で実行するソフトウェアアプリケーション、インタラクティブゲームプログラム、または本発明のシステム100と通信するように適合された任意の他のアプリケーションを含む。電話460は、次いで、公衆電話通信交換網(PSTN)465を介して、その接続によってオーディオブリッジユニット300とのオーディオインタフェースを提供する。この参加者ステーションの実施形態は、システムのIPネットワーク455の管理部分にインプリメントされるIP/PSTNゲートウェイ470を採用して、オーディオブリッジユニット300と参加者ステーションの電話460との間のオーディオ接続を可能にする。PSTN/IPゲートウェイ470は、とりわけCisco Systemsから市販されており、オーディオブリッジユニット300と同じ位置にあり得るか、またはオーディオブリッジユニット300から離れた位置で、好ましくは管理されたIPネットワーク455を介して接続され得るかのいずれかである。
【0030】
図4に示される参加者ステーション110は、参加者に(1)参加者のPC450にマルチメディア能力、(2)パケット交換型ネットワーク455の高品質サービス、または(3)ユニフォームデータパケット(UDP)が企業のネットワークファイアウォールをバイパスし得る特別な構成を有する必要なく、オーディオ会議ブリッジシステム100にアクセスするビジネス参加者のための特別な有益な手段を提供する。
【0031】
図5は、スピーカ452およびマイク453を備えたマルチメディアPC451を含む異なる好適な参加者ステーション110を示す。この実施形態において、PC451は、好ましくは、管理されたIPネットワーク455への高速接続を有している。その管理されたIPネットワーク455には、オーディオ会議ブリッジシステム100が接続されており、オーディオおよび視覚/制御信号が同じ通信ネットワーク455を介して伝送される。好ましくは、オーディオおよび視覚/制御信号の両方は、オーディオ信号情報をオーディオブリッジユニット300へ、そして制御情報をシステム制御ユニット200へと向けるために、IPパケットヘッダにある適切なアドレシングを有するIPパケットを介して伝送される。
【0032】
本明細書中で用いられるように、「信号」は、アナログ、デジタル、パケット交換型、または本発明によって必要とされるオーディオおよび/または制御情報を伝送するのに十分な任意の他の技術を介した情報の伝達を含む。さらに、本明細書中で用いられる「接続」は、ハードワイヤの交換型ネットワークといった専用物理接続を必ずしも意味しない。むしろ、接続は、このような接続を介して送信される情報すべてが同じ物理的なパスを伝わろうとなかろうと、任意の通信セッションの確立を含む。
【0033】
図4および5は単なる例示であることを理解されたい。「インターネット電話」、PDA、無線デバイス、セットトップボックス、上位ゲームステーション等を含む多くの他の参加者ステーションの構成が可能である。システム制御ユニット200とオーディオブリッジユニット300との両方と効率的に通信する単独、または組み合わせ可能な任意のデバイス(単数または複数)が、参加者ステーションとして機能し得る。さらに、当業者であれば、十分な帯域幅、ファイアウォールクリアランス、マルチメディアPC451リソースを有するビジネス参加者はまた、図5の「単純なIP」の実施形態を適用する(オプションとして)能力があることを理解する。同様に、図4に示されるこのPC450/電話460の組み合わせは、ビジネス以外の参加者によって使用され得、特に、インターネットのようなIPネットワーク455への狭帯域アクセスのみの参加者に有効である。
【0034】
図6は、オーディオ会議ブリッジシステム100が1つのサーバ600にインプリメントされた本発明の実施形態を示す。示される構成要素のいくつかまたは全てが複数のサーバまたは他のハードウェアを介して分散され得ることを理解されたい。この会議サーバ600の実施形態は、3つの主要な構成要素、すなわちシステム制御ユニット200と、オーディオブリッジユニット300と、MIU400とを含む。会議サーバ600は、パーソナルコンピュータまたは専用のDSPプラットフォームを含む任意の数の異なるハードウェア構成を含み得る。
【0035】
システム制御ユニット200は、会議サーバ600上で行われている会議に機能の全体的な調整を提供する。システム制御ユニット200は、ミキシング制御データ140を得るために参加者ステーション(例えば、110または110’)と通信し、そのミキシング制御データ140をオーディオブリッジユニット300のためのミキシングパラメータ150へと翻訳する。システム制御ユニット200は、会議サーバ600内に完全に位置し得るか、またはいくつかの会議サーバ600間に、および/または参加者ステーション(例えば、110または110’)に分散され得るかのいずれかである。
【0036】
例えば、ビジュアルチャットルームアプリケーションでは、システム制御ユニット200は、「具現化物(avatar)」(各参加者の視覚表示)間の距離の計算を実行し、オーディオの減衰量を計算し、それを入来オーディオ信号325(図3参照)に適用し得る。しかしながら、チャットルームにおける具現化物のそれぞれの位置ベクトル、方向ベクトル、発言アクティビティ指示を示すベクトルが、(参加者ステーションが自身の画面を正確に更新し得るように)いずれにせよ参加者ステーション110のそれぞれと通信しているので、会議サーバ600の変わりに、参加者ステーション110に距離の計算を実行させることが可能である。
【0037】
実際、参加者ステーション110は、実際のミキシングパラメータ150を計算し、(位置または距離情報を送信するのではなくて)計算したパラメータをオーディオブリッジユニット300に送信し得る。このアプローチに対する顕著な利点は、(ほとんどすべてが参加者ステーション110で為されるという理由から)サーバ600の拡張性の増加および簡略化したアプリケーション機能開発の増加である。このような分散型アプローチの欠点は、参加者ステーションの処理要件がわずかに大きくなることと、参加者ステーションの画面上の具現化物の動きとオーディオミキシングの変化との間の時間のずれが大きくなることである。この時間の遅れの増加は、すべての他の参加者の位置および音量情報を参加者ステーション110に送信するのに要する時間にほぼ比例するが、これはいわゆる推測法によって減少することができる。参加者ステーション110のいくつかが、システム制御ユニット200の一部を含むが、その他の参加者ステーションは含まないハイブリッドアプリケーションもまた可能である。
【0038】
オーディオブリッジユニット300は、エッジポイントミキサ310を含み、一般に参加者ステーション110からの入来オーディオ信号325を受信し、参加者ステーション110への別個のミキシング信号330を出力するのを担っている。エッジポイントミキサ310は、システム制御ユニット200によって動的に供給されるミキシングパラメータ150に従って、会議における複数の入来オーディオ信号325をミキシングすることによって参加者ステーション110のためのオーディオミキシングを実行する。所与のエッジポイントミキサ310に供給されるミキシング制御パラメータ150は、特定の会議のための任意の他のエッジポイントミキサ310へ供給されるパラメータ150と異なっている可能性がある。従って、会議体験は、会議の各参加者にとって特異なものとなる。
【0039】
簡単なシステムにおいて、ミキシングパラメータ150は、他の参加者の入来オーディオ信号325のすべてについての簡単な音量またはゲイン制御に相当し得る。しかしながら、好ましくは、オーディオブリッジユニット300は、大量のマトリクスの増幅を実行し、このように最適化されるべきである。オーディオブリッジユニット300はまた、好ましくは、各参加者ステーション110のためのアクティブスピーカインジケータ(図示せず)を出力する。このアクティブスピーカインジケータは、各ミキシング出力信号330に対して、どの入来オーディオ信号325がミキシングされているかを示す。アクティブスピーカインジケータは、常にどの参加者のオーディオが聞こえているかをビジュアルで示す(例えば、参加者の具現化物を強調表示する)ように参加者ステーション110によって変換され得る。
【0040】
オーディオブリッジユニット300は、Intelに基づくPCが実行するLinuxオペレーティングシステムのような汎用コンピューティングプラットフォーム上またはデジタル信号プロセッサ(DSP)プラットフォーム上のいずれかで実行する可能性のある1つ以上のソフトウェアプロセスを含む。オーディオブリッジユニット300は、好ましくは、会議中の各参加者ステーション110に会議サーバ600の十分なリソースを割り当て、1つのエッジポイントミキサ310をインプリメントする。例えば、会議サーバ600がDSPプラットフォームである場合、各エッジポイントミキサ310は別のDSPに割り当てられる。あるいは、マトリクスの数学的演算を実行する十分な処理能力を備えたDSPは、複数のエッジポイントミキサ310を収容し得る。
【0041】
別の実施形態において、エッジポイントミキサ310のいくつかまたはすべては、参加者ステーション110に分散され得る。しかしながら、このことは、すべての参加者ステーション110が自身のオーディオ信号入力325を分散されたエッジポイントミキサ310に放送することを必要とする。このことは、すべての参加者ステーション110間に極めて高速な接続がないと非効率かもしれない。中心に集中したエッジポイントミキサ310を有する利点は、各参加者ステーション110が1つのオーディオ信号の送受信のみを必要とすることである。
【0042】
図6に示される1つのサーバの実施形態において、各エッジポイントミキサ310が、入力として以下の情報を受け取るように適合されることが現在好ましい。
・16ビットパルスコード変調(PCM)された結合されていない(例えば、「圧縮されていない/解凍されていない」送信)入来オーディオ信号(325)サンプル、8000サンプル/秒/参加者。8ビットPCMは電話用の標準規格であるが、16ビット要件によって、将来、広帯域コーデックの追加を可能にする。
・10回/秒のデフォルト速度でアップデートされるすべての会議参加者のための減衰/増幅ミキシングパラメータ150。アップデート速度は、好ましくは、動的に調整可能なパラメータである。
・ミキシングアルゴリズムを修正するシステム制御ユニット200から得られる他のミキシングパラメータ150。この他のミキシングパラメータ150は、以下を含む。
【0043】
・同時にミキシングされるスピーカの最大数(N)。システムまたはシステムオペレータは、好ましくは、パフォーマンスを最適化するように、または各参加者ステーション110の能力を適応させるようにこのパラメータを調整する。
【0044】
・減衰/増幅レベルのアップデート速度。システムまたはシステムオペレータは、好ましくは、パフォーマンスを最適化するようにこのパラメータを調整する(例えば、10回/秒)。
【0045】
・アクティブスピーカインジケータのアップデート速度。システムまたはシステムオペレータは、パフォーマンスを最適化するようにこのパラメータを調整する(例えば、10回/秒)。
【0046】
・発言アクティビティ検出(SAD)のイネーブル/ディセーブル。各参加者ステーション110は、参加者の会議体験のためにSADをイネーブルまたはディセーブルのいずれかを行うことができる。SADがディセーブルされると、上位N個の強度が弱められていない入来オーディオ信号325が任意の達成される閾値に関係なくミキシングされる。
【0047】
エッジポイントミキサ310は、好ましくは、少なくとも以下のデータを出力する。すなわち、16ビットパルスコード変調(PCM)の結合されていないミキシングオーディオ信号(330)の発言(オーディオ)サンプル、各参加者ステーション110につき8000サンプル/秒。聞こえ得る現在のスピーカを特定するアクティブスピーカインジケータ(すなわち、現在ミキシングされているスピーカ)。
【0048】
システム制御ユニット200およびオーディオブリッジユニット300の両方は、参加者ステーション110のような外部リソースと通信するために、メディアインターフェースユニット(MIU)400を採用する。MIU400は、好ましくは、会議サーバ600と参加者ステーション110との間で適切な通信を可能にするために必要なプロトコルおよび会話機構の全てを含むソフトウェアモジュールである。例えば、MIU400は、コーディング/デコーディング610、自動ゲインコントロール615およびパケットのパッキング/アンパッキング620の従来のオーディオ処理機能を実行する。MIU400はまた、特定の会議に使用されるボイスオーバIP(VOIP)プロトコル630のプロトコル処理を実行する。システム制御ユニット200およびオーディオブリッジユニット300と同様に、MIU400は、ネットワーク内の異なるサーバ600間に分散され得る。
リアルタイムプロトコル(RTP)およびリアルタイムコントロールプロトコル(RTCP)620は、VOIPネットワークにおけるメディア伝送の標準媒体である。MIU400は、会議参加者ステーション110のそれぞれのRTP入力ストリームおよびRTP出力ストリームをパッキングおよびアンパッキングする。RTP処理620は、好ましくは、VOIPプロトコルスタック630と共に含まれる機能である。さらに、ヘッダ対データ比を制限し、スループットを増加させるために、圧縮されたRTPを用いてVOIPメディアを送信することが好ましい。
【0049】
米国特許第5,513,328号「Apparatus for inter−process/device communication for multiple systems of asynchronous devices」に記載されるシステムによって達成されるIPルーティングが好ましい。上記特許を本明細書中において参照として援用する。上記特許に記載されるシステムは、イベント駆動型ソフトウェアアーキテクチャに従うことにより、効率的に処理リソースを使用し、(本発明のオーディオ会議ブリッジシステムのような)新規プラグインアプリケーションへの効率的な拡張を可能にする。
【0050】
オーディオ会議ブリッジシステムの通信の基本は、好ましくは、インターネットプロトコル(IP)である。このプロトコルの包括内において、必要ならば、サブプロトコル(例えば、伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP))およびスーパプロトコル(例えば、RTP、RTCP)が採用される。MIU400はまた、標準VOIPプロトコル630、好ましくはセッションイニシエーションプロトコル(SIP)およびH.323を支援する。しかしながら、任意のVOIP630を使用することができる。VOIPプロトコルスタック630は、Radvisionおよび他の多くの企業から市販されている。
【0052】
参加者ステーションと通信するために、システム制御ユニット200は、好ましくは、メディアインターフェースユニット400によって翻訳可能なカスタムプロトコル(図6では「True Chat Protocol」と示される)640を用いる。当業者であれば理解するように、真のチャットプロトコル640は、アプリケーションに依存しており、属性値対のような簡単な識別子を含む。それにより、真のチャットプロトコル640は、システム制御ユニット200に参加者ステーション110から入ってくる(出て行く)情報をどのように処理するかを命令する。真のチャットプロトコル640は、規定されるRTPペイロードヘッダタイプとともにRTP内にカプセル化され得る。真のチャットプロトコル640は、帯域幅集約型ではないけれども、本質的には時間センシティブである。そのプロトコルのRTPへのカプセル化は、第2のRTPセッションを簡単に確立することによって、CableLabsのパケットケーブルアーキテクチャのようないくつかのVOIPアーキテクチャに固有のQoS制御メカニズムを利用する。
【0053】
MIUはまた、メディア変換ユニット650を含む。オーディオブリッジユニット300は、好ましくは、16ビットリニア入来オーディオ信号325を受け取る。しかしながら、標準電話コード(G.711)および多くの圧縮されたコードは、ある程度ノンリニアである。G.711の場合、ノンリニアコンパンディング機能は、信号対ノイズ比を改善し、動的範囲を広げるために、メディア変換ユニット650によって適用される。電話型のコードの場合、オーディオブリッジユニット300にリニアパルス符号変調(PCM)発言サンプルを供給するために、メディア変換ユニット650は、初めに入来オーディオ信号325をG.711に変換し、次いで逆コンパンディング機能を適用する。このことは、好ましくは、テーブルルックアップ機能を用いて達成される。ミキシングオーディオ信号330を出力するために、メディア変換ユニット650は反対の動作を実行する。従って、メディア変換ユニット650は、好ましくは、種々の異なるコードを(PCMのような)16ビットリニアに翻訳し、もとに戻すことが可能な翻訳コーダを含む。
【0054】
記載されるように、本発明は、好ましくは、管理されたIPネットワーク455(図5)を介してインプリメントされる。しかしながら、QoS能力を備え、極めて高度に管理されたIPネットワーク455でさえ、パケットを損失し、ランダムにパケットを受け取る場合がある。オーディオ通信は、待ち時間に対して非常にセンシティブであるので、損失したパケットを再伝送することは、データ伝送エラーに対して実行不可能な方法である。アプリケーションの今後の展望から、前方エラー訂正(FEC)はこの問題に対する可能な解決策であるが、FECは、冗長した情報の連続的な伝送を必要とする。すなわち、FECは、帯域幅および処理能力の両方から高価な動作を必要とする。妥協案として、多くのVOIPアプリケーションは、パケット伝送問題に起因して損失した発言サンプルを推定するために、受信者に基づく方法へと移行しつつある。損失しているサンプルが1つの場合、簡単なアルゴリズムは、最後のサンプルを繰り返すか、またはリニアに補間するかのいずれかである。複数のサンプルが損失している場合、ETSI TIPHONによって推奨される補間方法のようなより積極的な補間方法が採用されるべきである。例えば、ANSI T1.521−1999に記載される方法が、G.711コードを処理するのに適切である。
【0055】
MIU400はまた、好ましくは、エコーキャンセルを有する自動ゲインコントロール(AGC)615を含む。AGC615は、オーディオブリッジユニット300から出力されるミキシングオーディオ信号330に適用される。AGC615は、G.711または他のコードに変換される前に適用される。AGC615はまた、好ましくは、標準電話コードの場合にオーディオブリッジユニット300からの出力を16ビットから8ビットへと正規化する。
【0056】
MIUはまた、好ましくは、オーディオ認識モジュール660を含む。以下に記載するように、オーディオ認識660は、本発明とともに用いられ、(他の参加者が発する品のない内容をフィルタリングして除去するような)特定のミキシング政策を実現し得る。IBMから入手可能なVia Voiceといった既存のオーディオ認識ソフトウェアを採用することができる。
【0057】
図7は、図2および図3で説明したシステムに関連して説明される、本発明の基本的な方法を図示する。第1に、オーディオ会議ブリッジシステム100は、オーディオ会議ブリッジを動的に生成する(700)。オーディオ会議ブリッジシステム100は、好ましくは、サーバ上で動作するソフトウェアプロセスであり、システム制御ユニット200とオーディオブリッジユニット300とを備える。図2および図3で示した好適な実施形態において、これは以下のように達成される。参加者ステーション110は、個別に、システム制御ユニット200と制御セッションを確立する。システム制御ユニット200は、参加者ステーション110の各々に、その参加者ステーション110に対してユニークなセッション識別子すなわちSIDを提供する。システム制御ユニット200は、また、SIDをオーディオブリッジユニット300に提供し、そのユニット300にSIDが同じ会議にグループ分けすることを知らせる。この機能のインプリメントする際に、会議IDおよび参加者ステーションIDの点からSIDを表現して、ユニーク性を保証し、また、特定のSIDを特定の会議に関連づけるプロセスを簡略化することは有用であり得る。あるいは、SIDは参加者ステーション110のIPアドレスおよびポートアドレスを含み得る。
【0058】
制御セッションの確立の後、参加者ステーション110の各々は、オーディオブリッジユニット300とのオーディオ接続を確立し、適切なSIDをやりとりする。SIDは、オーディオブリッジユニット300によってプロンプトされた後、参加者ステーション110によって自動的にやりとりされ得るか、または、参加者(A、B、C)によって手動でやりとりされ得るかのいずれかである。例えば、図4に示されるような参加者ステーション110を使用する人は、その人の電話460を使用して、オーディオブリッジユニット300に接続し、その人のSIDをオーディオブリッジユニット300にデュアルトーンマルチ周波数(DTMF)音調を介して手動で提供することが必要であるかもしれない。この点から、会議の終了まで、SIDをシステム制御ユニット200による参照として使用する。システム制御ユニット200は、ミキシング制御パラメータ150を有するSIDをオーディオブリッジユニット300に送信する。これにより、オーディオブリッジユニット300が、さまざまな参加者ステーション110から入来オーディオ信号325を適切なエッジポイントミキサ310に相関させ、適切なミキシングパラメータ150を付与することが可能になる。
【0059】
次に、システム制御ユニット200は、参加者ステーション110に対するミキシング制御データ140を受け取る(710)。参加者ステーション110の各々に対するミキシング制御データ140は、他の参加者ステーション110から入来オーディオ信号325の少なくとも2つ(好ましくはすべて)に付与される個々のミキシングパラメータ150を導出するためにシステム制御ユニット200によって使用されるデータを含む。ミキシング制御データ140の構成は、参加者ステーション110の会議アプリケーションおよび分散制御レベルによって多くの形式を取り得る。仮想チャットルームの例において、各参加者ステーション110から受け取ったミキシング制御データ140は、仮想会議世界内のその参加者の具現化物(avatar)の座標であり得る。別の例において、ミキシング制御データ140は、参加者ステーション110が「親制御」機能(低俗フィリルタリング)に同調していることの単なる通知を含み得る。さらに別の例において、ミキシング制御データ140は、参加者からの明示的なミキシング命令(例えば、参加者Cから入来オーディオ信号325の音量を上げる)を含み得る。
【0060】
しかし、一般に、用語「ミキシング制御データ」140は、ミキシング制御パラメータ150を計算するために使用される任意の情報を含む。説明したように、ある例において、参加者ステーション110は自身のミキシングパラメータ150を計算することが可能であり得る。その場合、ミキシング制御データ140は、パラメータ150そのものとして規定される。さらに、システム制御ユニット200によって計算された最終的なミキシング制御パラメータ150は、他のシステムリソースからのデータ(例えば、特定の参加者が低俗な言葉を発したというMIU400内の会話認識モジュール660からの警告)に依存し得ることが理解されるべきである。
【0061】
システム制御ユニット200がミキシング制御データ140を受け取る場合、オーディオブリッジユニット300は参加者ステーション110から入来オーディオ信号325を受け取る(720)。次いで、システム制御ユニット200は、それぞれの参加者ステーション110に対して受け取った少なくともミキシング制御データ140に基づいて、エッジポイントミキサ110の各々のためのミキシング制御パラメータ150を設定する(730)。好ましくは、ミキシング制御パラメータ150は、3段制御システムに従って設定(周期的に改正)される。第1に、デフォルトミキシングパラメータは、仮想チャットルーム内の距離ベース減衰のようなアルゴリズムに従って設定される。次いで、アルゴリズム決定ミキシングパラメータは、低俗な話し手の音を消すなどのシステム設定方針または参加者設定方針にしたがって自動的に変更され得る。最終的に、アルゴリズムおよび/または方針は、特定の話し手のオーディオを増幅させるリクエストなど、明示的な参加者のリクエストによって無効にされ得る。
【0062】
例えば、3次元会議アプリケーションにおいて、適切なデフォルトアルゴリズムは、シュミレートされた3次元環境における音の現実的な伝搬を再現するために求められ得る。この場合において、参加者ステーション110の各々から受け取ったミキシング制御データ140は、仮想環境内の参加者の位置と、その参加者が向かう方向(聞き手と話し手との両方が同じ方向を向いているから)とを含み得る。動作において、参加者ステーション110の各々は、システム制御ユニット200を参加者の現在の位置および方向に周期的に更新し、それにより、ミキシング制御パラメータ150は更新され得る。システム制御ユニット200はこの情報を取得し、ミキシングアルゴリズムにその情報を適用して、各参加者ステーションの設計されたエッジポイントミキサ310に対する適切なミキシング制御パラメータ150を計算し、次いで、オーディオブリッジユニット300にそのパラメータ150を送信し、それにより、ミキシングが適切に行なわれる。参加者位置情報、ミキシング制御パラメータ150、適切なエッジポイント310ミキサの適切な相関は、上記のSIDによって達成される。
【0063】
次いで、この例の距離ベース減衰アルゴリズムは、システムまたは参加者方針の施行によって自動的に変更され得る。例えば、特定の参加者ステーションの方針が会議から特定の低俗な言葉をフィルタリングすることである場合、その参加者ステーションの「親制御」フラグは、参加者ステーションミキシング制御データ140の一部としてシステム制御ユニット200に送信される。MIU400を不快な言葉の設定をロードして、会話認識モジュール660を用いて検索する。不快な言葉が検出された場合はいつでも、MIU400は、システム制御ユニット200に知らせる。システム制御ユニット200は、次いで、一時的に(または、方針によって永続的に)攻撃的話し手に対する減衰パラメータを100%に設定し、それにより、望ましくない会話を効率的に防ぐ。
【0064】
基となるアルゴリズム(この場合、距離ベースアルゴリズム)が他に参加者ミキシングオーディオ信号出力330に不快な話し手のオーディオを含もうと含まなかろうと、この減衰が生じる。好ましくは、この減衰はそのような方針をイネーブルする参加者ステーション110にのみ作用する。その方針をイネーブルしない参加者は、言われる全てを聞く。あるアプリケーションにおいて、システム管理者は、全ての参加者ステーション110(例えば、子供向けの仮想チャットルーム)からの低俗語を自動的にフィルタリングすることを望むかもしれない。システムおよび参加者方針インプリメンテーションの多くの他のタイプは本発明によって可能であり、このことは当業者にとって容易に明らかである。
【0065】
デフォルトミキシングアルゴリズムは、また、参加者ステーション110からの明示的なミキシング命令を含むミキシング制御データ140によって直接的に無効にされ得る。明示的なミキシング命令は、システム制御ユニット200によって行なわれるアルゴリズム計算の特定のステーション面を、一時的または永続的に無効にし得る。例えば、参加者は、会議の別の参加者がミキシングアルゴリズムによって指示されるより多くを増幅し得ることを要求し得る。これは、例えば、ある人が3次元チャットルーム内の離れた会話を聞くことを望む場合、有用である。同様のリクエストは、他の参加者が参加者の会話を立ち聞きできないように、参加者ステーション110をささやきモード(whisper mode)またはプライバシーモード(privacy mode)にし得る。参加者の制御リクエストの多くの他のタイプは本発明によって可能であり、当業者にとって容易に明らかである。さらに、ミキシング制御パラメータ150は単純な線形係数より複雑になり得、ひずみ、エコーなどの効果を生成するための所定の非線形機能を含み得る。
【0066】
ミキシング制御データ140は、また、任意の特定の参加者ステーション110に対してミキシングされる最大数の入来オーディオ信号325を最適化するために使用される情報を含み得る。説明したように、参加者ステーション110は、動作において、本オーディオ会議ブリッジシステム100に対する設備と接続との両方が異なった品質を有する。例えば、図4に図示される参加者ステーション110は、オーディオブリッジユニット300にPSTN465を介して接続された電話460のオーディオインターフェースを含む。電話460および/またはPSTN465の忠実度が限られている場合、本発明は、好ましくは、参加者ステーション110に対してミキシングされ得る入来オーディオ信号325の最大数を減らす(例えば、上位3つの入来オーディオ信号325をミキシングして、上位8つの入来ミキシング信号は他の参加者に対してミキシングされる)。
【0067】
ハイパワーマルチメディアPC451と、フルステレオスピーカ452と、管理されたIPネットワーク455への高速アクセスとを有する、全くのIP参加者ステーション110(例えば、図5)は、かなり多くのオーディオを効率的にミキシングし得るが、低忠実度の参加者ステーション110(例えば、図4)はそのようにすることができないかもしれない。しかし、本システム100は、同じ会議内でさえ十分な柔軟性を可能にする。ハイパワーユーザは十分な忠実度を受け、低エンドユーザは十分な忠実度を受けないが、両方とも、両者の設備およびネットワーク接続を最大限活用し、これらの要因が与えられて予期されるサービスを受け取る。これは、品質が異なる参加者ステーション110の全てが同じ会議に参加し、異なるが等しく満足する経験をすることが可能な点で十分な利点である。
【0068】
好ましくは、各参加者ステーション110に対する忠実度調整は、システム制御ユニット200によってインプリメントされるアルゴリズムであり得る。システム制御ユニット200は、好ましくは、その参加者ステーション110に対してミキシングする入来オーディオ信号325の最適、最大の数を(自動的にまたはユーザからの入力に伴い)決定する。ある実施形態において、関連するミキシング制御データ140は、参加者ステーション110からの明示的な命令を含む。例えば、参加者ステーション110で動作するアプリケーションは、接続速度、オーディオ設備などに基づいてこのパラメータをどのように設定するかの提案を参加者に提供し得る。このパラメータは、また、会議の間、動的に修正され得、それにより、参加者がもとの設定を満たさない場合にミキシングされた最大数の入来信号325を変更し得る。別の実施形態において、システム制御ユニット200は、ネットワーク条件(ネットワークジッタ、パケット損失、サービスの質、接続速度、待ち時間などを含む)をモニタすることを介して、ミキシング制御データ140を自動的に集めることにより、参加者ステーション110の各々に対する入来ミキシング信号325の最大数を最適化し得る。
【0069】
ミキシング制御パラメータ150が計算されると、ミキシング制御パラメータ150はシステム制御ユニット200によってオーディオブリッジユニット300に送信される。次いで、オーディオブリッジユニット300は、エッジポイントミキサ310を使用して、各参加者ステーションのミキシング制御パラメータ150にしたがって入来にオーディオ信号325をミキシングする(740)。参加者ステーション110の各々は異なるエッジポイントミキサ310に割り当てられ、システム制御ユニット200は、ミキシング制御パラメータ150を有するその参加者ステーション110にSIDを送信し、オーディオブリッジユニット300による適切な相関を可能にする。
【0070】
ミキシングの好適は方法を、図3の構成に戻って参照して説明する。単純化のために、極めて簡単なミキシングアルゴリズムを仮定する。極めて簡単なミキシングアルゴリズムは、参加者ステーション110によって明示的に供給される動的に更新された減衰値に従って全てのオーディオをミキシングする。さらに、図3のさまざまな入力信号および出力信号に対して、以下のラベルを想定する。
【0071】
SI(1)=参加者ステーションAから入来オーディオ信号
SI(2)=参加者ステーションBから入来オーディオ信号
SI(3)=参加者ステーションCから入来オーディオ信号
SO(1)=参加者ステーションAへのミキシングオーディオ信号出力
SO(2)=参加者ステーションBへのミキシングオーディオ信号出力
SO(3)=参加者ステーションCへのミキシングオーディオ信号出力
A(1、1)=参加者Aの入力信号に対して参加者Aによって選択された増幅(仮想環境がいくらかのエコーを含まない限り、これは通常ゼロである)
A(1,2)=参加者Bの入力信号に対して参加者Aによって選択された増幅
A(1,3)=参加者Cの入力信号に対して参加者Aによって選択された増幅
A(2,1)=参加者Aの入力信号に対して参加者Bによって選択された増幅
A(2,2)=参加者Bの入力信号に対して参加者Bによって選択された増幅(仮想環境がいくらかのエコーを含まない限り、これは通常ゼロである)
A(2,3)=参加者Cの入力信号に対して参加者Bによって選択された増幅
A(3,1)=参加者Aの入力信号に対して参加者Cによって選択された増幅
A(3,2)=参加者Bの入力信号に対して参加者Cによって選択された増幅
A(3,3)=参加者Cの入力信号に対して参加者Cによって選択された増幅(仮想環境がいくらかのエコーを含まない限り、これは通常ゼロである)
次いで、出力信号に対する公式は、入力信号の関数として単に記載され得る。
【0072】
SO(1)=A(1,1)*SI(1)+A(1,2)*SI(2)+A(1,3)*SI(3)
SO(2)=A(2,1)*SI(1)+A(2,2)*SI(2)+A(2,3)*SI(3)
SO(3)=A(3,1)*SI(1)+A(3,2)*SI(2)+A(3,3)*SI(3)
この計算は、単純なマトリクス演算として達成され得る。例えば、SIが参加者の参加者の入力信号325の入力列ベクトルを表す場合、Aは増幅マトリクスを表し、SOはミキシングオーディオ信号出力350の出力ベクトル350を表す。
【0073】
SO=A×SI、ここで「×」は、マトリクス乗算を意味するものとして用いる。
【0074】
入来オーディオ信号325は常に変化しており、増幅マトリクスが周期的に更新され、そして、この計算は、出力されるミキシングオーディオ信号330の1つのサンプルを表しているにすぎない。G.711などの一般的なPCMベースのコードに対して、この演算は8000回/秒で行なう。エッジポイントミキシング計算をマトリクス演算としてインプリメントすることによって、明示的なストリームデュプリケイター(duplicator)399に対する必要性が取り除かれることに留意されたい。
【0075】
上記の例は、参加者ステーション110の数が少なく、ミキシングアルゴリズムが簡単であることを想定している。しかし、より複雑な実施形態において、一般には、会議に対して3つより多くの参加者ステーション110が存在し、ミキシングアルゴリズムはかなり複雑になり得る。したがって、エッジポイントミキシング計算は、好ましくは、計算のオーバーヘッドを制限するように最適化される。例えば、比較的大きなチャットルームが50の参加者ステーション110を有し、その全てが強く双方向的であり、また、デフォルトミキシングアルゴリズムは8人までの話し手をミキシングすると仮定する。第1に、オーディオ会議システム100は、どの入来オーディオ信号325が参加者ステーション110の各々に対してミキシングされるべきかを決定しなければならない。次いで、関連するマトリクス演算の複雑さを減らすように、ミキシング計算を最適化しなければならない。
【0076】
オーディオブリッジユニット300への好適なリアルタイム入力は、システム制御ユニット200からの増幅マトリクス(A)、および、メディアインターフェースユニット400を介して受け取った入来オーディオ信号325から得られるPCM会話サンプルベクトル(SI)である。2つの単純なステップを組み合わるように用いて、どの話し手がミキシングされるべきかを決定する。第1のステップは、会話アクティビィティ検出(SAD)を使用して、現在アクティブな話し手を可能性の数を減らす手段(means)として判定する。第2のステップは、信号強度および増幅値を推定して、ミキシングのために上位のN個のソースを選択する。
【0077】
この好適なプロセスにおける第1のステップは、次に、入来オーディオ信号325に対するSAD値を周期的に計算することである。会話アクティビィティ検出アルゴリズムは、比較的標準な基本的要素であり、ここでは説明しない。しかし、SADは好ましくはメディア変換ユニット650に関連するMIU400の一部としてインプリメントされる。入来会話サンプル(例えば、8000/秒)の周波数に対して、会話アクティビィティ検出は比較的静的(例えば、10更新/秒)である。SAD機能の出力は、一般には、ブール値(0または1)である。多くの入来オーディオ信号325は非アクティブであるので(沈黙または低いレベルのノイズのみを生成する)、増幅マトリクス(A)の列の数および会話入力ベクトル(SI)の行の数は急速に減少し得、それにより、必要とされるマトリクス計算のかなりの量の減少を達成する。このような減少したマトリクスは、それぞれ、(a)および(si)と言及される。
【0078】
最適には、好適なプロセスにおいて第2のステップを用いて、(参加者ステーション110ごとの)強度に従って増幅された入来信号325を要求し、次いで、参加者ステーション110への最終的にミキシングした信号出力330のために、上位のN個の信号のみを合計する。最終的な合計に対して選択された増幅信号は参加者ステーション110の各々に対して変化し得る。これは、減少した増幅マトリクス(a)および入力信号ベクトル(si)のマトリクス乗算を一連の修正ベクトルドット積(modified vector dot products)にさらに減らすことを意味する。ここで、各行は、1つのマトリクス乗算の代わりに、別々に計算される。最終の加算の前に生じるソートプロセスがあるので、ベクトルドット積は修正される。次いで、好ましくは、オーディオブリッジユニット300は、ドット積に関連した乗算を行ない、上位のN個(例えば、8)値が得られるまで降順ソートを行なう。次いで、上記N個の値を合計して、所望な出力ミキシング信号330を得る。
【0079】
入来オーディオ信号325は、ミキシング制御パラメータ150に従って適切にミキシングされると(740)、別のミキシングオーディオ信号330がオーディオブリッジユニット300から各参加者ステーション110に出力される(750)。ミキシングされたオーディオ信号330の出力750は、通常、ミキシングされたオーディオ信号330を通信ネットワークを介して参加者ステーション110のそれぞれに伝達するオーディオブリッジユニット300に関する。しかし、オーディオブリッジユニット300の幾つかが参加者ステーション110に分散される(いくつかの参加者ステーション110が自身のエッジポイントミキサ310を含むような)実施形態において、出力ステップ750は、ミキシングされたオーディオ信号330を関連する話し手に単に送信するステップを含み得る。
【0080】
図8は、本発明のオーディオ会議ブリッジング(audio−conferernce bridging system)システム100を利用する仮想チャットルーム800に対する可能なビジュアルインターフェースの実施例を示す。図8に示される例示的な適用は、参加者A−Fを表す具現化物810が配置される2次元仮想チャットルーム800を示す。特定のチャットルーム800は、山の景色を示し、アウトドアスポーツ等についての議論には最適であり得る。参加者に加えて、図8は、ジュークボックスのアイコン820および個別の仮想チャットルーム(この場合、ハワイのテーマ(Hawaiian theme)へのハイパーテキストリンク830を含む。このチャットルーム800は、システム制御ユニット200およびオーディオブリッジングユニット300と同じサーバ600上でホストされたインターネットウェブサイトであり得る。この実施形態において、チャットルーム800のビジュアルインターフェースは、参加者ステーション110で起動するJava(R)appletによって参加者ステーション110に提供され得る。無限に近い多様性を有した他のビジュアルインターフェースが可能であると認識される。しかし、ここで示されたチャットルーム800は、図9と関連して使用され、本発明のオーディオ会議ブリッジングシステム100を使用する例示的な仮想チャットセッションが説明される。
【0081】
図9は、図8に示された仮想チャットルームの例示的なチャットセッションを示すイベントチャートである。説明されたように、多くのミキシングアルゴリズムが可能である。仮想ビジュアルチャットルームアプリケーション800において、例えば、関連ミキシングアルゴリズムは、計算された環境において、現実的で、距離ベースの音の伝播を再現しようと試み得る。その環境は、2次元または3次元である。3次元の場合において、各参加者ステーション110により送信されるミキシング制御データ140は、ルーム内の人の位置、人が面している方向、および人の頭の傾きを含み得る(具現化物ゲームおよび仮想環境用途等におけるビジュアルパラダイムであるべきである)。この情報を有することによって、システム制御ユニット200は、ミキシング制御パラメータ150を計算する。ミキシング制御パラメータ150は、オーディオブリッジングユニット300からミキシングされた信号330を出力する。ミキシングされた出力信号330は、話し手の距離および方向に基づいて減衰される(例えば、参加者の具現化物の左にいる話し手は、自分の声がミキシングされる。ミキシングされた声は、参加者ステーションの左ステレオスピーカーから主に出力される)。しかし、簡略化のために、図9に例示された実施例では、方向、頭の傾き等と関係なく、単に、距離ベースのアルゴリズムを仮定する。
【0082】
第1の「イベント」900は、参加者A、B、およびCがルーム800にいることである(既に、会議セッションを確立している)。図8は、縮尺通りに描かれるわけではないが、最初、A、B、およびCが互いに等距離にあると仮定する。さらに、以下の初期の仮定が為される:(1)参加者D、E、&Fは、最初、1人もルーム800にいない;(2)全ての参加者は、同じオーディオレベルで連続して話している;(3)参加者Cのみは、親制御(すなわち、不適切な発言のフィルタリング)を可能とする;(4)任意の1つの時間にミキシングされる入来オーディオ信号のデフォルト最大数が4である(忠実度がより低い参加者ステーションの減少を受けやすい)。
【0083】
参加者A、BおよびCがルーム800にいる一方で、参加者ステーション110は、システム制御ユニット200でルーム800内の位置を含むミキシング制御データ140を周期的に更新する。(この議論の目的のために、参加者の具現化物810の位置は、参加者自身の位置として参照される。)システム制御ユニット200は、特定のミキシングアルゴリズムをミキシング制御データ140に適用し、それによって各参加者ステーション110に対するミキシングパラメータ150を計算する。次いで、オーディオブリッジユニット300は、個々のミキシングパラメータ150に基づいた参加者ステーション110のそれぞれについて個々の出力信号330をミキシングする。この場合、参加者A、B、およびCは互いに等距離にいて、単に、距離ベースのミキシングアルゴリズムが適用されているので、各参加者ステーション110は、他の2人の参加者の等しい入力のミックス(例えば、Aのミキシングされた信号=50%(B)+50%(C))を受信する。
【0084】
図9に示されるパーセンテージは、入来オーディオ信号325の成分の混合であることが理解されるべきである。しかし、それらは、必ずしも信号の強さを示す必要はない。むしろ、本実施形態において、利得は、具現化物810と話し手音量入力との間の距離の関数である。1実施形態において、利得は、具現化物810間の距離の二乗が増加するにつれて、減少する(現実空間でおよそ真である)。しかし、いくつかの用途において、具現化物810間の近接度の直線関数として利得計算を例とする距離ベースの「減衰」のより遅いレート(rate)を使用することは利点であり得る。他の実施形態において、具現化物810間の距離に関わらず、仮想チャットルーム800での少なくとも1つの会話を可聴レベルに増幅するのが望ましい。本実施形態において、簡単な距離ベースのアルゴリズムが使用され、全ての参加者が同一の入来(incoming)レベルで一定に話していることを仮定し、任意の特定の参加者に対する「トップ(top)」入来信号325は、近接度が最も近い3人の他の参加者が受け取る。
【0085】
次に、参加者Aは、参加者Bにより近くに移動し(90)、一方で参加者AおよびBは、参加者Cから等距離のままである(図8は、各参加者の開始位置のみを示すことに留意のこと)。システム制御ユニット200は、参加者A、B、およびCの更新された位置を受信し、各参加者ステーション110に対するミキシング制御パラメータ150を再計算する。次いで、オーディオブリッジングユニット300は、システム制御ユニット200から受信された修正されたミキシング制御パラメータ150に基づいて、各参加者ステーション110に対する入来オーディオ信号325を再度ミキシングする。本実施例では、参加者間の距離が変化し、これによって参加者Aは、それぞれBの入来オーディオ信号325とCの入来オーディオ信号325との間の70%−30%の分割を受信する。Bは、Aの入来オーディオ信号325とCの入来オーディオ信号325との間の同様の分割を受信する。しかし、Cは、これらの参加者AおよびBがCから等距離なままなので、Aの入来オーディオ信号325とBの入来オーディオ信号325との間の50%−50%の分割をさらに受信する。
【0086】
次に示されるイベント920は、参加者Bが不適切な発言をすることである。不適切な発言は、システム制御ユニット200にBの入来オーディオ信号325内に含まれる不適切な発言を知らせるMIU400内の発言認識モジュール660によって検出される。発言認識モジュール660は、システム制御ユニット200にBの入来オーディオ信号325内に含まれる不適切な発言を知らせる。参加者Cは自分の親としての制御が可能である唯一の参加者であることを想起させる。システム制御ユニット200は、参加者ステーションCに対するミキシング制御パラミータ150を再計算し、上記の更新されたパラメータ150をオーディオブリッジングユニット300に送信する。次いで、オーディオブリッジングユニット300は、Bの入来信号325をCのミキシングされた信号330から一時的に(または場所の政策に依存して、永続的に)消す。Bの入来信号325がCのミキシングされた信号330から永続的に消音されると仮定する。このようにCは参加者Aからのオーディオ入力のみ受信する。AおよびBからのミキシング制御データ140が変わっていないと仮定すると、AおよびBへの出力であるミキシングされた信号330は、同じままである(Aは、Bによって発言された不適切な発言を聞く)。
【0087】
次に、参加者DおよびEがルーム800に入来(イベント930)、図8に示される位置に移動する。以前に議論されたように、ルーム800に入るために、参加者DおよびEは、システム制御ユニット200による制御セッションおよびオーディオブリッジングユニット300へのメディア接続を既に確立している。DおよびEは、図5に示される「ピュア(pure)IP」参加者ステーション110を利用することを仮定すると、参加者DおよびEは、システム制御ユニット200によって提供されるSIDに手動で入力することなく、手続きなしに(seamlessly)ルーム800に入ることが可能である。
【0088】
一旦、参加者DおよびEがルーム800に入る(イベント930)と、システム制御ユニット200は、参加者全員の位置を含むミキシング制御データ140の周期的な更新を受信する。2人より多い参加者の追加により、システム制御ユニット200は、現存する参加者A、B、およびCに対するミキシングパラメータ150、および新しい参加者DおよびEに対するミキシングパラメータ150を計算する。次いで、オーディオブリッジングユニット300は、新しいミキシングパラメータ150に基づいて各参加者ステーション110に対して出力するミキシングされた信号330を再ミキシングする。図9に示されるように、本実施例では、参加者A、BおよびCは、参加者DおよびEが大きく離れている(参加者Eは、参加者Dより少しばかりさらに離れている)ので、DおよびEから入来オーディオ信号325の大きく減衰されたレベルを受信する。同様に、参加者DおよびEは、参加者A、BおよびCからの入来オーディオ信号325の大きく減衰された部分と共に、互いの入来オーディオ信号325をほとんど受信する。
【0089】
次に、参加者Aは、明示的に940を要求し、参加者DおよびEの遠距離会話を走査する。この要求は、参加者Aが参加者DとEとの間の間隔上に直接、自分のマウスポインタをクリックすることを含む様々な方法でなされ得る。システム制御ユニットは、この要求をミキシング制御データ140の一部として参加者Aから受信する。次いで、システム制御ユニット200は、好適には、まるで参加者Aのマウスのポインタによってクリックされた点に参加者AがいるかのようにAのミキシング制御パラメータ150を再計算する。依然として残っている参加者が参加者Aの入来オーディオ信号325をミキシングするために、Aは、まだ自分の前の位置にいるとみなされる。次いで、オーディオブリッジングユニット300は、新しいミキシング制御パラメータ150に従って、参加者Aが出力するミキシングされた信号330を再ミキシングする(結果として、DとEとの間の会話に対する、より重く重みを付けられるAへのミキシングされた出力信号330が生じる)。他の参加者へのミキシングされたオーディオ信号320は、このイベントによって変わることはない。
【0090】
次に示されるイベント950は、図4に示されたものと同様の参加者ステーション110(例えば、ビジュアルPCインターフェースおよびオーディオPSTN電話インターフェース)を使用して会議に参加するための参加者Fからの要求である。好適に、参加者Fからの要求は、自分のPC450または他のビジュアルインターフェースを介して為される。システム制御ユニット200は、要求を受信し、会議のためのSIDを参加者Fに割り当て、オーディオインターフェースを得るための電話番号を参加者Fに知らせる。システム制御ユニット200はまた、オーディオブリッジングユニット300にSIDを送信する。オーディオブリッジングユニット300は、現在、開かれている会議にSIDを相関させ、参加者Fがオーディオ接続を確立するのを待つ。ユニット参加者Fが実際に会議に参加し、存在する参加者ステーション110に対するミキシングされたオーディオ信号330は変わることはない。
【0091】
1実施形態において、参加者Fは、無料通話番号に電話することによってオーディオ接続を確立し、PSTN−IPゲートウェイ470を通じてオーディオブリッジングユニット300に参加者ステーションFを接続させる。次いで、オーディオブリッジングユニット300は、(おそらく、DTMFトーンを通じて)システム制御ユニット200によって提供されるSIDに参加者Fを入らせるように促す。一旦SIDに入ると、オーディオブリッジングユニット300は、エッジポイントミキサ310を参加者ステーションF専用にし、それを現在の会議に接続する。
【0092】
一旦、参加者Fがオーディオ接続を確立し、(図8に示される位置にある)会議に入ると(イベント960)、システム制御ユニット200は、ルーム800内の参加者Fの初期位置を含む参加者の位置の全てに関する周期的な更新を受信し、各参加者ステーション110に対する更新されたミキシング制御パラメータ150を計算する。この会議に対するミキシングされたオーディオ信号のデフォルト最大数が4に仮定されたことを想起させる。ここで、6人の参加者がいるので、各参加者は、他の参加者の入来オーディオ信号325の少なくとも1つを含まないミキシングされた信号330を受信する。例えば、参加者Cは、(参加者DとEとの間の)参加者Aの盗聴位置からかなり離れているので、Aのミキシングされた信号330は、Cからのいかなる任意の入力をも含まない。同様に、参加者Bのミキシングされた信号330は、参加者Eからのいかなる入力をも含まない。(参加者Aは、参加者Aが立ち聞きするにも関わらず、他の参加者に関するミキシングするために、参加者AおよびBによって未だ参加者Aの位置を維持するとみなされる。)参加者Cは、不適切な発言のために参加者Bの入力が既に消されているので、参加者Fの追加によっていかなる信号入力もさらに失うことはない。
【0093】
しかし、本発明のシステム100への参加者FのPSTN接続465が忠実度(fidelity)において限定されると仮定すると、システム制御ユニット200は、好適には、参加者Fのために入来オーディオ信号325の数を3に限定する。忠実度と速度の限定により、参加者Fのオーディオ接続および設備では、明らかに、リアルタイムで、4人のミキシングされた声を有するミキシングされた出力信号300を受信できない。それゆえ、制御システムは、参加者ステーションFが最高に取り扱い得る忠実度のレベルに(本明細書では、3つのミキシングされた入来オーディオ信号325であると仮定される)参加者Fを調整する。議論したように、この忠実度の限定は、参加者ステーション110から明示的に受信され、および/またはシステム制御ユニット200によって自動的に導かれるミキシング制御パラメータ140に基づいて、好適には、システム制御ユニット200からのミキシング制御パラメータ150として含まれる。
【0094】
参加者Aは、次に、仮想チャットルーム800の角にあるジュークボックス820に移る(イベント970)。この仮想ジュークボックス820は、別のサーバ上でホストされるストリーミングオーディオサービス(streaming audio service)へのリンクを含む多くの形態をとり得ることが認識される。しかし、音楽が仮想チャットルーム800に流れ出すと、ジュークボックス820は、好適には、ミキシングするために別の参加者として単に取り扱われることが好適である。言い換えれば、ジュークボックス820により近くにいる参加者は、より離れている参加者よりもより大きな音で音楽を聴く。従って、システム制御ユニット200は、別の潜在的な入来オーディオ信号325の信号源としてジュークボックス820を取り入れ、これに基づいて距離ベースのミキシング制御パラメータ150を計算する。次いで、オーディオブリッジングユニット300は、ジュークボックス820の活性化によって影響される、任意の参加者に対する個別のミキシングされたオーディオ信号330を再度ミキシングする。この場合、(自分の立ち聞き位置から)A、D、E、およびFといった参加者だけは、以前にミキシングされた4つの入来オーディオ信号325のうち1つとジュークボックス820からの音楽が取り替わるのに十分な程、ジュークボックスに近い。
【0095】
最後に、参加者Aは、仮想チャットルーム800の角にある「To Hawaii」記号830と衝突することを決定する(980)。これは、異なるチャットルームへの利便性の高い入口(portal)(おそらく、ハワイのテーマに関する入口)の例である。これは、現在のチャットルーム800内でまたは多様な他の機構によってハイパーテキストリンクとして実施される。そのようなリンクと具現化物が衝突するイベントを処理する好適な方法は、1999年6月17日に出願された、「Automatic Teleconferencing Control System,」と題された米国仮出願第60/139,616号で示される。米国仮出願第60/139,616号は、本明細書中で参考として援用される。
【0096】
一旦、参加者Aがハイパーテキストと衝突する(イベント980)と、システム制御ユニット200は、異なるSIDを参加者Aに割り当て、そのSIDをオーディオブリッジングユニット300に送信する。オーディオブリッジングユニット300は、ハワイ会議にそのSIDを相関させ、別の専用エッジポイントミキサ310でその会議に参加者Aを接続させる。システム制御ユニット200は、ハワイ会議において、参加者Aに対する初期のミキシングパラメータ150を計算し、その計算値をオーディオブリッジングユニット300に送信する。次いで、オーディオブリッジングユニット300は、ハワイ会議における他の参加者の他のエッジポイントミクサ310にAの入来オーディオ信号325を接続させ、Aのミキシング制御パラメータ150に従って他のハワイ会議の参加者の入来オーディオ信号325をミキシングする。
【0097】
図9に示される実施例は、排他的でなく、限定的なものでもないことを認識される。特に、参加者全員が任意の時間に話しているという仮定はあり得ない。従って、(発言アクティビティ検出を含む)ミキシングされる入来オーディオ信号325のあり得そうな適切な選択は、図7に関連して説明される方法に関してより実行され易い。さらに、議論されたように、ミキシング公式は、非方向性のモノラルアプリケーションに対する距離ベースの減衰アルゴリズム、選択的な参加者減衰、および選択的な参加者増幅よりかなり複雑になり得るし、複雑になり易い。この基本的なミキシング公式への論理拡張は、発言方向性および/またはステレオまたは3D環境的な、方向性リスニング能力を同様に付加し得る。
【0098】
さらに、本発明のオーディオ会議ブリッジングシステム100は、対話式のゲーミングアプリケーションと関連して使用される。その場合、オーディオミキシング能力にエコー、死角、ノイズ、および歪み等の「ルーム効果」を加えることが所望となり得る。図8に示されるチャットルーム800の第3の人の視点に加えて、所定のゲーミングアプリケーションが3次元での第1の人の視点を加えることもまたあり得る。本明細書で使用されるように、「具現化物」810は、その表示が第1の人または第3の人の視点で実行されるかどうかに関わらず、任意の参加者または参加者ステーション110のビジュアル表示を示すことが理解されるべきである。さらに、ビジネス会議または一定の娯楽アプリケーションに対して、広帯域オーディオミキシングにより、有意な値を会議の経験に付加し得る。
【0099】
さらに、本発明が単なるオーディオ会議アプリケーションに限定していないことは、当業者には認識される。他のタイプのデータストリームがまた調整され得る。例えば、具現化物は、参加者のビデオ表示を含み得る。さらに、本発明は、リアルタイムでドキュメント上で協力して作業するために使用され得る。
【0100】
本発明が好適な説明に関して説明されてきたが、変更および改変は、上掲の請求項で規定される実体的な発明の視野または範囲から逸脱せずに、本発明に為され得ることが当業者には十分に明らかである。
【図面の簡単な説明】
【図1】 従来技術のミキシングアルゴリズムと本発明によるエッジポイントミキシングとの間の差異を説明する簡略フロー図である。
【図2】 本発明のオーディオ会議システムブリッジシステムと3つの参加者ステーションの簡略ブロック図である。
【図3】 図2に図示されたシステムによる簡略ブロック図である。
【図4】 本発明のオーディオ会議ブリッジシステムおよび参加者ステーションの例示的実施形態の簡略ブロック図である。
【図5】 本発明のオーディオ会議ブリッジシステムおよび参加者ステーションの別の例示的実施形態の簡略ブロック図である。
【図6】 単一サーバにインプリメントされた場合の本発明のオーディオ会議ブリッジシステムの例示的実施形態のブロック図である。
【図7】 本発明の方法の基本工程を示すフローチャートである。
【図8】 本発明によってイネーブルされる仮想チャットルームに対する潜在視覚インターフェースの例示的な図である。
【図9】 図8の仮想チャットルーム内で生じる特定のイベントと、本システムの例示的応答を説明するイベント図である。
Claims (28)
- オーディオ会議において複数の参加者ステーションを動作可能に接続するオーディオ会議ブリッジを生成するステップであって、該オーディオ会議ブリッジは、第1の参加者ステーションと複数の他の参加者ステーションとを少なくとも含み、該複数の参加者ステーションからの複数の入来オーディオ信号を受信するように適合されている、ステップと、
該第1の参加者ステーションのための第1のミキシング制御データを受信するステップであって、該第1のミキシング制御データは、該第1の参加者ステーション以外の参加者ステーションからの該複数の入来オーディオ信号のうちの少なくとも2つについて個々のミキシングパラメータを導出するために必要なデータを含む、ステップと、
該複数の参加者ステーションからの該複数の入来オーディオ信号を受信するステップと、
該第1の参加者ステーションのために受信された該第1のミキシング制御データに少なくとも基づいてオーディオ会議ミキシングパラメータの第1のセットを設定するステップと、
所望の効果をもたらすように、アルゴリズムに従って該オーディオ会議ミキシングパラメータの第1のセットを動的に改変するステップであって、該アルゴリズムは、所定の基準を満たすオーディオ信号を識別し、ミキシングユニットによってミキシングされる可能性のあるオーディオ信号の数を該所定の基準を満たすオーディオ信号だけに減少させる検出ルーチンを含む、ステップと、
該オーディオ会議ミキシングパラメータの改変された第1のセットに従って、該複数の入来オーディオ信号のうちのN(Nは1より大きい整数)個をミキシングすることにより、第1のミキシングされたオーディオ信号を生成するステップと、
該第1のミキシングされたオーディオ信号を出力するステップと
を包含する、オーディオ会議を容易にするための方法。 - 前記出力するステップは、前記第1の参加者ステーションに前記第1のミキシングされたオーディオ信号を送信するステップを包含する、請求項1に記載の方法。
- 前記第1の参加者ステーションは第1の通信ネットワークに接続され、前記オーディオ会議ブリッジは第2の通信ネットワークに接続され、
前記生成するステップは、前記第1の通信ネットワークと前記第2の通信ネットワークとの間のゲートウェイを介して、前記第1の参加者ステーションを前記オーディオ会議ブリッジに動作可能に接続するステップを包含する、請求項1に記載の方法。 - 前記第1の参加者ステーションは前記第2の通信ネットワークに動作可能に接続され、
前記第1の参加者ステーションは前記第1の通信ネットワークを介して前記第1のミキシングされたオーディオ信号を受信し、
前記第1の参加者ステーションは前記第2の通信ネットワークを介して前記第1のミキシング制御データを送信する、請求項3に記載の方法。 - 前記第1の通信ネットワークは、公衆電話通信交換網、無線通信網、および衛星通信網のうちの少なくとも1つを含む、請求項4に記載の方法。
- 前記第2の通信ネットワークは、インターネット、広域ネットワーク、ローカルエリアネットワークのうちの少なくとも1つを含む、請求項4に記載の方法。
- 前記第1のミキシング制御データは前記第1の参加者ステーションからの明示的なミキシング命令を含む、請求項1に記載の方法。
- 第2の参加者ステーションは前記オーディオ会議ブリッジにオーディオ信号を送信し、前記ミキシング命令は該第2の参加者ステーションによって送信された該オーディオ信号に対する利得を増加させることを含む、請求項7に記載の方法。
- 第2の参加者ステーションはオーディオ信号を前記オーディオ会議ブリッジへ送信し、前記第1のミキシング制御データは、該第2の参加者ステーションによって送信された該オーディオ信号を完全にミューティングすることなく、該第2の参加者ステーションによって送信された該オーディオ信号に対する利得を減少させることを含む、請求項7に記載の方法。
- 前記第1のミキシング制御データは前記第1の参加者ステーションに関連した少なくとも第1の変数の値を含み、前記動的に改変するステップは少なくとも該第1の変数の値に基づいて前記ミキシングパラメータの改変された第1のセットを自動的に計算するステップを包含する、請求項1に記載の方法。
- 前記第1の参加者ステーションに関連した少なくとも第1の参加者は仮想会議の世界内で第1の具現化物により視覚的に表され、前記第1の変数は該仮想会議の世界内で該具現化物の位置を含む、請求項10に記載の方法。
- 前記第1の参加者は前記仮想会議の世界内で前記第1の具現化物の位置を制御する、請求項11に記載の方法。
- 前記仮想会議の世界は3次元である、請求項11に記載の方法。
- 前記第2の参加者ステーションに関連した少なくとも第2の参加者は前記仮想会議世界内で第2の具現化物によって視覚的に表され、
該第2の参加者ステーションはオーディオ信号を前記オーディオ会議ブリッジに送信し、
前記方法は、
前記第1の具現化物と前記第2の具現化物とがともに接近するように移動する場合、該第2の参加者ステーションによって送信される前記オーディオ信号に対する利得を増加させるように前記オーディオ会議ミキシングパラメータの第1のセットを修正するステップをさらに包含する、請求項11に記載の方法。 - 前記複数の他の参加者ステーションは第2の参加者ステーションを少なくとも含み、前記方法は、
該第2の参加者ステーションからの第2のミキシング制御データを受信するステップであって、該第2のミキシング制御データは、該第2の参加者ステーション以外の参加者ステーションからの前記複数の入来オーディオ信号のうちの少なくも2つについて個々のミキシングパラメータを導出するために必要なデータを含む、ステップと、
該第2のミキシング制御データに少なくとも基づいてオーディオ会議ミキシングパラメータの第2のセットを設定するステップと、
前記アルゴリズムに従って、該オーディオ会議ミキシングパラメータの第2のセットを動的に改変するステップと、
該オーディオ会議ミキシングパラメータの改変された第2のセットに従って、該複数の入来オーディオ信号のうちのN(Nは1より大きい整数)個をミキシングすることにより、第2のミキシングされたオーディオ信号を生成するステップと、
該第2の参加者ステーションに該第2のミキシングされたオーディオ信号を送信するステップと
を包含し、該改変されたオーディオ会議ミキシングパラメータの第1のセットと第2のセットとは異なる、請求項2に記載の方法。 - 前記動的に改変するステップは、前記複数の入来オーディオ信号の内容をモニタするステップと、予め設定された事象が該オーディオ信号の内容において検出された場合に前記オーディオ会議ミキシングパラメータの第1のセットを動的に変更するステップとを包含する、請求項1に記載の方法。
- 前記予め設定された事象は不快な言語を含む、請求項16に記載の方法。
- 前記生成するステップは、
前記第1の参加者ステーションと制御接続を確立するステップと、
セッション識別子を前記第1の参加者ステーションに割り当てるステップと、
前記第1の参加者ステーションとオーディオ接続を確立するステップと、
該セッション識別子を介して該制御接続と該オーディオ接続とを相互に関連付けるステップと
を包含する、請求項1に記載の方法。 - 前記オーディオ会議ミキシングパラメータの改変された第1のセットは、前記第1のミキシングされたオーディオ信号を生成するようにミキシングされる複数の入来信号の最大数Nを制限するパラメータを含む、請求項1に記載の方法。
- オーディオ会議において複数の参加者ステーションをともにブリッジするためのオーディオ会議ブリッジシステムであって、
オーディオ会議において複数の参加者ステーションを動作可能に接続するオーディオ会議ブリッジを生成する手段であって、該オーディオ会議ブリッジは、第1の参加者ステーションと複数の他の参加者ステーションとを少なくとも含み、該複数の参加者ステーションからの複数の入来オーディオ信号を受信するように適合されている、手段と、
該第1の参加者ステーションのための第1のミキシング制御データを受信する手段であって、該第1のミキシング制御データは、該第1の参加者ステーション以外の参加者ステーションからの該複数の入来オーディオ信号のうちの少なくとも2つについて個々のミキシングパラメータを導出するために必要なデータを含む、手段と、
該複数の参加者ステーションからの複数の入来オーディオ信号を受信する手段と、
該第1の参加者ステーションのために受信された該第1のミキシング制御データに少なくとも基づいてオーディオ会議ミキシングパラメータの第1のセットを設定する手段と、
アルゴリズムに従って、該オーディオ会議ミキシングパラメータの第1のセットを動的に改変する手段であって、該アルゴリズムは、所定の基準を満たすオーディオ信号を識別し、ミキシングユニットによってミキシングされる可能性のあるオーディオ信号の数を該所定の基準を満たすオーディオ信号だけに減少させる検出ルーチンを含む、手段と、
該オーディオ会議ミキシングパラメータの改変された第1のセットに従って、該複数の入来オーディオ信号のうちのN(Nは1より大きい整数)個をミキシングすることにより、第1のミキシングされたオーディオ信号を生成する手段と、
該第1のミキシングされたオーディオ信号を出力する手段と
を含む、オーディオ会議ブリッジシステム。 - 複数の参加者ステーションの間でのオーディオ会議プロセスを容易にするためのコンピュータシステムを制御するための命令を含むコンピュータ読み取り可能媒体であって、該プロセスは、
オーディオ会議において複数の参加者ステーションを動作可能に接続するオーディオ会議ブリッジを生成することであって、該オーディオ会議ブリッジは、第1の参加者ステーションと複数の他の参加者ステーションとを少なくとも含み、該複数の参加者ステーションからの複数の入来オーディオ信号を受信するように適合されている、ことと、
該第1の参加者ステーションのための第1のミキシング制御データを受信することであって、該第1のミキシング制御データは、該第1の参加者ステーション以外の参加者ステーションからの該複数の入来オーディオ信号のうちの少なくとも2つについて個々のミキシングパラメータを導出するために必要なデータを含む、ことと、
該複数の参加者ステーションからの複数の入来オーディオ信号を受信することと、
該第1の参加者ステーションのために受信された該第1のミキシング制御データに少なくとも基づいてオーディオ会議ミキシングパラメータの第1のセットを設定することと、
アルゴリズムに従って、該オーディオ会議ミキシングパラメータの第1のセットを動的に改変することであって、該アルゴリズムは、所定の基準を満たすオーディオ信号を識別し、ミキシングユニットによってミキシングされる可能性のあるオーディオ信号の数を該所定の基準を満たすオーディオ信号だけに減少させる検出ルーチンを含む、ことと、
該オーディオ会議ミキシングパラメータの改変された第1のセットに従って、該複数の入来オーディオ信号のうちのN(Nは1より大きい整数)個をミキシングすることにより、第1のミキシングされたオーディオ信号を生成することと、
該第1のミキシングされたオーディオ信号を出力することと
を包含する、コンピュータ読み取り可能媒体。 - オーディオ会議において複数の参加者ステーションをともにブリッジするためのオーディオ会議ブリッジシステムであって、
第1の参加者ステーションと複数の他の参加者ステーションとを少なくとも含む複数の参加者ステーションからミキシング制御データを受信し、該第1の参加者ステーションから受信された第1のミキシング制御データに少なくとも基づいてオーディオ会議ミキシングパラメータの第1のセットを少なくとも生成するように適合されたシステム制御ユニットであって、該第1のミキシング制御データは該第1の参加者ステーション以外の参加者ステーションからの少なくとも2つの入来オーディオ信号について個々のミキシングパラメータを導出するために必要なデータを含む、システム制御ユニットと、
該システム制御ユニットに動作可能に接続されたオーディオブリッジユニットであって、該複数の参加者ステーションからの複数のオーディオ信号を受信し、かつ、該システム制御ユニットからの該オーディオ会議ミキシングパラメータの第1のセットを受信するように適合されたオーディオブリッジユニットと
を含み、
該オーディオブリッジユニットは、
所望の効果をもたらすように、アルゴリズムに従って該オーディオ会議ミキシングパラメータの第1のセットを動的に改変し、該オーディオ会議ミキシングパラメータの改変された第1のセットに従って、該複数のオーディオ信号のうちの少なくともN(Nは1より大きい整数)個をミキシングすることにより、第1のミキシングされたオーディオ信号を生成するように適合された第1のエッジポイントミキサーを含み、該アルゴリズムは、所定の基準を満たすオーディオ信号を識別し、ミキシングユニットによってミキシングされる可能性のあるオーディオ信号の数を該所定の基準を満たすオーディオ信号だけに減少させる検出ルーチンを含み、
該オーディオブリッジユニットは、該第1のミキシングされたオーディオ信号を出力するように適合されている、オーディオ会議ブリッジシステム。 - オーディオ会議において複数の参加者ステーションをともに動的にブリッジするためのオーディオ会議ブリッジシステムであって、
該システムは、
少なくとも1つの参加者ステーションからミキシング制御データを受信するように適合されたシステム制御ユニットと、
該システム制御ユニットに動作可能に接続されたオーディオブリッジユニットと、
該オーディオブリッジユニットに動作可能に関連付けられたミキシングユニットと
を備え、
該少なくとも1つの参加者ステーションからの該ミキシング制御データは、該少なくとも1つの参加者ステーション以外の参加ステーションからの少なくとも2つの入来オーディオ信号について個々のミキシングパラメータを導出するために必要なデータを含み、
該システム制御ユニットは、所望の効果をもたらすように該ミキシング制御データに適用されるアルゴリズムを選択し、該アルゴリズムは、所定の基準を満たすオーディオ信号を識別し、該ミキシングユニットによってミキシングされる可能性のあるオーディオ信号の数を該所定の基準を満たすオーディオ信号だけに減少させる検出ルーチンを含み、
該システム制御ユニットは、該少なくとも1つの参加者ステーションから受信した該ミキシング制御データに基づいて、該個々のミキシングパラメータと該選択されたアルゴリズムとを含む少なくとも1つのミキシングパラメータのセットを生成し、
該オーディオブリッジユニットは、該複数の参加者ステーションに関連付けられた複数のオーディオ信号をそれぞれ受信し、該システム制御ユニットから該少なくとも1つのミキシングパラメータを受信し、該少なくとも1つのミキシングパラメータのセットと該複数のオーディオ信号とを関連づけるように適合されており、
該ミキシングユニットは、該少なくとも1つのミキシングパラメータのセットに従って、該複数オーディオ信号のうちの少なくともN(Nは1より大きい整数)個をミキシングすることにより、該少なくとも1つのミキシングされたオーディオ信号を生成し、該少なくとも1つのミキシングされたオーディオ信号を出力するように適合されている、オーディオ会議ブリッジシステム。 - メディアインターフェースユニットをさらに備え、
該メディアインターフェースユニットは、複数の信号フォーマットで前記複数のオーディオ信号を受信し、該複数のオーディオ信号を単一の一様なフォーマットに変換し、該変換された複数のオーディオ信号を前記オーディオブリッジユニットに転送するように適合されている、請求項23に記載のオーディオ会議ブリッジシステム。 - 前記メディアインターフェースユニットは、前記オーディオブリッジユニットから出力された前記少なくとも1つのミキシングされたオーディオ信号を受信し、該少なくとも1つのミキシングされたオーディオ信号を前記少なくも1つの参加者ステーションに好適な本来の信号フォーマットに変換し、該少なくとも1つの参加者ステーションに該少なくとも1つのミキシングされた信号を送信するようにさらに適合されている、請求項23に記載のオーディオ会議ブリッジシステム。
- 前記検出ルーチンは、スピーチアクティビティルーチンを含み、該スピーチアクティビティルーチンは、オーディオ会議中のいずれかの所与の時間におけるアクティブな参加者のオーディオ信号を識別し、前記ミキシングユニットによってミキシングされる可能性のあるオーディオ信号の数を該複数のオーディオ信号のすべてから該アクティブな参加者のオーディオ信号だけに減少させる、請求項23に記載のオーディオ会議ブリッジシステム。
- 前記検出ルーチンは、信号強度検出ルーチンを含み、該信号強度検出ルーチンは、前記複数のオーディオ信号のそれぞれの信号の強度を評価し、前記ミキシングユニットによってミキシングされる可能性のあるオーディオ信号の数を信号強度に基づく所定の基準を満たすオーディオ信号だけに減少させる、請求項23に記載のオーディオ会議ブリッジシステム。
- 前記制御データは、仮想空間における前記複数の参加者の仮想位置に関連する位置情報を含み、前記アルゴリズムは、位置検出および補償ルーチンを含み、該位置検出および補償ルーチンは、前記複数の参加者の相対的な仮想位置を反映するように前記少なくとも1つのミキシングされたオーディオ信号を調整する、請求項23に記載のオーディオ会議ブリッジシステム。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13523999P | 1999-05-21 | 1999-05-21 | |
US60/135,239 | 1999-05-21 | ||
US13961699P | 1999-06-17 | 1999-06-17 | |
US60/139,616 | 1999-06-17 | ||
US09/571,577 US7006616B1 (en) | 1999-05-21 | 2000-05-15 | Teleconferencing bridge with EdgePoint mixing |
US09/571,577 | 2000-05-15 | ||
PCT/US2000/013875 WO2000072560A1 (en) | 1999-05-21 | 2000-05-19 | Teleconferencing bridge with edgepoint mixing |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006168780A Division JP2006340376A (ja) | 1999-05-21 | 2006-06-19 | エッジポイントミキシングを有する遠隔会議ブリッジ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003500935A JP2003500935A (ja) | 2003-01-07 |
JP3948904B2 true JP3948904B2 (ja) | 2007-07-25 |
Family
ID=27384683
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000619903A Expired - Lifetime JP3948904B2 (ja) | 1999-05-21 | 2000-05-19 | エッジポイントミキシングを有する遠隔会議ブリッジ |
JP2006168780A Withdrawn JP2006340376A (ja) | 1999-05-21 | 2006-06-19 | エッジポイントミキシングを有する遠隔会議ブリッジ |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006168780A Withdrawn JP2006340376A (ja) | 1999-05-21 | 2006-06-19 | エッジポイントミキシングを有する遠隔会議ブリッジ |
Country Status (6)
Country | Link |
---|---|
US (1) | US7006616B1 (ja) |
EP (1) | EP1188298A4 (ja) |
JP (2) | JP3948904B2 (ja) |
KR (1) | KR100434583B1 (ja) |
AU (2) | AU5147400A (ja) |
WO (2) | WO2000072563A1 (ja) |
Families Citing this family (202)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6556670B1 (en) * | 1998-08-21 | 2003-04-29 | Lucent Technologies Inc. | Method for solving the music-on-hold problem in an audio conference |
JP4999244B2 (ja) * | 1999-06-08 | 2012-08-15 | ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク | インターネット電話用のネットワーク電話器具およびシステム |
US6772195B1 (en) * | 1999-10-29 | 2004-08-03 | Electronic Arts, Inc. | Chat clusters for a virtual world application |
ATE369677T1 (de) * | 2000-02-29 | 2007-08-15 | Benjamin D Baker | Intelligenter rufprozess für ein diskussionsforum |
US7328239B1 (en) | 2000-03-01 | 2008-02-05 | Intercall, Inc. | Method and apparatus for automatically data streaming a multiparty conference session |
US20060067500A1 (en) * | 2000-05-15 | 2006-03-30 | Christofferson Frank C | Teleconferencing bridge with edgepoint mixing |
US6501739B1 (en) * | 2000-05-25 | 2002-12-31 | Remoteability, Inc. | Participant-controlled conference calling system |
US7111163B1 (en) | 2000-07-10 | 2006-09-19 | Alterwan, Inc. | Wide area network using internet with quality of service |
AU2001287177A1 (en) * | 2000-08-11 | 2002-02-25 | The Trustees Of Columbia University In The City Of New York | System and method for unified messaging in inter/intranet telephony |
US20040054724A1 (en) * | 2000-12-01 | 2004-03-18 | Satoru Sudo | Teleconferencing system |
DE10062342A1 (de) * | 2000-12-14 | 2002-07-11 | Eads Defence & Security Ntwk | Verfahren und Vorrichtung zur Realisierung von Sprachkonferenzen |
US8977683B2 (en) * | 2000-12-26 | 2015-03-10 | Polycom, Inc. | Speakerphone transmitting password information to a remote device |
US7339605B2 (en) * | 2004-04-16 | 2008-03-04 | Polycom, Inc. | Conference link between a speakerphone and a video conference unit |
US9001702B2 (en) * | 2000-12-26 | 2015-04-07 | Polycom, Inc. | Speakerphone using a secure audio connection to initiate a second secure connection |
WO2002093397A1 (en) * | 2000-12-26 | 2002-11-21 | Polycom, Inc. | System and method for coordinating a conference using a dedicated server |
US8964604B2 (en) * | 2000-12-26 | 2015-02-24 | Polycom, Inc. | Conference endpoint instructing conference bridge to dial phone number |
US8948059B2 (en) * | 2000-12-26 | 2015-02-03 | Polycom, Inc. | Conference endpoint controlling audio volume of a remote device |
US7864938B2 (en) * | 2000-12-26 | 2011-01-04 | Polycom, Inc. | Speakerphone transmitting URL information to a remote device |
US7221663B2 (en) * | 2001-12-31 | 2007-05-22 | Polycom, Inc. | Method and apparatus for wideband conferencing |
US6956828B2 (en) * | 2000-12-29 | 2005-10-18 | Nortel Networks Limited | Apparatus and method for packet-based media communications |
US7266091B2 (en) * | 2001-02-28 | 2007-09-04 | The Trustees Of Columbia University In City Of New York | System and method for conferencing in inter/intranet telephony |
US6757690B2 (en) | 2001-03-26 | 2004-06-29 | International Business Machines Corporation | Method and system for monitoring and securing data access in a database system |
US6820080B2 (en) | 2001-03-26 | 2004-11-16 | International Business Machines Corporation | Dependent object processing for triggers |
US6804340B2 (en) * | 2001-05-03 | 2004-10-12 | Raytheon Company | Teleconferencing system |
JP4231698B2 (ja) * | 2001-05-10 | 2009-03-04 | ポリコム イスラエル リミテッド | 多地点マルチメディア/音声システムの制御ユニット |
US8934382B2 (en) * | 2001-05-10 | 2015-01-13 | Polycom, Inc. | Conference endpoint controlling functions of a remote device |
US8976712B2 (en) | 2001-05-10 | 2015-03-10 | Polycom, Inc. | Speakerphone and conference bridge which request and perform polling operations |
EP1298903A3 (en) * | 2001-09-26 | 2005-01-26 | Siemens Information and Communication Networks Inc. | Method for handling larger number of people per conference in voice conferencing over packetized networks |
US7428223B2 (en) * | 2001-09-26 | 2008-09-23 | Siemens Corporation | Method for background noise reduction and performance improvement in voice conferencing over packetized networks |
FI114129B (fi) * | 2001-09-28 | 2004-08-13 | Nokia Corp | Konferenssipuhelujärjestely |
JP4250938B2 (ja) * | 2001-10-15 | 2009-04-08 | パナソニック株式会社 | コミュニケーション支援方法およびコミュニケーションサーバ |
KR100794424B1 (ko) * | 2001-11-01 | 2008-01-16 | 엘지노텔 주식회사 | 오디오 패킷 스위칭 시스템 및 방법 |
US8023458B2 (en) * | 2001-12-31 | 2011-09-20 | Polycom, Inc. | Method and apparatus for wideband conferencing |
US7787605B2 (en) * | 2001-12-31 | 2010-08-31 | Polycom, Inc. | Conference bridge which decodes and responds to control information embedded in audio information |
US8934381B2 (en) * | 2001-12-31 | 2015-01-13 | Polycom, Inc. | Conference endpoint instructing a remote device to establish a new connection |
US8102984B2 (en) * | 2001-12-31 | 2012-01-24 | Polycom Inc. | Speakerphone and conference bridge which receive and provide participant monitoring information |
US8223942B2 (en) | 2001-12-31 | 2012-07-17 | Polycom, Inc. | Conference endpoint requesting and receiving billing information from a conference bridge |
US8144854B2 (en) * | 2001-12-31 | 2012-03-27 | Polycom Inc. | Conference bridge which detects control information embedded in audio information to prioritize operations |
US8947487B2 (en) * | 2001-12-31 | 2015-02-03 | Polycom, Inc. | Method and apparatus for combining speakerphone and video conference unit operations |
US7742588B2 (en) * | 2001-12-31 | 2010-06-22 | Polycom, Inc. | Speakerphone establishing and using a second connection of graphics information |
US8705719B2 (en) | 2001-12-31 | 2014-04-22 | Polycom, Inc. | Speakerphone and conference bridge which receive and provide participant monitoring information |
US8885523B2 (en) * | 2001-12-31 | 2014-11-11 | Polycom, Inc. | Speakerphone transmitting control information embedded in audio information through a conference bridge |
US7978838B2 (en) * | 2001-12-31 | 2011-07-12 | Polycom, Inc. | Conference endpoint instructing conference bridge to mute participants |
US20050213726A1 (en) * | 2001-12-31 | 2005-09-29 | Polycom, Inc. | Conference bridge which transfers control information embedded in audio information between endpoints |
ATE551826T1 (de) * | 2002-01-18 | 2012-04-15 | Polycom Inc | Digitale verknüpfung von mehrmikrofonsystemen |
US20040148351A1 (en) * | 2003-01-29 | 2004-07-29 | Web.De Ag | Communications web site |
US20040015541A1 (en) * | 2002-07-22 | 2004-01-22 | Web.De Ag | Communications environment having a portal |
US7539486B2 (en) * | 2002-05-06 | 2009-05-26 | Avaya Inc. | Wireless teleconferencing system |
EP1377003A1 (de) * | 2002-06-05 | 2004-01-02 | EADS TELECOM Deutschland GmbH | Verfahren und Vorrichtung zur Realisierung von Sprachkonferenzen |
EP1377004A1 (de) * | 2002-06-19 | 2004-01-02 | Alcatel | Verfahren zum Aufbau einer Konferenzschaltung zwischen mehreren Teilnehmerendgeräten eines Kommunikationsnetzwerkes |
US20040006595A1 (en) * | 2002-07-03 | 2004-01-08 | Chiang Yeh | Extended features to conferencing system using a web-based management interface |
WO2004006475A2 (en) * | 2002-07-04 | 2004-01-15 | Nokia Corporation | Managing a packet switched conference call |
DE10238285A1 (de) * | 2002-08-21 | 2004-03-04 | Siemens Ag | Verfahren und Vorrichtung zum Bereitstellen von Konferenzen |
DE10238286B4 (de) * | 2002-08-21 | 2004-11-11 | Siemens Ag | Verfahren und Vorrichtung zum Bereitstellen von Konferenzen |
US7180997B2 (en) * | 2002-09-06 | 2007-02-20 | Cisco Technology, Inc. | Method and system for improving the intelligibility of a moderator during a multiparty communication session |
US7298834B1 (en) * | 2002-11-22 | 2007-11-20 | 3Com Corporation | System and method for large capacity conference calls |
US7371175B2 (en) | 2003-01-13 | 2008-05-13 | At&T Corp. | Method and system for enhanced audio communications in an interactive environment |
US7619995B1 (en) * | 2003-07-18 | 2009-11-17 | Nortel Networks Limited | Transcoders and mixers for voice-over-IP conferencing |
US8121112B2 (en) * | 2003-08-29 | 2012-02-21 | Arris Group, Inc. | Method and system for processing voice traffic from a multi-channel link into a VoIP network over a broadband network |
US7483369B2 (en) | 2003-09-30 | 2009-01-27 | Avaya Inc. | Method and apparatus for migrating to an alternate call controller |
IL158276A (en) * | 2003-10-02 | 2010-04-29 | Radvision Ltd | Method for dynamically optimizing bandwidth allocation in variable bitrate (multi-rate) conferences |
US20050122389A1 (en) * | 2003-11-26 | 2005-06-09 | Kai Miao | Multi-conference stream mixing |
EP1723777A1 (de) * | 2004-01-30 | 2006-11-22 | Combots Product GmbH & Co.KG | Aufbau von verbindungen mit hilfe von kontaktelementen |
US7985138B2 (en) * | 2004-02-17 | 2011-07-26 | International Business Machines Corporation | SIP based VoIP multiplayer network games |
KR101167058B1 (ko) * | 2004-04-16 | 2012-07-30 | 스마트 인터넷 테크놀로지 씨알씨 피티와이 엘티디 | 오디오 신을 생성함에 사용되는 장치, 방법 및 컴퓨터로 읽기 가능한 매체 |
US7366110B2 (en) | 2004-09-30 | 2008-04-29 | Avaya Technology Corp. | Method and apparatus for merging call components during call reconstruction |
JP4513514B2 (ja) * | 2004-11-10 | 2010-07-28 | 日本電気株式会社 | 多地点通話システム、携帯端末装置及びそれらに用いる音量調整方法並びにそのプログラム |
US7599357B1 (en) * | 2004-12-14 | 2009-10-06 | At&T Corp. | Method and apparatus for detecting and correcting electrical interference in a conference call |
US7496056B2 (en) | 2005-01-04 | 2009-02-24 | Avaya Inc. | Conference connections using dynamic topology switching for IP and circuit-switched fabrics |
US8462637B1 (en) | 2005-01-04 | 2013-06-11 | Sheridan Ross P.C. | Dial plan routing for fragmented networks |
US7457249B2 (en) | 2005-01-04 | 2008-11-25 | Avaya, Inc. | Alternate routing of media connections within a single communications system across public or private network facilities |
US7613106B2 (en) | 2005-01-04 | 2009-11-03 | Avaya Inc. | Dial plan transparency for fragmented networks |
US7564793B2 (en) | 2005-01-04 | 2009-07-21 | Avaya Inc. | In-band call association signaling for a single number destination |
US20060218268A1 (en) * | 2005-03-28 | 2006-09-28 | Andre Beck | Method and apparatus for extending service mediation to intelligent voice-over-IP endpoint terminals |
US7796565B2 (en) | 2005-06-08 | 2010-09-14 | Polycom, Inc. | Mixed voice and spread spectrum data signaling with multiplexing multiple users with CDMA |
US8126029B2 (en) | 2005-06-08 | 2012-02-28 | Polycom, Inc. | Voice interference correction for mixed voice and spread spectrum data signaling |
US8199791B2 (en) | 2005-06-08 | 2012-06-12 | Polycom, Inc. | Mixed voice and spread spectrum data signaling with enhanced concealment of data |
JP4608400B2 (ja) | 2005-09-13 | 2011-01-12 | 株式会社日立製作所 | 音声通話システムおよび音声通話中におけるコンテンツの提供方法 |
US20070116213A1 (en) * | 2005-10-13 | 2007-05-24 | Gruchala Carol S | Methods and apparatus to detect and block unwanted fax calls |
US7599834B2 (en) * | 2005-11-29 | 2009-10-06 | Dilithium Netowkrs, Inc. | Method and apparatus of voice mixing for conferencing amongst diverse networks |
US7668304B2 (en) | 2006-01-25 | 2010-02-23 | Avaya Inc. | Display hierarchy of participants during phone call |
US7643436B2 (en) * | 2006-02-01 | 2010-01-05 | Sun Microsystems, Inc. | Apparatus and method for combining network conferences that are not co-located |
US8433050B1 (en) | 2006-02-06 | 2013-04-30 | Avaya Inc. | Optimizing conference quality with diverse codecs |
US7917583B2 (en) | 2006-02-17 | 2011-03-29 | Verizon Patent And Licensing Inc. | Television integrated chat and presence systems and methods |
US9143735B2 (en) * | 2006-02-17 | 2015-09-22 | Verizon Patent And Licensing Inc. | Systems and methods for providing a personal channel via television |
US8522276B2 (en) * | 2006-02-17 | 2013-08-27 | Verizon Services Organization Inc. | System and methods for voicing text in an interactive programming guide |
US8584174B1 (en) | 2006-02-17 | 2013-11-12 | Verizon Services Corp. | Systems and methods for fantasy league service via television |
US8713615B2 (en) | 2006-02-17 | 2014-04-29 | Verizon Laboratories Inc. | Systems and methods for providing a shared folder via television |
JP4644813B2 (ja) * | 2006-02-27 | 2011-03-09 | 国立大学法人東京農工大学 | 多者間通話システム、多者間通話システムにおける通話端末および通話サーバ、多者間通話方法 |
US20070206759A1 (en) * | 2006-03-01 | 2007-09-06 | Boyanovsky Robert M | Systems, methods, and apparatus to record conference call activity |
US7843486B1 (en) | 2006-04-10 | 2010-11-30 | Avaya Inc. | Selective muting for conference call participants |
US8266535B2 (en) | 2006-09-11 | 2012-09-11 | Broadnet Teleservices, Llc | Teleforum apparatus and method |
US7689568B2 (en) * | 2006-12-28 | 2010-03-30 | Industrial Technology Research Institute | Communication system |
US9338399B1 (en) * | 2006-12-29 | 2016-05-10 | Aol Inc. | Configuring output controls on a per-online identity and/or a per-online resource basis |
US9325749B2 (en) * | 2007-01-31 | 2016-04-26 | At&T Intellectual Property I, Lp | Methods and apparatus to manage conference call activity with internet protocol (IP) networks |
US8126129B1 (en) | 2007-02-01 | 2012-02-28 | Sprint Spectrum L.P. | Adaptive audio conferencing based on participant location |
US8334891B2 (en) * | 2007-03-05 | 2012-12-18 | Cisco Technology, Inc. | Multipoint conference video switching |
US20100325255A1 (en) * | 2007-04-05 | 2010-12-23 | Gene Cheung | Data transmission system and method |
US8340086B2 (en) * | 2007-04-19 | 2012-12-25 | At&T Intellectual Property I, Lp | Methods and apparatus to protect and audit communication line status |
US8264521B2 (en) | 2007-04-30 | 2012-09-11 | Cisco Technology, Inc. | Media detection and packet distribution in a multipoint conference |
US7840668B1 (en) * | 2007-05-24 | 2010-11-23 | Avaya Inc. | Method and apparatus for managing communication between participants in a virtual environment |
US8385233B2 (en) | 2007-06-12 | 2013-02-26 | Microsoft Corporation | Active speaker identification |
EP2176987B1 (en) * | 2007-07-27 | 2012-09-19 | Clear-Com Research Inc. | Multi-point to multi-point intercom system |
US8223959B2 (en) * | 2007-07-31 | 2012-07-17 | Hewlett-Packard Development Company, L.P. | Echo cancellation in which sound source signals are spatially distributed to all speaker devices |
JP5017013B2 (ja) * | 2007-08-08 | 2012-09-05 | 株式会社コナミデジタルエンタテインメント | ネットワークゲームシステム、ネットワークゲームシステムの制御方法及びプログラム |
US8432796B2 (en) * | 2007-09-18 | 2013-04-30 | Verizon Patent And Licensing Inc. | Method, computer program product, and apparatus for providing automatic gain control via signal sampling and categorization |
WO2009042896A1 (en) | 2007-09-26 | 2009-04-02 | Aq Media, Inc. | Audio-visual navigation and communication dynamic memory architectures |
US20090088246A1 (en) * | 2007-09-28 | 2009-04-02 | Ati Technologies Ulc | Interactive sound synthesis |
US8397168B2 (en) | 2008-04-05 | 2013-03-12 | Social Communications Company | Interfacing with a spatial virtual communication environment |
US7769806B2 (en) | 2007-10-24 | 2010-08-03 | Social Communications Company | Automated real-time data stream switching in a shared virtual area communication environment |
US9602295B1 (en) | 2007-11-09 | 2017-03-21 | Avaya Inc. | Audio conferencing server for the internet |
CN101442421A (zh) * | 2007-11-19 | 2009-05-27 | 华为技术有限公司 | 创建会议的方法、装置及*** |
US8621003B2 (en) * | 2007-11-28 | 2013-12-31 | Avaya Inc. | Enhanced application-layer multicast for peer-to-peer conferencing |
US8127235B2 (en) | 2007-11-30 | 2012-02-28 | International Business Machines Corporation | Automatic increasing of capacity of a virtual space in a virtual world |
US20090164919A1 (en) | 2007-12-24 | 2009-06-25 | Cary Lee Bates | Generating data for managing encounters in a virtual world environment |
CN101471804B (zh) * | 2007-12-28 | 2011-08-10 | 华为技术有限公司 | 一种音频处理方法、***和控制服务器 |
US8140340B2 (en) * | 2008-01-18 | 2012-03-20 | International Business Machines Corporation | Using voice biometrics across virtual environments in association with an avatar's movements |
US8972594B2 (en) * | 2008-02-11 | 2015-03-03 | Microsoft Corporation | Media mix wiring protocol for media control |
US8411835B2 (en) * | 2008-02-28 | 2013-04-02 | At&T Intellectual Property I, L.P. | Methods and apparatus to manage conference calls |
JP4871898B2 (ja) * | 2008-03-04 | 2012-02-08 | キヤノン株式会社 | 情報処理装置ならびに情報処理装置の制御方法 |
JP5159375B2 (ja) | 2008-03-07 | 2013-03-06 | インターナショナル・ビジネス・マシーンズ・コーポレーション | メタバースにおけるオブジェクトの真贋判断システム、方法及びそのコンピュータ・プログラム |
US8379823B2 (en) * | 2008-04-07 | 2013-02-19 | Polycom, Inc. | Distributed bridging |
US9239999B2 (en) * | 2008-04-15 | 2016-01-19 | Centurylink Intellectual Property Llc | System and method for random voice communications through a social network |
JP2009272690A (ja) * | 2008-04-30 | 2009-11-19 | Nomura Yuji | 通信システム及び遠隔語学習得システム |
US8875026B2 (en) | 2008-05-01 | 2014-10-28 | International Business Machines Corporation | Directed communication in a virtual environment |
US20100058417A1 (en) * | 2008-08-29 | 2010-03-04 | Embarq Holdings Company, Llc | Method and system for providing a social notification for a set-top box |
US8315409B2 (en) * | 2008-09-16 | 2012-11-20 | International Business Machines Corporation | Modifications of audio communications in an online environment |
US8218751B2 (en) * | 2008-09-29 | 2012-07-10 | Avaya Inc. | Method and apparatus for identifying and eliminating the source of background noise in multi-party teleconferences |
KR20130010911A (ko) * | 2008-12-05 | 2013-01-29 | 소우셜 커뮤니케이션즈 컴퍼니 | 실시간 커널 |
US9853922B2 (en) | 2012-02-24 | 2017-12-26 | Sococo, Inc. | Virtual area communications |
US9069851B2 (en) | 2009-01-15 | 2015-06-30 | Social Communications Company | Client application integrating web browsing and network data stream processing for realtime communications |
US8311085B2 (en) | 2009-04-14 | 2012-11-13 | Clear-Com Llc | Digital intercom network over DC-powered microphone cable |
JP5296599B2 (ja) * | 2009-05-08 | 2013-09-25 | 任天堂株式会社 | ネットワークシステム,情報処理装置および情報処理プログラム |
US9503496B2 (en) * | 2009-07-08 | 2016-11-22 | Centurylink Intellectual Property Llc | System and method for a media content reconciler |
US8363810B2 (en) * | 2009-09-08 | 2013-01-29 | Avaya Inc. | Method and system for aurally positioning voice signals in a contact center environment |
US8144633B2 (en) * | 2009-09-22 | 2012-03-27 | Avaya Inc. | Method and system for controlling audio in a collaboration environment |
US8547880B2 (en) * | 2009-09-30 | 2013-10-01 | Avaya Inc. | Method and system for replaying a portion of a multi-party audio interaction |
US8756646B2 (en) * | 2009-11-25 | 2014-06-17 | Centurylink Intellectual Property Llc | System and method for the exchange and storage of set-top box data |
US8428959B2 (en) * | 2010-01-29 | 2013-04-23 | Polycom, Inc. | Audio packet loss concealment by transform interpolation |
US9205328B2 (en) | 2010-02-18 | 2015-12-08 | Activision Publishing, Inc. | Videogame system and method that enables characters to earn virtual fans by completing secondary objectives |
US9682324B2 (en) | 2010-05-12 | 2017-06-20 | Activision Publishing, Inc. | System and method for enabling players to participate in asynchronous, competitive challenges |
US9564148B2 (en) | 2010-05-18 | 2017-02-07 | Sprint Communications Company L.P. | Isolation and modification of audio streams of a mixed signal in a wireless communication device |
US8438226B2 (en) * | 2010-06-22 | 2013-05-07 | International Business Machines Corporation | Dynamic adjustment of user-received communications for a real-time multimedia communications event |
US8744065B2 (en) | 2010-09-22 | 2014-06-03 | Avaya Inc. | Method and system for monitoring contact center transactions |
US9736312B2 (en) | 2010-11-17 | 2017-08-15 | Avaya Inc. | Method and system for controlling audio signals in multiple concurrent conference calls |
JP2012114643A (ja) * | 2010-11-24 | 2012-06-14 | Yamaha Corp | 接続設定装置 |
US8879438B2 (en) | 2011-05-11 | 2014-11-04 | Radisys Corporation | Resource efficient acoustic echo cancellation in IP networks |
GB201109417D0 (en) * | 2011-06-06 | 2011-07-20 | Trilogy Comm Ltd | Communications device |
US9129607B2 (en) | 2011-06-28 | 2015-09-08 | Adobe Systems Incorporated | Method and apparatus for combining digital signals |
US8958567B2 (en) | 2011-07-07 | 2015-02-17 | Dolby Laboratories Licensing Corporation | Method and system for split client-server reverberation processing |
US8175244B1 (en) | 2011-07-22 | 2012-05-08 | Frankel David P | Method and system for tele-conferencing with simultaneous interpretation and automatic floor control |
US8428277B1 (en) | 2011-10-11 | 2013-04-23 | Google Inc. | Clipping protection in fixed-width audio mixing |
US8831249B1 (en) | 2011-10-11 | 2014-09-09 | Google Inc. | Clipping protection in fixed-width audio mixing |
FR2992808A1 (fr) * | 2012-06-29 | 2014-01-03 | France Telecom | Systeme, serveur, procede, produit programme d'ordinateur et moyen de stockage pour la mise en oeuvre d'une conference multipoints |
US8767031B2 (en) * | 2012-08-20 | 2014-07-01 | Wolzien Llc | Video call center |
US9173023B2 (en) * | 2012-09-25 | 2015-10-27 | Intel Corporation | Multiple device noise reduction microphone array |
US9031827B2 (en) | 2012-11-30 | 2015-05-12 | Zip DX LLC | Multi-lingual conference bridge with cues and method of use |
US10137376B2 (en) | 2012-12-31 | 2018-11-27 | Activision Publishing, Inc. | System and method for creating and streaming augmented game sessions |
US9639906B2 (en) | 2013-03-12 | 2017-05-02 | Hm Electronics, Inc. | System and method for wideband audio communication with a quick service restaurant drive-through intercom |
US9118767B1 (en) | 2013-03-28 | 2015-08-25 | Sprint Communications Company L.P. | Communication device audio control to combine incoming audio and select outgoing audio destinations |
JP6224850B2 (ja) | 2014-02-28 | 2017-11-01 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 会議における変化盲を使った知覚的連続性 |
US9466278B2 (en) * | 2014-05-08 | 2016-10-11 | High Fidelity, Inc. | Systems and methods for providing immersive audio experiences in computer-generated virtual environments |
US10286326B2 (en) | 2014-07-03 | 2019-05-14 | Activision Publishing, Inc. | Soft reservation system and method for multiplayer video games |
US10275207B2 (en) * | 2014-09-01 | 2019-04-30 | Samsung Electronics Co., Ltd. | Method and apparatus for playing audio files |
US11351466B2 (en) | 2014-12-05 | 2022-06-07 | Activision Publishing, Ing. | System and method for customizing a replay of one or more game events in a video game |
US10118099B2 (en) | 2014-12-16 | 2018-11-06 | Activision Publishing, Inc. | System and method for transparently styling non-player characters in a multiplayer video game |
US9503456B1 (en) | 2015-01-22 | 2016-11-22 | Google Inc. | Video chat abuse detection based on external context |
US10315113B2 (en) | 2015-05-14 | 2019-06-11 | Activision Publishing, Inc. | System and method for simulating gameplay of nonplayer characters distributed across networked end user devices |
US10286314B2 (en) | 2015-05-14 | 2019-05-14 | Activision Publishing, Inc. | System and method for providing continuous gameplay in a multiplayer video game through an unbounded gameplay session |
US10086266B2 (en) | 2015-06-15 | 2018-10-02 | Activision Publishing, Inc. | System and method for uniquely identifying physical trading cards and incorporating trading card game items in a video game |
US10471348B2 (en) | 2015-07-24 | 2019-11-12 | Activision Publishing, Inc. | System and method for creating and sharing customized video game weapon configurations in multiplayer video games via one or more social networks |
US10099140B2 (en) | 2015-10-08 | 2018-10-16 | Activision Publishing, Inc. | System and method for generating personalized messaging campaigns for video game players |
US11185784B2 (en) | 2015-10-08 | 2021-11-30 | Activision Publishing, Inc. | System and method for generating personalized messaging campaigns for video game players |
US10245509B2 (en) | 2015-10-21 | 2019-04-02 | Activision Publishing, Inc. | System and method of inferring user interest in different aspects of video game streams |
US10376781B2 (en) | 2015-10-21 | 2019-08-13 | Activision Publishing, Inc. | System and method of generating and distributing video game streams |
US10232272B2 (en) | 2015-10-21 | 2019-03-19 | Activision Publishing, Inc. | System and method for replaying video game streams |
US10300390B2 (en) | 2016-04-01 | 2019-05-28 | Activision Publishing, Inc. | System and method of automatically annotating gameplay of a video game based on triggering events |
US10179289B2 (en) | 2016-06-21 | 2019-01-15 | Activision Publishing, Inc. | System and method for reading graphically-encoded identifiers from physical trading cards through image-based template matching |
US10573065B2 (en) | 2016-07-29 | 2020-02-25 | Activision Publishing, Inc. | Systems and methods for automating the personalization of blendshape rigs based on performance capture data |
US10500498B2 (en) | 2016-11-29 | 2019-12-10 | Activision Publishing, Inc. | System and method for optimizing virtual games |
US10055880B2 (en) | 2016-12-06 | 2018-08-21 | Activision Publishing, Inc. | Methods and systems to modify a two dimensional facial image to increase dimensional depth and generate a facial image that appears three dimensional |
JP6816778B2 (ja) * | 2017-01-27 | 2021-01-20 | 日本電気株式会社 | 無線端末、サーバ、無線端末の通信方法、プログラム |
US10594502B1 (en) | 2017-09-08 | 2020-03-17 | 8X8, Inc. | Communication bridging among disparate platforms |
US10561945B2 (en) | 2017-09-27 | 2020-02-18 | Activision Publishing, Inc. | Methods and systems for incentivizing team cooperation in multiplayer gaming environments |
US10974150B2 (en) | 2017-09-27 | 2021-04-13 | Activision Publishing, Inc. | Methods and systems for improved content customization in multiplayer gaming environments |
US11040286B2 (en) | 2017-09-27 | 2021-06-22 | Activision Publishing, Inc. | Methods and systems for improved content generation in multiplayer gaming environments |
US10424299B2 (en) | 2017-09-29 | 2019-09-24 | Intel Corporation | Voice command masking systems and methods |
US10864443B2 (en) | 2017-12-22 | 2020-12-15 | Activision Publishing, Inc. | Video game content aggregation, normalization, and publication systems and methods |
US10721086B2 (en) * | 2018-08-14 | 2020-07-21 | International Businesss Machines Corporation | Balanced conformity in chat conversations |
US11679330B2 (en) | 2018-12-18 | 2023-06-20 | Activision Publishing, Inc. | Systems and methods for generating improved non-player characters |
US11097193B2 (en) | 2019-09-11 | 2021-08-24 | Activision Publishing, Inc. | Methods and systems for increasing player engagement in multiplayer gaming environments |
US11712627B2 (en) | 2019-11-08 | 2023-08-01 | Activision Publishing, Inc. | System and method for providing conditional access to virtual gaming items |
CN111131252B (zh) * | 2019-12-24 | 2022-08-26 | 视联动力信息技术股份有限公司 | 监播方法、装置、电子设备及存储介质 |
US11502861B2 (en) * | 2020-08-17 | 2022-11-15 | T-Mobile Usa, Inc. | Simulated auditory space for online meetings |
US11524234B2 (en) | 2020-08-18 | 2022-12-13 | Activision Publishing, Inc. | Multiplayer video games with virtual characters having dynamically modified fields of view |
US11351459B2 (en) | 2020-08-18 | 2022-06-07 | Activision Publishing, Inc. | Multiplayer video games with virtual characters having dynamically generated attribute profiles unconstrained by predefined discrete values |
US10952006B1 (en) * | 2020-10-20 | 2021-03-16 | Katmai Tech Holdings LLC | Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof |
US11750745B2 (en) * | 2020-11-18 | 2023-09-05 | Kelly Properties, Llc | Processing and distribution of audio signals in a multi-party conferencing environment |
US11487498B2 (en) * | 2021-01-20 | 2022-11-01 | Nvidia Corporation | Volume control for audio and video conferencing applications |
US11184362B1 (en) * | 2021-05-06 | 2021-11-23 | Katmai Tech Holdings LLC | Securing private audio in a virtual conference, and applications thereof |
EP4191584A1 (en) * | 2021-12-02 | 2023-06-07 | Koninklijke Philips N.V. | An audio apparatus and method of operating therefor |
US20230388355A1 (en) * | 2022-05-27 | 2023-11-30 | Microsoft Technology Licensing, Llc | Automation of visual indicators for distinguishing active speakers of users displayed as three-dimensional representations |
Family Cites Families (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5020098A (en) | 1989-11-03 | 1991-05-28 | At&T Bell Laboratories | Telephone conferencing arrangement |
JPH03252258A (ja) | 1990-03-01 | 1991-11-11 | Toshiba Corp | 指向性再生装置 |
US5034947A (en) | 1990-03-06 | 1991-07-23 | Confertech International | Whisper circuit for a conference call bridge including talker nulling and method therefor |
US5259035A (en) * | 1991-08-02 | 1993-11-02 | Knowles Electronics, Inc. | Automatic microphone mixer |
US5317567A (en) | 1991-09-12 | 1994-05-31 | The United States Of America As Represented By The Secretary Of The Air Force | Multi-speaker conferencing over narrowband channels |
US5379280A (en) | 1991-09-26 | 1995-01-03 | Ipc Information Systems, Inc. | Conferencing system for distributed switching network |
US5513328A (en) | 1992-10-05 | 1996-04-30 | Christofferson; James F. | Apparatus for inter-process/device communication for multiple systems of asynchronous devices |
US5440624A (en) | 1992-11-10 | 1995-08-08 | Netmedia, Inc. | Method and apparatus for providing adaptive administration and control of an electronic conference |
US5390177A (en) | 1993-03-24 | 1995-02-14 | At&T Corp. | Conferencing arrangement for compressed information signals |
JPH0792988A (ja) | 1993-09-27 | 1995-04-07 | Matsushita Electric Ind Co Ltd | 音声検出装置と映像切り替え装置 |
US5689641A (en) | 1993-10-01 | 1997-11-18 | Vicor, Inc. | Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal |
GB2284968A (en) * | 1993-12-18 | 1995-06-21 | Ibm | Audio conferencing system |
CA2143591C (en) * | 1994-04-29 | 1999-01-26 | David N. Horn | Teleconferencing audio bridge |
US5483587A (en) | 1994-06-08 | 1996-01-09 | Linkusa Corporation | System and method for call conferencing |
US5473363A (en) | 1994-07-26 | 1995-12-05 | Motorola, Inc. | System, method and multipoint control unit for multipoint multimedia conferencing |
US5736982A (en) | 1994-08-03 | 1998-04-07 | Nippon Telegraph And Telephone Corporation | Virtual space apparatus with avatars and speech |
US5550906A (en) | 1994-08-05 | 1996-08-27 | Lucent Technologies Inc. | Telecommunications feature server |
WO1996014908A1 (en) | 1994-11-14 | 1996-05-23 | Catapult Entertainment, Inc. | Method and apparatus for synchronizing the execution of multiple video game systems in a networked environment |
US5651060A (en) | 1994-11-15 | 1997-07-22 | Catapult Entertainment, Inc. | Method and apparatus for detecting and recovering from call waiting interruptions to modem communications |
US5483588A (en) | 1994-12-23 | 1996-01-09 | Latitute Communications | Voice processing interface for a teleconference system |
US5854898A (en) | 1995-02-24 | 1998-12-29 | Apple Computer, Inc. | System for automatically adding additional data stream to existing media connection between two end points upon exchange of notifying and confirmation messages therebetween |
US5973724A (en) | 1995-02-24 | 1999-10-26 | Apple Computer, Inc. | Merging multiple teleconferences |
AU5741596A (en) | 1995-05-12 | 1996-11-29 | Protel, Inc. | Automated audio teleconferencing having reconfiguration feat ures |
US5619555A (en) | 1995-07-28 | 1997-04-08 | Latitude Communications | Graphical computer interface for an audio conferencing system |
US5818836A (en) | 1995-08-09 | 1998-10-06 | Duval; Stephen C. | Method and apparatus for anonymous voice communication using an online data service |
US5768263A (en) | 1995-10-20 | 1998-06-16 | Vtel Corporation | Method for talk/listen determination and multipoint conferencing system using such method |
EP0779732A3 (en) | 1995-12-12 | 2000-05-10 | OnLive! Technologies, Inc. | Multi-point voice conferencing system over a wide area network |
US5822523A (en) | 1996-02-01 | 1998-10-13 | Mpath Interactive, Inc. | Server-group messaging system for interactive applications |
US6128660A (en) | 1996-03-21 | 2000-10-03 | Hearme | Network match maker |
US5802156A (en) | 1996-06-05 | 1998-09-01 | David Felger | Method for billing and controlling fraud in providing pay information services |
US5835722A (en) | 1996-06-27 | 1998-11-10 | Logon Data Corporation | System to control content and prohibit certain interactive attempts by a person using a personal computer |
JPH1049581A (ja) | 1996-08-02 | 1998-02-20 | Hitachi Ltd | 電子討論システム |
JPH1075310A (ja) | 1996-08-29 | 1998-03-17 | Nec Corp | 多地点テレビ会議システム |
US5940488A (en) | 1996-11-15 | 1999-08-17 | Active Voice Corporation | Telecommunication management system and user interface |
US5916302A (en) | 1996-12-06 | 1999-06-29 | International Business Machines Corporation | Multimedia conferencing using parallel networks |
US5889958A (en) | 1996-12-20 | 1999-03-30 | Livingston Enterprises, Inc. | Network access control system and process |
AU5807898A (en) | 1997-01-06 | 1998-08-03 | Mpath Interactive, Inc. | Multi-homed network computers |
US5978467A (en) | 1997-04-11 | 1999-11-02 | Walker Asset Management Limited Partnership | Method and apparatus for enabling interaction between callers with calls positioned in a queue |
US6038599A (en) | 1997-04-23 | 2000-03-14 | Mpath Interactive, Inc. | Latency server and matchmaker |
US6023729A (en) | 1997-05-05 | 2000-02-08 | Mpath Interactive, Inc. | Method and apparatus for match making |
US5991385A (en) | 1997-07-16 | 1999-11-23 | International Business Machines Corporation | Enhanced audio teleconferencing with sound field effect |
US6049341A (en) | 1997-10-20 | 2000-04-11 | Microsoft Corporation | Edge cycle collision detection in graphics environment |
US5987118A (en) | 1997-10-21 | 1999-11-16 | Mci Communiations Corporation | Method and computer program logic for providing an intelligent network operator console with enhanced services |
-
2000
- 2000-05-15 US US09/571,577 patent/US7006616B1/en not_active Expired - Lifetime
- 2000-05-19 AU AU51474/00A patent/AU5147400A/en not_active Abandoned
- 2000-05-19 JP JP2000619903A patent/JP3948904B2/ja not_active Expired - Lifetime
- 2000-05-19 AU AU52778/00A patent/AU5277800A/en not_active Abandoned
- 2000-05-19 WO PCT/US2000/013935 patent/WO2000072563A1/en active Application Filing
- 2000-05-19 KR KR10-2001-7014835A patent/KR100434583B1/ko active IP Right Grant
- 2000-05-19 EP EP00936113A patent/EP1188298A4/en not_active Withdrawn
- 2000-05-19 WO PCT/US2000/013875 patent/WO2000072560A1/en not_active Application Discontinuation
-
2006
- 2006-06-19 JP JP2006168780A patent/JP2006340376A/ja not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
WO2000072560A8 (en) | 2001-02-08 |
AU5277800A (en) | 2000-12-12 |
US7006616B1 (en) | 2006-02-28 |
JP2006340376A (ja) | 2006-12-14 |
AU5147400A (en) | 2000-12-12 |
KR20020027319A (ko) | 2002-04-13 |
EP1188298A1 (en) | 2002-03-20 |
JP2003500935A (ja) | 2003-01-07 |
EP1188298A4 (en) | 2004-03-10 |
WO2000072563A1 (en) | 2000-11-30 |
WO2000072560A1 (en) | 2000-11-30 |
KR100434583B1 (ko) | 2004-06-07 |
WO2000072560A9 (en) | 2002-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3948904B2 (ja) | エッジポイントミキシングを有する遠隔会議ブリッジ | |
US20060067500A1 (en) | Teleconferencing bridge with edgepoint mixing | |
US7567270B2 (en) | Audio data control | |
JP5185631B2 (ja) | マルチメディア会議方法および信号 | |
US6408327B1 (en) | Synthetic stereo conferencing over LAN/WAN | |
Schulzrinne | Voice communication across the Internet: A network voice terminal | |
US8559646B2 (en) | Spatial audio teleconferencing | |
US8526587B2 (en) | Web guided collaborative audio | |
US6850496B1 (en) | Virtual conference room for voice conferencing | |
US8503655B2 (en) | Methods and arrangements for group sound telecommunication | |
CA2304900C (en) | Virtual meeting rooms with spatial audio | |
EP1763241B1 (en) | Spatially correlated audio in multipoint videoconferencing | |
US7839803B1 (en) | Method and system of teleconferencing | |
JP5523551B2 (ja) | 拡張通信ブリッジ | |
US20080037749A1 (en) | Adjusting audio volume in a conference call environment | |
EP1116376A1 (en) | Method and system of teleconferencing | |
US20130097333A1 (en) | Methods and apparatuses for unified streaming communication | |
US8504605B2 (en) | Proximity filtering of multiparty VoIP communications | |
US20090299735A1 (en) | Method for Transferring an Audio Stream Between a Plurality of Terminals | |
CN111628992A (zh) | 一种多人通话控制方法、装置、电子设备及存储介质 | |
CN111951813A (zh) | 语音编码控制方法、装置及存储介质 | |
Baskaran et al. | Audio mixer with automatic gain controller for software based multipoint control unit | |
Prasad et al. | Automatic addition and deletion of clients in VoIP conferencing | |
CN108632476B (zh) | 融合pstn的移动互联网语音平台***及其通信方法 | |
Prasad et al. | A scalable architecture for VoIP conferencing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050315 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050614 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050915 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060320 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060619 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070124 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20070124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070124 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070406 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070417 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3948904 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100427 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110427 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110427 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110427 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110427 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110427 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110427 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120427 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130427 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140427 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |