JPWO2005094077A1 - 多地点会議システムおよび多地点会議装置 - Google Patents

Abstract

会議端末としてＳＩＰ端末の利用が可能な多地点会議システム及び多地点会議装置において、話者を検出した時に、イントラフレームの送信を会議端末に要求することなく、クリアでスムーズな話者切替えを行うことを可能とするシステムを提供する。本発明の多地点接続装置は、会議に参加している会議端末からの画像データをメモリ１３に蓄積しておき、メディア処理部１５で話者を検出すると、メモリ１３に蓄積された話者の画像データを復号化し該復号化した画像を再符号化する画像処理部を備える。話者切替え時、画像処理部は始めの画像をイントラフレームとして再符号化して、話者以外の会議端末に画像データを送信することにより、話者以外の会議端末は、イントラフレームから復号化することができ、話者切替えをクリアでスムーズに行うことができる。

Description

本発明は、多地点間通信システムに関し、特に、多地点会議システムおよび多地点会議装置に関する。

従来の多地点会議システムにおいては、会議に参加している複数の会議端末から話者を検出する方法として、
（１）多地点会議装置が話者を検出する、
（２）会議端末が、多地点会議装置に自端末が話者であると通知する、
のいずれかの方法が用いられている。

上記（１）、（２）のいずれの方法においても、話者を特定した多地点会議装置は、このまま話者を切替えた場合、インター（Ｉｎｔｅｒ）フレーム（フレーム間符号化されたフレーム）の途中で切替える状態となるため、話者以外の会議端末は、イントラ（Ｉｎｔｒａ）フレーム（フレーム内符号化されたフレーム）を受信するまでは、スムーズ（円滑）な話者切替えを行うことができない。

そのため、話者画像を切替えるために、話者である会議端末に対して、Ｉｎｔｒａフレームの送信または再送要求を行っている。

従来の多地点会議システムの一例として、会議端末が、多地点会議装置に自端末が話者であると通知するシステムとして特許文献１が参照される。このシステムは、多地点に配置された複数の会議端末と多地点間の通信制御装置（多地点会議装置）を備えて構成されている。従来の多地点会議システムは以下のように動作する。

（Ａ１）多地点会議装置は、任意の会議端末から話者切替えを要求されると、要求した会議端末に対して、Ｉｎｔｒａフレームを送信または再送するように要求を行い、会議に参加している他の会議端末に対しては、多地点会議装置が送信するＩｎｔｒａフレームを受信するまで、各会議端末が表示している現在の画像をフリーズするように要求する。

（Ａ２）そして、多地点会議装置からＩｎｔｒａフレーム送信要求を受信した会議端末は、多地点会議装置に対して、Ｉｎｔｒａフレームを送信する。一方、多地点会議装置からフリーズ要求を受信した会議端末は、Ｉｎｔｒａフレームを受信するまで、表示している現在の画像をフリーズさせる。

（Ａ３）話者である会議端末からＩｎｔｒａフレームを受信した多地点会議装置は、他の会議端末に対して、Ｉｎｔｒａフレームを送信し、Ｉｎｔｒａフレームを受信した話者以外の会議端末は画像のフリーズを解除し、Ｉｎｔｒａフレームにより、画像を切替える。

このように、従来の多地点会議システムでは、
話者である会議端末に、多地点会議装置からＩｎｔｒａフレーム送信要求を送信し、
話者である会議端末からＩｎｔｒａフレームを多地点会議装置に送信することにより、多地点会議装置が、話者切替えを可能にしている。

なお、多地点会議システムに関連した刊行物として、例えば後記特許文献２には、会議端末の各々からの多重化されたデータの中からビデオデータのピクチャヘッダを検出してフレーム内符号化されたイントラフレームビデオデータのみを抽出し、抽出されたイントラフレームビデオデータを合成する多地点制御装置が開示されている。また後記特許文献３には、違和感のない映像、音声の切り替えを実現する多地点ビデオ会議制御装置が開示されている。該特許文献３には、映像データのイントラフレームを検出しイントラフレーム検出情報を生成し、生成されたイントラフレーム検出情報を基に、代表話者に選定された端末の映像データに切り替える構成が開示されている。さらに、後記特許文献４には、現在の話者を正確に判別できるようにした多地点間通信システムが開示されている。

特開平０２−２７４０８４号公報（第３頁、第１図） 特開２００１−６９４７４号公報（第３頁、第１図） 特開２００２−１７６５０３号公報（第３頁、第１図） 特開平０８−３３１５３５号公報（第２−３頁、第１図）

しかしながら、上記した従来のシステムは下記記載の問題点を有している。

第１の問題点は、会議端末としてＳＩＰ端末を利用する場合、クリアに話者画面に切替えることができない、ということである。

その理由は、ＳＩＰ端末は、ＩＥＴＦ標準ＲＦＣ３２６１（２５４３）で規定されたＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）を呼処理に用いて、ＩＰネットワーク上で、リ１アルタイムに、双方向マルチメディア通信を行う端末であるが、メディア転送用にリアルタイム伝送をサポートするＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）や、再送手順を持たないＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）を用いている。

このため、画像の再送要求をサポートしていない。したがって、多地点会議装置が話者切替えのため、ＳＩＰ端末にＩｎｔｒａフレームを要求することができず、Ｉｎｔｒａフレームが再送されないため、クリアな話者の切替えができないからである。

第２の問題点は、スムーズに話者を切替えるまでに時間がかかることである。

その理由は、多地点会議装置が話者切替えを行っても、前の話者であるＳＩＰ端末から送信されるＩｎｔｅｒフレームの途中で切替える状態となるため、話者であるＳＩＰ端末からＩｎｔｒａフレームが送信され、話者以外のＳＩＰ端末がＩｎｔｒａフレームを受信するまでクリアに話者切替えができないからである。

したがって、本発明の目的は、会議端末としてＳＩＰ端末を利用する場合においても、クリアに話者画面に切替えができる多地点会議システムおよび多地点会議装置を提供することにある。

本発明の他の目的は、スムーズに話者を切替えることができる多地点会議システムおよび多地点会議装置を提供することにある。

本願で開示される発明は、前記目的を達成するため、概略以下にように構成される。

本発明は、再送要求機能をサポートしていないＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）端末が参加可能な多地点会議システムに適用することで、話者切替え時に切替え対象のＳＩＰ端末からの画像データを、多地点会議装置で処理することにより、切替え時の一番初めの画像データとして、イントラ（Ｉｎｔｒａ）フレームを、他の会議に参加しているＳＩＰ端末に送信することにより、ＳＩＰ端末で表示される話者の画像切替え時の画像が乱れず、スムーズに、話者切替えを可能としたものである。

本発明の１つのアスペクト（側面）に係るシステムは、複数の端末と、複数の端末と接続する多地点会議装置と、を備え、画像及び音声を送受信して会議を行う多地点会議システムにおいて、前記多地点会議装置が、話者の検出を行うメディア処理部と、会議に参加している端末からの画像を保持する記憶部と、前記メディア処理部で話者を検出した時に、前記話者の画像を復号化し該復号化した画像を再符号化する画像処理部と、を備え、前記メディア処理部で話者を検出した時、前記画像処理部は、話者切替え時の画像フレームにイントラフレームを送信する。

本発明において、前記画像処理部が、前記メディア処理部での話者検出結果に基づき、前記記憶部に保持されている話者の画像を復号化する復号化部と、前記復号化部により、前記記憶部に保存されている話者の最後の画像を復号化して得られる参照画像を保持する参照画像記憶部と、話者検出以降に受信した画像を、前記参照画像記憶部に保持されている参照画像に基づき、前記復号化部により復号化した画像を再度符号化する符号化部と、を有し、話者検出以降に、受信した話者の画像の少なくとも最初のフレームを、イントラフレームで符号化する構成とされる。

本発明の他のアスペクトに係る方法は、話者切替え検出後、話者切替え処理手段により、話者検出以降に受信した画像データを復号化／再符号化する時、始めの画像をＩｎｔｒａフレームとして再符号化し、次以降は、Ｉｎｔｅｒフレームで再符号化して話者以外のＳＩＰ端末に画像データを送信する。これにより話者以外のＳＩＰ端末は話者切替え時、Ｉｎｔｒａフレームから復号化することができる。

本発明によれば、話者切替え時にＩｎｔｒａフレームを送信することにより、話者の画像に切替える時に画像が乱れず、スムーズに切替えを行うことができる。

その理由は、本発明においては、話者検出以降に受信した画像データを復号化／再符号化する時、始めの画像を、Ｉｎｔｒａフレームとして再符号化し、次以降は、Ｉｎｔｅｒフレームで再符号化して、話者以外のＳＩＰ端末に画像データを送信するからである。

本発明によれば、会議端末（ソフト）に依存しないで、スムーズに話者の画像に切替えることができる。

その理由は、本発明においては、会議システム装置で、画像切替え処理を行うためである。

本発明によれば、リアルタイム通信（ＲＴＰ）でもスムーズな話者画像の切替えができる。

その理由は、本発明においては、Ｉｎｔｒａフレームの送信を要求しないので、話者検出後、すぐに話者切替え処理を行うことができるためである。

本発明の第１の実施形態のシステム構成を示す図である。 本発明の第１の実施形態の多地点会議装置の構成を示す図である。 本発明の第１の実施形態における話者切替え処理の動作を説明するためのフローチャートである。 本発明の第２の実施形態における話者切替え処理の動作を説明するためのフローチャートである。 本発明の第３の実施形態のシステム構成を示す図である。 本発明の第３の実施形態の多地点会議装置の構成を示す図である。 本発明の第３の実施形態における話者切替え処理の動作を説明するためのフローチャートである。

符号の説明

１ 多地点会議装置
２−ａ〜２−ｃ ＳＩＰ端末
３ ＳＩＰｐｒｏｘｙサーバ
４ ＩＰネットワーク
５ ３Ｇ網
６−ａ〜６−ｃ 端末
１１ ＲＴＰ受信部
１２ 呼処理部
１３ メモリ
１４ 会議制御部
１５ メディア処理部
１６ ＲＴＰ送信部
２０ 画像処理部
２１ デコーダ（復号化部）
２２ 参照画像メモリ
２３ エンコーダ（符号化部）
３１ 受信部
３２ 送信部

本発明を実施するための最良の形態ついて添付図面を参照して以下に詳細に説明する。図１は、本発明の一実施形態の構成を示す図である。

図１を参照すると、本発明の第１の実施形態に係るシステムは、多地点会議装置１と、ＳＩＰ端末２−ａ〜２−ｃと、ＳＩＰｐｒｏｘｙサーバ（ＳＩＰ代理サーバ）３と、これら装置を接続するＩＰネットワーク４とから構成されている。図１において、多地点会議装置１は、メディアデータの送受信と話者切替えを行う。ＳＩＰ端末２−ａ〜２−ｃは、自端末の画像・音声データを多地点会議装置１に送信し、多地点会議装置１から受信する話者の画像・音声データを、デバイスに出力する。

ＳＩＰｐｒｏｘｙサーバ３は、ＳＩＰ端末２−ａ〜２−ｃと多地点会議装置１の間のＳＩＰプロトコルを中継する。

図２は、図１の多地点会議装置１を構成を示す図である。多地点会議装置１は、ＲＴＰ受信部１１と、呼処理部１２と、メモリ１３と、会議制御部１４と、メディア処理部１５と、ＲＴＰ送信部１６と、画像処理部２０とを備えている。画像処理部２０は、デコーダ（復号化部）２１と、参照画像メモリ２２と、エンコーダ（符号化部）２３とを含む。

図２において、ＲＴＰ受信部１１は、ＳＩＰ端末２−ａからのＲＴＰ／ＵＤＰ／ＩＰパケットを受信し、ＲＴＰペイロード部を抽出する。

抽出したＲＴＰペイロード部が、ＳＩＰプロトコルの場合には、呼処理部１２に、ＲＴＰペイロードを渡し、メディアデータの場合には、メディア処理部１５にＲＴＰペイロードを渡す。

呼処理部１２は、セッションの呼処理を行い、呼処理の可否結果を、ＲＴＰ送信部１６に通知する。

また、会議参加者のＩＰアドレス、メディア受信ポートを会議制御部１４に通知する。

メディア処理部１５は、会議に参加しているＳＴＰ端末２−ａ〜２−ｃに対して、自端末以外のＳＩＰ端末から送信されてくるメディアをミックスする。同時に、話者の検出も行い、話者検出結果を会議制御部１４に通知する。

会議制御部１４は、会議参加者のＩＰアドレス、メディア受信ポートなどの会議参加者情報の管理行う。

また、メディア処理部１５から話者検出結果を通知された場合には、話者切替えのための処理開始通知を、画像処理部２０に通知する。

画像処理部２０は、会議制御部１４から、話者切替え処理開始通知を受信すると、メモリ１３に蓄積されている各ＳＩＰ端末からの画像ＲＴＰパケットデータの内、切替え対象者のデータをメモリ１３からコピーする。

メモリ１３は、会議に参加しているＳＩＰ端末２−ａ〜２−ｃからの画像ＲＴＰパケットを各端末毎に蓄積する。

画像処理部２０は、メモリ１３からコピーした話者切替え対象者の画像データを、デコーダ２１で復号化する。

最後に、復号化された画像を参照画像メモリ２２に蓄積する。

その後、デコーダ２１は、ＲＴＰ受信部１１から、話者切替え対象者の画像ＲＴＰデータを直接コピーし、参照画像メモリ２２に蓄積されている参照画像を基に、復号化処理を行い、復号画像を、エンコーダ２３に渡す。

エンコーダ２３は、デコーダ２１で復号化された画像を再符号化して、再度符号化された画像データを、メディア処理部１５にコピーする。

メディア処理部１５は、エンコーダ２３からコピーされた再符号化画像を、話者以外に送信するようにミキシングし、ＲＴＰ送信部１６にコピーする。

ＲＴＰ送信部１６は、メディア処理部１５から渡されたメディアデータを、ＲＴＰ／ＵＤＰ／ＩＰパケット化して、ＳＩＰ端末２−ｂ，２−ｃに送信する。

また、ＲＴＰ送信部１６は、呼処理部１２からＳＩＰプロトコルを送信するように要求された場合、ＳＩＰプロトコルを、ＲＴＰ／ＵＤＰ／ＩＰパケット化して、対象のＳＩＰ端末２−ａ〜２−ｃに送信する。

図３は、本発明の実施形態の動作を説明するための流れ図である。次に、図３のフローチャートを使用して、本実施形態の多地点会議装置の話者切替え処理動作について詳細に説明する。

まず、メディア処理部１５は、新たに話者が検出されるか常にチェックを行う（ステップＳ１）。

メディア処理部１５で話者が検出されなかった場合、ＲＴＰ受信部１１では、現時点で、話者以外の会議参加者の画像ＲＴＰヘッダを各々チェックする（ステップＳ２）。

現時点で話者以外の会議参加者の各々の画像ＲＴＰヘッダをチェックして、会議参加者であるＳＩＰ端末２−ａの画像ＲＴＰヘッダがＩｎｔｒａフレームでなかった場合（Ｉｎｔｅｒフレーム）には、ＲＴＰ受信部１１は、ＳＩＰ端末２−ａの画像ＲＴＰペイロードを、メモリ１３にコピーする（ステップＳ４）。

ＲＴＰ受信部１１は、ＳＩＰ端末２−ａの画像ＲＴＰヘッダがＩｎｔｒａフレームである場合には、ＳＩＰ端末２−ａ用にメモリ１３にコピーされていた画像ＲＴＰペイロードをクリアし（ステップＳ３）、画像ＲＴＰペイロードを、メモリ１３にコピーする（ステップＳ４）。

メディア処理部１５でＳＩＰ端末２−ａが話者と検出された場合（ステップＳ１のＹＥＳ分岐）、画像処理部２０は、メモリ１３に蓄積されているＳＩＰ端末２−ａの画像ＲＴＰペイロードのデータを、デコーダ２１に入力する（ステップＳ５）。

デコーダ２１は、入力された画像データを復号化し（ステップＳ６）、最後に復号化した画像フレームを、参照画像メモリ２２に一時保存する（ステップＳ７）。

話者検出から参照画像を参照画像メモリ２２に保存するまでの間、ＲＴＰ受信部１１は、話者であるＳＩＰ端末２−ａからの画像ＲＴＰヘッダをチェックして（ステップＳ８）、ＳＩＰ端末２−ａの画像ＲＴＰヘッダがＩｎｔｒａフレームであった場合、ＳＩＰ端末２−ａの画像ＲＴＰペイロードをデコーダ２１に入力することを終了し、ＳＩＰ端末２−ａの画像ＲＴＰペイロードをメディア処理部１５に渡して話者切替え処理が終了する。

ＳＩＰ端末２−ａの画像ＲＴＰヘッダがＩｎｔｒａフレームでなかった場合（Ｉｎｔｅｒフレーム）、ＲＴＰ受信部１１は、ＳＩＰ端末２−ａの画像ＲＴＰペイロードをデコーダ２１に入力する（ステップＳ９）。

デコーダ２１は、参照画像メモリ２２に一時保存されている画像フレームを基に、入力された画像ＲＴＰペイロードの復号化を開始する（ステップＳ１０）。

復号化された画像データは、エンコーダ２３に入力し、再度符号化する（ステップＳ１１）。

エンコーダ２３は、再符号化する時、始めのフレームをＩｎｔｒａフレームに符号化して、それ以降は、Ｉｎｔｅｒフレームに符号化する。再符号化した画像データをメディア処理部１５にコピーする（ステップＳ１２）。

メディア処理部１５は、ＲＴＰ受信部１１から会議参加者の全ての音声ＲＴＰペイロードをコピーしてミキシングする。ミキシングされた音声ＲＴＰペイロードと再符号化画像データをＲＴＰ送信部１６にコピーする。ＲＴＰ送信部１６は、メディア処理部１５から渡された画像と音声データをＲＴＰ／ＵＤＰ／ＩＰパケット化して、話者以外のＳＩＰ端末２−ｂ，２−ｃに送信する（ステップＳ１３）。

１つの画像フレームを、デコーダ２１に渡したＲＴＰ受信部１１は、次に受信した話者であるＳＩＰ端末２−ａの画像ＲＴＰヘッダをチェックする（ステップＳ８）。

話者の画像ＲＴＰヘッダがＩｎｔｒａフレームでなかった場合（Ｉｎｔｅｒフレーム）、話者切替えの処理を継続し（ステップＳ９〜Ｓ１３）、一方、Ｉｎｔｒａフレームであった場合には、ＳＩＰ端末２−ａの画像ＲＴＰペイロードをデコーダ２１に入力することを終了し、ＳＩＰ端末２−ａの画像ＲＴＰペイロードを、メディア処理部１５に渡して話者切替え処理が終了する。

次に、本発明の第２の実施形態について図を参照して詳細に説明する。

本発明の第２の実施形態の構成は、前記第１の実施形態の構成と同じであるが、メディア処理部１５が話者を検出した場合、メディア処理部１５からの指示により、ＲＴＰ送信部１６が、話者であるＳＩＰ端末２−ａへ、Ｉｎｔｒａフレーム送信要求を意味する情報を含んだＳＩＰメソッド（例えば、ＩＮＦＯメソッド）を送信する制御を行う点で、前記第１の実施形態と相違している。

メディア処理部１５は、話者を検出した場合、話者検出結果を、会議制御部１４に通知する。同時に、メディア処理部１５は、ＲＴＰ送信部１６にＩｎｔｒａフレーム送信要求を話者に送信するよう通知する。

ＲＴＰ送信部１６は、Ｉｎｔｒａフレーム送信要求を意味する情報を含めたＩＮＦＯメソッドを話者であるＳＩＰ端末２−ａに送信する。

ＩＮＦＯメソッドを受信したＳＩＰ端末２−ａは、要求情報により、次に送信する画像フレームをＩｎｔｒａフレームとして符号化して、Ｉｎｔｒａフレームである画像パケットを多地点会議装置１に送信する。これ以降の動作は、前記第１の実施形態と同様である。

図４は、本発明の第２の実施形態の動作を説明するためのフローチャートである。図４を参照して、本実施形態の多地点会議装置１の話者切替え処理動作について詳細に説明する。

図４のフローチャートのステップＳ２１、Ｓ２２、Ｓ２３、Ｓ２４は、図３のフローチャートのステップＳ１、Ｓ２、Ｓ３、Ｓ４の動作と同一であるため、説明は省略する。

ＳＩＰ端末２−ａが話者と検出された場合（ステップＳ２１）、ＲＴＰ送信部１６にＩｎｔｒａフレーム送信要求を話者に送信するよう通知し、ＲＴＰ送信部１６は、Ｉｎｔｒａフレーム送信要求情報を含めたＩＮＦＯメソッドを話者であるＳＩＰ端末２−ａに送信する（ステップＳ２５）。

ＩＮＦＯメソッドを話者ＳＩＰ端末２−ａに送信した後の手順である、ステップＳ２６〜Ｓ３４は、前記第１の実施形態の図３のステップＳ５〜Ｓ１３の動作と同様であるので説明を省略する。

このように、本実施形態では、話者検出直後に、Ｉｎｔｒａフレーム送信要求をしているので、前記第１の実施形態のように、話者である会議端末からＩｎｔｒａフレームが送信されるまで、話者切替え処理を継続することが無いため、よりスムーズに話者画像を切替えることができる、という作用効果を奏する。

本実施形態において、ＳＩＰメソッドとして、ＩＮＦＯメソッドを用いたが、他のＳＩＰメソッドを使用してもよい。また、Ｉｎｔｒａフレーム送信要求にＳＩＰメソッドを使用したが、Ｉｎｔｒａフレーム送信要求を意味する別のコマンドを使用してもよい。

また、本実施形態において、会議端末はＩｎｔｒａフレーム送信要求を受信すると、Ｉｎｔｒａフレームを送信するとしているが、Ｉｎｔｒａフレーム送信要求に対応していなくてもよい。

次に、本発明の第３の実施形態について図を参照して詳細に説明する。

図５、図６は、本発明の第３の実施形態の構成を示す図である。本実施形態は、図１に示した前記第１の実施形態のシステム構成に加えて、３Ｇ網５と、端末６−ａ〜６−ｃを有する。また、図２に示した第１の実施形態の多地点会議装置の機能ブロックにおいて、ＲＴＰ受信部１１と、ＲＴＰ送信部１６を、それぞれ受信部３１と、送信部３２で置き換えた点で相違している。

図５において、端末６−ａ〜６−ｃは、画像および音声の通信が可能な第３世代電話（３Ｇ−３２４Ｍ）であり、３Ｇ網５は、端末６−ａ〜６−ｃが接続するネットワークである。

多地点会議装置１は、ＩＰネットワーク４と３Ｇ網５の異種網接続を行うことにより、ＳＩＰ端末２−ａ〜２−ｃと端末６−ａ〜６−ｃで多地点会議を行う。

図６において、受信部３１は端末６−ａからのデータを受信してデータを抽出する。抽出したデータが、呼接続Ｑ．９３１の場合には、呼処理部１２にデータを渡し、メディアデータの場合には、メディア処理部１５にデータを渡す。

呼処理１２は、呼接続処理を行ない、呼処理結果を送信部３２に通知する。

また、会議参加者である端末６−ａの電話番号、ユーザＩＤなどを会議制御部１４に通知する。

メディア処理部１５は、会議に参加しているＳＩＰ端末２−ａ〜２−ｃと、端末６−ｂ、６−ｃに対して、自端末以外の会議端末から送信されるメディアをミックスするが、ＳＩＰ端末２−ａ〜２−ｃと端末６−ａ〜６−ｃで使用している画像、音声のコーデックが異なる場合には、メディア処理部１５において、一度、メディアデータを復号化して、各会議端末のコーデックに合わせて、再符号化、ミキシングを行う。

メディア処理部１５は、同時に、話者検出を行い、話者検出結果を会議制御部１４に通知してから、メモリ１３が各会議端末からの画像データを蓄積する動作は、第１の実施形態の図２の動作と同じであるため、説明は省略する。

画像処理部２０は、メモリ１３からコピーした話者切替え対象の画像データを、話者である端末の使用している画像コーデックに合わせて、デコーダ２１で復号化する。

最後に復号化された画像を参照画像メモリ２２に蓄積してから、復号画像をエンコーダ２３に渡す動作は、前記第１の実施形態の図２の動作と同じであるため、説明は省略する。

エンコーダ２３は、デコーダ２１で復号化された画像を再符号化するが、話者以外の会議端末の画像コーデックに合わせて再符号化して、再符号化された画像データをメディア処理部１５にコピーする。メディア処理部１５は、エンコーダ２３からコピーされた話者以外の会議端末の画像コーデックに合った再符号化画像を該当する会議端末に送信するようにミキシングし、送信部３２にコピーする。

送信部３２は、メディア処理部１５から渡されたメディアデータをＩＰネットワーク４と３Ｇ網５のメディアフォーマットに合わせて、ＳＩＰ端末２−ａ〜２−ｃと端末６−ｂ、６−ｃに送信する。また、呼処理１２から通知された呼処理結果を基に、呼処理Ｑ．９３１で対象の端末６−ａ〜６−ｃに送信する。

ＳＩＰ端末２−ａ〜２−ｃの場合は、前記した第１の実施形態の動作（図２参照）と同じであるので説明は省略する。

次に、図７のフローチャートを使用して、本実施形態の多地点会議装置１の話者切替え処理動作について詳細に説明する。

まず、メディア処理部１５は新たに話者が検出されるか常にチェックを行う（ステップＳ４１）。

話者が検出されなかった場合、受信部３１は現時点で話者以外の会議参加者の画像データを各々チェックする（ステップＳ４２）。現時点で、話者以外の会議参加者の各々の画像データをチェックして、会議参加者である端末６−ａの画像データがＩｎｔｒａフレームでなかった場合（Ｉｎｔｅｒフレーム）、端末６−ａの画像データをメモリ１３にコピーする（ステップＳ４４）。

端末６−ａの画像データがＩｎｔｒａフレームである場合には、端末６−ａ用にメモリ１３にコピーされていた画像データをクリアし（ステップＳ４３）、画像データをメモリ１３にコピーする（ステップＳ４４）。

端末６−ａが話者と検出された場合（ステップＳ４１）、メモリ１３に蓄積されている端末６−ａの画像データをデコーダ２１に入力する（ステップＳ４５）。

デコーダ２１は、入力された画像データの画像コーデックに合わせて復号化し（ステップＳ４６）、最後に復号化した画像フレームを参照画像メモリ２２に一時保存する（ステップＳ４７）。

話者検出から参照画像を参照画像メモリ２２に保存するまでの間、受信部３１は、話者である端末６−ａからの画像データをチェックして（ステップＳ４８）、端末６−ａの画像データがＩｎｔｒａフレームであった場合、端末６−ａの画像データをデコーダ２１に入力することを終了し、端末６−ａの画像データをメディア処理部に渡して話者処理が終了する。

端末６−ａの画像データがＩｎｔｒａフレームでなかった場合（Ｉｎｔｅｒフレーム）、受信部３１は端末６−ａの画像データをデコーダ２１に入力し（ステップＳ４９）、参照画像メモリ２２に一時保管されている画像フレームを基に、デコーダ２１に入力された画像データの画像コーデックに合わせて復号化を開始する（ステップＳ５０）。

復号化された画像データは、エンコーダ２３に入力し、話者以外の会議端末の画像コーデックに合わせて再符号化する（ステップＳ５１）。

再符号化する時、始めのフレームをＩｎｔｒａフレームに符号化して、それ以降はＩｎｔｅｒフレームに符号化する。再符号化した画像データをメディア処理部１５にコピーする（ステップＳ１２）。

メディア処理部１５は、受信部３１から会議参加者の音声データをコピーして、復号化して話者以外の会議端末の音声コーデックに合わせて再復号化、ミキシングを行う。各会議端末の呼デックに合わせてミキシングされた音声データと再符号化画像データを送信部３２にコピーする。送信部３２は、メディア処理部１５から渡された画像、音声データをＩＰネットワーク４、３Ｇ網５で送信できるフォーマットに変換して話者以外の会議端末であるＳＩＰ端末２−ａ〜２−ｃと端末６−ｂ、６−ｃに送信する（ステップＳ５３）。

このように、本実施形態では、ＩＰネットワーク４と異種網である３Ｇ網５を相互接続できる多地点会議装置１により、ＳＩＰ端末と３Ｇ網の端末でも多地点会議を行うことができる、という作用効果が得られる。

本実施形態において、ＩＰネットワークの異種網として３Ｇ網を接続するとしたが、ＩＳＤＮ網、インターネットサービスプロバイダ網（ＩＳＰ網）、公衆交換電話網（ＰＳＴＮ）を使用してもよい。

また、話者検出直後にＩｎｔｒａフレーム送信要求をしていないが、第２の実施形態のように話者検出直後にＩｎｔｒａフレーム送信要求してもよい。例えば、３Ｇ網の端末の場合、多地点会議装置からＩＴＵ−Ｔ準拠Ｈ．２４５のＶｉｄｅｏＦａｓｔＵｐｄａｔｅコマンドを送信することによりＩｎｔｒａフレームの送信を要求してもよい。

以上本発明を上記実施例に即して説明したが、本発明は上記実施例の構成に限定されるものでなく、本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

Claims (18)

1. 複数の端末と、複数の端末と接続する多地点会議装置と、を備え、画像及び音声を送受信して会議を行う多地点会議システムにおいて、
   前記多地点会議装置が、
   話者の検出を行うメディア処理部と、
   会議に参加している端末からの画像を保持する記憶部と、
   前記メディア処理部で話者を検出した時に、前記話者の画像を復号化し該復号化した画像を再符号化する画像処理部と、
   を備え、
   前記メディア処理部で話者を検出した時、前記画像処理部は、話者切替え時の画像フレームにイントラフレームを送信する、ことを特徴とする多地点会議システム。
2. 前記画像処理部が、
   前記メディア処理部での話者検出結果に基づき、前記記憶部に保持されている話者の画像を復号化する復号化部と、
   前記復号化部により、前記記憶部に保存されている話者の最後の画像を復号化して得られる参照画像を保持する参照画像記憶部と、
   話者検出以降に受信した画像を、前記参照画像記憶部に保持されている参照画像に基づき、前記復号化部により復号化した画像を再度符号化する符号化部と、
   を有し、
   話者検出以降に、受信した話者の画像の少なくとも最初のフレームを、イントラフレームで符号化する、ことを特徴とする請求項１記載の多地点会議システム。
3. 前記端末と前記多地点会議装置とが、再送手順を具備しない通信プロトコルを用いて通信可能とされてなる、ことを特徴とする請求項１記載の多地点会議システム。
4. 複数の端末と通信接続する多地点会議装置において、
   話者の検出を行うメディア処理部と、
   会議に参加している端末からの画像を保持する記憶部と、
   話者を検出した時に前記話者の画像を復号化し復号化した画像を再符号化する画像処理部と、
   前記メディア処理部で話者を検出した時、話者切替え時の画像フレームに、前記画像処理部で再符号化されたイントラフレームを送信する送信部と、
   を備えている、ことを特徴とする多地点会議装置。
5. 複数の端末と接続され、
   話者検出するメディア処理部と、
   会議に参加している端末からの画像を保持する記憶部と、を有する多地点会議装置に設けられ、話者検出時に話者の画像を復号化／再符号化する画像処理装置において、
   話者検出結果に基づき、前記記憶部に保持されている話者の画像を復号化する復号化部と、
   前記復号化部により、前記記憶部に保存されている話者の最後の画像を復号化して得られる参照画像を保持する参照画像記憶部と、
   話者検出以降に、受信した画像を、前記参照画像記憶部に保持されている参照画像に基づき、前記復号化部により復号化した画像を再度符号化する符号化部と、
   を有し、
   話者検出以降に、受信した話者の画像の少なくとも最初のフレームを、イントラフレームで符号化する、ことを特徴とする画像処理装置。
6. 第１のネットワークと、第１のネットワークと異種網である第２のネットワークと、を接続する多地点会議システムにおいて、
   話者の検出を行うメディア処理部と、
   会議に参加している端末からの画像を保持する記憶部と、
   前記メディア処理部で話者を検出した時に、話者の画像を復号化し、復号化された画像を再符号化する画像処理部と、
   を備え、
   前記メディア処理部で話者を検出した時、前記画像処理部は、話者切替え時の画像フレームにイントラフレームを送信する、ことを特徴とする多地点会議システム。
7. 複数の端末と接続され、話者検出するメディア処理部を有する多地点会議装置に設けられ、話者検出時に話者の画像を復号化／再符号化する画像処理装置において、
   前記メディア処理部での話者検出の結果、話者である端末のコーデックに合わせて画像を記憶する記憶部と、
   前記記憶部に保持されている話者の画像を復号化する復号化部と、
   前記復号化部により、前記記憶部に保存されている話者の最後の画像を復号化して得られる参照画像を保持する参照画像記憶部と、
   話者検出以降に、受信部で受信した画像を前記参照画像記憶部に保持されている参照画像に基づき、前記復号化部により復号化した画像を再度符号化する符号化部と、
   を有し、
   話者検出以降に前記受信部で受信した話者の画像の少なくとも最初のフレームをイントラフレームで符号化し、
   異種網に接続している端末から送信される画像データが複数であっても対応可能としてなる、ことを特徴とする画像処理装置。
8. 話者を検出するメディア処理部と、話者検出以降に、受信部で受信した始めの話者の画像をイントラフレームで符号化する画像処理部と、を有し、会議に参加している話者以外の端末に、イントラフレームを送信することで、話者画像を切替える多地点会議装置の話者切替え方法であって、
   受信している話者の画像がイントラフレームであるか否か判定する工程と、
   イントラフレームであると検出された場合、前記画像処理部での処理を停止し、受信した話者のイントラフレームを送信する工程と、
   前記話者の画像がイントラフレームでないと検出された場合、前記画像処理部の処理を継続する工程と、
   を含む、ことを特徴とする話者切替え方法。
9. 複数の端末と接続する多地点会議装置の話者切替え方法において、
   前記多地点会議装置が、話者を検出した場合、イントラフレーム送信要求を端末に送信する工程と、
   前記多地点会議装置からイントラフレーム送信要求を受信した端末が、イントラフレームを前記多地点会議装置に送信する工程と、
   を有する、ことを特徴とする話者切替え方法。
10. 画像処理部が話者検出以降に受信部で受信した始めの話者の画像をイントラフレームで符号化することで、会議に参加している話者以外の端末にイントラフレームを送信し、話者画像を切替え制御する多地点会議装置の話者切替え方法であって、
    受信部で受信している話者の画像がイントラフレームであると検出された場合、前記画像処理部の処理を停止し、前記受信部で受信した話者のイントラフレームを送信する工程と、
    話者の画像がイントラフレームでないと検出された場合、前記画像処理部の処理を継続する工程と、
    を含み、異種網に接続している端末から送信される画像データのコーデックが複数であっても対応可能としてなる、ことを特徴とする話者切替え方法。
11. 異種網に接続している複数の端末のうち多地点会議装置が話者を検出する工程と、
    前記多地点会議装置が、話者検出結果に基づき、イントラフレーム送信要求を端末に送信する工程と、
    イントラフレーム送信要求を受信した端末が前記多地点会議装置にイントラフレームを出力する工程と、
    を含む、ことを特徴とする話者切替え方法。
12. 複数の端末と接続する多地点会議装置が、話者の切替え検出する工程と、
    前記多地点会議装置が、前記話者検出後、話者検出以降に受信した画像データを復号化して再符号化するにあたり、始めの画像をイントラフレームとして再符号化し、次以降は、インターフレームで再符号化して、話者以外の端末に画像データを送信する工程と、
    を含み、話者以外の前記端末は、話者切替え時、イントラフレームから復号化することを可能としてなる、ことを特徴とする話者切替え方法。
13. 複数の端末と接続する多地点会議装置が、
    話者の切替え検出する検出部と、
    前記話者検出後、話者検出以降に受信した画像データを復号化して再符号化するにあたり、始めの画像をイントラフレームとして再符号化し、次以降は、インターフレームで再符号化して、話者以外の端末に画像データを送信する画像処理部と、
    を含み、
    話者以外の前記端末をして、話者切替え時にイントラフレームから復号化することを可能たらしめる、ことを特徴とする多地点会議装置。
14. 通信接続する端末からのパケットを受信する受信部と、
    送信パケットを送信する送信部と、
    呼処理を行う呼処理部と、
    話者の検出を行うメディア処理部と、
    会議参加者情報の管理を行う会議制御部と、
    会議に参加している端末からの画像データを端末に対応させて蓄積する記憶部と、
    復号化部、参照画像記憶部、及び符号化部を含む画像処理部と、
    を備え、
    前記会議制御部は、前記メディア処理部から話者検出結果を通知された場合に、話者切替えのための処理開始通知を前記画像処理部に通知し、
    前記画像処理部は、前記会議制御部から、前記話者切替えのための処理開始通知を受信すると、前記記憶部に蓄積されている端末からの画像データの内、切替え対象者の蓄積画像データを前記記憶部からコピーして、前記復号化部で復号化し、最後に復号化された画像を参照画像として前記参照画像記憶部に蓄積し、さらに、前記受信部から切替え対象者の画像データを受け取り、前記画像データがイントラフレームでなかった場合、前記画像データは前記復号化部に入力され、前記復号化部では、前記参照画像記憶部に蓄積されている前記参照画像を基に、復号化処理を行い、該復号化された画像データを前記符号化部で再符号化し、該再符号化された画像データを前記メディア処理部に渡し、
    前記メディア処理部は、前記再符号化された画像データを、話者以外の端末に送信するようにミキシングして前記送信部に渡し、
    前記送信部は、前記メディア処理部からの画像データをパケット化して前記端末に送信する、ことを特徴とする多地点会議装置。
15. 前記メディア処理部での話者の検出から、前記画像処理部で前記参照画像を前記参照画像記憶部に保存するまでの間、前記受信部は、話者の端末から受信した画像データをチェックし、前記画像データがイントラフレームであった場合、前記画像データの前記復号化部への入力を終了し、前記画像データは前記メディア処理部に渡され、話者切替え処理が終了する、ことを特徴とする請求項１４記載の多地点会議装置。
16. 複数の端末に接続する会議装置による話者切替え方法であって、
    会議に参加している端末からの画像データを記憶部に記憶する工程と、
    話者の検出を行う工程と、
    話者検出時、前記記憶部に記憶されている切替え対象話者の画像データを復号化し、最後に復号化された画像を参照画像として参照画像記憶部に蓄積する工程と、
    話者検出以降、話者の端末から受信した画像データがイントラフレームであるか否か判定する工程と、
    イントラフレームでなかった場合、前記参照画像記憶部に蓄積されている前記参照画像を基に、前記画像データの復号化処理を行い、該復号化された画像データを再符号化し、その際、話者切替え時の前記話者の端末からの最初の画像データはイントラフレームとして再符号化し、前記再符号化された画像データを、話者以外の会議に参加している端末に送信する工程と、
    イントラフレームであった場合、前記話者の端末から受信したイントラフレームを、話者以外の会議に参加している端末に送信する工程と、
    を含む、ことを特徴とする話者切替え方法。
17. 話者切替え時に、切替え対象話者の端末から受信した、符号化された画像データを復号化する第１の工程と、
    前記復号化された画像データを再符号化する第２の工程と、
    を含み
    前記第２の工程では、再符号化に際して、話者切替え時の話者の端末からの最初の画像データをイントラフレームに符号化し、
    話者切替え時、話者以外の会議に参加している端末にイントラフレームを送信する、ことを特徴とする話者切替え方法。
18. 話者切替え時に、切替え対象話者の端末から送信された符号化画像データを復号化する復号化手段と、
    前記復号化された画像データを再符号化する符号化手段と、
    を備え、
    前記符号化手段は、再符号化に際して、話者切替え時の話者の端末からの最初の画像データをイントラフレームに符号化し、
    話者切替え時、話者以外の会議に参加している端末にイントラフレームを送信する、ことを特徴とする会議システム。

Images