JP4361430B2 - 双方向画像通信装置、その処理方法及びクライアント装置並びにプログラム - Google Patents

Description

本発明は、サーバ・クライアント方式のビデオ会議システム等の双方向画像通信システムに関する技術に係り、特に、クライアントにおける送信条件と受信条件にできるだけ適合した符号化データ送受信を可能とする技術に関する。

ビデオ会議システム等の双方向画像通信システムの従来技術として、例えばＫＤＤＩが製品化しているＱｕａｌｉｔｙ Ｍｅｅｔｉｎｇ（http://avs.kddlabs.co.jp/qmeet/body.html）がある。Ｑｕａｌｉｔｙ Ｍｅｅｔｉｎｇでは、クライアント側で通信可能な帯域を監視し、クライアント側でエンコーダのビットレートを変化させ、帯域に応じた通信を行っている（例えば特許文献１参照）。しかしながら、従来技術では以下のような問題が生ずる。

例えば、サーバにクライアント１とクライアント２が接続されている構成において、クライアント１がサーバを介してクライアント２に符号化データを送信する場合、上記の従来技術では、クライアント１とサーバ間の帯域しか考慮できないので、クライアント２とサーバ間の帯域がクライアント１とサーバ間の帯域より狭い場合には、クライアント２でクライアント１の映像が受信できない場合が生じる。従って、クライアント１のエンコーダのビットレートは、帯域の狭い方に合わせて設定しておかなければならない。

従って、３つ以上のクライアントがサーバに接続している場合に、３つのクライアント間で双方向通信を実現するためには、最も帯域の狭い回線に合わせてエンコーダのビットレートを設定しなければならず、サーバと各クライアント間の帯域を有効利用できないという問題がある。この問題を解決するために、サーバで符号化データをデコードし、クライアント毎に適切なビットレートでエンコードすることが考えられるが、この方法ではサーバ側で複雑な処理を要し、サーバの負担が大きくなるとともに、送信側のクライアントからサーバ間の帯域を無駄に使用する場合が生じるという問題がある。

また、受信側のクライアントにおける受信環境（画像サイズ、フレームレート、ビットレート等のことであり、各値は本明細書及び特許請求の範囲における受信条件の例である）は一般に各クライアント毎に異なる。従って、上記の帯域における問題と同様の問題が生じる。すなわち、送信クライアントが最も低い受信条件の受信クライアントに合わせた符号化パラメータ（画像サイズ、フレームレート、ビットレート等のことであり、各値は本明細書及び特許請求の範囲における送信条件の例である）で画像を符号化しなければならないとすると、他の受信クライアントはより高画質の画像を受け得るにもかかわらずそれができないという問題が生じ、また、サーバで符号化データをデコードし、クライアント毎に適切な符号化パラメータでエンコードする方法を採用する場合、サーバの負担が大きくなるとともに、送信側のクライアントにおける符号化処理量が、受信側の受信条件と比較して無駄に大きい場合が生じるという問題がある。
特開２００３−１１６１３３号公報 「要点チェック式Ｈ．３２３／ＭＰＥＧ４教科書」、（株）ＩＥインスティチュート、２００１年

本発明は上記の点に鑑みてなされたものであり、送信側のクライアントの送信条件と受信側の各クライアントの受信条件をできるだけ満たし、必要かつ十分な帯域及び画像処理量を用いて双方向画像通信を行なうことを可能とする技術を提供することを目的とする。

上記の課題は、フレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームとを生成する映像圧縮方式を用いて映像を符号化する少なくとも１つのクライアント装置と、映像の複製及び分配を行う双方向画像通信装置とを有する双方向画像通信システムにおいて使用される双方向画像通信装置であって、各クライアント装置から受信条件を受信し、保持する受信条件保持手段と、各クライアント装置に、他のクライアント装置の受信条件を送信する受信条件送信手段と、映像の符号化データを送信元クライアント装置から受信し、受信した符号化データを複製してバッファに蓄積する蓄積手段と、符号化データの送信先クライアント装置の受信条件に応じて、送信元クライアント装置から受信したキーフレームの符号化データのみ、又は、キーフレームの符号化データ及び内挿フレームの符号化データを送信先クライアント装置に送信する選択送信手段とを有することを特徴とする双方向画像通信装置を用いることにより解決することができる。

本発明によれば、各クライアント装置から受信した受信条件を各クライアント装置に送信するので、各クライアントは、自身の送信条件と受信条件とを比較することにより、必要かつ十分な帯域及び符号化処理量に適合した符号化パラメータを決定できる。また、本発明によれば、送信された符号化データの条件に満たない受信側のクライアントに対しても適切に符号化データを送信できる。

前記選択送信手段は、前記符号化データの所定の符号化パラメータ値と、送信先クライアント装置における受信条件とを比較し、前記所定の符号化パラメータ値が送信先クライアント装置における受信条件の値以上である場合には、送信元クライアント装置から受信したキーフレームの符号化データのみを送信先クライアント装置に送信し、前記所定の符号化パラメータ値が送信先クライアント装置における受信条件の値未満である場合には、キーフレームの符号化データ及び内挿フレームの符号化データを送信先クライアント装置に送信する。

また、本発明は、スケーラビリティの機能を有する映像圧縮方式を用いて映像を符号化する少なくとも１つのクライアント装置と、クライアント装置から受信した映像の複製及び分配を行う双方向画像通信装置とを有する双方向画像通信システムにおいて使用される双方向画像通信装置であって、各クライアント装置から受信条件を受信し、保持する受信条件保持手段と、各クライアント装置に、他のクライアント装置の受信条件を送信する受信条件送信手段と、スケーラビリティの機能における複数レイヤの符号化データを送信元クライアント装置から受信し、受信した複数レイヤの符号化データを複製してバッファに蓄積する蓄積手段と、送信元クライアント装置から受信した複数レイヤの符号化データのうち、送信先クライアント装置に送信する一又は複数のレイヤの符号化データを、当該送信先クライアント装置の受信条件に応じて選択し、選択した一又は複数のレイヤの符号化データを送信先クライアント装置に送信する選択送信手段とを有することを特徴とする双方向画像通信装置として構成することもできる。

前記選択送信手段は、送信元クライアント装置から受信した符号化データのレイヤと、送信先クライアント装置の受信条件としてのレイヤとを比較し、送信元クライアント装置から受信した符号化データのレイヤが送信先クライアント装置の受信条件としてのレイヤに含まれる場合には、送信元クライアント装置から受信した符号化データ全部を送信先クライアント装置に送信し、送信元クライアント装置から受信した符号化データのレイヤが送信先クライアント装置の受信条件としてのレイヤを超える場合には、送信元クライアント装置から受信した符号化データのうち、送信先クライアント装置の受信条件のレイヤ分の符号化データを選択して送信先クライアント装置に送信する。

また、上記の課題は、映像を符号化して送信する少なくとも１つのクライアント装置と、映像の複製及び分配を行う双方向画像通信装置とを有する双方向画像通信システムにおいて使用されるクライアント装置であって、受信条件及び送信条件を保持する手段と、双方向画像通信装置に受信条件を送信する受信条件送信手段と、双方向画像通信装置から、双方向画像通信システムにおける他のクライアント装置の受信条件を受信し、保持する受信条件保持手段と、送信条件と、他のクライアント装置の受信条件のうちの最大のものとを比較し、等しければそれを符号化パラメータとし、等しくなければ小さい方を符号化パラメータとする符号化パラメータ決定手段と、前記符号化パラメータを用いて映像を符号化し、双方向画像通信装置へ送信する符号化送信手段とを有することを特徴とするクライアント装置を用いることによって解決される。

本発明によれば、送信条件と、他のクライアント装置の受信条件のうちの最大のものとを比較し、等しければそれを符号化パラメータとし、等しくなければ小さい方を符号化パラメータとするので、送信側で全く無駄な帯域使用や符号化処理を行うことがなくなり、また、受信側では受信側で受信可能であって送信側で送信可能な最良の映像を受信し得る。

前記受信条件及び送信条件の各々は、ビットレート、画像サイズ、フレームレートのうちの１つ又は複数のパラメータを含み、複数のパラメータを含む場合には、前記符号化パラメータ決定手段は、パラメータ毎に送信条件と受信条件の比較を行ない符号化パラメータを決定する。

また、前記映像の符号化は、スケーラビリティの機能を有する映像圧縮方式を用いて行なわれ、前記受信条件及び送信条件の各々は、符号化データのレイヤ情報であるように構成することもできる。

なお、上記本発明における各手段は、当該各手段に対応する処理を実行するプログラムと装置のハードウェア資源との協働により実現されるものである。従って、実施の形態の記載中、本願発明の各手段は、当該各手段に対応する処理として記載されている。

上記のように、本願発明によれば、送信側で全く無駄な帯域使用や符号化処理を行うことがなくなり、また、受信側では受信側で受信可能であって送信側で送信可能な最良の映像を受信し得るようになる。従って、必要かつ十分な帯域及び画像処理量を用いて双方向画像通信を行なうことを可能とする技術を提供できる。

以下、本願発明の実施の形態を図面を参照して説明する。なお、以下で説明する各実施の形態では、本発明をビデオ会議システムに適用した例を説明するが、本発明はビデオ会議システム以外にも適用可能である。

（第１の実施の形態）
図１に、本発明の第１の実施の形態におけるビデオ会議システムの構成を示す。図１に示すように、本発明の第１の実施の形態におけるビデオ会議システムは、サーバ３、クライアントＡ（４）、クライアントＢ（５）、クライアントＣ（６）を有し、クライアントＡ及びクライアントＢはネットワーク１を介してサーバ３と接続され、クライアントＣはネットワーク２を介してサーバ３と接続される。また、各クライアントにはカメラが接続されている。各クライアントに接続されたカメラは、例えば、ＵＳＢ接続カメラやキャプチャボードを介して接続されたＮＴＳＣのＴＶカメラ等である。なお、サーバ３のことを双方向画像通信装置ともいう。

サーバ３は、サーバ・クライアント方式のビデオ会議システムにおけるサーバとしての一般的な機能を有するとともに、後述する本願発明に係る機能を有している。サーバ３は、ＣＰＵ、メモリ、ハードディスク、ネットワーク通信装置等を備えた一般的なコンピュータのハードウェア構成を有し、本願発明に係る各手段は、サーバ３に搭載されるプログラムが実行されることにより実現される。当該プログラムはCD-ROM等の記録媒体からサーバにインストールすることもできるし、ネットワークを介してサーバにダウンロードし、インストールすることもできる。また、各クライアントも、ＣＰＵ、メモリ、ハードディスク、ネットワーク通信装置等を備えた一般的なコンピュータのハードウェア構成を有し、本願発明に係る各手段は、クライアントに搭載されるプログラムが実行されることにより実現される。

図２に、図１に示した第１の実施の形態におけるビデオ会議システムの動作を表すフローチャートを示す。図２を参照して、第１の実施の形態におけるビデオ会議システムの動作を説明する。

まず、各クライアントにおいて送信条件と受信条件を設定する（ステップ１）。送信条件はビットレート、画像サイズ、フレームレートのうちいずれか１つ又は複数とするが、他のパラメータを送信条件としてもよい。また、受信条件は、ビットレート、画像サイズ、フレームレートのうちのいずれか１つ又は複数とするが、他のパラメータを受信条件としてもよい。送信条件とは、クライアントの性能や負荷、回線帯域等に応じて定まる符号化パラメータの最大値であり、受信条件とは、クライアントの性能や負荷、回線帯域等に応じて定まる、復号化の際のパラメータの最大値である。なお、送信条件と受信条件を設定するとは、送信条件と受信条件をメモリ等の記憶装置に格納することである。

本実施の形態では、クライアントＡの受信条件のビットレートをαbps(bits per second)、画像サイズをＶＧＡ（640x480ドット）、フレームレートをβfps(frame per second)、クライアントAの送信条件のビットレートを２αbps、画像サイズをＶＧＡ、フレームレートをβfpsとする。同様に、クライアントＢの受信条件のビットレートをαbps、画像サイズをＣＩＦ（352x288ドット）、フレームレートをβ／２fps、クライアントＢの送信条件のビットレートをαbps、画像サイズをＣＩＦ、フレームレートをβ／２fpsとする。また、クライアントＣの受信条件のビットレートをα／２bps、画像サイズをＱＣＩＦ（176x144ドット）、フレームレートをβ／４fps、クライアントＣの送信条件のビットレートをαbps、画像サイズをＱＣＩＦ、フレームレートをβ／２fpsとする。この設定は、クライアントのユーザが行なってもよいし、ＣＰＵ負荷等の条件に基づき、クライアントが動的に自動的に行なってもよい。

次に、各クライアントは、サーバ３へ自身の受信条件を送信する（ステップ２）。なお、この受信条件の送信は、一定時間間隔で行なってもよいし、受信条件が変動した都度行なうようにしてもよい。サーバ３は、受信条件を受信し、受信した受信条件をクライアントと対応付けて記憶装置に保持する。

そして、サーバ３は、各クライアントに、当該クライアント以外のクライアントの受信条件を送信する。すなわち、クライアントＡに対してはクライアントＢとクライアントＣの受信条件を送信し、クライアントＢに対してはクライアントＡとクライアントＣの受信条件を送信し、クライアントＣに対してはクライアントＡとクライアントＢの受信条件を送信する。これにより、各クライアントは自分以外の他のクライアントの受信条件をサーバ３から受信し、クライアントに対応付けて記憶装置に保持する（ステップ３）。

なお、各クライアントは例えば一定時間間隔で他クライアントの受信条件をサーバにアクセスして取得するようにしてもよい。また、サーバ３が、クライアントの受信条件に変動があった場合に、そのクライアントの受信条件をそのクライアント以外のクライアントに送信するような構成とすることもできる。ステップ１〜ステップ３の処理は、映像の符号化データを得る一連の処理の前処理であるが、各クライアントの受信条件を動的に変動させる場合は、映像の符号化データの取得、送信処理の中で、ステップ１〜３の処理を行なうことにより、本発明の制御を動的に行うことが可能となる。

ステップ１〜ステップ３の前処理の後、各クライアントにおいてカメラ映像の取得を行う（ステップ４）。そして、各クライアントは、自クライアントの送信条件と他クライアントの受信条件とを比較し、取得した映像を符号化するための符号化パラメータを決定し、設定する（ステップ５）。本実施の形態では、ビットレート、画像サイズ、フレームレートの各々について、自クライアントの送信条件と、他クライアントの受信条件中の最大値とを比較し、等しい場合はその値を、等しくない場合は小さい方を符号化パラメータの値として設定する。その結果、本実施の形態では、クライアントＡ及びＢの符号化パラメータにおけるビットレートはαbps、画像サイズはＣＩＦ、フレームレートはβ／２fps、クライアントＣの符号化パラメータにおけるビットレートはαbps、画像サイズはＱＣＩＦ、フレームレートはβ／２fpsとなる。

上記の比較処理を図３を用いてより詳細に説明する。図３において、１０で示す列に着目して説明する。クライアントＡは、クライアントＢの受信条件（ビットレートαbps、画像サイズＣＩＦ、フレームレートβ／２fps）、クライアントＣの受信条件（ビットレートα／２bps、画像サイズＱＣＩＦ、フレームレートβ／４fps）、及び自身の送信条件（ビットレート２αbps、画像サイズＶＧＡ、フレームレートβfps）を記憶装置に保持している。そして、クライアントＡは、クライアントＢのビットレートαbpsとクライアントＣのビットレートα／２bpsのうちの大きい方であるビットレートαbpsと、クライアントＡの送信条件のビットレート２αbpsとを比較し、小さい方であるビットレートαbpsを、クライアントＡの符号化パラメータとして決定する。画像サイズ、フレームレートの各々についても同様の比較をし、図３に示すように符号化パラメータを決定する。クライアントＢ、クライアントＣについても同様である。このように、他クライアントの受信条件中の最大値以下の値を送信側クライアントの符号化パラメータとすることにより、送信側クライアントの送信条件をそのまま符号化パラメータとすることにより生じ得る無駄な帯域使用や処理を回避できる。また、他クライアントの受信条件中の最大値と送信条件とを比較するので、送信側のクライアントは、他クライアントが受信可能で、なおかつ送信側クライアントが送信可能な画像の中で、最良の画像を送信できる。

図２のフローチャートにおいて、次に、各クライアントにおいてカメラ映像の符号化処理を行う（ステップ６）。ここでは、ステップ５で決定した符号化パラメータを用いて符号化処理を行なう。符号化にはフレーム内圧縮されたフレーム（本明細書ではキーフレームと称する）とフレーム間圧縮されたフレーム（本明細書では内挿フレームと称する）とを生成する映像圧縮形式を用いる。具体的には、例えば、ＭＰＥＧ４やＨ．２６３（非特許文献１参照）等の符号化方式を用いて符号化を行なう。

次に、映像の符号化データを各クライアントからサーバ３へ送信する（ステップ７）。ここでは、通信プロトコルとして、例えばＲＴＰ／ＵＤＰや、ＲＴＰをＨＴＴＰでカプセリングしたＴＣＰを用い、符号化データをフレーム単位で分割したビデオパケットとして送信する。

次に、サーバ３において、受信した符号化データを各クライアント毎に複製し蓄積する（ステップ８）。そして、サーバ３は、各クライアントの受信条件に基づき符号化データを選択し、選択した符号化データを各クライアントに送信する（ステップ９）。その後、符号化データを受信したクライアントは、受信データの復号化及び表示処理を行う（ステップ１０）。

以下、上記のステップ８、９におけるビデオパケットの複製、蓄積から送信までのサーバ３における処理を図４、図５を用いてより詳細に説明する。この処理は本発明に係るプログラムにより実現されるものである。

図４は、ビデオパケットの複製と蓄積及び送信までの処理の一例を示した図であり、クライアントＣから受信したビデオパケットをクライアントＡ、クライアントＢに送信する場合を示す図である。図４において、ＩはＩピクチャ（フレーム内圧縮されたキーフレーム）、ＰはＰピクチャ（順方向予測の内挿フレーム）、ＢはＢピクチャ（双方向予測の内挿フレーム）に対するビデオパケットを示す。また、サーバ３には、各クライアントの受信条件が記憶装置に保持されている。

サーバ３がクライアントＣからビデオパケットを受信すると、サーバ３は、ビデオパケットの受信順に、接続されているクライアント数分だけビデオパケットを複製し、クライアント毎に用意されたバッファに蓄積する。なお、バッファは例えばサーバ３におけるメモリ内の所定のエリアとして実現される。

ここで用意するバッファ量は、少なくとも１つ以上のＩピクチャのビデオパケットが含まれるように設定される。例えば、図４の場合では、Ｉ，Ｂ，Ｐ，Ｂが蓄積できるバッファ量を設定している。

図４に示す場合、受信側のクライアント（クライアントＡ、クライアントＢ）の各受信条件は、送信側クライアント（クライアントＣ）の対応する各符号化パラメータより大きいか、等しいので、受信側のクライアントは、送信側で符号化された符号化データを、データの間引き無く、そのまま受信できる。従って、以下の処理が行われる。

まず、バッファに蓄積されたＩピクチャのビデオパケットを各クライアントへ送信する。そして、バッファをクリアし次のＢピクチャのビデオパケットを待ち、クライアントＣからのＢピクチャのビデオパケットが到着したら、バッファに蓄積し、Ｉピクチャのビデオパケットと同様に各クライアントへＢピクチャのビデオパケットを送信する。これを繰り返し行うことにより、各クライアントヘビデオパケットを送信する。このように、クライアントＣの符号化データは、クライアントＡ及びクライアントＢの受信条件を全て満たしているので、クライアントＣの符号化データはそのままクライアントＡ及びＢで受信される。

図５に、受信側のクライアントの受信条件が、送信側の符号化データの符号化パラメータを満たさない場合の例として、クライアントＡから受信した符号化データをクライアントＣへ送信する場合を示す。ここで、図３に示した通り、クライアントＡの符号化パラメータは、ビットレートαbps、画像サイズＣＩＦ、フレームレートβ／２fpsであるのに対し、クライアントＣの受信条件は、ビットレートα／２bps、画像サイズＱＣＩＦ、フレームレートβ／４fpsである。従って、サーバ３は、クライアントＣの受信条件のビットレートと符号化データのビットレートとを比較し、クライアントＣの受信条件のビットレートが符号化データのビットレートより小さいと判断する。この場合、全ての符号化データをクライアントＣに対して送信することはできないので、図５に示すように、クライアントＣへはフレーム内圧縮されたＩピクチャのみを送信する。なお、サーバ３は、フレームレートの比較に基づきＩピクチャのみを送信することを判断してもよい。

まず、図４の場合と同様に、クライアントＡからＩピクチャのビデオパケットを受信し、複製してバッファに蓄積し、バッファに蓄積されたＩピクチャのビデオパケットをクライアントＣへ送信する。そして、バッファをクリアすることなく、Ｉピクチャのビデオパケットの後ろに続くバッファ内にＢピクチャのビデオパケットを保持する。同様に、続くＰパケットとＢパケットのビデオパケットもバッファ内に保持した後に、バッファをクリアし、次に受信したＩピクチャをクライアントＣに送信する。そして、この処理を繰り返すことにより、ＩピクチャのみをクライアントＣに送信する。

これにより、フレームレートはクライアントＣの受信条件より小さくなるが、確実に映像をクライアントＣに送信することが可能となる。ここでは、Ｉピクチャのみを送信しているが、例えば、受信条件が、符号化パラメータの９割以上を示す場合には、ＩピクチャとＰピクチャを送信してもよい。

なお、図４、図５に示す処理において、送信側クライアントにおける符号化パラメータは、サーバ３が符号化データを受信する際に自動的に判断することができる。また、送信側のクライアントが、予め符号化パラメータをサーバ３に送信し、サーバ３がその符号化パラメータを参照するようにしてもよい。

上記の図４又は図５の処理が行われるため、クライアントが受信する符号化データは、送信元と同じ符号化データ又はＩフレームのみを含む符号化データである。従って、どちらの符号化データが届いても、場合分けして処理する必要なく復号化し、表示することができる。なお、符号化データ中の画像サイズが、受信条件より大きい場合には、受信クライアントにてデコード処理後、縮小処理して表示すればよい。

本実施の形態では、映像取得開始前に符号化パラメータを設定する方法を示したが、映像送信中にクライアントの処理能力に応じて、クライアント自身が送信条件もしくは受信条件又はその両方を変更するようにしてもよい。一例として、クライアントのＣＰＵ使用率と受信画面数に基づく送信条件を図６に示す。図６（ａ）はＣＰＵ（Ａ）用のしきい値テーブルであり、（ｂ）はＣＰＵ（Ｂ）用のしきい値テーブルであり、（ｃ）はＣＰＵ（Ｃ）用のしきい値テーブルである。ＣＰＵ（Ａ）からＣＰＵ（Ｃ）にかけてＣＰＵ能力が高くなっている。例えば図６（ａ）において、受信する画像数（他のクライアントの数に相当する）が１であり、ＣＰＵ使用率が０％以上４０％未満であれば、送信条件のパラメータは、画像サイズがＱＣＩＦであり、フレームレートは５ｆｐｓである。また、図６（ａ）において、画像数が５以上の場合あるいはＣＰＵ負荷が高い場合、エンコーダ（符号化）に負荷を割くことをやめ、画像を受けるだけとしている。なお、図６の例では、ビットレートは一定である場合を示している。このようなテーブルに基づき随時決定される送信条件に基づき、符号化パラメータが決定される。また、ＣＰＵ負荷等に基づき、受信条件を随時変動させるようにしてもよい。

このように、送信条件もしくは受信条件を動的に変動させることにより、本発明における符号化データ送受信の制御を動的に行なうことが可能となる。

（第２の実施の形態）
次に、本願発明の第２の実施の形態について説明する。第２の実施の形態におけるシステム構成は第１の実施の形態と同じであり、図１に示す通りである。第２の実施の形態では、例えば、ＭＰＥＧ４やＨ．２６３（非特許文献１参照）等におけるスケーラビリティ機能を持った圧縮符号化技術を用い、符号化レイヤ単位に受信条件と送信条件を定めている。スケーラビリティのレイヤ構成としては、基本レイヤ１としてフレーム内圧縮されたキーフレームを生成し、基本レイヤ２としてフレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームを生成し、拡張レイヤ群１として、基本レイヤ１、基本レイヤ２に対する高周波部分の差分情報フレームを生成し、拡張レイヤ群２として、拡張レイヤ群１に対し、動きを滑らかにするための内挿フレームを生成するものとする。このように階層的に符号化データを生成する機能はスケーラビリティと呼ばれている。ここでは、上記のような基本レイヤ１、基本レイヤ２、拡張レイヤ群１、及び、拡張レイヤ群２を有する階層的符号化を例にとったが、レイヤの数や、各レイヤの内容は本実施の形態の例に限られるものではない。なお、本実施の形態における基本レイヤが、第１の実施の形態における符号化データに相当する。

図７のフローチャートを参照して、第２の実施の形態における処理の流れを説明する。

まず、各クライアントにおいて送信条件と受信条件を設定する（ステップ２１）。本実施の形態では、送信条件、受信条件として上記のレイヤ情報を用いる。なお、送信条件と受信条件を設定するとは、レイヤ情報を記憶装置に格納することである。本実施の形態での送信条件は、クライアントの性能や負荷、回線帯域等に応じて定まる符号化の際の最大のレイヤであり、受信条件とは、クライアントの性能や負荷、回線帯域等に応じて定まる復号化の際の最大のレイヤである。なお、本明細書及び特許請求の範囲において、レイヤが大きいとは、レイヤの範囲が大きいことをいう。例えば、基本レイヤ１及び２のレイヤより、基本レイヤ１及び２、及び拡張レイヤ群１及び２のほうがレイヤが大きい。

ここでは、クライアントＡの受信条件と送信条件をともに基本レイヤ１及び２、及び拡張レイヤ群１及び２とする。また、クライアントＢの受信条件を基本レイヤ１及び２、及び拡張レイヤ群１とし、クライアントＢの送信条件を基本レイヤ１及び２、及び拡張レイヤ群１及び２とする。更に、クライアントＣの受信条件と送信条件をともに基本レイヤ１及び２とする。この設定は、クライアントのユーザが行なってもよいし、ＣＰＵ負荷等の条件に基づき、クライアントが動的に自動的に行なってもよい。

次に、各クライアントは、サーバ３へ自身の受信条件を送信する（ステップ２２）。この受信条件の送信は、一定時間間隔で行なってもよいし、受信条件が変動した都度行なうようにしてもよい。サーバ３は、受信条件を受信し、受信した受信条件をクライアントと対応付けて記憶装置に保持する。そして、サーバ３は、各クライアントに、当該クライアント以外のクライアントの受信条件を送信する。各クライアントは自分以外の他のクライアントの受信条件をサーバ３から受信し、クライアントに対応付けて記憶装置に保持する（ステップ２３）。

なお、各クライアントは例えば一定時間間隔で他クライアントの受信条件をサーバにアクセスして取得するようにしてもよい。また、サーバ３が、クライアントの受信条件に変動があった場合に、そのクライアントの受信条件をそのクライアント以外のクライアントに送信するような構成とすることもできる。ステップ２１〜ステップ２３の処理は、映像の符号化データを得る一連の処理の前処理であるが、各クライアントの受信条件が随時変動する場合は、映像の符号化データを取得、送信する処理の中で、ステップ２１〜２３の処理を行なってもよい。これにより、動的な制御が可能となる。

ステップ２１〜ステップ２３の前処理の後、各クライアントにおいてカメラ映像の取得を行う（ステップ２４）。続いて、各クライアントは、自クライアントの送信条件と他クライアントの受信条件とを比較し、取得した映像を符号化するための符号化パラメータを決定し、設定する（ステップ２５）。本実施の形態では、各クライアントは、自身の送信条件の符号化レイヤと、他クライアントの受信条件の符号化レイヤ中の最大符号化レイヤとの比較を行い、低いほうの符号化レイヤを符号化パラメータとして設定する。その結果、本実施の形態では、クライアントＡの符号化パラメータは、基本レイヤ１及び２、及び拡張レイヤ群１となり、クライアントＢの符号化パラメータは、基本レイヤ１及び２、及び拡張レイヤ群１及び２となり、クライアントＣの符号化パラメータは、基本レイヤ１及び２となる。

上記の比較処理を図８を用いてより詳細に説明する。図８において、２０で示す列に着目して説明する。クライアントＡは、クライアントＢの受信条件（基本レイヤ１及び２、及び拡張レイヤ群１）、クライアントＣの受信条件（基本レイヤ１及び２）、及び自身の送信条件（基本レイヤ１及び２、及び拡張レイヤ群１及び２）を保持している。そして、クライアントＡは、クライアントＢの受信条件とクライアントＣの受信条件のうちの大きい方である（基本レイヤ１及び２、及び拡張レイヤ群１）と、クライアントＡの送信条件（基本レイヤ１及び２、及び拡張レイヤ群１及び２）とを比較し、小さい方である基本レイヤ１及び２、及び拡張レイヤ群１を、クライアントＡの符号化パラメータとして決定する。クライアントＢ、クライアントＣについても同様である。

図７のフローチャートにおいて、次に、各クライアントでカメラ映像の符号化処理を行う（ステップ２６）。ここでは、ステップ の処理で決定した符号化パラメータを用いて階層符号化処理を行う。

そして、映像の階層的符号化データを各クライアントからサーバ３へ送信する（ステップ２７）。ここでは、通信プロトコルとして、例えばＲＴＰ／ＵＤＰや、ＲＴＰ／ＵＤＰをＨＴＴＰでカプセリングしたＴＣＰを用いて、階層的符号化データをフレーム単位で分割したビデオパケットとして送信する。

次に、サーバ３において、受信した符号化データを各クライアント毎に複製し蓄積する（ステップ２８）。そして、各クライアントの受信条件に基づいて階層的符号化データを選択し、各クライアントに送信する（ステップ２９）。その後、クライアントは符号化データを受信する（ステップ３０）。なお、サーバ３からのデータ送信処理及びクライアントによるデータ受信処理については後に詳細に説明する。

データ受信後、クライアントは受信データの復号化及び表示処理を行う。すなわち、基本レイヤ１もしくは基本レイヤ２まで受信する場合であればその符号化データを復号化して表示する。また、拡張レイヤ群１もしくは拡張レイヤ群２まで受信する場合であれば、図７のステップ３１に示すように、基本レイヤ及び拡張レイヤ群１を合成して復号化処理を行う。そして、拡張レイヤ群２のデータが無ければ表示処理を行い（ステップ３２）、拡張レイヤ群２のデータが有れば拡張レイヤ群２を復号化して内挿フレームを生成し、基本レイヤ１、基本レイヤ２、拡張レイヤ群１を基に作成したフレーム間に挿入する（ステップ３３）。そして表示処理を行う（ステップ３２）。

次に、上記のステップ２８、２９におけるビデオパケットの複製と蓄積及び送信までのサーバにおける処理を図９を用いてより詳細に説明する。この処理は本発明に係るプログラムにより実現されるものである。

図９は、第２の実施の形態における、ビデオパケットの複製と蓄積、レイヤ制御、及び送信までの処理の一例を説明するための図である。

クライアントから送信されサーバが受信した符号化データは、受信順に、接続されているクライアント台数分複製され、送信先クライアント毎に用意されたバッファに蓄積される。ここで用意するバッファ量は、少なくとも１つ以上の基本レイヤ１の符号化データが含まれるように設定する。本実施の形態では、基本レイヤ１、基本レイヤ２、拡張レイヤ群１、及び、拡張レイヤ群２の符号化データが蓄積できるバッファ量を設定している。なお、バッファはサーバにおけるメモリ内の所定のエリアとして実現される。また、サーバは、図９に示すように、各クライアントにおける受信条件を保持している。

図９に示したような送信側の符号化パラメータ及び受信側の受信条件の下、クライアントＡから符号化データをクライアントＢ、及びクライアントＣへ送信する場合を説明する。

まず、サーバ３は、バッファに蓄積された階層的符号化データの内容を解析する。この場合、クライアントＡの符号化パラメータは「拡張１まで」であるので、クライアントＡからサーバ３へは基本レイヤ１、基本レイヤ２、及び拡張レイヤ群１が送信されている。従って、サーバ３は、バッファに基本レイヤ１、基本レイヤ２、及び拡張レイヤ群１が蓄積されていると判断する。なお、サーバ３がクライアントＡの符号化パラメータ「拡張１まで」を保持しておき、その保持したデータを参照することによりバッファに蓄積された階層的符号化データの内容を判断することもできる。

次に、クライアントＢ、及びクライアントＣの受信条件を図９に示すテーブルから判断する。判断の結果、クライアントＢの受信条件が拡張レイヤ群１まで受信可能な受信条件であるので、サーバ３は、クライアントＡから受信してクライアントＢに対応するバッファに蓄積してある基本レイヤ１〜拡張レイヤ群１の符号化データを全てクライアントＢへ送信する。また、クライアントＣの受信条件が基本レイヤ２まで受信可能な受信条件であるので、クライアントＢに対応するバッファに蓄積してある基本レイヤ１〜拡張レイヤ群１の符号化データのうち、基本レイヤ１及び２の符号化データを選択してクライアントＣに送信する。

同様に、クライアントＢから送信された拡張レイヤ群２までの符号化データ、及びクライアントＣから送信された基本レイヤ２までの符号化データは、それぞれ図９に示すように各クライアントの受信条件に適合した符号化データが選択されて各クライアントに送信される。なお、クライアントＣからは基本レイヤ２までしかサーバ３に送信されないため、例えばクライアントＡが拡張レイヤ群２まで受信可能であっても、クライアントＣに関しては基本レイヤ２までのみがクライアントＡに送信されることになる。

次に、クライアントでの符号化データ受信処理について説明する。

図１０に、サーバ３からクライアントに送信される符号化データの送信の順番を示す。図１０（ａ）に示すように、クライアントが基本レイヤ２まで受信する場合、基本レイヤ１及び２の符号化データが順次送信される。図１０（ｂ）に示すように、拡張レイヤ群１まで受信する場合は、拡張レイヤ群１、基本レイヤ１及び２、拡張レイヤ群１、基本レイヤ１及び２、・・・・の順番で符号化データが送信される。図１０（ｃ）に示すように、拡張レイヤ群２まで受信する場合は、拡張レイヤ群１、基本レイヤ１及び２、拡張レイヤ群２、拡張レイヤ群１、基本レイヤ１及び２、拡張レイヤ群２・・・・の順番で符号化データが送信される。

上記のように符号化データが送信されることから、クライアントでは、図１１に示す手順で符号化データの受信を行う。

まず、クライアントは、拡張レイヤ群１の符号化データの受信待ち状態となっている（ステップ４１）。次に受信するのは基本レイヤ１及び２もしくは拡張レイヤ群１の符号化データである。拡張レイヤ群１の符号化データの受信待ち状態で、拡張レイヤ群１の符号化データを受信すると（ステップ４２）、基本レイヤ１及び２の符号化データの受信待ち状態となる（ステップ４３）。そして、この状態で基本レイヤ１及び２の符号化データを受信すると（ステップ４４）、拡張レイヤ群１の符号化データの受信待ち状態となる（ステップ４５）。図１０で示したように、次に受信するのは拡張レイヤ群１もしくは拡張レイヤ群２の符号化データであり、拡張レイヤ群２の符号化データを受信した場合（ステップ４６）、ステップ４１に戻る。ステップ４５の状態で拡張レイヤ群１の符号化データを受信した場合（ステップ４７）、ステップ４３の基本レイヤ１及び２の受信待ち状態となる。一方、ステップ４１の拡張レイヤ群１の符号化データ受信待ち状態において、基本レイヤ１及び２の符号化データを受信した場合（ステップ４８）には、再びステップ４１に戻る。

図１１の手順において、ステップ４１、ステップ４８の繰り返しが、図１０（ａ）の場合に対応する。また、ステップ４１、ステップ４２、及びステップ４３、ステップ４４、ステップ４５、ステップ４７、ステップ４３、・・・・の繰り返しが図１０（ｂ）に対応する。また、ステップ４１〜ステップ４６の繰り返しが図１０（ｃ）に対応する。従って、図１１に示す手順により、サーバ３から適宜選択された符号化データを受信クライアントが受信できる。

第１の実施の形態と同様、本実施の形態でも、映像送信中にクライアントの処理能力に応じて送信条件もしくは受信条件を変更するようにクライアントを構成するようにしてもよい。一例として、クライアントのＣＰＵ使用率と受信画面数に基づく送信条件を図１２に示す。図１２に示す各テーブルは、図６に示したものと符号化パラメータの種類が異なる以外は図６に示したものと同様である。

なお、第２の実施の形態における基本レイヤの符号化データの送受信に、第１の実施の形態における制御方法を適用することも可能である。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。

本発明の実施の形態におけるビデオ会議システムの構成を示す図である。 本発明の第１の実施の形態におけるビデオ会議システムの動作を表すフローチャートである。 本発明の第１の実施の形態における送信条件、受信条件、符号化パラメータ間の関係を示す表である。 第１の実施の形態においてクライアントＣから受信した符号化データをクライアントＡ、クライアントＢに送信する場合におけるサーバの動作を説明するための図である。 第１の実施の形態においてクライアントＡから受信したビデオパケットをクライアントＣに送信する場合におけるサーバの動作を説明するための図である。 第１の実施の形態におけるクライアントのＣＰＵ使用率と受信画面数に基づく送信条件を示す表である。 本発明の第２の実施の形態におけるビデオ会議システムの動作を表すフローチャートである。 本発明の第２の実施の形態における送信条件、受信条件、符号化パラメータ間の関係を示す表である。 第２の実施の形態におけるサーバの動作を説明するための図である。 サーバからクライアントへの符号化データの送信順を示す図である。 クライアントにおいて符号化データを受信する手順を示す図である。 第２の実施の形態におけるクライアントのＣＰＵ使用率と受信画面数に基づく送信条件を示す表である。

符号の説明

１、２ ネットワーク
３ サーバ
４ クライアントＡ
５ クライアントＢ
６ クライアントＣ

Claims (16)

1. フレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームとを生成する映像圧縮方式を用いて映像を符号化する少なくとも１つのクライアント装置と、映像の複製及び分配を行う双方向画像通信装置とを有する双方向画像通信システムにおいて使用される双方向画像通信装置であって、
   各クライアント装置から受信条件を受信し、保持する受信条件保持手段と、
   各クライアント装置に、他のクライアント装置の受信条件を送信する受信条件送信手段と、
   映像の符号化データを送信元クライアント装置から受信し、受信した符号化データを複製してバッファに蓄積する蓄積手段と、
   符号化データの送信先クライアント装置の受信条件に応じて、送信元クライアント装置から受信したキーフレームの符号化データのみ、又は、キーフレームの符号化データ及び内挿フレームの符号化データを送信先クライアント装置に送信する選択送信手段とを有し、
   前記他のクライアント装置の受信条件を受信したクライアント装置において、当該クライアント装置の送信条件と、当該他のクライアント装置の受信条件のうちの最大のものとが比較され、等しければそれが当該クライアント装置において映像を符号化するための符号化パラメータとして使用され、等しくなければ小さい方が当該クライアント装置において映像を符号化するための符号化パラメータとして使用される
   ことを特徴とする双方向画像通信装置。
2. 前記選択送信手段は、前記符号化データの所定の符号化パラメータ値と、送信先クライアント装置における受信条件とを比較し、前記所定の符号化パラメータ値が送信先クライアント装置における受信条件の値以上である場合には、送信元クライアント装置から受信したキーフレームの符号化データのみを送信先クライアント装置に送信し、前記所定の符号化パラメータ値が送信先クライアント装置における受信条件の値未満である場合には、キーフレームの符号化データ及び内挿フレームの符号化データを送信先クライアント装置に送信する請求項１に記載の双方向画像通信装置。
3. 前記受信条件は、ビットレート、画像サイズ、フレームレートのうちのいずれかである請求項１又は２に記載の双方向画像通信装置。
4. スケーラビリティの機能を有する映像圧縮方式を用いて映像を符号化する少なくとも１つのクライアント装置と、クライアント装置から受信した映像の複製及び分配を行う双方向画像通信装置とを有する双方向画像通信システムにおいて使用される双方向画像通信装置であって、
   各クライアント装置から受信条件を受信し、保持する受信条件保持手段と、
   各クライアント装置に、他のクライアント装置の受信条件を送信する受信条件送信手段と、
   スケーラビリティの機能における複数レイヤの符号化データを送信元クライアント装置から受信し、受信した複数レイヤの符号化データを複製してバッファに蓄積する蓄積手段と、
   送信元クライアント装置から受信した複数レイヤの符号化データのうち、送信先クライアント装置に送信する一又は複数のレイヤの符号化データを、当該送信先クライアント装置の受信条件に応じて選択し、選択した一又は複数のレイヤの符号化データを送信先クライアント装置に送信する選択送信手段とを有し、
   前記他のクライアント装置の受信条件を受信したクライアント装置において、当該クライアント装置の送信条件と、当該他のクライアント装置の受信条件のうちの最大のものとが比較され、等しければそれが当該クライアント装置において映像を符号化するための符号化パラメータとして使用され、等しくなければ小さい方が当該クライアント装置において映像を符号化するための符号化パラメータとして使用される
   ことを特徴とする双方向画像通信装置。
5. 前記選択送信手段は、送信元クライアント装置から受信した符号化データのレイヤと、送信先クライアント装置の受信条件としてのレイヤとを比較し、
   送信元クライアント装置から受信した符号化データのレイヤが送信先クライアント装置の受信条件としてのレイヤに含まれる場合には、送信元クライアント装置から受信した符号化データ全部を送信先クライアント装置に送信し、
   送信元クライアント装置から受信した符号化データのレイヤが送信先クライアント装置の受信条件としてのレイヤを超える場合には、送信元クライアント装置から受信した符号化データのうち、送信先クライアント装置の受信条件のレイヤ分の符号化データを選択して送信先クライアント装置に送信する請求項４に記載の双方向画像通信装置。
6. 前記スケーラビリティの機能における複数レイヤは、基本レイヤ１、基本レイヤ２、拡張レイヤ群１、及び拡張レイヤ群２からなり、基本レイヤ１の符号化データはフレーム内圧縮されたキーフレームの符号化データであり、基本レイヤ２の符号化データはフレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームの符号化データであり、拡張レイヤ群１の符号化データは、基本レイヤ１及び基本レイヤ２に対する高周波部分の差分情報フレームの符号化データであり、拡張レイヤ群２の符号化データは、拡張レイヤ群１に対し、動きを滑らかにするための内挿フレームの符号化データである請求項４又は５に記載の双方向画像通信装置。
7. 映像を符号化して送信する少なくとも１つのクライアント装置と、映像の複製及び分配を行う双方向画像通信装置とを有する双方向画像通信システムにおいて使用されるクライアント装置であって、
   受信条件及び送信条件を保持する手段と、
   双方向画像通信装置に受信条件を送信する受信条件送信手段と、
   双方向画像通信装置から、双方向画像通信システムにおける他のクライアント装置の受信条件を受信し、保持する受信条件保持手段と、
   送信条件と、他のクライアント装置の受信条件のうちの最大のものとを比較し、等しければそれを符号化パラメータとし、等しくなければ小さい方を符号化パラメータとする符号化パラメータ決定手段と、
   前記符号化パラメータを用いて映像を符号化し、双方向画像通信装置へ送信する符号化送信手段とを有し、
   前記クライアント装置の受信条件を受信した双方向画像通信装置において、当該受信条件に基づき、当該クライアント装置に送信する符号化データの種類が決定される
   ことを特徴とするクライアント装置。
8. 前記受信条件及び送信条件の各々は、ビットレート、画像サイズ、フレームレートのうちの１つ又は複数のパラメータを含み、複数のパラメータを含む場合には、前記符号化パラメータ決定手段は、パラメータ毎に送信条件と受信条件の比較を行ない符号化パラメータを決定する請求項７に記載のクライアント装置。
9. 前記映像の符号化は、スケーラビリティの機能を有する映像圧縮方式を用いて行なわれ、前記受信条件及び送信条件の各々は、符号化データのレイヤ情報である請求項７に記載のクライアント装置。
10. 前記スケーラビリティの機能における複数レイヤは、基本レイヤ１、基本レイヤ２、拡張レイヤ群１、及び拡張レイヤ群２からなり、基本レイヤ１の符号化データはフレーム内圧縮されたキーフレームの符号化データであり、基本レイヤ２の符号化データはフレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームの符号化データであり、拡張レイヤ群１の符号化データは、基本レイヤ１及び基本レイヤ２に対する高周波部分の差分情報フレームの符号化データであり、拡張レイヤ群２の符号化データは、拡張レイヤ群１に対し、動きを滑らかにするための内挿フレームの符号化データである請求項９に記載のクライアント装置。
11. 前記クライアント装置の処理能力に応じて、送信条件又は受信条件を変更する手段を更に備えた請求項７ないし１０のうちいずれか１項に記載のクライアント装置。
12. フレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームとを生成する映像圧縮方式を用いて映像を符号化する少なくとも１つのクライアント装置と、映像の複製及び分配を行う双方向画像通信装置とを有する双方向画像通信システムにおいて使用される双方向画像通信装置が実行する処理の方法であって、
    各クライアント装置から受信条件を受信し、双方向画像通信装置の記憶手段に保持するステップと、
    各クライアント装置に、他のクライアント装置の受信条件を送信するステップと、
    映像の符号化データを送信元クライアント装置から受信し、受信した符号化データを複製してバッファに蓄積するステップと、
    符号化データの送信先クライアント装置の受信条件に応じて、送信元クライアント装置から受信したキーフレームの符号化データのみ、又は、キーフレームの符号化データ及び内挿フレームの符号化データを送信先クライアント装置に送信するステップとを有し、
    前記他のクライアント装置の受信条件を受信したクライアント装置において、当該クライアント装置の送信条件と、当該他のクライアント装置の受信条件のうちの最大のものとが比較され、等しければそれが当該クライアント装置において映像を符号化するための符号化パラメータとして使用され、等しくなければ小さい方が当該クライアント装置において映像を符号化するための符号化パラメータとして使用される
    ことを特徴とする方法。
13. スケーラビリティの機能を有する映像圧縮方式を用いて映像を符号化する少なくとも１つのクライアント装置と、クライアント装置から受信した映像の複製及び分配を行う双方向画像通信装置とを有する双方向画像通信システムにおいて使用される双方向画像通信装置が実行する処理の方法であって、
    各クライアント装置から受信条件を受信し、双方向画像通信装置の記憶手段に保持するステップと、
    各クライアント装置に、他のクライアント装置の受信条件を送信するステップと、
    スケーラビリティの機能における複数レイヤの符号化データを送信元クライアント装置から受信し、受信した複数レイヤの符号化データを複製してバッファに蓄積するステップと、
    送信元クライアント装置から受信した複数レイヤの符号化データのうち、送信先クライアント装置に送信する一又は複数のレイヤの符号化データを、当該送信先クライアント装置の受信条件に応じて選択し、選択した一又は複数のレイヤの符号化データを送信先クライアント装置に送信するステップとを有し、
    前記他のクライアント装置の受信条件を受信したクライアント装置において、当該クライアント装置の送信条件と、当該他のクライアント装置の受信条件のうちの最大のものとが比較され、等しければそれが当該クライアント装置において映像を符号化するための符号化パラメータとして使用され、等しくなければ小さい方が当該クライアント装置において映像を符号化するための符号化パラメータとして使用される
    ことを特徴とする方法。
14. フレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームとを生成する映像圧縮方式を用いて映像を符号化する少なくとも１つのクライアント装置と、映像の複製及び分配を行う双方向画像通信装置とを有する双方向画像通信システムにおいて使用される双方向画像通信装置に処理を実行させるプログラムであって、
    各クライアント装置から受信条件を受信し、双方向画像通信装置の記憶手段に保持する手順と、
    各クライアント装置に、他のクライアント装置の受信条件を送信する手順と、
    映像の符号化データを送信元クライアント装置から受信し、受信した符号化データを複製してバッファに蓄積する手順と、
    符号化データの送信先クライアント装置の受信条件に応じて、送信元クライアント装置から受信したキーフレームの符号化データのみ、又は、キーフレームの符号化データ及び内挿フレームの符号化データを送信先クライアント装置に送信する手順とを双方向画像通信装置に実行させるプログラムであり、
    前記他のクライアント装置の受信条件を受信したクライアント装置において、当該クライアント装置の送信条件と、当該他のクライアント装置の受信条件のうちの最大のものとが比較され、等しければそれが当該クライアント装置において映像を符号化するための符号化パラメータとして使用され、等しくなければ小さい方が当該クライアント装置において映像を符号化するための符号化パラメータとして使用される
    ことを特徴とするプログラム。
15. スケーラビリティの機能を有する映像圧縮方式を用いて映像を符号化する少なくとも１つのクライアント装置と、クライアント装置から受信した映像の複製及び分配を行う双方向画像通信装置とを有する双方向画像通信システムにおいて使用される双方向画像通信装置に処理を実行させるプログラムであって、
    各クライアント装置から受信条件を受信し、双方向画像通信装置の記憶手段に保持する手順と、
    各クライアント装置に、他のクライアント装置の受信条件を送信するステップと、
    スケーラビリティの機能における複数レイヤの符号化データを送信元クライアント装置から受信し、受信した複数レイヤの符号化データを複製してバッファに蓄積する手順と、
    送信元クライアント装置から受信した複数レイヤの符号化データのうち、送信先クライアント装置に送信する一又は複数のレイヤの符号化データを、当該送信先クライアント装置の受信条件に応じて選択し、選択した一又は複数のレイヤの符号化データを送信先クライアント装置に送信する手順とを双方向画像通信装置に実行させるプログラムであり、
    前記他のクライアント装置の受信条件を受信したクライアント装置において、当該クライアント装置の送信条件と、当該他のクライアント装置の受信条件のうちの最大のものとが比較され、等しければそれが当該クライアント装置において映像を符号化するための符号化パラメータとして使用され、等しくなければ小さい方が当該クライアント装置において映像を符号化するための符号化パラメータとして使用される
    ことを特徴とするプログラム。
16. 映像を符号化して送信する少なくとも１つのクライアント装置と、映像の複製及び分配を行う双方向画像通信装置とを有する双方向画像通信システムにおいて使用されるクライアント装置に処理を実行させるプログラムであって、
    記憶手段から受信条件を読み出して、双方向画像通信装置に当該受信条件を送信する手順と、
    双方向画像通信装置から、双方向画像通信システムにおける他のクライアント装置の受信条件を受信し、記憶手段に保持する手順と、
    記憶手段から読み出した送信条件と、他のクライアント装置の受信条件のうちの最大のものとを比較し、等しければそれを符号化パラメータとし、等しくなければ小さい方を符号化パラメータとして設定する手順と、
    前記符号化パラメータを用いて映像を符号化し、双方向画像通信装置へ送信する手順と
    をクライアント装置に実行させるプログラムであり、
    前記クライアント装置の受信条件を受信した双方向画像通信装置において、当該受信条件に基づき、当該クライアント装置に送信する符号化データの種類が決定される
    ことを特徴とするプログラム。

Images