JP4053869B2 - Video conferencing system - Google Patents
Video conferencing system Download PDFInfo
- Publication number
- JP4053869B2 JP4053869B2 JP2002354248A JP2002354248A JP4053869B2 JP 4053869 B2 JP4053869 B2 JP 4053869B2 JP 2002354248 A JP2002354248 A JP 2002354248A JP 2002354248 A JP2002354248 A JP 2002354248A JP 4053869 B2 JP4053869 B2 JP 4053869B2
- Authority
- JP
- Japan
- Prior art keywords
- conference
- terminal device
- screen
- client terminal
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、インターネットやＬＡＮ等の通信ネットワークを利用するリアルタイムビデオ会議システムに関し、特に会議に参加する各端末装置の性能の違いを考慮した制御を実現するビデオ会議システムに関するものである。
【０００２】
【従来の技術】
現在、インターネットやＬＡＮ（Local Area Network）など、ＩＰ（Internet Protocol ）網をベースとしたネットワークサービスが普及している。また、クライアント側においても、近年のＡＤＳＬ（Asymmetric Digital Subscriber Line）回線などの普及により、広帯域のブロードバンド通信環境が整いつつある。
【０００３】
ブロードバンド通信環境の普及に伴い、ビデオチャットサービスなど、通信データ量が多い画像データを用いた多地点の双方向リアルタイムビデオ会議サービスが提供され始めている。これらの多地点ビデオ会議システムにおいて、会議に参加するユーザは、ＩＰ網に接続されたパーソナルコンピュータ等の端末装置から会議サーバ装置にアクセスし、互いに会議サーバ装置経由で双方向の画像データや音声データをやりとりし、またデータ会議機能（ドキュメント共有機能、テキストチャット機能、アプリケーション共有機能など）を併用して、多地点会議を行うことができる（例えば、特許文献１、非特許文献１参照）。
【０００４】
図１３は従来のＩＰビデオ会議システムの構成を示すブロック図である。図１３において、会議サーバ装置１０１は、電信電話技術委員会（ＴＴＣ）標準ＪＴ−Ｈ３２３によって規定された多地点接続装置（ＭＣＵ）の機能等を実装し、ビデオ会議に参加する複数の会議クライアント端末装置１０８−Ａ，１０８−Ｂ，１０８−Ｃ間を双方向通信可能に接続して、多地点間の会議を実現する。予約サーバ装置１０２は、会議クライアント端末装置１０８−Ａ，１０８−Ｂ，１０８−Ｃから会議の予約を受け付ける。データベース部（以下、ＤＢ部と略する）１０３は、会議予約情報とユーザ情報とを記憶する。課金サーバ装置１０４は、会議に参加した会議クライアント端末装置１０８−Ａ，１０８−Ｂ，１０８−Ｃへの課金を行う。会議クライアント端末装置１０８−Ａ，１０８−Ｂ，１０８−Ｃは、ＩＰ網１０５を介して会議サーバ装置１０１、予約サーバ装置１０２および課金サーバ装置１０４と接続される。
【０００５】
しかし、図１３に示すようなＩＰ網１０５を利用したＩＰビデオ会議システムでは、従来の電話回線網（ＩＳＤＮ）を利用したＴＶ会議システムと異なり、会議に参加する会議クライアント端末装置のスペック（性能）が一定ではない。例えば、図１４に示すＩＳＤＮ用ＴＶ会議システムであれば、会議に参加する会議クライアント端末装置２０８は、ＩＳＤＮ網接続端末であり、ネットワーク接続条件や端末機能条件がＴＴＣ標準ＪＴ−Ｑ９３１やＪＴ−Ｈ２６１等で明確に規定されているため、会議クライアント端末装置ごとの性能差は原則存在しない。
【０００６】
これに対して、ＩＰビデオ会議システムの場合、会議クライアント端末装置１０８となる機器は、図１５に示すように通常パーソナルコンピュータであり、ネットワークとの通信速度や端末装置としての処理性能は、端末装置ごとに異なる場合が多い。通常、ビデオ会議システムでは、画像データはデータ量が多いため圧縮して送信する場合がほとんどであるが、多地点接続型のビデオ会議で全ての会議参加者の送信画像を受信側に配信すると、受信側の会議クライアント端末装置１０８では、複数地点からの圧縮画像データを同時に受信し、復号して表示しなければならないため、複数の画像復号処理ルーチンが同時に起動されることとなる。しかし、同時に何個の画像復号処理ルーチンを処理できるかは、会議クライアント端末装置１０８の性能そのものに依存してしまうため、性能の劣る会議クライアント端末装置１０８では、全ての画像を再生・表示することができない場合が考えられる。
【０００７】
そのため、現在、提供されているＩＰビデオ会議サービスでは、ビデオ会議を制御する会議サーバ装置１０１が、ＴＴＣ標準ＪＴ−Ｈ３２３で規定されている如く、各会議クライアント端末装置１０８から送信されてきた各会議参加者の画像のうち、特定参加者の画像（例えば、発言者Ａの画像）のみを各会議クライアント端末装置１０８に送信するという制御を行う場合が多い（図１６）。また、会議サーバ装置１０１が、複数の会議クライアント端末装置１０８（例えば４台）からの画像データを縮小し合成した上で１個の圧縮画像データに変換して各会議クライアント端末装置１０８に送信するといった制御が行われる場合もある（図１７）。これにより、各会議クライアント端末装置１０８は、常に１個の画像復号処理のみを行えばよい。
【０００８】
【特許文献１】
特開平１９９９−１３６３６７号公報
【非特許文献１】
「パケットに基づくマルチメディア通信システム」（６．６節マルチポイントプロセッサの特性），ＴＴＣ標準ＪＴ−Ｈ３２３，社団法人情報通信技術委員会（ＴＴＣ），１９９６年１１月２７日
【０００９】
【発明が解決しようとする課題】
しかしながら、図１６、図１７に示した方式では、会議に参加する各会議クライアント端末装置１０８の処理能力が高く、複数の会議参加者画像を表示できる場合であっても、各会議クライアント端末装置１０８に常に１個の会議参加者画像しか送信しないため、全会議参加者のうち少数の会議参加者しか同時に表示することができないという問題点があった。
【００１０】
また、図１６、図１７とは別の方式として、会議参加者に対し、ある程度処理能力の高い会議クライアント端末装置１０８を使うことを会議参加の条件とすることで、会議参加中の会議クライアント端末装置１０８に多数の会議参加者画像を送信する方式が考えられる。しかし、この方式では、処理能力の低い会議クライアント端末装置１０８しか持たないユーザは、ビデオ会議に参加できないということになり、会議サービスの利用機会が少なくなってしまうという問題点があった。
【００１１】
本発明は、上記課題を解決するためになされたもので、ＩＰビデオ会議システムにおいて会議に参加する各クライアント端末装置の性能が異なる場合であっても、各クライアント端末装置が同じビデオ会議に参加できるようにし、より多数の会議参加者画像を表示できるようにすることを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、少なくとも画像の送受信機能を有する複数の端末装置と、この端末装置と通信ネットワークを介して接続され、ビデオ会議に参加する複数の参加端末装置間を双方向通信可能に接続する会議サーバ装置とを備えたビデオ会議システムにおいて、前記会議サーバ装置は、異なる形式の会議参加者画面を規定した複数の画面テンプレートを会議に参加する参加端末装置に対して提示し、選択された画面テンプレートを該参加端末装置に送信する表示用画面管理部と、前記参加端末装置が選択した画面テンプレートに画像フォーマットおよびパラメータを対応させる画像パラメータ情報をこの参加端末装置に送信する画像パラメータ制御部と、複数の前記参加端末装置から受信した複数の画像データに前記選択された画面テンプレートに応じた処理を施し、この画面テンプレートを選択した参加端末装置に処理後の画像データを送信する第１の画像制御部とを備え、前記端末装置は、自装置から送信する画像データが前記画像パラメータ情報で指定された画像フォーマットおよびパラメータに従うように制御する第２の画像制御部と、選択した前記画面テンプレートと前記会議サーバ装置から受信した画像データとに基づき会議参加者画面を生成して表示する表示部とを備えるものである。
また、本発明のビデオ会議システムの１構成例において前記端末装置は、選択した前記画面テンプレートで規定された会議参加者画像数だけ画像データの転送を前記会議サーバ装置に要求する転送要求部を備え、前記第１の画像制御部は、前記選択された画面テンプレートに応じた処理として、前記複数の画像データの中から前記要求された会議参加者画像数の画像データを選択する処理を行い、選択した画像データを前記転送要求を発した参加端末装置に送信するものである。
【００１３】
また、本発明のビデオ会議システムの１構成例において、前記複数の画面テンプレートは、会議参加者画像数がそれぞれ異なる前記会議参加者画面を規定し、前記表示用画面管理部は、前記画面テンプレートの選択時に各画面テンプレートの会議参加者画像数を前記参加端末装置に対して提示するものである。
また、本発明のビデオ会議システムの１構成例において、前記複数の画面テンプレートは、会議参加者画像のサイズがそれぞれ異なる前記会議参加者画面を規定し、前記表示用画面管理部は、前記画面テンプレートの選択時に各画面テンプレートの会議参加者画像サイズを前記参加端末装置に対して提示するものである。
また、本発明のビデオ会議システムの１構成例において、前記複数の画面テンプレートは、会議参加者画像のフレームレートがそれぞれ異なる前記会議参加者画面を規定し、前記表示用画面管理部は、前記画面テンプレートの選択時に各画面テンプレートのフレームレートを前記参加端末装置に対して提示するものである。
また、本発明のビデオ会議システムの１構成例において、前記複数の画面テンプレートは、会議参加者画像のビットレートがそれぞれ異なる前記会議参加者画面を規定し、前記表示用画面管理部は、前記画面テンプレートの選択時に各画面テンプレートのビットレートを前記参加端末装置に対して提示するものである。また、本発明のビデオ会議システムの１構成例において、前記複数の画面テンプレートは、前記端末装置の処理能力の相違に応じて形式がそれぞれ異なる会議参加者画面を規定し、前記表示用画面管理部は、前記画面テンプレートの選択時に各画面テンプレートに対応する前記端末装置の処理能力値を前記参加端末装置に対して提示するものである。
また、本発明のビデオ会議システムの１構成例において、前記会議サーバ装置は、会議開催中に前記参加端末装置から前記画面テンプレートの選択変更を受け付ける選択変更部を有するものである。
【００１４】
【発明の実施の形態】
［第１の実施の形態］
以下、本発明の実施の形態について詳細に説明する。図１は本発明の第１の実施の形態となるＩＰビデオ会議システムの構成を示すブロック図である。ＩＰビデオ会議システムは、会議クライアント端末装置８からデータを受信しかつ会議クライアント端末装置８へデータを送信することにより、ビデオ会議に参加する複数の会議クライアント端末装置間を双方向通信可能に接続する会議サーバ装置１と、会議クライアント端末装置８から会議の予約を受け付ける予約サーバ装置２と、会議予約情報とユーザ情報（ユーザＩＤやパスワード等）とを記憶するＤＢ部３と、会議に参加した会議クライアント端末装置８への課金を行う課金サーバ装置４と、通信ネットワークであるＩＰ網５と、会議サーバ装置１、予約サーバ装置２および課金サーバ装置４とＩＰ網５とを接続するルータ６と、ルータ６とＩＰ網５とを接続する通信回線７と、少なくとも画像の送受信機能を有する会議クライアント端末装置８と、会議クライアント端末装置８とＩＰ網５とを接続する通信回線９と、会議クライアント端末装置８に接続されたマイク９０、スピーカ９１、モニタ装置９２およびカメラ９３とを有している。なお、図１では、会議クライアント端末装置８を１台だけ記載しているが、ＩＰ網５には複数の会議クライアント端末装置８が接続されている。
【００１５】
会議サーバ装置１は、ＩＰ網５と接続するためのＩＰネットワーク・インタフェース部１０と、ＨＴＴＰ（HyperText Transfer Protocol ）プロトコルによって予約サーバ装置２や会議クライアント端末装置８と情報をやり取りするＨＴＴＰサーバ機能部１１と、ビデオ通信機能と音声通信機能とデータ会議機能と多地点接続機能とを有し、会議に参加する複数の会議クライアント端末装置間を双方向通信可能に接続する多地点ビデオ会議機能部１２と、開催中の会議に関する情報を管理する会議情報管理部１３と、開催中の会議に参加している会議クライアント端末装置８の情報を管理する参加クライアント情報管理部１４と、開催中の会議に参加している会議クライアント端末装置８の処理能力値を管理するクライアント処理能力値管理部１５と、異なる形式の会議参加者画面を規定した複数の画面テンプレートを会議に参加する会議クライアント端末装置８に対して提示する表示用画面管理部１６と、会議クライアント端末装置８が選択した画面テンプレートに画像フォーマットおよび符号化時のパラメータを対応させる画像パラメータ情報を会議クライアント端末装置８に送信する画像パラメータ制御部１７と、複数の会議クライアント端末装置８から受信した複数の画像データに画面テンプレートに応じた処理を施して、処理後の画像データを会議クライアント端末装置８に送信する画像制御部１８とを有している。
【００１６】
ここで、画面テンプレートの１例を図２に示す。前述のように、画面テンプレートは、異なる形式の会議参加者画面を規定したものである。図２に示した画面テンプレートＴＡ，ＴＢ，ＴＣは、会議参加者画像の数がそれぞれ異なるものであり、図２（ａ）に示した画面テンプレートＴＡでは会議参加者画像を８個、図２（ｂ）に示した画面テンプレートＴＢでは会議参加者画像を４個、図２（ｃ）に示した画面テンプレートＴＣでは会議参加者画像を２個に規定している。この画面テンプレートＴＡ，ＴＢ，ＴＣは、ＨＴＭＬ（Hyper Text Markup Languag ）によって記述されている。
【００１７】
会議クライアント端末装置８は、ＩＰ網５と接続するためのＩＰネットワーク・インタフェース部８０と、ＩＰ網５に接続してウエブページを表示するＷｅｂブラウザ機能部８１と、ビデオ会議を行うためのビデオ会議クライアントアプリケーション（以下、ＡＰと略する）部とを有している。
【００１８】
ビデオ会議クライアントＡＰ部は、マイク９０で集音されたアナログ音声信号を後述する音声コーデック部８３に出力すると共に、音声コーデック部８３から入力されたアナログ音声信号をスピーカ９１に出力する音声入出力処理部８２と、音声入出力処理部８２から入力されたアナログ音声信号を符号化して会議サーバ装置１に送信する音声データを生成すると共に、会議サーバ装置１から受信した音声データをアナログ音声信号に変換して音声入出力処理部８２に出力する音声コーデック部８３と、会議サーバ装置１に送信する共有データを生成すると共に、会議サーバ装置１から受信した共有データをモニタ装置９２に表示させるデータ会議機能部８４と、カメラ９３で撮像された映像信号を後述するビデオコーデック部８６に出力すると共に、ビデオコーデック部８６から入力された映像信号をモニタ装置９２に出力する画像入出力処理部８５と、画像入出力処理部８５から入力された映像信号を符号化して会議サーバ装置１に送信する画像データを生成すると共に、会議サーバ装置１から受信した画像データを映像信号に変換して画像入出力処理部８５に出力するビデオコーデック部８６と、開催中の会議に関する情報を管理する会議情報管理部８７と、自装置から送信する画像データが画像パラメータ情報で指定された画像フォーマットおよび符号化時のパラメータに従うように制御する画像制御部８８と、自装置から送信する画像を符号化する際のビデオコーデックパラメータを調整することにより画像フォーマットの制御を行うビデオコーデック制御部８９とから構成される。
【００１９】
図３はＩＰビデオ会議システムの動作を示すシーケンス図である。図３では、図１と同様に会議クライアント端末装置８を１台だけ記している。この図３を用いて、本実施の形態のＩＰビデオ会議システムにおける会議参加クライアント端末制御方法について説明する。
【００２０】
最初に、ビデオ会議を予約するユーザは、会議クライアント端末装置８のＷｅｂブラウザ機能部８１の機能を用いて、予約サーバ装置２に対してアクセスを行う（図３ステップＳ１０１）。予約サーバ装置２は、アクセス元の会議クライアント端末装置８に対してユーザＩＤとパスワードの入力を要求する（ステップＳ１０２）。
【００２１】
ユーザは、会議クライアント端末装置８にユーザＩＤとパスワードを入力し、会議クライアント端末装置８は、入力されたユーザＩＤとパスワードを予約サーバ装置２に送信する（ステップＳ１０３）。予約サーバ装置２は、受信したユーザＩＤとパスワードに基づいてＤＢ部３のユーザ情報を参照し、ユーザ認証を行う。ユーザ認証が成功した場合、予約サーバ装置２は、アクセス元の会議クライアント端末装置８に対して会議予約画面のデータを送信する（ステップＳ１０４）。
【００２２】
ユーザは、モニタ装置９２に表示された会議予約画面を見て、会議の開催日、開始時刻、会議時間、会議に参加する会議クライアント端末装置８の数等の会議予約情報を入力する。入力された会議予約情報は、会議クライアント端末装置８から予約サーバ装置２に送信される（ステップＳ１０５）。予約サーバ装置２は、会議クライアント端末装置８から会議予約情報を受信すると、この会議予約情報で指定された開催日の開催時間帯（開始時刻から会議時間が経過するまでの間）の会議リソース（帯域）に空きがあるかどうかを確認する。
【００２３】
会議リソースに余裕がある場合、予約サーバ装置２は、予約受付が可能と判断し、会議クライアント端末装置８から受信した会議予約情報を予約済みの会議予約情報としてＤＢ部３に記録し、会議クライアント端末装置８に予約許可画面を送信する（ステップＳ１０６）。また、会議クライアント端末装置８には、予約した会議を一意に識別するための会議番号が送信される。こうして、会議の予約が成功し、予約した開催日の開催時刻に会議を開催することが可能となる。
【００２４】
次に、実際に会議が開催されるときの動作を説明する。会議に参加するユーザＡは、会議クライアント端末装置８を用いて会議サーバ装置１に会議参加要求を送信する（ステップＳ１０７）。会議サーバ装置１の表示用画面管理部１６は、会議クライアント端末装置８から会議参加要求があった場合、参加要求元の会議クライアント端末装置８に対して図４に示すようなビデオ会議ログイン画面９００のデータを送信する（ステップＳ１０８）。
【００２５】
ユーザＡは、会議クライアント端末装置８のモニタ装置９２に表示されたビデオ会議ログイン画面９００を見て、ユーザＩＤとパスワードと会議番号とを入力すると共に、自身の会議クライアント端末装置８に合った表示画面を選択する。ユーザＡの会議クライアント端末装置８が８個の画像を同時に処理できる性能であった場合、ユーザＡは、画面テンプレートＴＡ（８画像表示）を選択して、画面上の「ログイン」ボタンを押す。これにより、画面テンプレートＴＡが選択されたことを示す選択情報とユーザＩＤとパスワードと会議番号とが会議クライアント端末装置８から会議サーバ装置１に送信される（ステップＳ１０９）。
【００２６】
続いて、会議サーバ装置１の会議情報管理部１３は、参加要求元の会議クライアント端末装置８のユーザ情報とこの会議クライアント端末装置８が参加する会議の会議予約情報とを予約サーバ装置２に問い合わせる（ステップＳ１１０）。会議サーバ装置１からの問い合わせに応じて、予約サーバ装置２は、前記参加要求元の会議クライアント端末装置８のユーザ情報と会議予約情報とをＤＢ部３から取得して会議サーバ装置１に送信する（ステップＳ１１１）。
【００２７】
会議サーバ装置１の会議情報管理部１３は、会議クライアント端末装置８から受信したユーザＩＤおよびパスワードと予約サーバ装置２から受信したユーザ情報とを照らし合わせることでユーザ認証を行う。そして、会議情報管理部１３は、ユーザ認証に成功し、かつ前記参加要求元の会議クライアント端末装置８の参加が予約サーバ装置２から受信した会議予約情報に合致したものである場合、会議クライアント端末装置８の参加を許可する。
【００２８】
会議サーバ装置１の表示用画面管理部１６は、会議情報管理部１３により会議クライアント端末装置８の参加が許可された場合、この会議クライアント端末装置８から受信した選択情報に対応する画面テンプレートのＨＴＭＬファイルをこの会議クライアント端末装置８に返信する。また、会議サーバ装置１の画像パラメータ制御部１７は、このＨＴＭＬファイルの送信と同時に、会議情報管理部１３により参加が許可された会議クライアント端末装置８の画像フォーマットおよび符号化時のパラメータをこの端末装置８が選択した画面テンプレートに対応させる画像パラメータ情報を送信する（ステップＳ１１２）。
【００２９】
会議サーバ装置１から画像パラメータ情報を受信した会議クライアント端末装置８の画像制御部８８は、自装置から送信する画像データが画像パラメータ情報で指定された画像フォーマットおよび符号化時のパラメータに従うように制御する。すなわち、画像制御部８８は、ビデオコーデック制御部８９を通じてビデオコーデック部８６を制御する。ビデオコーデック制御部８９は、カメラ９３によって撮像されビデオコーデック部８６で符号化される画像データが画像パラメータ情報で指定された画像フォーマットおよび符号化時のパラメータに従うように、この画像データのサイズ、フレームレートあるいはビットレートなどのビデオコーデックパラメータを調整する。
【００３０】
そして、マイク９０で集音され音声コーデック部８３で符号化された音声データと、データ会議機能部８４でドキュメント共有やテキストチャットに使用される共有データと、ビデオコーデック部８６から出力されるビデオコーデックパラメータ調整済の画像データとが会議クライアント端末装置８から会議サーバ装置１に送信される（ステップＳ１１３）。
【００３１】
一方、会議サーバ装置１からＨＴＭＬファイルを受信した会議クライアント端末装置８のＷｅｂブラウザ機能部８１は、画面テンプレートで規定された会議参加者画像数だけ画像データの転送を要求する転送要求部となる。すなわち、Ｗｅｂブラウザ機能部８１は、受信したＨＴＭＬファイルを解析して、関連する画像データや音声データが存在することを認識すると、会議サーバ装置１に対して画像データや音声データの転送を要求する（ステップＳ１１４）。
【００３２】
このとき、Ｗｅｂブラウザ機能部８１は、受信したＨＴＭＬファイルで規定された会議参加者画像数（ＨＴＭＬファイルにリンクする画像の数）だけ画像データの転送を要求する。ユーザＡの場合、画面テンプレートＴＡで規定された会議参加者画像数は８個なので、Ｗｅｂブラウザ機能部８１は、８個の画像データの転送を要求することになる。
【００３３】
転送要求を受信した会議サーバ装置１のビデオ会議開催機能部１２は、各会議クライアント端末装置８から受信した音声データと共有データと画像データとを転送要求元の会議クライアント端末装置８に送信する（ステップＳ１１５）。このとき、会議サーバ装置１の画像制御部１８は、複数の会議クライアント端末装置８から受信した複数の画像データの中から転送要求元の会議クライアント端末装置８が要求した会議参加者画像数だけ画像データを選択し、選択した画像データをビデオ会議開催機能部１２を通じて転送要求元の会議クライアント端末装置８に送信する。
【００３４】
複数の会議クライアント端末装置８の画像データの中から転送要求元の会議クライアント端末装置８が要求した会議参加者画像数だけ画像データを選択する方法としては、発言した時間が新しい方から順に前記会議参加者画像数だけ会議クライアント端末装置８を選択する方法がある。
【００３５】
各会議クライアント端末装置８では、会議サーバ装置１から送信された音声データが音声コーデック部８３によってアナログ音声信号に変換されてスピーカ９１から出力され、会議サーバ装置１から送信された共有データがデータ会議機能部８４によってモニタ装置９２に表示され、また会議サーバ装置１から送信された画像データがビデオコーデック部８６によって映像信号に変換されてモニタ装置９２に表示される。
【００３６】
こうして、ユーザＡの会議クライアント端末装置８のモニタ装置９２には、図２（ａ）の画面テンプレートＴＡを基にした会議参加者画面が表示される。なお、共有データは、図２（ａ）のチャット用画面の領域に表示される。ユーザＡの会議クライアント端末装置８は、８個の画像を同時に処理できる能力を有するため、８台の会議クライアント端末装置８（８人の会議参加者）の画像を問題なく表示することができる。
【００３７】
一方、会議に参加するユーザＣの会議クライアント端末装置８が２個の画像を同時に処理できる性能であった場合、ユーザＣは、画面テンプレートＴＣ（２画像表示）を選択して、ビデオ会議ログイン画面９００の「ログイン」ボタンを押し、会議に参加する（ステップＳ１０９）。この場合、会議サーバ装置１の表示用画面管理部１６は、ユーザＣの会議クライアント端末装置８が選択した画面テンプレートＴＣのＨＴＭＬファイルをこの会議クライアント端末装置８に返信し、会議サーバ装置１の画像パラメータ制御部１７は、この会議クライアント端末装置８の画像フォーマットおよび符号化時のパラメータを画面テンプレートＴＣに対応させる画像パラメータ情報を送信する（ステップＳ１１２）。
【００３８】
ユーザＣの会議クライアント端末装置８では、ビデオコーデック部８６で符号化される画像データが画像パラメータ情報で指定された画像フォーマットおよび符号化時のパラメータに従うようにビデオコーデックパラメータが調整され、調整済みの画像データが会議サーバ装置１に送信される（ステップＳ１１３）。また、ユーザＣの会議クライアント端末装置８のＷｅｂブラウザ機能部８１は、受信したＨＴＭＬファイルを解析し、このＨＴＭＬファイルで規定された会議参加者画像数（ここでは２個）だけ画像データの転送を会議サーバ装置１に要求する（ステップＳ１１４）。
【００３９】
ユーザＣの会議クライアント端末装置８から転送要求を受信した会議サーバ装置１の画像制御部１８は、複数の会議クライアント端末装置８から受信した複数の画像データの中からユーザＣの会議クライアント端末装置８が要求した会議参加者画像数だけ画像データを選択し、選択した画像データをビデオ会議開催機能部１２を通じてユーザＣの会議クライアント端末装置８に送信する（ステップＳ１１５）。
【００４０】
こうして、ユーザＣの会議クライアント端末装置８のモニタ装置９２には、図２（ｃ）の画面テンプレートＴＣを基にした会議参加者画面が表示される。ユーザＣの会議クライアント端末装置８は、２個の画像を同時に処理できる能力を有するため、２台の会議クライアント端末装置８の画像を問題なく表示することができる。
【００４１】
なお、本実施の形態のように、会議参加者画像数がそれぞれ異なる会議参加者画面を規定する複数の画面テンプレートを表示用画面管理部１６に用意しておき、各画面テンプレートが規定する会議参加者画像数をユーザに提示して、自身の会議クライアント端末装置８の能力に見合った画面テンプレートをユーザに選択させる場合、会議サーバ装置１の画像パラメータ制御部１７は、予め定められたビデオコーデックパラメータ（画像サイズ、フレームレート、ビットレート）を画像パラメータ情報として会議クライアント端末装置８に送信する。
【００４２】
一方、ビデオ画像の圧縮・伸張処理においては、画像のサイズにより処理量が大きく異なる。すなわち、６４０×４８０画素のＶＧＡ（Video Graphics Array）サイズの画像と、３５２×２８８画素のＣＩＦ（Common Intermediate Format）サイズや１７６×１４４画素のＱＣＩＦ（Quarter Common Intermediate Format）サイズの画像とでは、ＶＧＡサイズの画像の方が処理量が多い。
【００４３】
そこで、会議参加者画像のサイズがそれぞれ異なる会議参加者画面を規定する複数の画面テンプレートを表示用画面管理部１６に用意しておき、各画面テンプレートが規定する会議参加者画像サイズをユーザに提示して、自身の会議クライアント端末装置８の能力に見合った画面テンプレートをユーザに選択させることも可能である。この場合、会議参加者画像数については、同一の値を各画面テンプレートで規定しておく。会議サーバ装置１の画像パラメータ制御部１７は、会議クライアント端末装置８が選択した画面テンプレートで規定された画像サイズの情報と、予め定められたフレームレートおよびビットレートの情報とを画像パラメータ情報として会議クライアント端末装置８に送信する。
【００４４】
また、同一の会議参加者画像数および画像サイズであっても、１秒間に送る画像の枚数を示すフレームレートによりビデオ画像の圧縮・伸張処理量は大きく異なる。そこで、会議参加者画像のフレームレートがそれぞれ異なる会議参加者画面を規定する複数の画面テンプレートを用意しておき、各画面テンプレートが規定するフレームレートをユーザに提示して、自身の会議クライアント端末装置８の能力に見合った画面テンプレートをユーザに選択させることも可能である。この場合、会議参加者画像数については、同一の値を各画面テンプレートで規定しておく。画像パラメータ制御部１７は、会議クライアント端末装置８が選択した画面テンプレートで規定されたフレームレートの情報と、予め定められた画像サイズおよびビットレートの情報とを画像パラメータ情報として会議クライアント端末装置８に送信する。
【００４５】
同様に、１秒間に送るビット数を示すビットレートによりビデオ画像の圧縮・伸張処理量が異なることは言うまでもない。そこで、会議参加者画像のビットレートがそれぞれ異なる会議参加者画面を規定する複数の画面テンプレートを用意しておき、各画面テンプレートが規定するビットレートをユーザに提示して、自身の会議クライアント端末装置８の能力に見合った画面テンプレートをユーザに選択させることも可能である。この場合、会議参加者画像数については、同一の値を各画面テンプレートで規定しておく。
【００４６】
画像パラメータ制御部１７は、会議クライアント端末装置８が選択した画面テンプレートで規定されたビットレートの情報と、予め定められた画像サイズおよびフレームレートの情報とを画像パラメータ情報として会議クライアント端末装置８に送信する。また、会議参加者画像数、画像サイズ、フレームレートおよびビットレートの各値を適宜組み合わせた画面テンプレートを用意することも可能である。
【００４７】
また、会議クライアント端末装置８のスペック（例えばＣＰＵの種類やクロック周波数等）の相違に応じて形式がそれぞれ異なる会議参加者画面を規定する複数の画面テンプレートを用意しておき、各画面テンプレートが規定する会議クライアント端末装置８のスペックをユーザに提示して、自身の会議クライアント端末装置８の能力に見合った画面テンプレートをユーザに選択させることも可能である。
【００４８】
この場合、会議サーバ装置１のクライアント処理能力値管理部１５は、あるスペックの会議クライアント端末装置８がどの程度の画像データを処理可能かを示す処理能力値を管理している必要がある。会議サーバ装置１の画像パラメータ制御部１７は、選択された画面テンプレートに対応する会議クライアント端末装置８の処理能力値をこの画面テンプレートで規定されたスペックに基づいてクライアント処理能力値管理部１５から取得し、取得した処理能力値に対応するビデオコーデックパラメータを画像パラメータ情報として会議クライアント端末装置８に送信する。
【００４９】
また、本実施の形態では、会議ログイン時にユーザが画面テンプレートを選択するようにしているが、会議の参加中に画面テンプレートを変更できるようにしてもよい。このような画面テンプレートの選択変更を実現するためには、画面テンプレートのＨＴＭＬファイルに画面テンプレートを変更するための変更ボタンを予め設定しておけばよい。
【００５０】
図５にこのような画面テンプレートの１例を示す。図５に示した画面テンプレートＴＤは、画面テンプレートＴＡ（８画像表示）に、画面テンプレートＴＢ（４画像表示）に変更するための変更ボタンＢＯ１と、画面テンプレートＴＣ（２画像表示）に変更するための変更ボタンＢＯ２とを設けたものである。このような画面テンプレートＴＤを用いることにより、会議に参加中の会議クライアント端末装置８が表示している会議参加者画面には、変更ボタンＢＯ１，ＢＯ２が表示される。
【００５１】
会議サーバ装置１の表示用画面管理部１６は、会議参加者画像数が８個の会議参加者画面において例えば変更ボタンＢＯ１が押された場合、この変更ボタンＢＯ１の押下によって選択された画面テンプレートＴＢのＨＴＭＬファイルを変更ボタンＢＯ１を操作した会議クライアント端末装置８に送信する。また、会議サーバ装置１の画像パラメータ制御部１７は、このＨＴＭＬファイルの送信と同時に、会議クライアント端末装置８の画像フォーマットおよび符号化時のパラメータを変更後の画面テンプレートＴＢに対応させる画像パラメータ情報を送信する。
【００５２】
会議クライアント端末装置８で表示される会議参加者画面は、会議参加者画像数が８個の画面から４個の画面に切り替わる。こうして、表示用画面管理部１６と画像パラメータ制御部１７とは、会議クライアント端末装置８から画面テンプレートの選択変更を受け付ける選択変更部として動作する。
【００５３】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。図６は本発明の第２の実施の形態となるＩＰビデオ会議システムの構成を示すブロック図であり、図１と同一の構成には同一の符号を付してある。本実施の形態においても、ＩＰビデオ会議システムの動作は第１の実施の形態と同様であるので、図３の符号を用いて説明する。本実施の形態は、第１の実施の形態をより具体的に説明するものであり、会議ログイン時に、ユーザが自身の会議クライアント端末装置８の能力に応じた会議参加者画像数の画面テンプレートを選択する場合の例である。
【００５４】
本実施の形態では、会議サーバ装置１と予約サーバ装置２とＤＢ部３と課金サーバ装置４とルータ６とからなるビデオ会議サーバ側の設備とＩＰ網５とを接続する通信回線７を、帯域が６［Ｍｂ／ｓ］の専用線であるとする。また、会議に参加する端末装置として、カメラとヘッドセットを持つ会議クライアント端末装置８−Ａ１，８−Ａ２，８−Ａ３，８−Ａ４，８−Ｂ１，８−Ｂ２，８−Ｂ３，８−Ｂ４の８台があり、いずれも帯域が１．５［Ｍｂ／ｓ］の通信回線９であるＡＤＳＬ回線によってＩＰ網５と接続されている。
【００５５】
ここで、会議クライアント端末装置８−Ａ１，８−Ａ２，８−Ａ３，８−Ａ４は同じ機種のパーソナルコンピュータ（以下、ＰＣとする）からなり、８個の画像を同時に処理できる能力があるものとする。同様に、会議クライアント端末装置８−Ｂ１，８−Ｂ２，８−Ｂ３，８−Ｂ４は同じ機種のＰＣからなり、４個の画像を同時に処理できる能力があるものとする。
【００５６】
会議の開始日時になったとき、ユーザＡ１は、会議クライアント端末装置８−Ａ１のＷｅｂブラウザ機能部８１の機能を用いて、会議サーバ装置１にアクセスする（図３ステップＳ１０７）。このアクセスに応じて、会議サーバ装置１の表示用画面管理部１６は、会議クライアント端末装置８−Ａ１に図７のようなビデオ会議ログイン画面９０１のデータを送信する（ステップＳ１０８）。
【００５７】
会議クライアント端末装置８−Ａ１には８個の画像を同時に処理できる能力があるので、ユーザＡ１は、会議クライアント端末装置８−Ａ１のモニタ装置９２に表示されたビデオ会議ログイン画面９０１において、画面テンプレートＴＡ（８画像表示）を選択して「ログイン」ボタンを押す（ステップＳ１０９）。会議サーバ装置１は、会議クライアント端末装置８−Ａ１が選択した画面テンプレートＴＡのＨＴＭＬファイルを会議クライアント端末装置８−Ａ１に送信すると共に、会議クライアント端末装置８−Ａ１の画像フォーマットおよび符号化時のパラメータを画面テンプレートＴＡに対応させる画像パラメータ情報を送信する（ステップＳ１１２）。
【００５８】
第１の実施の形態と同様に、会議クライアント端末装置８−Ａ１は、受信した画像パラメータ情報に基づいてビデオコーデックパラメータを調整して画像データを会議サーバ装置１に送信し（ステップＳ１１３）、受信したＨＴＭＬファイルで規定された会議参加者画像数（ここでは８個）だけ画像データの転送を会議サーバ装置１に要求する（ステップＳ１１４）。
【００５９】
そして、会議サーバ装置１は、複数の会議クライアント端末装置８から受信した複数の画像データの中から会議クライアント端末装置８−Ａ１が要求した８名分の画像データを選択して会議クライアント端末装置８−Ａ１に送信する（ステップＳ１１５）。こうして、会議クライアント端末装置８−Ａ１のモニタ装置９２に、画面テンプレートＴＡを基にした図８（ａ）のような画面が表示される。
【００６０】
一方、ユーザＢ１は、会議クライアント端末装置８−Ｂ１を用いて会議サーバ装置１にアクセスする（ステップＳ１０７）。会議クライアント端末装置８−Ｂ１には４個の画像を同時に処理できる能力があるので、ユーザＢ１は、会議クライアント端末装置８−Ｂ１に表示されたビデオ会議ログイン画面９０１において、画面テンプレートＴＢ（４画像表示）を選択して「ログイン」ボタンを押す（ステップＳ１０９）。
【００６１】
会議サーバ装置１は、会議クライアント端末装置８−Ｂ１が選択した画面テンプレートＴＢのＨＴＭＬファイルを会議クライアント端末装置８−Ｂ１に送信すると共に、会議クライアント端末装置８−Ｂ１の画像フォーマットおよび符号化時のパラメータを画面テンプレートＴＢに対応させる画像パラメータ情報を送信する（ステップＳ１１２）。
【００６２】
会議クライアント端末装置８−Ｂ１は、受信した画像パラメータ情報に基づいてビデオコーデックパラメータを調整して画像データを会議サーバ装置１に送信し（ステップＳ１１３）、受信したＨＴＭＬファイルで規定された会議参加者画像数（ここでは４個）だけ画像データの転送を会議サーバ装置１に要求する（ステップＳ１１４）。
【００６３】
そして、会議サーバ装置１は、複数の会議クライアント端末装置８から受信した複数の画像データの中から会議クライアント端末装置８−Ｂ１が要求した４名分の画像データを選択して会議クライアント端末装置８−Ｂ１に送信する（ステップＳ１１５）。こうして、会議クライアント端末装置８−Ｂ１のモニタ装置９２に、画面テンプレートＴＢを基にした図８（ｂ）のような画面が表示される。
【００６４】
以上のように、本実施の形態によれば、処理能力の異なる会議クライアント端末装置８を使う複数のユーザが会議に参加する場合であっても、それぞれの端末装置８の能力に応じた表示状況で、同じビデオ会議に参加することができる。
【００６５】
なお、ユーザＢ１が画面テンプレートＴＡ（８画像表示）を選択してログインした場合、会議クライアント端末装置８−Ｂ１には画面テンプレートＴＡのＨＴＭＬファイルが送信され、これにより会議サーバ装置１から会議クライアント端末装置８−Ｂ１に８個の画像データが送信される。この場合、会議クライアント端末装置８−Ｂ１は同時に４個の画像しか処理できないため、ハングアップしてしまうこととなる。会議クライアント端末装置８−Ｂ１がハングアップした場合には、会議クライアント端末装置８−Ｂ１を再起動して画面テンプレートＴＢを選択し直せばよい。
【００６６】
［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。本実施の形態のＩＰビデオ会議システムの構成とその動作は第２の実施の形態と同様であるので、図１、図３、図６の符号を用いて説明する。本実施の形態は、第１の実施の形態をより具体的に説明するものであり、会議ログイン時に、ユーザが自身の会議クライアント端末装置８の能力に応じた表示画像サイズの画面テンプレートを選択する場合の例である。
【００６７】
ここで、会議クライアント端末装置８−Ａ１，８−Ａ２，８−Ａ３，８−Ａ４は、ＣＩＦ画像サイズであれば、会議参加者画像を同時に４個処理できる能力があるものとする。一方、会議クライアント端末装置８−Ｂ１，８−Ｂ２，８−Ｂ３，８−Ｂ４は、ＣＩＦ画像サイズの場合、会議参加者画像を同時に４個処理できる能力はなく、ＱＣＩＦ画像サイズであれば、会議参加者画像を同時に４個処理できる能力があるものとする。
【００６８】
会議の開始日時になったとき、ユーザＡ１は、会議クライアント端末装置８−Ａ１を用いて会議サーバ装置１にアクセスする（図３ステップＳ１０７）。このアクセスに応じて、会議サーバ装置１の表示用画面管理部１６は、会議クライアント端末装置８−Ａ１に図９のようなビデオ会議ログイン画面９０２のデータを送信する（ステップＳ１０８）。
【００６９】
会議クライアント端末装置８−Ａ１にはＣＩＦサイズの会議参加者画像を同時に４個処理できる能力があるので、ユーザＡ１は、会議クライアント端末装置８−Ａ１に表示されたビデオ会議ログイン画面９０２において、画面テンプレートＴＥ（ＣＩＦ画像表示）を選択する（ステップＳ１０９）。会議サーバ装置１は、会議クライアント端末装置８−Ａ１が選択した画面テンプレートＴＥのＨＴＭＬファイルを会議クライアント端末装置８−Ａ１に送信すると共に、会議クライアント端末装置８−Ａ１の画像フォーマットおよび符号化時のパラメータを画面テンプレートＴＥに対応させる画像パラメータ情報を送信する（ステップＳ１１２）。
【００７０】
会議クライアント端末装置８−Ａ１は、受信した画像パラメータ情報に基づいてビデオコーデックパラメータを調整して画像データを会議サーバ装置１に送信し（ステップＳ１１３）、受信したＨＴＭＬファイルで規定された会議参加者画像数（ここでは４個）だけ画像データの転送を会議サーバ装置１に要求する（ステップＳ１１４）。
【００７１】
そして、会議サーバ装置１は、会議クライアント端末装置８−Ａ１の要求に応じて４名分のＣＩＦ画像データを送信する（ステップＳ１１５）。こうして、会議クライアント端末装置８−Ａ１のモニタ装置９２に、画面テンプレートＴＥを基にした図１０（ａ）のような会議参加者画面が表示される。
【００７２】
一方、ユーザＢ１は、会議クライアント端末装置８−Ｂ１を用いて会議サーバ装置１にアクセスする（ステップＳ１０７）。会議クライアント端末装置８−Ｂ１にはＱＣＩＦサイズの会議参加者画像を同時に４個処理できる能力があるので、ユーザＢ１は、会議クライアント端末装置８−Ｂ１に表示されたビデオ会議ログイン画面９０２において、画面テンプレートＴＦ（ＱＣＩＦ画像表示）を選択する（ステップＳ１０９）。
【００７３】
会議サーバ装置１は、会議クライアント端末装置８−Ｂ１が選択した画面テンプレートＴＦのＨＴＭＬファイルを会議クライアント端末装置８−Ｂ１に送信すると共に、会議クライアント端末装置８−Ｂ１の画像フォーマットおよび符号化時のパラメータを画面テンプレートＴＦに対応させる画像パラメータ情報を送信する（ステップＳ１１２）。
【００７４】
なお、画面テンプレートＴＥ，ＴＦは、それぞれ規定する画像サイズが異なるが、会議参加者画像の数については同一である。また、画像パラメータ情報のうち、フレームレートおよびビットレートについては、画面テンプレートＴＥであるかＴＦであるかに関係なく、予め定められた値が使用される。
【００７５】
会議クライアント端末装置８−Ｂ１は、受信した画像パラメータ情報に基づいてビデオコーデックパラメータを調整して画像データを会議サーバ装置１に送信し（ステップＳ１１３）、受信したＨＴＭＬファイルで規定された会議参加者画像数（ここでは４個）だけ画像データの転送を会議サーバ装置１に要求する（ステップＳ１１４）。
【００７６】
そして、会議サーバ装置１は、会議クライアント端末装置８−Ｂ１の要求に応じて４名分のＱＣＩＦ画像データを送信する（ステップＳ１１５）。こうして、会議クライアント端末装置８−Ｂ１のモニタ装置９２に、画面テンプレートＴＦを基にした図１０（ｂ）のような会議参加者画面が表示される。
【００７７】
以上のように、本実施の形態によれば、処理能力の異なる会議クライアント端末装置８を使う複数のユーザが会議に参加する場合であっても、それぞれの端末装置８の能力に応じた表示状況で、同じビデオ会議に参加することができる。
【００７８】
なお、ユーザＢ１が画面テンプレートＴＥ（ＣＩＦ画像表示）を選択してログインした場合、会議クライアント端末装置８−Ｂ１には画面テンプレートＴＥのＨＴＭＬファイルが送信され、これにより会議サーバ装置１から会議クライアント端末装置８−Ｂ１にＣＩＦサイズの４個の画像データが送信される。この場合、会議クライアント端末装置８−Ｂ１はＣＩＦサイズの画像を４個同時に処理することはできないため、ハングアップしてしまうこととなる。会議クライアント端末装置８−Ｂ１がハングアップした場合には、会議クライアント端末装置８−Ｂ１を再起動して画面テンプレートＴＦを選択し直せばよい。
【００７９】
［第４の実施の形態］
次に、本発明の第４の実施の形態について説明する。本実施の形態のＩＰビデオ会議システムの構成とその動作は第２の実施の形態と同様であるので、図１、図３、図６の符号を用いて説明する。本実施の形態は、第１の実施の形態をより具体的に説明するものであり、会議ログイン時に、ユーザが自身の会議クライアント端末装置８の能力に応じたビットレートの画面テンプレートを選択する場合の例である。
【００８０】
ここで、会議クライアント端末装置８−Ａ１，８−Ａ２，８−Ａ３，８−Ａ４は、１個の画像あたりのビットレートが約１００ｋｂ／ｓであれば、会議参加者画像を同時に８個処理できる能力があるものとする。一方、会議クライアント端末装置８−Ｂ１，８−Ｂ２，８−Ｂ３，８−Ｂ４は、ビットレートが１００ｋｂ／ｓの場合、会議参加者画像を同時に８個処理できる能力はなく、１個の画像あたりのビットレートが約１６ｋｂ／ｓであれば、会議参加者画像を同時に８個処理できる能力があるものとする。
【００８１】
会議の開始日時になったとき、ユーザＡ１は、会議クライアント端末装置８−Ａ１を用いて会議サーバ装置１にアクセスする（図３ステップＳ１０７）。このアクセスに応じて、会議サーバ装置１は、会議クライアント端末装置８−Ａ１に図１１のようなビデオ会議ログイン画面９０３のデータを送信する（ステップＳ１０８）。
【００８２】
会議クライアント端末装置８−Ａ１には１個の画像あたりのビットレートが１００ｋｂ／ｓであれば、会議参加者画像を同時に８個処理できる能力があり、１００ｋｂ／ｓ×８＝８００ｋｂ／ｓなので、ユーザＡ１は、会議クライアント端末装置８−Ａ１に表示されたビデオ会議ログイン画面９０３において画面テンプレートＴＧ（全送信レート：８００ｋｂ／ｓ）を選択する（ステップＳ１０９）。会議サーバ装置１は、会議クライアント端末装置８−Ａ１が選択した画面テンプレートＴＧのＨＴＭＬファイルを会議クライアント端末装置８−Ａ１に送信すると共に、会議クライアント端末装置８−Ａ１の画像フォーマットおよび符号化時のパラメータを画面テンプレートＴＧに対応させる画像パラメータ情報を送信する（ステップＳ１１２）。
【００８３】
会議クライアント端末装置８−Ａ１は、受信した画像パラメータ情報に基づいてビデオコーデックパラメータを調整して画像データを会議サーバ装置１に送信し（ステップＳ１１３）、受信したＨＴＭＬファイルで規定された会議参加者画像数（ここでは８個）だけ画像データの転送を会議サーバ装置１に要求する（ステップＳ１１４）。
【００８４】
そして、会議サーバ装置１は、会議クライアント端末装置８−Ａ１の要求に応じて１画像あたり１００ｋｂ／ｓの画像を８名分、全部で８００ｋｂ／ｓの画像データを送信する（ステップＳ１１５）。こうして、会議クライアント端末装置８−Ａ１のモニタ装置９２に、画面テンプレートＴＧを基にした図１２のような会議参加者画面が表示される。
【００８５】
一方、ユーザＢ１は、会議クライアント端末装置８−Ｂ１を用いて会議サーバ装置１にアクセスする（ステップＳ１０７）。会議クライアント端末装置８−Ｂ１には１個の画像あたりのビットレートが１６ｋｂ／ｓであれば、会議参加者画像を同時に８個処理できる能力があり、１６ｋｂ／ｓ×８＝１２８ｋｂ／ｓなので、ユーザＢ１は、会議クライアント端末装置８−Ｂ１に表示されたビデオ会議ログイン画面９０３において、画面テンプレートＴＨ（全送信レート：１２８ｋｂ／ｓ）を選択する（ステップＳ１０９）。
【００８６】
会議サーバ装置１は、会議クライアント端末装置８−Ｂ１が選択した画面テンプレートＴＨのＨＴＭＬファイルを会議クライアント端末装置８−Ｂ１に送信すると共に、会議クライアント端末装置８−Ｂ１の画像フォーマットおよび符号化時のパラメータを画面テンプレートＴＨに対応させる画像パラメータ情報を送信する（ステップＳ１１２）。
【００８７】
なお、画面テンプレートＴＧ，ＴＨは、それぞれ規定するビットレートが異なるが、会議参加者画像の数については同一である。また、画像パラメータ情報のうち、画像サイズおよびビットレートについては、画面テンプレートＴＧであるかＴＨであるかに関係なく、予め定められた値が使用される。
【００８８】
会議クライアント端末装置８−Ｂ１は、受信した画像パラメータ情報に基づいてビデオコーデックパラメータを調整して画像データを会議サーバ装置１に送信し（ステップＳ１１３）、受信したＨＴＭＬファイルで規定された会議参加者画像数（ここでは４個）だけ画像データの転送を会議サーバ装置１に要求する（ステップＳ１１４）。
【００８９】
そして、会議サーバ装置１は、会議クライアント端末装置８−Ｂ１の要求に応じて１画像あたり１６ｋｂ／ｓの画像を８名分、全部で１２８ｋｂ／ｓの画像データを送信する（ステップＳ１１５）。こうして、会議クライアント端末装置８−Ｂ１のモニタ装置９２に、画面テンプレートＴＨを基にした会議参加者画面が表示される。このときの画面はビットレートが１００ｋｂ／ｓから１６ｋｂ／ｓになった以外は図１２と同じである。
【００９０】
以上のように、本実施の形態によれば、処理能力の異なる会議クライアント端末装置８を使う複数のユーザが会議に参加する場合であっても、それぞれの端末装置８の能力に応じた表示状況で、同じビデオ会議に参加することができる。
【００９１】
なお、ユーザＢ１が画面テンプレートＴＧ（全送信レート：８００ｋｂ／ｓ）を選択してログインした場合、会議クライアント端末装置８−Ｂ１には画面テンプレートＴＧのＨＴＭＬファイルが送信され、これにより会議サーバ装置１から会議クライアント端末装置８−Ｂ１に１画像あたり１００ｋｂ／ｓの８個の画像データが送信される。この場合、会議クライアント端末装置８−Ｂ１はビットレートが１００ｋｂ／ｓの画像を８個同時に処理することはできないため、ハングアップしてしまうこととなる。会議クライアント端末装置８−Ｂ１がハングアップした場合には、会議クライアント端末装置８−Ｂ１を再起動して画面テンプレートＴＨを選択し直せばよい。
【００９２】
また、本実施の形態の会議クライアント端末装置８−Ｂ１のように、１画像あたりのビットレートが１６ｋｂ／ｓではあまり良い動きの画像を表示することができないが、１つの画像だけより高品質の画像データを送信し、その分残りの画像データの品質を落とすといった制御も考えられる。例えば、現在発言中の参加者画像のみ大きめの画像サイズや高ビットレートで画像データを送信し、その他の参加者画像は小さめの画像サイズや低ビットレートで送信するといった制御を行う。このような制御を取り入れれば、比較的性能の悪い会議クライアント端末装置８であっても、会議参加時の使い勝手を落とさずに済むこととなる。
【００９３】
【発明の効果】
本発明によれば、会議参加者画像数がそれぞれ異なる会議参加者画面を規定する複数の画面テンプレートを表示用画面管理部に用意しておき、複数の画面テンプレートを会議に参加する参加端末装置に対して提示して、自身の端末装置の処理能力に見合った画面テンプレートを会議参加者に選択させる。そして、参加端末装置が選択した画面テンプレートに画像フォーマットおよびパラメータを対応させる画像パラメータ情報を会議サーバ装置から参加端末装置に送信して、端末装置が画像パラメータ情報に応じて画像データのフォーマットを制御し、会議サーバ装置が複数の参加端末装置から受信した複数の画像データに画面テンプレートに応じた処理を施して参加端末装置に処理後の画像データを送信するようにしたので、ビデオ会議システムにおいて会議に参加する各端末装置の性能が異なる場合であっても、各端末装置が同じビデオ会議に参加することが可能となる。したがって、処理能力の低い端末装置しか持たないユーザであっても、ビデオ会議に参加することができる。また、自身の端末装置の処理能力に見合った画面テンプレートを会議参加者に選択させることにより、選択された画面テンプレートに応じた画像データが端末装置に送信されるので、端末装置の処理能力の許す範囲で、従来よりも多くの会議参加者画像を表示することができる。
【００９４】
また、端末装置の転送要求部が選択した画面テンプレートで規定された会議参加者画像数だけ画像データの転送を会議サーバ装置に要求することにより、会議サーバ装置の第１の画像制御部は、選択された画面テンプレートに応じた処理として、複数の画像データの中から要求された会議参加者画像数の画像データを選択する処理を容易に行うことができる。
【００９５】
また、複数の画面テンプレートで会議参加者画像数がそれぞれ異なる会議参加者画面を規定し、会議サーバ装置の表示用画面管理部が、画面テンプレートの選択時に各画面テンプレートの会議参加者画像数を参加端末装置に対して提示することにより、会議参加者は、自身の端末装置の能力に見合った会議参加者画像数の画面テンプレートを選択することができる。
【００９６】
また、複数の画面テンプレートで会議参加者画像のサイズがそれぞれ異なる会議参加者画面を規定し、会議サーバ装置の表示用画面管理部が、画面テンプレートの選択時に各画面テンプレートの会議参加者画像サイズを参加端末装置に対して提示することにより、会議参加者は、自身の端末装置の能力に見合った画像サイズの画面テンプレートを選択することができる。
【００９７】
また、複数の画面テンプレートで会議参加者画像のフレームレートがそれぞれ異なる会議参加者画面を規定し、会議サーバ装置の表示用画面管理部が、画面テンプレートの選択時に各画面テンプレートのフレームレートを参加端末装置に対して提示することにより、会議参加者は、自身の端末装置の能力に見合ったフレームレートの画面テンプレートを選択することができる。
【００９８】
また、複数の画面テンプレートで会議参加者画像のビットレートがそれぞれ異なる会議参加者画面を規定し、会議サーバ装置の表示用画面管理部が、画面テンプレートの選択時に各画面テンプレートのビットレートを参加端末装置に対して提示することにより、会議参加者は、自身の端末装置の能力に見合ったビットレートの画面テンプレートを選択することができる。
【００９９】
また、複数の画面テンプレートで端末装置の処理能力の相違に応じて形式がそれぞれ異なる会議参加者画面を規定し、会議サーバ装置の表示用画面管理部が、画面テンプレートの選択時に各画面テンプレートに対応する端末装置の処理能力値を参加端末装置に対して提示することにより、会議参加者は、自身の端末装置の処理能力値に見合った画面テンプレートを選択することができる。
【０１００】
また、会議サーバ装置に選択変更部を設けることにより、会議参加者は、会議開催中に画面テンプレートを変更することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態となるＩＰビデオ会議システムの構成を示すブロック図である。
【図２】 本発明の第１の実施の形態における画面テンプレートの１例を示す図である。
【図３】 図１のＩＰビデオ会議システムの動作を示すシーケンス図である。
【図４】 本発明の第１の実施の形態におけるビデオ会議ログイン画面を示す図である。
【図５】 本発明の第１の実施の形態における画面テンプレートの他の例を示す図である。
【図６】 本発明の第２の実施の形態となるＩＰビデオ会議システムの構成を示すブロック図である。
【図７】 本発明の第２の実施の形態におけるビデオ会議ログイン画面を示す図である。
【図８】 本発明の第２の実施の形態において会議に参加中の会議クライアント端末装置に表示される会議参加者画面を示す図である。
【図９】 本発明の第３の実施の形態におけるビデオ会議ログイン画面を示す図である。
【図１０】 本発明の第３の実施の形態において会議に参加中の会議クライアント端末装置に表示される会議参加者画面を示す図である。
【図１１】 本発明の第４の実施の形態におけるビデオ会議ログイン画面を示す図である。
【図１２】 本発明の第４の実施の形態において会議に参加中の会議クライアント端末装置に表示される会議参加者画面を示す図である。
【図１３】 従来のＩＰビデオ会議システムの構成を示すブロック図である。
【図１４】 従来のＩＳＤＮ用ＴＶ会議システムの構成を示すブロック図である。
【図１５】 ＩＳＤＮ用ＴＶ会議システムとＩＰビデオ会議システムとの相違を説明するための図である。
【図１６】 従来のＩＰビデオ会議システムの問題点を説明するための図である。
【図１７】 従来のＩＰビデオ会議システムの問題点を説明するための図である。
【符号の説明】
１…会議サーバ装置、２…予約サーバ装置、３…データベース部、４…課金サーバ装置、５…ＩＰ網、６…ルータ、７、９…通信回線、８…会議クライアント端末装置、１０、８０…ＩＰネットワーク・インタフェース部、１１…ＨＴＴＰサーバ機能部、１２…多地点ビデオ会議機能部、１３…会議情報管理部、１４…参加クライアント情報管理部、１５…クライアント処理能力値管理部、１６…表示用画面管理部、１７…画像パラメータ制御部、１８…画像制御部、８１…Ｗｅｂブラウザ機能部、８２…音声入出力処理部、８３…音声コーデック部、８４…データ会議機能部、８５…画像入出力処理部、８６…ビデオコーデック部、８７…会議情報管理部、８８…画像制御部、８９…ビデオコーデック制御部、９０…マイク、９１…スピーカ、９２…モニタ装置、９３…カメラ。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a real-time video conferencing system that uses a communication network such as the Internet or a LAN, and more particularly to a video conferencing system that realizes control in consideration of performance differences of terminal devices participating in a conference.
[0002]
[Prior art]
Currently, network services based on an IP (Internet Protocol) network such as the Internet and a LAN (Local Area Network) are widely used. On the client side, a broadband broadband communication environment is being prepared due to the recent spread of ADSL (Asymmetric Digital Subscriber Line) lines and the like.
[0003]
With the spread of the broadband communication environment, a multipoint interactive real-time video conference service using image data with a large amount of communication data such as a video chat service has begun to be provided. In these multipoint video conferencing systems, users who participate in a conference access the conference server device from a terminal device such as a personal computer connected to the IP network, and bidirectional image data and audio data via the conference server device. In addition, a multipoint conference can be performed using a data conference function (such as a document sharing function, a text chat function, and an application sharing function) (see, for example, Patent Document 1 and Non-Patent Document 1).
[0004]
FIG. 13 is a block diagram showing a configuration of a conventional IP video conference system. In FIG. 13, the
[0005]
However, in the IP video conference system using the
[0006]
On the other hand, in the case of the IP video conference system, the device that becomes the conference
[0007]
Therefore, in the IP video conference service currently provided, the
[0008]
[Patent Document 1]
Japanese Patent Laid-Open No. 1999-136367
[Non-Patent Document 1]
"Packet-based multimedia communication system" (Section 6.6 Multipoint Processor Characteristics), TTC Standard H.323, Information and Communication Technology Committee (TTC), November 27, 1996
[0009]
[Problems to be solved by the invention]
However, in the methods shown in FIGS. 16 and 17, each conference
[0010]
In addition, as a method different from FIGS. 16 and 17, a conference client terminal that is participating in a conference can be set as a conference participation condition by using a conference
[0011]
The present invention has been made to solve the above-described problem, and even if the performance of each client terminal device participating in the conference in the IP video conference system is different, each client terminal device can participate in the same video conference. Thus, an object of the present invention is to display a larger number of conference participant images.
[0012]
[Means for Solving the Problems]
The present invention relates to a conference server which is connected to a plurality of terminal devices having at least an image transmission / reception function and a plurality of participating terminal devices participating in a video conference so as to be capable of bidirectional communication. In the video conference system, the conference server device presents a plurality of screen templates defining different types of conference participant screens to participating terminal devices participating in the conference, and selects the selected screen template. A display screen management unit for transmitting to the participating terminal device, an image parameter control unit for transmitting image parameter information for associating an image format and a parameter to the screen template selected by the participating terminal device, In the selected screen template, a plurality of image data received from the participating terminal device A first image control unit that transmits the processed image data to the participating terminal device that has selected the screen template, and the terminal device has the image data transmitted from the device as the image parameter. A conference participant screen is generated and displayed based on the second image control unit that controls to comply with the image format and parameters specified by the information, the selected screen template, and the image data received from the conference server device. And a display unit.
In one configuration example of the video conference system according to the present invention, the terminal device includes a transfer request unit that requests the conference server device to transfer image data by the number of conference participant images defined by the selected screen template. The first image control unit performs processing for selecting image data of the requested number of conference participant images from the plurality of image data as processing corresponding to the selected screen template, and selects The transmitted image data is transmitted to the participating terminal device that issued the transfer request.
[0013]
Further, in one configuration example of the video conference system of the present invention, the plurality of screen templates define the conference participant screens having different numbers of conference participant images, and the display screen management unit includes the screen template At the time of selection, the number of meeting participant images of each screen template is presented to the participating terminal device.
Further, in one configuration example of the video conference system of the present invention, the plurality of screen templates define the conference participant screens having different sizes of conference participant images, and the display screen management unit includes the screen template. Is selected, the conference participant image size of each screen template is presented to the participating terminal device.
Further, in one configuration example of the video conference system according to the present invention, the plurality of screen templates define the conference participant screens having different frame rates of conference participant images, and the display screen management unit includes the screen When selecting a template, the frame rate of each screen template is presented to the participating terminal device.
In one configuration example of the video conference system of the present invention, the plurality of screen templates define the conference participant screens having different bit rates of conference participant images, and the display screen management unit includes the screen When selecting a template, the bit rate of each screen template is presented to the participating terminal device. Further, in one configuration example of the video conference system of the present invention, the plurality of screen templates define conference participant screens having different formats according to differences in processing capabilities of the terminal devices, and the display screen management unit Indicates the processing capability value of the terminal device corresponding to each screen template to the participating terminal device when the screen template is selected.
Moreover, in one configuration example of the video conference system of the present invention, the conference server device includes a selection change unit that receives a selection change of the screen template from the participating terminal device during a conference.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
[First Embodiment]
Hereinafter, embodiments of the present invention will be described in detail. FIG. 1 is a block diagram showing the configuration of an IP video conference system according to the first embodiment of the present invention. The IP videoconference system receives data from the conference
[0015]
The conference server device 1 includes an IP
[0016]
Here, an example of the screen template is shown in FIG. As described above, the screen template defines different types of meeting participant screens. The screen templates TA, TB, and TC shown in FIG. 2 have different numbers of conference participant images. The screen template TA shown in FIG. 2A has eight conference participant images, as shown in FIG. The screen template TB shown in b) defines four conference participant images, and the screen template TC shown in FIG. 2C defines two conference participant images. The screen templates TA, TB, and TC are described in HTML (Hyper Text Markup Languag).
[0017]
The conference
[0018]
The video conference client AP unit outputs an analog audio signal collected by the
[0019]
FIG. 3 is a sequence diagram showing the operation of the IP video conference system. In FIG. 3, only one conference
[0020]
First, a user who reserves a video conference accesses the reservation server device 2 using the function of the Web
[0021]
The user inputs the user ID and password to the conference
[0022]
The user views the conference reservation screen displayed on the
[0023]
If there is room in the conference resource, the reservation server device 2 determines that the reservation can be accepted, records the conference reservation information received from the conference
[0024]
Next, the operation when a conference is actually held will be described. The user A participating in the conference transmits a conference participation request to the conference server device 1 using the conference client terminal device 8 (step S107). When there is a conference participation request from the conference
[0025]
The user A looks at the video
[0026]
Subsequently, the conference
[0027]
The conference
[0028]
When the conference
[0029]
The
[0030]
Audio data collected by the
[0031]
On the other hand, the Web
[0032]
At this time, the Web
[0033]
The video conference holding function unit 12 of the conference server device 1 that has received the transfer request transmits the audio data, the shared data, and the image data received from each conference
[0034]
As a method of selecting image data from the image data of a plurality of conference
[0035]
In each conference
[0036]
In this way, a conference participant screen based on the screen template TA of FIG. 2A is displayed on the
[0037]
On the other hand, when the conference
[0038]
In the conference
[0039]
The image control unit 18 of the conference server device 1 that has received the transfer request from the conference
[0040]
Thus, the conference participant screen based on the screen template TC of FIG. 2C is displayed on the
[0041]
Note that, as in the present embodiment, a plurality of screen templates that define conference participant screens with different numbers of conference participant images are prepared in the display
[0042]
On the other hand, in the compression / decompression processing of video images, the processing amount varies greatly depending on the size of the image. That is, a VGA (Video Graphics Array) size image of 640 × 480 pixels and a CIF (Common Intermediate Format) size of 352 × 288 pixels or a QCIF (Quarter Common Intermediate Format) size image of 176 × 144 pixels are used for VGA. The size of the image is larger.
[0043]
Therefore, a plurality of screen templates that define conference participant screens having different sizes of conference participant images are prepared in the display
[0044]
Further, even if the number of conference participant images and the image size are the same, the compression / decompression processing amount of the video image varies greatly depending on the frame rate indicating the number of images sent per second. Therefore, a plurality of screen templates for defining conference participant screens having different frame rates for the conference participant images are prepared, and the frame rate defined by each screen template is presented to the user, and the user's own conference client terminal device It is also possible to allow the user to select a screen template suitable for the eight abilities. In this case, the same value is defined in each screen template for the number of conference participant images. The image
[0045]
Similarly, it goes without saying that the compression / decompression processing amount of the video image differs depending on the bit rate indicating the number of bits sent per second. Therefore, a plurality of screen templates that prescribe conference participant screens having different bit rates of conference participant images are prepared, and the bit rate prescribed by each screen template is presented to the user, and the own conference client terminal device It is also possible to allow the user to select a screen template suitable for the eight abilities. In this case, the same value is defined in each screen template for the number of conference participant images.
[0046]
The image
[0047]
In addition, a plurality of screen templates for defining conference participant screens having different formats according to differences in specifications (for example, CPU type, clock frequency, etc.) of the conference
[0048]
In this case, the client processing capability
[0049]
In this embodiment, the user selects a screen template at the time of conference login. However, the screen template may be changed during participation in the conference. In order to realize such selection change of the screen template, a change button for changing the screen template may be set in advance in the HTML file of the screen template.
[0050]
FIG. 5 shows an example of such a screen template. The screen template TD shown in FIG. 5 is changed to the screen template TA (8 image display), the change button BO1 for changing to the screen template TB (4 image display), and the screen template TC (2 image display). The change button BO2 is provided. By using such a screen template TD, change buttons BO1 and BO2 are displayed on the conference participant screen displayed by the conference
[0051]
When the change button BO1 is pressed on the conference participant screen having eight conference participant images, for example, the display
[0052]
The conference participant screen displayed on the conference
[0053]
[Second Embodiment]
Next, a second embodiment of the present invention will be described. FIG. 6 is a block diagram showing the configuration of the IP video conference system according to the second embodiment of the present invention. The same components as those in FIG. 1 are denoted by the same reference numerals. Also in this embodiment, the operation of the IP video conference system is the same as that of the first embodiment, and therefore, description will be made using the reference numerals in FIG. In the present embodiment, the first embodiment will be described more specifically. When a conference is logged in, a screen template of the number of conference participant images corresponding to the capability of the conference
[0054]
In this embodiment, a communication line 7 for connecting the video conference server side equipment comprising the conference server device 1, the reservation server device 2, the DB unit 3, the billing server device 4, and the router 6 and the IP network 5 is provided with a bandwidth. Is a dedicated line of 6 [Mb / s]. Further, as terminal devices participating in the conference, conference client terminal devices 8-A1, 8-A2, 8-A3, 8-A4, 8-B1, 8-B2, 8-B3, 8- There are eight B4 units, all of which are connected to the IP network 5 by an ADSL line which is a communication line 9 having a bandwidth of 1.5 [Mb / s].
[0055]
Here, the conference client terminal devices 8-A1, 8-A2, 8-A3, and 8-A4 are made up of personal computers (hereinafter referred to as PCs) of the same model and capable of simultaneously processing eight images. And Similarly, it is assumed that the conference client terminal devices 8-B1, 8-B2, 8-B3, and 8-B4 are composed of the same type of PC and have the ability to process four images simultaneously.
[0056]
When the meeting start date / time is reached, the user A1 accesses the conference server apparatus 1 using the function of the web
[0057]
Since the conference client terminal device 8-A1 has the capability of processing eight images at the same time, the user A1 displays a screen template on the video
[0058]
Similar to the first embodiment, the conference client terminal apparatus 8-A1 adjusts the video codec parameters based on the received image parameter information, and transmits the image data to the conference server apparatus 1 (step S113). The conference server apparatus 1 is requested to transfer image data by the number of conference participant images (eight in this case) defined in the HTML file (step S114).
[0059]
Then, the conference server device 1 selects the image data for the eight persons requested by the conference client terminal device 8-A1 from the plurality of image data received from the plurality of conference
[0060]
On the other hand, the user B1 accesses the conference server device 1 using the conference client terminal device 8-B1 (step S107). Since the conference client terminal device 8-B1 has the ability to process four images at the same time, the user B1 displays the screen template TB (four images) on the video
[0061]
The conference server device 1 transmits the HTML file of the screen template TB selected by the conference client terminal device 8-B1 to the conference client terminal device 8-B1, and the image format and encoding of the conference client terminal device 8-B1. Image parameter information for associating the parameter with the screen template TB is transmitted (step S112).
[0062]
The conference client terminal device 8-B1 adjusts the video codec parameters based on the received image parameter information and transmits the image data to the conference server device 1 (step S113), and the conference participant defined by the received HTML file The conference server apparatus 1 is requested to transfer image data by the number of images (here, 4) (step S114).
[0063]
Then, the conference server device 1 selects the image data for the four persons requested by the conference client terminal device 8-B1 from the plurality of image data received from the plurality of conference
[0064]
As described above, according to the present embodiment, even when a plurality of users using conference
[0065]
When the user B1 selects and logs in the screen template TA (8 image display), the HTML file of the screen template TA is transmitted to the conference client terminal device 8-B1, thereby the conference server device 1 sends the conference client terminal. Eight pieces of image data are transmitted to the device 8-B1. In this case, since the conference client terminal device 8-B1 can process only four images at the same time, it hangs up. When the conference client terminal device 8-B1 hangs up, the conference client terminal device 8-B1 may be restarted and the screen template TB may be selected again.
[0066]
[Third Embodiment]
Next, a third embodiment of the present invention will be described. Since the configuration and operation of the IP video conference system of the present embodiment are the same as those of the second embodiment, description will be made using the reference numerals in FIGS. In the present embodiment, the first embodiment will be described more specifically. At the time of conference login, the user selects a screen template having a display image size according to the capability of the conference
[0067]
Here, it is assumed that the conference client terminal devices 8-A1, 8-A2, 8-A3, and 8-A4 are capable of processing four conference participant images at the same time as long as they are CIF image sizes. On the other hand, the conference client terminal devices 8-B1, 8-B2, 8-B3, and 8-B4 have no ability to process four conference participant images at the same time in the case of the CIF image size. It is assumed that there is an ability to process four conference participant images at the same time.
[0068]
When it is time to start the conference, the user A1 accesses the conference server device 1 using the conference client terminal device 8-A1 (step S107 in FIG. 3). In response to this access, the display
[0069]
Since the conference client terminal device 8-A1 has the capability of processing four CIF-size conference participant images at the same time, the user A1 displays the screen on the video
[0070]
The conference client terminal device 8-A1 adjusts the video codec parameters based on the received image parameter information and transmits the image data to the conference server device 1 (step S113), and the conference participant defined by the received HTML file The conference server apparatus 1 is requested to transfer image data by the number of images (here, 4) (step S114).
[0071]
Then, the conference server apparatus 1 transmits CIF image data for four persons in response to a request from the conference client terminal apparatus 8-A1 (step S115). In this way, the conference participant screen as shown in FIG. 10A based on the screen template TE is displayed on the
[0072]
On the other hand, the user B1 accesses the conference server device 1 using the conference client terminal device 8-B1 (step S107). Since the conference client terminal device 8-B1 has a capability of processing four QCIF-sized conference participant images at the same time, the user B1 displays the screen on the video
[0073]
The conference server device 1 transmits the HTML file of the screen template TF selected by the conference client terminal device 8-B1 to the conference client terminal device 8-B1, and the image format and encoding of the conference client terminal device 8-B1. Image parameter information for associating the parameter with the screen template TF is transmitted (step S112).
[0074]
The screen templates TE and TF have different image sizes, but the number of conference participant images is the same. Of the image parameter information, a predetermined value is used for the frame rate and the bit rate regardless of the screen template TE or TF.
[0075]
The conference client terminal device 8-B1 adjusts the video codec parameters based on the received image parameter information and transmits the image data to the conference server device 1 (step S113), and the conference participant defined by the received HTML file The conference server apparatus 1 is requested to transfer image data by the number of images (here, 4) (step S114).
[0076]
Then, the conference server apparatus 1 transmits QCIF image data for four persons in response to a request from the conference client terminal apparatus 8-B1 (step S115). In this way, a conference participant screen as shown in FIG. 10B based on the screen template TF is displayed on the
[0077]
As described above, according to the present embodiment, even when a plurality of users using conference
[0078]
When the user B1 selects the screen template TE (CIF image display) and logs in, the HTML file of the screen template TE is transmitted to the conference client terminal device 8-B1, and the conference server device 1 thereby transmits the conference client terminal. Four pieces of image data of CIF size are transmitted to the device 8-B1. In this case, since the conference client terminal device 8-B1 cannot process four CIF size images at the same time, the conference client terminal device 8-B1 hangs up. When the conference client terminal device 8-B1 hangs up, the conference client terminal device 8-B1 may be restarted and the screen template TF may be selected again.
[0079]
[Fourth Embodiment]
Next, a fourth embodiment of the present invention will be described. Since the configuration and operation of the IP video conference system of the present embodiment are the same as those of the second embodiment, description will be made using the reference numerals in FIGS. In this embodiment, the first embodiment will be described more specifically. When a user logs in at a conference, the user selects a screen template having a bit rate corresponding to the capability of the conference
[0080]
Here, if the bit rate per image is about 100 kb / s, the conference client terminal devices 8-A1, 8-A2, 8-A3, and 8-A4 process eight conference participant images at the same time. It has the ability to do it. On the other hand, when the bit rate is 100 kb / s, the conference client terminal devices 8-B1, 8-B2, 8-B3, and 8-B4 do not have the ability to process eight conference participant images at the same time. If the per bit rate is about 16 kb / s, it is assumed that there is an ability to process eight conference participant images simultaneously.
[0081]
When it is time to start the conference, the user A1 accesses the conference server device 1 using the conference client terminal device 8-A1 (step S107 in FIG. 3). In response to this access, the conference server device 1 transmits data of the video
[0082]
If the bit rate per image is 100 kb / s, the conference client terminal device 8-A1 has the ability to process eight conference participant images at the same time. Since 100 kb / s × 8 = 800 kb / s, The user A1 selects the screen template TG (total transmission rate: 800 kb / s) on the video
[0083]
The conference client terminal device 8-A1 adjusts the video codec parameters based on the received image parameter information and transmits the image data to the conference server device 1 (step S113), and the conference participant defined by the received HTML file The conference server apparatus 1 is requested to transfer image data by the number of images (here, 8) (step S114).
[0084]
Then, the conference server apparatus 1 transmits 800 kb / s image data in total for eight 100 kb / s images per image in response to a request from the conference client terminal apparatus 8-A1 (step S115). Thus, the conference participant screen as shown in FIG. 12 based on the screen template TG is displayed on the
[0085]
On the other hand, the user B1 accesses the conference server device 1 using the conference client terminal device 8-B1 (step S107). If the bit rate per image is 16 kb / s, the conference client terminal device 8-B1 has the ability to process 8 conference participant images at the same time. Since 16 kb / s × 8 = 128 kb / s, The user B1 selects the screen template TH (total transmission rate: 128 kb / s) on the video
[0086]
The conference server device 1 transmits the HTML file of the screen template TH selected by the conference client terminal device 8-B1 to the conference client terminal device 8-B1, and at the same time the image format and encoding of the conference client terminal device 8-B1. Image parameter information for associating the parameter with the screen template TH is transmitted (step S112).
[0087]
The screen templates TG and TH have different bit rates, but the number of conference participant images is the same. Of the image parameter information, a predetermined value is used for the image size and the bit rate regardless of whether the image is the screen template TG or TH.
[0088]
The conference client terminal device 8-B1 adjusts the video codec parameters based on the received image parameter information and transmits the image data to the conference server device 1 (step S113), and the conference participant defined by the received HTML file The conference server apparatus 1 is requested to transfer image data by the number of images (here, 4) (step S114).
[0089]
Then, the conference server apparatus 1 transmits a total of 128 kb / s image data for 8 images of 16 kb / s per image in response to a request from the conference client terminal apparatus 8-B1 (step S115). Thus, the conference participant screen based on the screen template TH is displayed on the
[0090]
As described above, according to the present embodiment, even when a plurality of users using conference
[0091]
When the user B1 selects and logs in the screen template TG (total transmission rate: 800 kb / s), the HTML file of the screen template TG is transmitted to the conference client terminal device 8-B1, thereby the conference server device 1 8 data of 100 kb / s per image is transmitted to the conference client terminal device 8-B1. In this case, since the conference client terminal device 8-B1 cannot process eight images having a bit rate of 100 kb / s at the same time, the conference client terminal device 8-B1 hangs up. When the conference client terminal device 8-B1 hangs up, the conference client terminal device 8-B1 may be restarted and the screen template TH may be selected again.
[0092]
Further, unlike the conference client terminal device 8-B1 of the present embodiment, when the bit rate per image is 16 kb / s, an image with a very good motion cannot be displayed. Controls such as transmitting image data and reducing the quality of the remaining image data can be considered. For example, control is performed such that only the participant image currently being spoken transmits image data with a larger image size and a higher bit rate, and other participant images are transmitted with a smaller image size and a lower bit rate. By adopting such control, even the conference
[0093]
【The invention's effect】
According to the present invention, a plurality of screen templates that define conference participant screens having different numbers of conference participant images are prepared in the display screen management unit, and the plurality of screen templates are added to the participation terminal device that participates in the conference. The conference participants are presented with a screen template that matches the processing capability of their terminal device. Then, image parameter information that associates the image format and parameters with the screen template selected by the participating terminal device is transmitted from the conference server device to the participating terminal device, and the terminal device controls the format of the image data according to the image parameter information. The conference server device performs processing according to the screen template on the plurality of image data received from the plurality of participating terminal devices and transmits the processed image data to the participating terminal device. Even if the performance of each participating terminal device is different, each terminal device can participate in the same video conference. Therefore, even a user who has only a terminal device with low processing capability can participate in a video conference. In addition, by allowing a conference participant to select a screen template that matches the processing capability of the terminal device, image data corresponding to the selected screen template is transmitted to the terminal device. More conference participant images can be displayed than before.
[0094]
Further, the first image control unit of the conference server device selects the image data by requesting the conference server device to transfer the image data by the number of conference participant images specified by the screen template selected by the transfer request unit of the terminal device. As processing corresponding to the screen template that has been made, it is possible to easily perform processing for selecting image data for the requested number of conference participant images from among a plurality of image data.
[0095]
In addition, multiple screen templates define conference participant screens with different numbers of conference participant images, and the display screen management unit of the conference server device participates in the number of conference participant images of each screen template when selecting a screen template. By presenting to the terminal device, the conference participant can select a screen template of the number of conference participant images that matches the capability of his / her terminal device.
[0096]
Also, the conference participant screens with different sizes of the conference participant images are defined in a plurality of screen templates, and the display screen management unit of the conference server device sets the conference participant image size of each screen template when selecting the screen template. By presenting it to the participating terminal device, the conference participant can select a screen template having an image size suitable for the capability of the terminal device.
[0097]
In addition, a plurality of screen templates define conference participant screens with different frame rates for the conference participant images, and the display screen management unit of the conference server device determines the frame rate of each screen template when selecting a screen template. By presenting to the device, the conference participant can select a screen template having a frame rate that matches the capability of the terminal device.
[0098]
Also, a conference participant screen in which the bit rate of the conference participant image is different among a plurality of screen templates is defined, and the display screen management unit of the conference server device determines the bit rate of each screen template when the screen template is selected. By presenting to the device, the conference participant can select a screen template having a bit rate that matches the capability of the terminal device.
[0099]
Also, multiple screen templates define conference participant screens that differ in format depending on the processing capacity of the terminal device, and the display screen management unit of the conference server device supports each screen template when selecting a screen template. By presenting the processing capability value of the terminal device to be participated to the participating terminal device, the conference participant can select a screen template corresponding to the processing capability value of his / her terminal device.
[0100]
In addition, by providing the selection change unit in the conference server device, the conference participant can change the screen template during the conference.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an IP video conference system according to a first embodiment of the present invention.
FIG. 2 is a diagram showing an example of a screen template according to the first embodiment of the present invention.
FIG. 3 is a sequence diagram showing an operation of the IP video conference system of FIG. 1;
FIG. 4 is a diagram showing a video conference login screen according to the first embodiment of the present invention.
FIG. 5 is a diagram showing another example of the screen template according to the first embodiment of the present invention.
FIG. 6 is a block diagram showing a configuration of an IP video conference system according to a second embodiment of the present invention.
FIG. 7 is a diagram showing a video conference login screen according to the second embodiment of the present invention.
FIG. 8 is a diagram showing a conference participant screen displayed on a conference client terminal device participating in a conference in the second embodiment of the present invention.
FIG. 9 is a diagram showing a video conference login screen according to the third embodiment of the present invention.
FIG. 10 is a diagram showing a conference participant screen displayed on a conference client terminal device participating in a conference in the third embodiment of the present invention.
FIG. 11 is a diagram showing a video conference login screen according to the fourth embodiment of the present invention.
FIG. 12 is a diagram showing a conference participant screen displayed on a conference client terminal device participating in a conference in the fourth embodiment of the present invention.
FIG. 13 is a block diagram showing a configuration of a conventional IP video conference system.
FIG. 14 is a block diagram showing a configuration of a conventional ISDN video conference system.
FIG. 15 is a diagram for explaining a difference between an ISDN TV conference system and an IP video conference system;
FIG. 16 is a diagram for explaining problems of a conventional IP video conference system.
FIG. 17 is a diagram for explaining problems of a conventional IP video conference system.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Conference server apparatus, 2 ... Reservation server apparatus, 3 ... Database part, 4 ... Charge server apparatus, 5 ... IP network, 6 ... Router, 7, 9 ... Communication line, 8 ... Conference client terminal apparatus, 10, 80 ... IP network interface unit, 11 ... HTTP server function unit, 12 ... multi-point video conference function unit, 13 ... conference information management unit, 14 ... participating client information management unit, 15 ... client processing capability value management unit, 16 ... for display Screen management unit, 17 ... Image parameter control unit, 18 ... Image control unit, 81 ... Web browser function unit, 82 ... Audio input / output processing unit, 83 ... Audio codec unit, 84 ... Data conference function unit, 85 ... Image input /
Claims (8)
前記会議サーバ装置は、
異なる形式の会議参加者画面を規定した複数の画面テンプレートを会議に参加する参加端末装置に対して提示し、選択された画面テンプレートを該参加端末装置に送信する表示用画面管理部と、
前記参加端末装置が選択した画面テンプレートに画像フォーマットおよびパラメータを対応させる画像パラメータ情報をこの参加端末装置に送信する画像パラメータ制御部と、
複数の前記参加端末装置から受信した複数の画像データに前記選択された画面テンプレートに応じた処理を施し、この画面テンプレートを選択した参加端末装置に処理後の画像データを送信する第１の画像制御部とを備え、
前記端末装置は、
自装置から送信する画像データが前記画像パラメータ情報で指定された画像フォーマットおよびパラメータに従うように制御する第２の画像制御部と、
選択した前記画面テンプレートと前記会議サーバ装置から受信した画像データとに基づき会議参加者画面を生成して表示する表示部とを備えることを特徴とするビデオ会議システム。A plurality of terminal devices having at least an image transmission / reception function; and a conference server device that is connected to the terminal devices via a communication network and connects the plurality of participating terminal devices participating in the video conference so as to enable bidirectional communication. Video conferencing system
The conference server device
A display screen management unit for presenting a plurality of screen templates defining conference participant screens of different formats to a participating terminal device participating in the conference, and transmitting the selected screen template to the participating terminal device;
An image parameter control unit that transmits image parameter information that associates an image format and a parameter to the screen template selected by the participating terminal device, to the participating terminal device;
First image control for performing processing according to the selected screen template on the plurality of image data received from the plurality of participating terminal devices, and transmitting the processed image data to the participating terminal device that has selected the screen template With
The terminal device
A second image control unit for controlling the image data transmitted from the device to conform to the image format and parameters specified by the image parameter information;
A video conferencing system comprising: a display unit configured to generate and display a conference participant screen based on the selected screen template and image data received from the conference server device.
前記端末装置は、選択した前記画面テンプレートで規定された会議参加者画像数だけ画像データの転送を前記会議サーバ装置に要求する転送要求部を備え、
前記第１の画像制御部は、前記選択された画面テンプレートに応じた処理として、前記複数の画像データの中から前記要求された会議参加者画像数の画像データを選択する処理を行い、選択した画像データを前記転送要求を発した参加端末装置に送信することを特徴とするビデオ会議システム。The video conference system according to claim 1.
The terminal device includes a transfer request unit that requests the conference server device to transfer image data by the number of conference participant images defined by the selected screen template.
The first image control unit performs a process of selecting image data of the requested number of conference participant images from the plurality of image data as a process according to the selected screen template, and selects the selected image data A video conference system, wherein image data is transmitted to a participating terminal device that has issued the transfer request.
前記複数の画面テンプレートは、会議参加者画像数がそれぞれ異なる前記会議参加者画面を規定し、
前記表示用画面管理部は、前記画面テンプレートの選択時に各画面テンプレートの会議参加者画像数を前記参加端末装置に対して提示することを特徴とするビデオ会議システム。The video conference system according to claim 1.
The plurality of screen templates define the conference participant screens having different numbers of conference participant images,
The video conference system, wherein the display screen management unit presents the number of conference participant images of each screen template to the participating terminal device when the screen template is selected.
前記複数の画面テンプレートは、会議参加者画像のサイズがそれぞれ異なる前記会議参加者画面を規定し、
前記表示用画面管理部は、前記画面テンプレートの選択時に各画面テンプレートの会議参加者画像サイズを前記参加端末装置に対して提示することを特徴とするビデオ会議システム。The video conference system according to claim 1.
The plurality of screen templates define the conference participant screens having different sizes of conference participant images,
The video conferencing system, wherein the display screen management unit presents a conference participant image size of each screen template to the participating terminal device when the screen template is selected.
前記複数の画面テンプレートは、会議参加者画像のフレームレートがそれぞれ異なる前記会議参加者画面を規定し、
前記表示用画面管理部は、前記画面テンプレートの選択時に各画面テンプレートのフレームレートを前記参加端末装置に対して提示することを特徴とするビデオ会議システム。The video conference system according to claim 1.
The plurality of screen templates define the conference participant screens having different frame rates of conference participant images,
The video conference system, wherein the display screen management unit presents a frame rate of each screen template to the participating terminal device when the screen template is selected.
前記複数の画面テンプレートは、会議参加者画像のビットレートがそれぞれ異なる前記会議参加者画面を規定し、
前記表示用画面管理部は、前記画面テンプレートの選択時に各画面テンプレートのビットレートを前記参加端末装置に対して提示することを特徴とするビデオ会議システム。The video conference system according to claim 1.
The plurality of screen templates define the conference participant screens having different bit rates of conference participant images,
The video conference system, wherein the display screen management unit presents the bit rate of each screen template to the participating terminal device when the screen template is selected.
前記複数の画面テンプレートは、前記端末装置の処理能力の相違に応じて形式がそれぞれ異なる会議参加者画面を規定し、
前記表示用画面管理部は、前記画面テンプレートの選択時に各画面テンプレートに対応する前記端末装置の処理能力値を前記参加端末装置に対して提示することを特徴とするビデオ会議システム。The video conference system according to claim 1.
The plurality of screen templates define meeting participant screens having different formats according to differences in processing capabilities of the terminal devices,
The video conference system, wherein the display screen management unit presents the processing capability value of the terminal device corresponding to each screen template to the participating terminal device when the screen template is selected.
前記会議サーバ装置は、会議開催中に前記参加端末装置から前記画面テンプレートの選択変更を受け付ける選択変更部を有することを特徴とするビデオ会議システム。The video conference system according to claim 1.
The video conference system, wherein the conference server device includes a selection change unit that receives a selection change of the screen template from the participating terminal device during a conference.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002354248A JP4053869B2 (en) | 2002-12-05 | 2002-12-05 | Video conferencing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002354248A JP4053869B2 (en) | 2002-12-05 | 2002-12-05 | Video conferencing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004187170A JP2004187170A (en) | 2004-07-02 |
| JP4053869B2 true JP4053869B2 (en) | 2008-02-27 |
Family
ID=32755317
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002354248A Expired - Lifetime JP4053869B2 (en) | 2002-12-05 | 2002-12-05 | Video conferencing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4053869B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101362431B1 (en) * | 2011-12-20 | 2014-02-20 | 주식회사 케이티 | Method and system for providing cooperation using video conference |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006229559A (en) * | 2005-02-17 | 2006-08-31 | Ntt Resonant Inc | Communication system, communication device, communication method, and communication program |
| JP4741325B2 (en) * | 2005-09-06 | 2011-08-03 | 日本電信電話株式会社 | Multipoint conference method and multipoint conference system |
| JP4564432B2 (en) * | 2005-09-14 | 2010-10-20 | 株式会社東芝 | Video composition apparatus, video composition method, and program |
| KR101066297B1 (en) | 2005-09-30 | 2011-09-20 | 삼성전자주식회사 | Method and apparatus for providing simultaneous multi ptt over cellular multimedia service |
| JP4767817B2 (en) * | 2006-05-02 | 2011-09-07 | 株式会社ソニー・コンピュータエンタテインメント | COMMUNICATION SYSTEM, COMMUNICATION DEVICE, COMMUNICATION PROGRAM, COMPUTER-READABLE STORAGE MEDIUM CONTAINING COMMUNICATION PROGRAM |
| CN101588252B (en) * | 2008-05-23 | 2011-07-20 | 华为技术有限公司 | Control method and control device of multipoint conference |
| CA2727569C (en) * | 2008-06-09 | 2017-09-26 | Vidyo, Inc. | Improved view layout management in scalable video and audio communication systems |
| JP5227863B2 (en) * | 2009-03-17 | 2013-07-03 | 株式会社日立製作所 | CONFERENCE SYSTEM, RELAY DEVICE, AND METHOD FOR CONNECTING CONFERENCE SERVER TO EXCHANGE |
| JP5815739B2 (en) * | 2011-01-04 | 2015-11-17 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | Local media rendering |
| JP5891850B2 (en) * | 2012-02-29 | 2016-03-23 | 株式会社リコー | CONFERENCE MANAGEMENT DEVICE, CONFERENCE MANAGEMENT SYSTEM, AND PROGRAM |
| JP6069881B2 (en) * | 2012-04-25 | 2017-02-01 | 株式会社リコー | Relay device, display data sharing system, data control method and program |
| JP6364965B2 (en) | 2014-03-31 | 2018-08-01 | 株式会社リコー | Transmission terminal, program, transmission method, transmission system |
| JPWO2021250880A1 (en) * | 2020-06-12 | 2021-12-16 | ||
| CN114598834A (en) * | 2022-05-10 | 2022-06-07 | 中国铁塔股份有限公司 | Video processing method and device, electronic equipment and readable storage medium |
-
2002
- 2002-12-05 JP JP2002354248A patent/JP4053869B2/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101362431B1 (en) * | 2011-12-20 | 2014-02-20 | 주식회사 케이티 | Method and system for providing cooperation using video conference |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004187170A (en) | 2004-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6453336B1 (en) | Video conferencing with adaptive client-controlled resource utilization | |
| JP4053869B2 (en) | Video conferencing system | |
| US7373379B2 (en) | Media role management in a video conferencing network | |
| US6760749B1 (en) | Interactive conference content distribution device and methods of use thereof | |
| US9025000B2 (en) | System and method for initiating a video conferencing through a streaming device | |
| EP1580999A2 (en) | Network conference system, management server, conference terminal, and information origination authorization management method | |
| JP2008022552A (en) | Conferencing method and conferencing system | |
| US7884844B2 (en) | System for conducting videoconferencing session over television network | |
| US20030081112A1 (en) | System and method for managing streaming data | |
| US20050243810A1 (en) | Video conference data transmission device and data transmission method adapted for small display of mobile terminals | |
| JP2005534207A5 (en) | ||
| JP2007104354A (en) | Tv conference system and method, and tv conference terminal device | |
| NO333235B1 (en) | System and method for conferences with scalable media switching | |
| US9756096B1 (en) | Methods for dynamically transmitting screen images to a remote device | |
| WO2013089423A1 (en) | System, apparatus and method for utilizing a multimedia service | |
| WO2015003532A1 (en) | Multimedia conferencing establishment method, device and system | |
| TWI644565B (en) | Video image processing method and system using the same | |
| JP2004350227A (en) | Conference client apparatus in video conference system, and program therefor | |
| US20160205347A1 (en) | Video conferencing system and multi-way video conference switching method | |
| KR20070054769A (en) | Method for connecting video call in mobile communication terminal | |
| TW201528822A (en) | System and method of controlling video conference | |
| TWI597985B (en) | System and method of controlling video conference based on ip | |
| KR0176061B1 (en) | Method of multimedia conferernce on lan | |
| JP2004159127A (en) | Video conference system | |
| KR20150014785A (en) | Multilateral communication broadcasting system and service providing method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050124 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070807 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070821 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071206 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4053869 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121214 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131214 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |