JP6703259B2 - 情報処理システム、会議サーバ、その制御方法及びプログラム - Google Patents

Description

本発明は、情報処理システム、会議サーバ、その制御方法及びプログラムに関する。

従来、ウェブ会議システムにおいては、パーソナルコンピュータやタブレット端末などの情報処理装置に、カメラ、マイク、スピーカなどの機能を有するデバイスを接続し、それぞれのデバイスから入力した映像や音声を複数の拠点間で送受信している。

特許文献１には、双方向映像コミュニケーションシステムにおいて、ネットワークや端末の状態変化を監視し、悪条件下では設定品質を下げることで画像の停止やサービスの中断を未然に防ぎ、条件回復時には設定品質を上げることで高品質なサービスを提供する方法が記載されている。

特開２００５−２１７６９７号公報

しかしながら、特許文献１のシステムでは、自分の映像が相手にどのように表示されているのかを知るための方法については記載されていない。会議の円滑な進行のためには、自身が説明しようとしている説明対象の画像や映像、説明している自分自身の映像等が、相手の端末上にどのように送信・表示されているか認識した上で、発言できるような状態が望ましい。

本発明は、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することを目的とする。

本発明は、情報処理装置と、会議サーバとを含む情報処理システムであって、前記会議サーバは、情報処理装置から受信した画像を記憶する記憶手段と、前記記憶手段に記憶された画像を、複数の情報処理装置に受信させるべく送信する送信手段と、前記送信手段により、通知先に対し、前記複数の情報処理装置のうちいずれの情報処理装置に送信された画像を通知するかを、複数の前記情報処理装置への前記画像の送信状況に基づいて特定する特定手段と、前記特定手段により特定された画像を、前記通知先の情報処理装置に通知する通知手段と、を備え、前記情報処理装置は、前記通知手段により通知された前記画像を表示画面に表示する表示手段を備えることを特徴とする。

本発明によれば、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することができる。

本発明の実施形態における、情報処理システムの構成の一例を示す図である。 本発明の実施形態における、各種装置のハードウェア構成の一例を示す図である。 本発明の実施形態における、各種装置の機能構成の一例を示す図である。 本発明の第１の実施形態における、画像送信処理の流れを示すフローチャートである。 本発明の第１の実施形態における、受信状況の通知処理の流れを示すフローチャートである。 本発明の第２の実施形態における、指定画像送信処理の流れを示すフローチャートである。 本発明の第２の実施形態における、指定画像の受信状況の通知処理の流れを示すフローチャートである。 本発明の実施形態における、各種データ構成の一例を示す図である。 本発明の実施形態における、画像の送受信の流れを示す全体図である。 本発明の第１の実施形態における、受信状況を通知する会議画面の構成の一例を示す図である。 本発明の第２の実施形態における、指定画像の受信状況を通知する会議画面の構成の一例を示す図である。 本発明の第３の実施形態における、指定画像の受信状況を通知する画面の構成の一例を示す図である。 本発明の第３の実施形態における、話者選択に応じた受信状況の通知処理の流れを示す図である。 本発明の第３の実施形態における、話者情報の構成の一例を示す図である。 本発明の第３の実施形態における、話者選択画面等の構成の一例を示す図である。 本発明の第３実施形態における、受信状況を通知する会議画面の構成の一例を示す図である。

以下、図面を参照して、本発明の実施の形態の一例について説明する。

まず図１を参照して、本発明の実施形態における、情報処理システムの構成の一例について説明する。

本発明のウェブ会議システムは、例えば、パーソナルコンピュータを適用可能な情報処理装置であるクライアント端末１００（１００Ｇ１、１００Ｇ２、１００Ｓ）と各クライアント端末でウェブ会議システムを利用可能にするウェブ会議サーバ２００（サーバ装置（情報処理装置の１つ））がネットワーク１５０を介して通信可能に接続され、構成されている。

ウェブ会議サーバ２００は、ウェブブラウザを利用したウェブ会議を実現するためのサーバであり、クライアント端末１００からのアクセスに応じてウェブ会議画面（インタフェース／例えばｈｔｍｌで表現される画面を表示するための情報）をクライアント端末に送信することで、複数のクライアント端末１００によりウェブ会議を行うサービスを提供する。

クライアント端末１００には、例えば１００や１００Ｓに示すようなデスクトップＰＣや、１００Ｇ１のようなノートＰＣ、１００Ｇ２のようなタブレットＰＣを適用可能である。クライアント端末１００は、ウェブ会議サーバ２００から受信した会議画面に、同じくウェブ会議サーバ２００から受信した画像や映像を表示する。

本実施形態においてクライアント端末１００には、ウェブ会議サーバ２００へアクセスするためのウェブブラウザ、及び専用のモジュールがインストールされているものとする。なお、この専用のモジュールは、例えば、ウェブブラウザを介して、ウェブ会議サーバ２００からダウンロードするＡｃｔｉｖｅＸコンポーネントである。なお、ウェブ会議において自身の動画像を送信する場合は、ビデオデバイスである（ウェブカメラ等の）カメラ１０１を接続する。音声を送信する場合は、マイク１０２を接続し、相手の音声を視聴するためにはスピーカ１０３を接続する。マイク１０２およびスピーカ１０３はオーディオデバイスである。

また、図１においては各デバイスを別々の筐体として例示しているが、例えば１０１〜１０３が同じ筐体のハードに備えられているデバイスを用いてもよい。例えばカメラ機能とマイク機能や、マイク機能とスピーカ機能、および全ての機能を備えたデバイスである。また、クライアント端末１００に１０１〜１０３のデバイスが内蔵されている場合、これらの内蔵されているデバイスを用いて、画像、音声等を入力・出力するようにしてもよい。

また、本実施形態のウェブ会議システムは、クライアント端末１００に表示されている画面の画像を他のクライアント端末（１００Ｇ１、１００Ｇ２や１００Ｓ）の画面に表示する、画面共有（指定画像の表示の共有処理）を行うことができる。共有される画像は、クライアント端末１００で指定することが可能である。例えばユーザ操作により指定されたアプリケーションの画面のみを指定画像として共有することができる（アプリケーション共有）。また、クライアント端末１００に表示されているデスクトップ画面の指定を受け付けることで、当該デスクトップ画像全体を指定画像として共有することができる（デスクトップ共有）。また、クライアント端末１００を指定することで（または自装置のカメラで撮像した画像を全画面表示する操作を受け付けることで）、当該カメラで撮像した画像を指定画像として共有することができる（指定受付手段に該当）。

また、本ウェブ会議システムは、ルームと呼ばれる仮想の会議室をウェブ会議サーバ２００において複数生成、記憶、管理することができる。各クライアント端末１００を操作するユーザは、自身のユーザＩＤ・パスワードを用いて、ウェブブラウザ経由でウェブ会議サーバ２００にアクセスしてログインし、自身のユーザＩＤを用いて当該ルームに入室することで、当該ルームにおいて開催される会議に参加することができる。以上が図１の説明である。

以下、図２を用いて、本発明の実施形態における情報処理装置のハードウェア構成の一例について説明する。

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
であってもよい。また、例えばプロジェクタのような外部出力装置であってもよい。

また、２０５は入力コントローラで、キーボード（ＫＢ）２０９や不図示のマウス等のポインティングデバイス、タッチパネル、カメラ等からの入力を制御する。
であってもよい。また、例えばプロジェクタのような外部出力装置であってもよい。

２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２１０等の表示器（外部出力装置）への表示を制御する。なお、図２では、ＣＲＴ２１０と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイや、マルチタッチスクリーン等の他の表示器であってもよい。また、例えばプロジェクタのような外部出力装置であってもよい。

なおビデオコントローラ２０７は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。本実施形態においては、各クライアント端末１００は、クライアント端末１００を通常する場合の表示に用いられる第１のビデオメモリ領域と、所定の画面が表示される場合に、第１のビデオメモリ領域の表示内容に重ねて別の表示をするために用いられる第２のビデオメモリ領域を有している。ビデオメモリ領域は２つに限ったものではなく、情報処理装置の資源が許す限り複数有することが可能なものとする。

２１２は、音声入出力コントローラで、マイク／スピーカ２１３（図１における１０２及び１０３）からの入出力を制御する。マイクから入力された音声を音声認識することが可能となっている。スピーカにはイヤホンを接続することも可能である。

２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶するハードディスク（ＨＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示したネットワーク１５０（例：ＬＡＮ等））を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信や、ＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。等が可能である。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

また、外部メモリ２１１等の、情報を永続的に記憶するための記憶装置（記憶媒体）は、その形態をハードディスク等の記憶装置に限定するものではない。例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの媒体であってもよい。

本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。以上が図２の説明である。

次に図３を参照して、本発明の実施形態における、各種装置の機能構成の一例について説明する。

クライアント端末１００は、画像記憶部３１１、送信制御部３１２、通知受付部３１３、発話判定部３１４、表示制御部３１５等を備えている。

ウェブ会議サーバ２００は、会議情報記憶部３２１、受信制御部３２２、画像記憶部３２３、送信制御部３２４、画像特定部３２５、受信状況通知部３２６等を備えている。

会議情報記憶部３２１は、どのユーザが、どの会議室に入室してどのユーザと会議を行っているかを記憶する記憶部である。

送信制御部３１２は、カメラにおいて撮像され入力された画像（映像）や、ユーザ操作等により表示を共有する画像として決定された指定画像（デスクトップ全体または指定アプリケーションの画面の画像）を圧縮し、ウェブ会議サーバに送信制御する送信制御部である。送信された圧縮データ（圧縮画像）は、ウェブ会議サーバ２００の受信制御部３２２で受信され、メモリ上の画像記憶部３２３（キュー）に格納される。

画像記憶部３１１は、送信制御部３１２によって送信する画像と同じ画像を記憶する記憶部（キュー）である。カメラは継続的に撮像処理（動画の撮像及びクライアント端末１００への動画の入力）を行うため、キューには、動画を構成する複数の画像が、動画内のフレームごとに順々に記憶される。

受信制御部３２２は、クライアント端末１００の送信制御部３１２より送信された画像（映像）、および指定画像、音声を受信する受信部である。送信制御部３２４は、受信制御部３２２で受信した画像、音声等を、同じ会議に参加している（同じ会議室に入室中の）他のクライアント端末１００に受信させるべく送信する制御部である。

なお、本実施形態においては、各クライアント端末１００がウェブ会議サーバ２００に対して、画像記憶部３２３からの画像の取得要求を行うことで、当該要求に応じてウェブ会議サーバ２００の送信制御部３２４が要求元のクライアント端末１００に対して、当該要求受付時におけるキュー内の最新の画像を送信するものとする。クライアント端末１００は、要求した画像を受信した後、当該受信した画像（動画内の１フレーム）を表示画面に表示する。そして当該表示と並行して、当該動画内の次の画像をウェブ会議サーバ２００に要求する。会議が終了する等、動画の表示が終了するまで、当該画像の要求と表示を繰り返す。

送信制御部３２４は、どのフレームの画像をどのクライアント端末１００に送信したか（どの画像がどのクライアント端末から取得要求を受けた画像か）を外部メモリに記憶する。

画像特定部３２５は、ウェブ会議サーバ２００が各クライアント端末１００に送信した画像のうち、どの画像の識別情報を（どのクライアント端末１００に送信しタ画像のシーケンス番号を／どのクライアント端末１００が受信した画像のシーケンス番号を）通知先に通知するかを特定する特定部である。つまり、通知先に通知するフレーム（画像）を特定する。例えば、全てのクライアント端末１００が受信済みの画像（ウェブ会議サーバ２００が、送信元以外の全てのクライアント端末１００に送信済みの送信済み画像）を通知先に通知する画像として特定する。

受信状況通知部３２６は、画像特定部３２５で特定された画像の識別情報を、画像の受信状況を示す情報としてクライアント端末１００に通知する。例えば、指定画像の共有を行っている場合、共有元（画像共有のホスト端末）に当該画像の識別情報を送信する。通知受付部３１３は当該画像の識別情報の通知を受け付ける。

表示制御部３１５は、カメラから入力された画像（映像／動画）、および共有すべきデスクトップ全体または指定アプリケーションの画面データを表示画面に表示する制御部である。また、通知受付部３１３が画像の識別情報の通知を受け付けた場合に、当該通知を受け付けた識別情報の示す画像を、画像記憶部３１１（メモリ上のキュー）から取得して、連続して表示画面に表示させ、動画として再生する。

つまり、自装置の送信した画像のうち、他のクライアント端末１００に送信され受信された画像を、画像の受信状況を示す情報として表示画面に表示し、ユーザに通知する。

例えば上述したように、全てのクライアント端末１００に送信され受信されたフレームの画像を当該画像の送信元に通知して表示させることで、自装置から送信されている画像であって、ウェブ会議に参加している各クライアント端末１００のうち最も画像の取得頻度が少ない（例えば通信状況が悪く、最も動画の取得フレーム数が少ない）クライアント端末１００に表示されている画像を、表示画面上で確認することが可能となる。

発話判定部３１４は、マイクから入力された音声データを解析し、（例えばクライアント端末１００を操作しているユーザの）発言の有無を判定する判定部である。上述の説明においては、通知受付部３１３が通知を受け付けた場合に通知を受けた画像を表示するものとしたが、例えば、通知受付部３１３が通知を受け付け、且つ発話判定部３１４で発話がされた場合に、ユーザが各端末に表示されている画像に関する話をしようとしていると判断し、通知受付部３１３が通知を受けた識別情報の画像を表示画面に表示することができる。以上が図３の説明である。

＜第１の実施形態＞
次に図４を参照して、本発明の第１の実施形態における、画像送信処理の流れについて説明する。

クライアント端末１００のＣＰＵ２０１は、ウェブ会議サーバ２００の提供するウェブ会議サービスを享受するために、ブラウザソフト上におけるユーザ操作に応じて所定のＵＲＬにアクセスし、不図示のログイン画面を表示する。そして、当該ログイン画面においてユーザＩＤとパスワードの入力を受け付けて、「ログイン」ボタンの押下を受け付けることで、ウェブ会議サーバ２００へのログイン要求を送信する（ステップＳ４０１）。

ウェブ会議サーバ２００のＣＰＵ２０１は、当該ログイン要求を受け付け（ステップＳ４０２）、自装置の外部メモリに予め記憶されているユーザ情報（ユーザＩＤ及びパスワード／図８の８００に例示）と突き合わせて認証処理（ログイン処理）を行う。認証が成功した場合（受信したユーザＩＤを用いたウェブ会議サーバ２００へのログインが成功した場合）、不図示のメニュー画面の画面情報（例えばｈｔｍｌ情報）を生成して、クライアント端末１００に送信する（ステップＳ４０３）。

クライアント端末１００のＣＰＵ２０１は、当該画面情報を受信して、受信した画面情報に基づいて不図示のメニュー画面を表示画面に表示する（ステップＳ４０４）。クライアント端末１００のＣＰＵ２０１は、当該メニュー画面に含まれる不図示のルーム（ルームの識別情報）の選択部において、ログインユーザが入室するルームの選択操作を受け付け（ステップＳ４０５）、同画面に含まれる不図示の「入室」ボタンの押下を受け付けることで、選択中のルームへの入室要求をウェブ会議サーバ２００に送信する（ステップＳ４０６）。

クライアント端末１００のＣＰＵ２０１は、当該入室要求に、入室の操作を受け付けたクライアント端末１００でログイン中のログインユーザのユーザＩＤ、入室対象のルームの識別情報（ルームＩＤ）、クライアント端末１００の識別情報（例えばＩＰアドレス）、クライアント端末１００の端末種別、通信方法等の情報を含めて、当該要求をウェブ会議サーバ２００に送信する。端末種別とは、例えばクライアント端末１００自身が、ＰＣ（デスクトップＰＣ、ノートＰＣ）なのか携帯端末（例えばタブレットＰＣ、携帯電話等）なのかを識別するための情報である。自装置がＰＣであれば端末種別＝ｐｃの値を送信し、自装置が携帯端末であれば端末種別＝ｍｏｂｉｌｅの値を送信する。各クライアント端末１００は、自装置の端末種別の情報を、自装置の外部メモリ等の記憶領域に予め保持・記憶しており、その情報を取得して当該要求に埋め込むものとする。通信方法は、クライアント端末１００自身がどのような通信方法でウェブ会議サーバ２００と通信しているかを示す通信方法の識別情報である。例えば有線ＬＡＮを用いた通信であれば通信方法＝ｗｉｒｅ−ｌｉｎｅであり、無線通信であれば通信方法＝ｗｉｒｅｌｅｓｓである。クライアント端末１００のＣＰＵ２０１は、自装置の通信を管理している機能部（例えば通信／ＩＦコントローラ）に自装置が外部装置との通信に用いている通信方法を問い合わせて当該通信方法の情報を取得する。そして、入室要求の中に埋め込んで、ウェブ会議サーバ２００に送信する。

ウェブ会議サーバ２００のＣＰＵ２０１は当該入室要求を受け付けると（ステップＳ４０７）、要求されたルーム（会議室）にユーザを入室させる入室処理を実行する（ステップＳ４０８）。

ここでは、入室処理に際して、どのユーザが、どの会議室のどの会議に、どのような端末種別のどの端末で、どのような通信方法で通信をして入室しているかを登録・記憶する。

具体的には、図８の会議情報８１０の会議室８１１に入室するルームのルームＩＤを、参加者ＩＤ８１３に入室させるユーザのユーザＩＤを追加する。また、当該ルームに入室中のユーザがいなかった場合は（無人のルームに入室した場合は）、会議を識別する会議ＩＤを発行して会議ＩＤ８１２に挿入、記憶する。２人目以降の場合は、同ルームに入室中のユーザＩＤ（参加者）の参加している会議の会議ＩＤ（入室中のルームに対応する会議ＩＤ）を会議ＩＤ８１２に記憶するものとする。また、ステップＳ４０７で受け付けた入室要求に含まれていたクライアント端末１００の端末ＩＤを端末ＩＤ８１４に、端末種別を端末種別８１５に、通信方法を通信方法８１６に挿入して記憶する。

入室処理が完了すると、ウェブ会議サーバ２００のＣＰＵ２０１は、図１０に示すような、各クライアント端末１００のカメラにより撮像された会議画像を表示する会議画面の画面情報（例えばｈｔｍｌ情報）を、入室したユーザのユーザＩＤの送信元のクライアント端末１００に送信する（ステップＳ４０９）。

クライアント端末１００のＣＰＵ２０１は当該会議画面の画面情報を受信し、受信した画面情報に基づいて会議画面を表示する（ステップＳ４１０）。以降、会議が終了するまで（会議の終了についてはステップＳ４２４で後述）、ステップＳ４１１〜ステップＳ４２３の処理を実行・継続するものとする。

クライアント端末１００のＣＰＵ２０１は、自装置に接続されている（又は自装置に内蔵される）カメラ１０１からの画像（映像）の入力を受け付けて、カメラ１０１で撮像された画像（映像／会議画像）を取得し（ステップＳ４１１）、会議画面上に表示する（ステップＳ４１２）。例えば図１０の会議画面における、表示領域１００２に、自装置のカメラで撮像した画像を表示する。図１０において１００１は画像を大きく表示するメイン表示領域であり、１００２、１００３は画像を小さく表示するサブ表示領域である。

クライアント端末１００のＣＰＵ２０１は、カメラ１０１からの入力画像（映像）を会議画面に表示する一方で、映像コーデックによる画像（映像）の圧縮処理を行い、圧縮後の画像を、１フレームごとに、順々に自装置のメモリ上のキューに保存・記憶する（ステップＳ４１３）。

キューの一例を図８の画像キュー８２０に示す。画像キュー８２０は、各画像の識別番号（識別情報）であり、画像の順序を示すシーケンス番号８２１と、画像の実体（画像データ／映像の中の１フレームの画像）である画像８２２の項目から構成される。クライアント端末１００のＣＰＵ２０１は、カメラ１０１から取得した映像の各フレームの画像について、当該画像を取得した順にシーケンス番号を割り振って、画像キュー８２０に記憶する。

クライアント端末１００のＣＰＵ２０１は、画像キュー８２０に保存した画像を、ウェブ会議サーバ２００に、シーケンス番号と共に送信する（ステップＳ４１４）。つまり、画像キュー８２０に示す情報をウェブ会議サーバ２００に送信する。

ウェブ会議サーバ２００のＣＰＵ２０１は、当該画像（圧縮データ）を受信し（ステップＳ４１５）、自装置のメモリ上に保持している、当該画像の送信元のクライアント端末１００（端末ＩＤ８１４）でのログインユーザの画像キュー８３０に追加して記憶する（ステップＳ４１６）。ウェブ会議サーバ２００のＣＰＵ２０１は、ユーザの会議室への入室処理が行われた場合に、当該ユーザごとに（ユーザＩＤ８３１に入室したユーザのユーザＩＤを挿入した）画像キュー８３０を生成してメモリ上に保持する。画像キュー８３０のシーケンス番号８３２、画像８３３には、画像キュー８２０のシーケンス番号８２１、画像８２２と同じ情報を記憶する。

なお、送信済みユーザ８３４は、当該シーケンス番号８３２の示す画像８３３を送信した他のクライアント端末１００の端末ＩＤを格納する項目である。つまり、画像の送信状況を示す。送信済みユーザ８３４の記憶については後述する。

クライアント端末１００のＣＰＵ２０１は、ステップＳ４１７において、他の会議参加者の画像８３３（同じルームに入室している他の入室者のユーザＩＤをユーザＩＤ８３１に持つ画像キュー８３０の画像８３３）の取得要求をウェブ会議サーバ２００に送信する（ステップＳ４１７）。

ウェブ会議サーバ２００のＣＰＵ２０１は当該取得要求を受け付け（ステップＳ４１８）、要求元のクライアント端末１００（端末ＩＤ８１４）でのログインユーザ以外の、当該ログインユーザと同じルームに入室中のユーザのユーザＩＤを、会議情報８１０を参照して特定し、特定した他の入室者の画像８３３のうち最新のシーケンス番号（最も後ろの番号）の画像８３３を取得し（ステップＳ４１９）、取得した各クライアント端末１００のカメラで撮像された画像（会議画像）を、当該画像に対応するユーザＩＤと共に要求元のクライアント端末１００に送信する（ステップＳ４２０）。

また、当該クライアント端末１００に画像を送信した場合に、送信先のクライアント端末１００でログイン中のログインユーザのユーザＩＤを、送信した画像８３３に対応する送信済みユーザ８３４に記憶する（ステップＳ４２１）。つまり、どのユーザ（ユーザＩＤ８３１）のどの画像（シーケンス番号８３２の画像８３３）を、どのユーザ（送信済みユーザ８３４）に送信したかを記憶する。送信済みのユーザＩＤは送信済みユーザ８３４に、送信がされた順に書き込む。よって、最後に書き込まれたユーザ（例えば、シーケンス番号８３２＝２の画像におけるＵｓｅｒ００２、シーケンス番号８３２＝４の画像におけるＵｓｅｒ００３等）が、当該画像を最後に送信した送信先のユーザ（当該画像を最後に受信したユーザ／最後に当該画像の取得要求をした（受け付けた）クライアント端末のユーザ）である。

各フレームの画像の送受信のイメージを図９に示す。図９によれば、クライアント端末１００ＨからＵｓｅｒ００１が、クラアイント端末１００Ｇ１からＵｓｅｒ００２が、クラアイント端末１００Ｇ２からＵｓｅｒ００３が、クラアイント端末１００ＳからＵｓｅｒ００４が、ウェブ会議サーバ２００にログインしている。会議情報８１０に示すように、Ｕｓｅｒ００１、Ｕｓｅｒ００２、Ｕｓｅｒ００３、Ｕｓｅｒ００４は同じ会議室（ルーム）に入室し、同じ会議に参加しているものとする。図９は、クラアイント端末１００Ｈから送信された画像１〜５を、各クライアント端末１００がどの程度の頻度で受信しているか（どの番号の画像を受信できているか）を示す。

図９によれば、例えばクラアイント端末１００Ｓは、画像キュー８３０内の全ての画像を受信できている。これは通信が安定しており、適切な速度で画像を画像キュー８３０から取得（ダウンロード）して、自装置内で処理（伸張、表示）できているためと考えられる。一方クラアイント端末１００Ｇ１は、画像の取得頻度が少なく、そのため取得できている画像は２と５のみである。画像の取得頻度が少ない原因としては、端末自体の画像の伸張、表示をするための処理能力（ＣＰＵの性能やメモリ領域の大きさ）が他装置に比べて低いことや、通信速度が低いことが考えられる。処理能力は、例えば大型のデスクトップＰＣと小型の携帯端末等によって差がある。また、通信速度は例えば有線通信や無線通信といった通信方法によって左右されることがある。このように、クライアント端末ごとに能力や通信方法（通信状況）が異なることがあるため、あるユーザには見えている画像（あるクライアント端末１００においては受信できている画像）が、あるユーザには見えていない（あるクライアント端末１００においては受信できていない）という状況が生じうる。例えば図９でいう画像１、３、４がそうである。

ウェブ会議に参加しているユーザにとって、どの画像が受信者に見えているかを確認したいことが多々ある。例えば自身の身振り手振りがリアルタイムに相手に伝わっているのか、時間差を以って相手に伝わっているのか（そもそも動画が中抜けして、ジェスチャーが伝わっていないのか）等を確認しながら発言をしたい場合である。

例えば、図１０には、Ｕｓｅｒ００１のクライアント端末１００で表示している会議画面１０００と、Ｕｓｅｒ００２のクライアント端末１００で表示している会議画面１０１０とがあるが、会議画面１０００ではＵｓｅｒ００１が手を挙げている画像がカメラにより撮像され１００２にリアルタイムに表示されているのに対し、会議画面１０１０では１０１１に示すように、Ｕｓｅｒ００１が手を挙げた画像はまだ表示されていない。これでは、Ｕｓｅｒ００１が手を挙げて何かを指差し「これがＸだ」と発言したとしても、Ｕｓｅｒ００２にはＵｓｅｒ００１の言う「これ」が何なのか伝わらない。２秒後になって、やっと１００２と１０１１の表示の同期が取れているが、Ｕｓｅｒ００１はこの表示の同期がされるまでの間、指をさして「これ」と発言しているのにＵｓｅｒ００２に「これ」が何か伝わらないのが何故なのか確認することができない。つまり、画像の表示が遅延しているのか分からないため、自身の身振り手振りが通じているのかが分からない。

本発明の実施形態においては、例えば当該ジェスチャーの伝達が一番遅いユーザ、つまり、画像の伝達が遅いユーザを特定して、当該画像の伝達が遅いユーザの端末の画面に表示されている画像（映像）を、所定のユーザ（例えば当該画像の送信元）に通知し、どの画像が受信者に見えているかをユーザに確認させることができる。その具体的方法の一例については、図５の説明で後述する。

図４の説明に戻る。クライアント端末１００のＣＰＵ２０１は、ステップＳ４２０で送信された画像（圧縮データ）を受信し（ステップＳ４２２）、映像コーデックによる伸長処理を行って映像（画像）を復元して、表示中の会議画面に表示する（ステップＳ４２３）。例えば図１０の１０００においてはメイン表示領域１００１にＵｓｅｒ００２の画像（映像）、１００２、１００３等のサブ表示領域にＵｓｅｒ００３、Ｕｓｅｒ００４の画像（映像）が割り当てられている。どの表示領域にどのユーザの画像を表示するかの対応付け情報（表示領域のＩＤとユーザＩＤを対応付けた情報）は、クライアント端末１００のメモリに記憶されているものとする。クライアント端末１００のＣＰＵ２０１は、受信した画像を、それぞれの画像のユーザに対応する表示領域に表示することで、各ユーザの画像（会議画像）の表示を更新し、動画像（映像）として再生・表示する。

クライアント端末１００のＣＰＵ２０１は、会議が終了したか判定する（ステップＳ４２４）。例えば、クライアント端末１００において、不図示の「退出ボタン」の押下操作を受け付けた場合に、ログインユーザにとっての会議終了がされたと判定するものとする。また、ルーム使用の終了時刻がウェブ会議サーバに記憶されている場合、当該終了時刻になるとウェブ会議サーバ２００のＣＰＵ２０１はウェブ会議を強制終了し、当該強制終了した旨を強制終了した会議に参加していたユーザのクライアント端末１００に通知する。各クライアント端末１００のＣＰＵ２０１は、当該強制終了の通知を受け付けた場合に、会議が終了したものと判定する。ウェブ会議が終了した場合には図４の処理を終了し、継続中の場合には処理をステップＳ４１１に移行する。

ウェブ会議を行う場合、実際には、複数のクライアント端末１００が存在する場合があるため、ウェブ会議サーバ２００のＣＰＵ２０１は、ステップＳ４０２〜Ｓ４０９をウェブ会議サーバ２００にログインしたクライアント端末１００の数だけ実行することとなる。また、ステップＳ４１５〜Ｓ４２１の処理を、ウェブ会議に参加（ルームに入室）したユーザのクライアント端末１００の数だけ実行することとなる。以上が図４の説明である。

次に図５を参照して、本発明の第１の実施形態における、受信状況の通知処理の流れについて説明する。

本実施形態においては、ウェブ会議サーバ２００のＣＰＵ２０１は、ステップＳ５０１〜Ｓ５０５の処理を、各ユーザ（ユーザＩＤ８３１）の画像キュー８３０ごとに、当該画像キュー８３０に格納された各シーケンス番号８３２に対して実行するものとする。

ウェブ会議サーバ２００のＣＰＵ２０１は、画像キュー８３０から未処理のシーケンス番号８３２を特定する（ステップＳ５０１）。ウェブ会議サーバ２００のＣＰＵ２０１は、送信済みユーザ８３４を参照し、当該シーケンス番号８３２の示す画像８３３が、送信元のユーザ（ユーザＩＤ８３１のユーザ）を除く、当該送信元のユーザと同じ会議に参加している他のユーザ（図８の８１１、８１２、８１３から特定）全員に送信済みの画像か判定する（ステップＳ５０２）。

全員に送信済みでないと判定した場合には、処理をステップＳ５０５に移行する。全員に送信済みであると判定した場合には、処理をステップＳ５０３に移行し、当該シーケンス番号８３２の画像８３３の送信元のユーザ（ユーザＩＤ）を特定し、当該ユーザＩＤでログインし、ウェブ会議サーバ２００と通信している当該画像の送信元のクライアント端末１００（図８の端末ＩＤ８１４）を、会議情報８１０の参加者ＩＤ８１３と端末ＩＤ８１４を参照して、当該画像の受信状況の通知先として特定する（ステップＳ５０３）。

ウェブ会議サーバ２００のＣＰＵ２０１は、ステップＳ５０３で特定した通知先のクライアント端末１００に対して、画像の受信状況の通知として、ステップＳ５０２で会議参加者全員に送信された（全員が受信している）と判定された画像８３３（送信済み画像）のシーケンス番号８３２、当該画像を最後に受信したユーザのユーザＩＤを通知（送信）する（ステップＳ５０４）。

送信済み画像は、他のクライアント端末が受信済みの受信済み画像ともいう。全てのクライアント端末１００に送信済みであるということは、当該送信済み画像が、例えば、同じ会議に参加しているユーザのクライアント端末１００のうち最も画像の取得頻度が少ない（通信環境が悪いような）クライアント端末１００でも受信・取得・表示できているということである。つまり、送信済み画像とは、送信側の端末と同じ会議の中において最も画像の取得頻度が少ないクライアント端末１００において表示されている、時間当たりのフレーム数（コマ数）の少ない動画像である。よって、当該送信済み画像を送信元のクライアント端末１００に通知することで、クライアント端末１００を操作するユーザに、ユーザ自身の操作するクライアント端末１００から送信された画像の受信状況（特に、最も受信・表示が遅れている端末における当該画像の受信状況）を容易に確認させることができる。

例えば画像を送信しているクライアント端末１００Ｈと同じ会議に参加している全クライアント端末１００（例えば図１でいうクライアント端末１００Ｇ１、クライアント端末１００Ｇ２、クライアント端末１００Ｓ）が、クライアント端末１００Ｈから送信された画像（画像キュー８３０に保存されている画像）を、図９に示すクライアント端末１００Ｓのように、中抜けすることなく継続して取得要求し、受信し、表示可能な場合は（ウェブ会議サーバ２００が、画像キュー８３０の全ての画像を、全てのクライアント端末１００に対して継続して送信している場合は）、クライアント端末１００Ｈの会議画面１０００の表示領域１００１に表示中のリアルタイムの画像（フレーム）と同じ（フレームの）画像が、継続して、当該送信済み画像として特定される（ステップＳ５０２でＹＥＳ）。しかし、画像の取得の頻度が少ない端末（ウェブ会議サーバ２００との通信状況等により画像の取得速度が十分に確保できない端末／例えば図９のクライアント端末１００Ｇ１、クライアント端末１００Ｇ２等）が会議に参加中の場合は、当該送信済み画像として、クライアント端末１００Ｈの会議画面１０００の表示領域１００１に表示中のリアルタイムの画像（フレーム）よりも前のフレームの画像が特定される。画像の取得頻度が少ないと、送信側の端末に表示されているリアルタイムの画像よりも荒い動画が表示されることとなる。つまり、送信元を除く他のクライアント端末１００において、リアルタイム画像に比べて遅れて表示される遅延画像（遅延動画）が表示されることとなる。

ステップＳ５０６において、クライアント端末１００のＣＰＵ２０１は、ステップＳ５０４で送信されたシーケンス番号、ユーザＩＤを受信し（ステップＳ５０６／シーケンス番号、ユーザＩＤの通知を受け付け）、メモリに蓄積して記憶する（ステップＳ５０７）。

当該シーケンス番号の示す画像を、画像キュー８２０から取得して表示画面に表示（例えば、図１０の１００３に表示）することで、クライアント端末１００を操作してログインし会議に参加中のユーザに、自身の端末のカメラから取得して送信している会議画像が、受信が最も遅い（頻度が少ない）他の端末にどのように表示されているかを容易に確認させることができる。

つまり、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することができる。

本実施形態においては、クライアント端末１００のＣＰＵ２０１はさらに、マイク１０２から入力された音声の有無に基づいて発話がされたか判定し（ステップＳ５０８）、発話ありと判定された場合に、前記メモリに蓄積して記憶された画像のシーケンス番号（全ての会議参加者に送信された画像のシーケンス番号）のうち、最新の番号、ユーザＩＤを取得して（ステップＳ５０９）、当該シーケンス番号の示す画像８２２（圧縮データ）を画像キュー８２０から検索して取得する（ステップＳ５１０）。そして、当該画像８２２を映像コーデックによる伸長処理を行って映像を復元し、会議画面上に表示する。例えば、図１０の１０００に示すように、自装置で撮像して表示している画像（表示領域１００２に表示）と、ステップＳ５１０で取得した画像（表示領域１００３に表示）とを並べて表示（比較表示）することで、カメラから取得した最新の映像（リアルタイムの映像／画像）と、受信側のクライアント端末１００に送信され、受信・表示されている映像（遅延映像／画像）を比較して確認させることが可能となる。また、１００３に示すように、ステップＳ５１０で取得した画像を表示する表示領域の枠を強調表示（識別表示）したり、１０００における「Ｕｓｅｒ００１（Ｕｓｅｒ００２）」の表示に示すように、どのユーザ（Ｕｓｅｒ００１）の画像でどのユーザ（Ｕｓｅｒ００２）が受信している画像かを識別表示することで、１００２と１００３のどちらがリアルタイム画像で、どちらが送信済み画像かを容易に確認させることができる。また、どのユーザが１００３に表示している送信済み画像を見ているかを容易に確認させることができる。

ウェブ会議サーバ２００のＣＰＵ２０１は、ステップＳ５０５において、ステップＳ５０１〜Ｓ５０４の処理を終了するか判定する（ステップＳ５０５）。例えば、会議が終了した場合、ステップＳ５０１〜Ｓ５０４の処理を終了すると判定する。会議の終了については、ステップＳ４２４で前述した通りである。処理を終了しない場合は、ステップＳ５０１に移行し、処理済の最新画像の次のシーケンス番号の画像を取得して、ステップＳ５０２以降の処理を実行する。

また、ウェブ会議サーバ２００が、図１０の１０００に示すように、会議画面上に、１００２に示す送信済み画像の表示の「ＯＮ／ＯＦＦ」ボタン１００４を含む会議画面の画面情報を生成してクライアント端末１００に送信して表示させ、当該「ＯＮ／ＯＦＦ」ボタン１００４の押下に応じて、当該「ＯＮ／ＯＦＦ」ボタン１００４が押下されたクライアント端末１００のユーザに関する（ユーザＩＤ８３１を用いた）ステップＳ５０１〜Ｓ５０５の実行開始と終了を切替えてもよい。具体的には、クライアント端末１００が当該「ＯＮ／ＯＦＦ」ボタン１００４の押下を受け付けることで、当該ボタンの押下を受け付けた旨をウェブ会議サーバ２００に通知する。通知にはログインユーザのユーザＩＤを埋め込む。ウェブ会議サーバ２００は当該通知を受け付ける。当該ユーザからの当該通知の受付が会議開始後初めての場合は、自装置の外部メモリ上に、当該ユーザ（通知に含まれるユーザＩＤ）と、送信済み画像の表示フラグ＝ＯＮの値を設定したＯＮ／ＯＦＦテーブルを生成して記憶し、当該ユーザＩＤをユーザＩＤ８３１に持つ画像キュー８３０のシーケンス番号を対象に、ステップＳ５０１〜Ｓ５０５の処理を実行する。また、次に当該「ＯＮ／ＯＦＦ」ボタン１００４の押下の通知を受け付けた場合には、通知に含まれるユーザのＯＮ／ＯＦＦテーブルを参照し、送信済み画像の表示フラグ＝ＯＮの場合はＯＦＦに、ＯＦＦの場合にはＯＮにフラグを変更する。ステップＳ５０５では、当該送信済み画像の表示フラグを参照し、ＯＮの場合は終了と判定せず（ステップＳ５０５でＮＯ）、ＯＦＦの場合には処理を終了すると判定する（ステップＳ５０５でＹＥＳ）。

これにより、送信済み画像の表示・非表示を、ログインユーザごとに、クライアント端末１００からの操作に応じて容易に切替えて、電子会議における画像の受信状況を容易に確認させることができる。

以上が図５の説明である。

以上説明したように、本発明によれば、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することができる。

なお、上述した第１の実施形態によれば、ステップＳ５０１〜Ｓ５０５の処理は各ユーザ（ユーザＩＤ８３１）の画像キュー８３０ごとに、当該画像キュー８３０に格納された各シーケンス番号８３２に対して実行されるものとしたが、例えば特定のユーザ（例えばＵｓｅｒ００１）の画像キュー８３０のみを対象とし、当該画像キュー８３０に格納された各シーケンス番号８３２に対してステップＳ５０１〜Ｓ５０５の処理を実行するものとしてもよい。つまり、Ｕｓｅｒ００１の画面には図１０でいう１００３に示す送信済み画像が通知され、表示されるが、Ｕｓｅｒ００２〜Ｕｓｅｒ００４については図５の処理を行わないため、図１０でいう１００３に示す送信済み画像の通知は行われず、表示もされない。

送信済み画像の特定、通知及び表示を特定のユーザのみに限定して実行することで、全てのユーザについて送信済み画像の特定、通知及び表示を行うのに比べてウェブ会議サーバ２００の処理負荷を軽減することができる。

当該特定のユーザのユーザＩＤは、予めウェブ会議サーバ２００の外部メモリに記憶されているものとする。

また、ウェブ会議システムにおいては、クライアント端末１００が自装置のマイク１０２から音声を取得した場合に（ユーザが発話していると判定した場合に）、取得した当該音声データをウェブ会議サーバ２００に送信し、これを受信して記憶したウェブ会議サーバ２００が当該音声を他のクライアント端末１００に配信して音声によるコミュニケーションを可能とする。

特に、発話して何かを伝えようとしているユーザが、自身の画像の受信状況を確認したいと考えられるため、例えば、ウェブ会議サーバ２００が当該音声データの受信状況を監視し、音声データを受信中（発話中）のユーザを上述した特定のユーザ（送信済み画像を特定、通知、表示させるユーザ）として、ステップＳ５０１の前に特定して、当該特定した特定のユーザの画像キュー８３０のみを対象とし、当該画像キュー８３０に格納された各シーケンス番号８３２に対してステップＳ５０１〜Ｓ５０５の処理を実行するものとしてもよい。つまり、発話中のユーザのクライアント端末１００に対して、当該発話中のユーザのクライアント端末１００から送信された画像のうち、同会議に参加中の他の全クライアント端末に送信済みの画像のシーケンス番号を特定し、当該発話中のユーザのクライアント端末１００に通知して、表示させるようにしてもよい。

以上が本発明の第１の実施形態の説明である。

＜第２の実施形態＞

次に図６を参照して、本発明の第２の実施形態における、指定画像送信処理の流れについて説明する。なお、上述した第１の実施形態等と共通する処理については記載を省略する。

第２の実施形態では、図１１及び図１２に示すように、指定された画像を（例えば全画面表示で）共有するに際して、所定のユーザ（例えば指定画像の共有元）に通知し、どのような指定画像（動画／映像）が受信者に見えているかを当該ユーザに確認させる方法について説明する。

クライアント端末１００ＨのＣＰＵ２０１は、指定画像の共有指示を受け付ける（ステップＳ６０１）。例えば図１０の会議画面における「全画面」ボタンの押下を受け付けた場合に、当該「全画面」ボタンの押下を受け付けたクライアント端末１００Ｈのカメラ１０２で撮像された、ウェブ会議サーバ２００に送信中の会議画像を指定画像として決定し、指定画像の共有指示を受け付けたものと判定する。また、例えば図１０の会議画面における「画面共有」ボタンの押下を受け付けることでクライアント端末１００Ｈが表示する不図示の指定画像選択画面（表示を共有する対象としてクライアント端末１００Ｈのデスクトップ画面の選択可能な選択部と、クライアント端末１００Ｈで起動中のアプリケーションの中から画面の表示を共有するアプリケーションの選択を受け付ける選択部（アプリケーションの一覧）を備える選択画面）において、画面の表示を共有するアプリケーション又はデスクトップの選択を受け付けた場合に、選択された画面の画像を指定画像とすることを決定し、指定画像の共有指示を受け付けたものと判定する。

本実施形態において、指定画像の共有元（送信元）のクライアント端末１００はホスト端末であり、共有先（送信先）のクライアント端末１００はゲスト端末であるものとする。

クライアント端末１００ＨのＣＰＵ２０１は、当該指定画像を自装置の記憶部（メモリ）から取得し（ステップＳ６０２）、図１１の１１１０に示すように全画面表示する（ステップＳ６０３）。図１１は、図１０の「全画面」ボタンが押下された場合に実行される、指定画像（ホスト端末のカメラ画像（会議画像））を全画面表示する画面の構成の一例を示す図である。

また、取得した指定画像を、シーケンス番号と対応付けて指定画像用の画像キュー（クライアント端末１００Ｈのメモリ上に生成）に記憶し（ステップ６０４）、ウェブ会議サーバ２００に送信する（ステップＳ６０５）。なお、ここでいう画像キューの構成は図８の８２０と同一であるものとする。つまり、指定画像と、指定画像のシーケンス番号とを対応付けて記憶した情報である。合わせて、クライアント端末１００Ｈでログイン中のユーザＩＤをウェブ会議サーバ２００に送信する。

ウェブ会議サーバ２００のＣＰＵ２０１は、当該指定画像を受信する（ステップＳ６０６）。ウェブ会議サーバ２００のＣＰＵ２０１は、指定画像の共有を開始する旨を、クライアント端末１００Ｈのユーザ（ここではＵｓｅｒ００１）と同じ会議に参加中のユーザ（Ｕｓｅｒ００２、Ｕｓｅｒ００３、Ｕｓｅｒ００４）がユーザＩＤを入力してログインに用いた他のクライアント端末１００（１００Ｇ１、１００Ｇ２、１００Ｓ）に送信する（ステップＳ６０７）。ここでは一例としてクライアント端末１００Ｇ１を例にあげて説明する。なお、既に指定画像の共有中の場合は、ステップＳ６０７の処理はスキップし、ステップＳ６０８に移行する。

ウェブ会議サーバ２００のＣＰＵ２０１は、指定画像を自装置のメモリ上に指定画像用の画像キュー（構成は図８の８３０と同じ）を生成して記憶する。具体的には、クライアント端末１００ＨのユーザのユーザＩＤと、フレームごとの指定画像と、各指定画像のシーケンス番号と、当該指定画像を送信済みの送信済みユーザを記憶する（ステップＳ６０８）。

クライアント端末１００Ｇ１のＣＰＵ２０１は、指定画像の共有開始の通知を受け付けると（ステップＳ６０９）、指定画像をウェブ会議サーバ上の画像キューから取得すべく、当該指定画像の取得要求をウェブ会議サーバ２００に送信する（ステップＳ６１０）。

ウェブ会議サーバ２００のＣＰＵ２０１は当該指定画像の取得要求を受け付け（ステップＳ６１１）、指定画像用の画像キューの中に記憶されている、最新のシーケンス番号（最も後ろの番号）の指定画像を取得し（ステップＳ６１２）、当該指定画像を要求元のクライアント端末１００Ｇ１に送信する（ステップＳ６１３）。そして、

また、当該クライアント端末１００Ｇ１に指定画像を送信した場合に、送信先のクライアント端末１００Ｇ１でログイン中のログインユーザのユーザＩＤ（例えばＵｓｅｒ００２）を、送信した指定画像に対応する送信済みユーザの項に挿入して記憶する（ステップＳ６１４）。つまり、どのシーケンス番号のどの指定画像を、どのユーザに送信したかを記憶する。送信済みのユーザＩＤは送信がされた順に送信済みユーザの項に書き込み、記憶する。よって、送信済みユーザの項に最後に書き込まれたユーザが、当該指定画像を最後に送信した送信先のユーザ（当該指定画像を最後に受信したユーザ／最後に当該指定画像の取得要求をした（受け付けた）クライアント端末のユーザ）である。

クライアント端末１００Ｇ１のＣＰＵ２０１は、ステップＳ６１３で送信された指定画像を受信し（ステップＳ６１５）、図１１の１１２０に示すように全画面表示する。他のクライアント端末１００（１００Ｇ２、１００Ｓ）も同様に、指定画像の取得要求を行い、当該指定画像を受信して図１１の１１３０、１１４０に示すように全画面表示する（ステップＳ６１６）。

クライアント端末１００ＨのＣＰＵ２０１は、ステップＳ６１７において、指定画像の共有を終了する操作を受け付けたか判定する（ステップＳ６１７）。例えば図１１の１１１０における「×」ボタンの押下を受け付けた場合に、指定画像の共有を終了する操作を受け付けたと判定し、指定画像の共有の終了をウェブ会議サーバ２００に通知して、図５の処理を終了する。ウェブ会議サーバ２００のＣＰＵ２０１は当該終了の通知を受け付け、当該終了の通知を他のクライアント端末１００にも通知し、通知を受け付けた他のクライアント端末１００のＣＰＵ２０１は、指定画像の全画面表示を終了して、図１０に示すような会議画面を表示画面に表示する。指定画像の共有を終了する操作を受け付けていない場合は、処理をステップＳ６０２に移行し、指定画像の共有を継続する。以上が図６の説明である。

次に図７を参照して、本発明の第２の実施形態における、指定画像の受信状況の通知処理の流れについて説明する。

ウェブ会議サーバ２００のＣＰＵ２０１は、ステップＳ７０１〜Ｓ７０５の処理を、指定画像の共有の開始から終了まで繰り返し実行する。

ウェブ会議サーバ２００のＣＰＵ２０１は、指定画像の共有が開始されたか判定する（ステップＳ７００）。例えば、クライアント端末１００との間で指定画像の送受信が行われていない状態において、クライアント端末１００から指定画像を受信した場合に、指定画像の共有が開始されたと判定する。指定画像の共有が開始された場合には処理をステップＳ７０１に移行し、開始されていない場合には図７の処理を終了する。

ウェブ会議サーバ２００のＣＰＵ２０１は、自装置のメモリに記憶されている指定画像用の画像キューから未処理の画像を１つ取得し（ステップＳ７０１）、当該指定画像が、当該指定画像を送信している送信元のユーザが参加中の会議において、他のユーザ全員に送信された（全員が受信した／取得しにきた）指定画像か、送信済みユーザの項の値を参照して判定する（ステップＳ７０２）。全員に送信済みで無い場合、処理をステップＳ７０５に移行する。全員に送信済みの場合は、処理をステップＳ７０３に移行する。

ウェブ会議サーバ２００のＣＰＵ２０１は、指定画像の送信元（ホスト端末であるクライアント端末１００Ｈ）を、当該指定画像の受信状況（全員が受信した指定画像のシーケンス番号）の通知先として特定し（ステップＳ７０３）、参加者全員に送信された指定画像（送信済み画像）のシーケンス番号と、当該指定画像が最後に送信されたユーザのユーザＩＤとを、指定画像の受信状況を示す情報として、当該特定した通知先に通知する（ステップＳ７０４）。

クライアント端末１００ＨのＣＰＵ２０１は、当該シーケンス番号とユーザＩＤを受信し（ステップＳ７０６）、メモリ上に記憶する（ステップＳ７０７）。

クライアント端末１００ＨのＣＰＵ２０１は、当該シーケンス番号の示す指定画像を、自装置内の指定画像用の画像キューから取得して表示画面に表示（例えば、図１１の１１１１に表示）することで、クライアント端末１００Ｈを操作してログインし会議に参加中のユーザに、自身の端末から送信している指定画像が、受信が最も遅い（頻度が少ない）他の端末にどのように表示されているかを容易に確認させることができる。

つまり、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することができる。

本実施形態においては、クライアント端末１００ＨのＣＰＵ２０１はさらに、マイク１０２から入力された音声の有無に基づいて発話がされたか判定し（ステップＳ７０８）、発話ありと判定された場合に、前記メモリに蓄積して記憶された画像のシーケンス番号（全ての会議参加者に送信された指定画像のシーケンス番号）のうち、最新の番号、ユーザＩＤを取得して（ステップＳ７０９）、当該シーケンス番号の示す画像を画像キューから検索して取得する（ステップＳ７１０）。そして、当該指定画像を、図１１の１１１１に示すように画面上に表示するものとする。例えば、図１１の１１１０に示すように、自装置で表示している画像（全画面表示している画像）と、ステップＳ７１０で取得した画像（表示領域１１１１に表示）とを合わせて表示（比較表示）することで、最新の映像（リアルタイムの指定画像）と、受信側のクライアント端末１００Ｇ１に送信され、受信・表示されている映像（遅延映像）を比較して確認させることが可能となる。また、１１１０に示すＵｓｅｒ００１（Ｕｓｅｒ００２）の表示のように、どのユーザ（Ｕｓｅｒ００１）の端末から送信された指定画像で、どのユーザ（Ｕｓｅｒ００２）が受信している画像かを識別表示することで、どのユーザが送信済み画像（全てのクライアント端末１００が受信している画像＝最も画像の取得速度が遅い端末が受信できている、リアルタイムの画像に比べて前のフレームの画像である可能性が高い画像）を見ているのかを容易に確認させることができる。

ウェブ会議サーバ２００のＣＰＵ２０１は、ステップＳ７０５において、ステップＳ７０１〜Ｓ７０４の処理を終了するか判定する（ステップＳ７０５）。例えば、指定画像の共有が終了した場合、ステップＳ７０１〜Ｓ７０４の処理を終了すると判定する。指定画像の共有の終了については、ステップＳ６１７の説明で前述した通りである。処理を終了しない場合は、ステップＳ７０１に移行し、処理済の最新画像の次のシーケンス番号の画像を取得して、ステップＳ７０２以降の処理を実行する。以上が図７の説明である。

なお、上述した実施形態においては、図１１の指定画像の共有画面を例にあげて説明したが、図１２に示す画面も、指定画像の共有画面の１つである。図１２は、図１０の「画面共有」ボタンが押下され、デスクトップ画面の表示を共有する指示を受け付けた場合に実行される、指定画像（ホスト端末のデスクトップ画像）を全画面表示する画面の構成の一例を示す図である。図１２において、１２００はＵｓｅｒ００１のクライアント端末１００Ｈ（ホスト端末）に表示されている画面であり、１２１０はＵｓｅｒ００２のクライアント端末１００Ｇ１（ゲスト端末の１つ）に表示されている画面である。

当該デスクトップ画面の画像（指定画像）の共有は、例えば図６のステップＳ６０２で、ウェブ会議サーバ２００のＣＰＵ２０１が自装置に表示しているデスクトップ画面の画像を指定画像として決定して取得し、ステップＳ６０４で画像キューに保存して、ウェブ会議サーバ２００に当該デスクトップ画面の画像を送信し（ステップＳ６０５）、ウェブ会議サーバ２００がこれを受信してステップＳ６０６〜Ｓ６１１の処理を実行。ステップＳ６１２で画像キューから最新のシーケンス番号の当該デスクトップ画像（指定画像）を取得して、同会議に参加中の他のクライアント端末１００（ゲスト端末／例えばクライアント端末１００Ｇ１）に送信し（ステップＳ６１３）、これを受信したゲスト端末が、受信したデスクトップ画面の画像を図１２の１２１０に示すように全画面表示することで行われる。ウェブ会議サーバ２００のＣＰＵ２０１は、ステップＳ６１４でどのシーケンス番号のどのデスクトップ画像（指定画像）をどのユーザに送信したかを記憶するものとする。

図１２によれば、ホスト端末側のデスクトップ画面では、ウインドウ１２０２の他に、新たなウインドウ１２０３を開いて表示しているが、ゲスト端末側ではまだウインドウ１２０３を含むデスクトップ画面の画像（指定画像）が受信されておらず、まだウインドウ１２０３が表示されていない。つまり、ゲスト端末には遅延画像が表示されている状態である。指定画像のうち、送信済み画像をクライアント端末１００Ｈに通知することにより、クライアント端末１００Ｈが表示領域１２０１に当該送信済み画像（ここでは１２１０に表示中の画像）を表示するため、Ｕｓｅｒ００１は、クライアント端末１００Ｈに全画面表示中の画像に比べ、当該画像の表示が遅れているクライアント端末１００があることを確認できる。また、図１２に示すように、表示領域１２０１と合わせて「Ｕｓｅｒ００１（Ｕｓｅｒ００２）」と表示することで、Ｕｓｅｒ００２のクライアント端末１００Ｇ１で表示領域１２０１に表示されているように指定画像の共有・表示が遅れていることを確認できる。

以上説明したように、本発明の第２の実施形態によれば、指定された画像を共有するに際して、所定のユーザに、どのような指定画像が受信者に見えているかを確認させることができる。

つまり、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することができる。

＜第３の実施形態＞
次に図１３〜図１６を参照して、本発明の第３の実施形態について説明する。第１の実施形態、第２の実施形態と共通する処理については説明を割愛する。

第３の実施形態においては、話者（例えばプレゼンテータ、講師等）に、電子会議における画像の受信状況を容易に確認させることができる仕組みを提供することを目的とする。

クライアント端末１００ＨのＣＰＵ２０１は、ステップＳ６０１の処理実行後、処理をステップＳ１３０１に移行し、図１５の１５１０に示す話者選択画面を表示画面に表示する（ステップＳ１３０１）。具体的には、クライアント端末１００ＨのＣＰＵ２０１がウェブ会議サーバ２００に話者選択画面１５１０を要求し、ウェブ会議サーバ２００が要求に応じて話者選択画面１５１０の画面情報を生成してクライアント端末１００Ｈに送信し、クライアント端末１００Ｈが受信した画面情報に基づいて当該話者選択画面１５１０を表示する。話者選択画面１５１０は、チェックボックス１５１１と話者選択受付部１５１２、「ＯＫ」ボタン等を備える。話者選択受付部１５１２は、話者の選択（指定）を受け付ける受付部である。話者選択受付部１５１２には、会議に参加中のユーザＩＤの一覧が埋め込まれて、選択可能に表示されている。チェックボックス１５１１は、話者選択受付部１５１２で選択を受け付けたユーザに送信済み画像を表示させるか否かを選択させるための選択受付部である。

クライアント端末１００ＨのＣＰＵ２０１は、話者選択受付部１５１２で話者の選択を受け付け、「ＯＫ」ボタンの押下を受け付けると（ステップＳ１３０２／話者指定受付手段に該当）、話者選択受付部１５１２で選択されたユーザＩＤを話者指定されたユーザＩＤとして、ウェブ会議サーバ２００に送信する（ステップＳ１３０３）。

ウェブ会議サーバ２００のＣＰＵ２０１は、当該ユーザＩＤを受信して、自装置のメモリ上に話者情報１４００（図１４）を生成して、当該ユーザＩＤのユーザを話者として記憶する（ステップＳ１３０４）。話者情報１４００は、どの会議室８１１のどの会議（会議ＩＤ８１２）に参加しているどのユーザ（参加者ＩＤ８１３）が話者として指定されたかを記憶するテーブルである。会議室８１１、会議ＩＤにはＵｓｅｒ００１（クライアント端末１００Ｈでウェブ会議サーバにログイン中のユーザ）が入室している会議室、会議ＩＤを記憶する。参加者ＩＤ８１３には、会議室８１１に入室中（会議ＩＤ８１２の会議に参加中）のユーザを記憶する。話者フラグ１４０１には、話者情報１４００には全てのユーザに対応付けて０の値（話者ではないことを示す値）を記憶する。ウェブ会議サーバ２００のＣＰＵ２０１は、ステップＳ１３０４で話者として選択されたと通知されたユーザＩＤ（参加者ＩＤ８１３）に対応する話者フラグ１４０１を１の値（話者であることを示す値）に変更して更新する。そして処理をステップＳ６０６に移行する。

その後、ウェブ会議サーバ２００のＣＰＵ２０１は、ステップＳ７０２において参加者全員が受信した画像であると判定した後、処理をステップＳ１３０５に移行して、話者が選択（指定）されているか判定する（ステップＳ１３０５）。具体的には、話者情報１４００の話者フラグ１４０１を参照し、話者フラグ１４０１＝１のユーザがいない場合には、話者が選択されていないと判定する。話者が選択されていない場合には、処理を図７のステップＳ７０３に移行し、ステップＳ７０３以降の処理を実行する。話者フラグ１４０１＝１のユーザがいる場合には、話者が選択されていると判定する。そして、話者フラグ１４０１＝１のユーザである話者（話者のクライアント端末１００）を、送信済み画像の通知先として特定し、話者のユーザＩＤ及び話者のクライアント端末１００の端末ＩＤをメモリに記憶する。ここでは話者＝Ｕｓｅｒ００４、話者のクライアント端末＝クライアント端末１００Ｓであるものとする。

ウェブ会議サーバ２００のＣＰＵ２０１は処理をステップＳ１３０７に移行し、当該通知先である話者（話者のクライアント端末１００Ｓ）に対して、送信済み画像と、当該送信済み画像が最後に送信されたユーザのユーザＩＤを、送信済み画像の受信状況を示す情報として通知する。通知を受け付けたクライアント端末１００ＳのＣＰＵ２０１は、当該画像及びユーザＩＤを受信し、当該送信済み画像をメモリ上に記憶し、表示画面上に表示する。例えば図１６でいう表示領域１６３１に表示する。図１６において１６１０はクライアント端末１００Ｈの画面であり、１６２０はクライアント端末１００Ｇ１の画面であり、１６３０はクライアント端末１００Ｓの画面である。

つまり、本発明の第３の実施形態によれば、話者として選択（指定された）ユーザの端末に、電子会議における画像の受信状況を容易に確認させることができる。

以上が本発明の第３の実施形態の説明である。

上述した実施形態によれば、同じ会議に参加中の他の全クライアント端末に送信済みの画像（送信済み画像）をクライアント端末１００に通知した。これにより、送信元のクライアント端末から送信された画像が、他のクライアント端末それぞれにおいてどのように表示されているか、送信元端末に全て通知し、表示させるのに比べ、ウェブ会議サーバ２００及びクライアント端末１００の処理負荷を軽減することができる。

以上説明したように、本発明によれば、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することができる。

なお、上述した各実施形態の発明は、それぞれ自由に組み合わせて実行可能であるものとする。

また、上述した実施形態の説明においては、会議参加者全員に送信された送信済み画像のシーケンス番号を、画像の受信状況を示す情報としてクライアント端末１００に通知し、画像の受信・表示の遅延状況をユーザに確認させるものとしたが、例えばクライアント端末１００の端末種別や、通信方法の情報を用いて、画像の受信状況をクライアント端末１００に通知するようにしてもよい。

例えば、携帯端末（端末種別８１５＝ｍｏｂｉｌｅ）の場合、一般的なＰＣ（端末種別８１５＝ｐｃ）よりも端末の性能が低く、メモリ等の作業領域も少ないことが考えられる。つまり、携帯端末はＰＣよりも処理速度が劣っており、画像の取得頻度が少ないと仮定される。よって、携帯端末において取得、表示されている画像が最も受信・表示が遅れている画像であると仮定し、上述した実施形態における送信済み画像（全てのクライアント端末１００に送信済みの画像）の代わりに、当該携帯端末に送信済みの画像を、当該画像の送信元の端末又は話者の端末に通知して表示させる。

以下、電子会議における端末種別に応じて、電子会議における画像の受信状況を容易に確認可能とする仕組みについて説明する。

ウェブ会議サーバ２００のＣＰＵ２０１が、図５のステップＳ５０１の前に、図８の会議情報８１０の端末種別８１５を参照し、端末種別８１５＝ｍｏｂｉｌｅの端末を特定し、その端末のユーザを特定する。図８によればＵｓｅｒ００２である。そして、ステップＳ５０１の後、（ステップＳ５０２の処理の代わりに）ステップＳ５０１で特定した画像の送信済みユーザ８３４にＵｓｅｒ００２が含まれるか（携帯端末に送信済みの画像か）判定する。Ｕｓｅｒ００２のクライアント端末１００Ｇ１（携帯端末）に当該画像を送信済みの場合には処理をステップＳ５０３以降の処理を実行し、当該画像を送信済み画像として、当該画像のシーケンス番号送信元のクライアント端末１００に通知する。Ｕｓｅｒ００２のクライアント端末１００Ｇ１（携帯端末）に当該画像を送信済みでない場合には処理をステップＳ５０５に移行する。

また、例えば、ウェブ会議サーバ２００のＣＰＵ２０１が、図７のステップＳ７００後に図８の会議情報８１０の端末種別８１５を参照し、端末種別８１５＝ｍｏｂｉｌｅの端末のユーザ（Ｕｓｅｒ００２）を特定する。そして、ステップＳ７０１の処理実行後、（ステップＳ７０２の処理の代わりに）ステップＳ７０１で特定した画像の送信済みユーザ８３４にＵｓｅｒ００２が含まれるか（携帯端末に送信済みの画像か）判定する。Ｕｓｅｒ００２のクライアント端末１００Ｇ１（携帯端末）に当該画像を送信済みの場合には処理をステップＳ７０３以降の処理を実行し、当該画像を送信済み画像として、当該画像のシーケンス番号送信元のクライアント端末１００に通知する。Ｕｓｅｒ００２のクライアント端末１００Ｇ１（携帯端末）に当該画像を送信済みでない場合には処理をステップＳ７０５に移行する。

これにより、電子会議における端末種別に応じて、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することができる。

例えば会議の参加者数が多い場合であっても、画像ごとに全てのユーザが受信済みの画像かを判定する負荷をかけずに、端末種別によって、遅延画像と考えられる画像を所定のユーザに確認させることができる。

なお、ここでは端末種別に携帯端末とＰＣを例に上げて比較し、携帯端末に送信済みの画像を送信元に通知するものとしたが、例えばＰＣと携帯端末の他に端末種別を設定できるようにしてもよい。例えば携帯端末よりも処理能力が低いと思われる端末種別が存在する場合、当該端末種別に送信済みの画像を送信元に通知するようにしてもよい。どの端末種別に送信済みの画像を通知先に通知するかは、不図示の設定画面において、ユーザ操作により自由に設定・変更可能であるもとする。また、当該設定・変更の操作を受け付けることにより、ウェブ会議サーバ２００が、設定・変更された端末種別（所定の端末種別）に送信済みの画像を通知先に通知する設定の情報を自装置の外部メモリに記憶するものとする。

また、例えば、端末の通信方法が所定の通信方法である端末に送信された画像を、上述した実施形態における送信済み画像（全てのクライアント端末１００に送信済みの画像）の代わりに、通知先に通知するようにしてもよい。

例えば、通信方法が無線通信（通信方法８１６＝ｗｉｒｅｌｅｓｓ）の場合、一般的には有線通信（通信方法８１６＝ｗｉｒｅ−ｌｉｎｅ）よりも通信状況が安定せず、通信速度を確保し難いと考えられる。つまり、無線通信でウェブ会議サーバと通信している端末は有線通信でウェブ会議サーバと通信している端末よりも、画像の取得頻度が少ないと仮定される。よって、無線通信の端末において取得、表示されている画像が最も受信・表示が遅れている画像であると仮定し、上述した実施形態における送信済み画像（全てのクライアント端末１００に送信済みの画像）の代わりに、当該無線通信の端末に送信済みの画像を、当該画像の送信元の端末又は話者の端末に通知して表示させる。

以下、端末の通信方法に応じて、電子会議における画像の受信状況を容易に確認可能とする仕組みについて説明する。

ウェブ会議サーバ２００のＣＰＵ２０１が、図５のステップＳ５０１の前に、図８の会議情報８１０の通信方法８１６を参照し、無線通信の端末（通信方法８１６＝ｗｉｒｅ−ｌｅｓｓの端末）を特定し、その端末のユーザを特定する。図８によればＵｓｅｒ００２とＵｓｅｒ００３である。このように対象の端末が複数ある場合は、例えば端末種別を参照し、優先度の高い端末種別（ここでは携帯端末＝ｍｏｂｉｌｅ）の端末を特定し、その端末のユーザを特定する。図８によればＵｓｅｒ００２である。当該優先度の情報は予めウェブ会議サーバ２００のメモリに記憶されているものとする。ウェブ会議サーバ２００のＣＰＵ２０１は、ステップＳ５０１の後、（ステップＳ５０２の処理の代わりに）ステップＳ５０１で特定した画像の送信済みユーザ８３４にＵｓｅｒ００２が含まれるか（無線通信の端末に送信済みの画像か）判定する。Ｕｓｅｒ００２のクライアント端末１００Ｇ１（無線通信の端末）に当該画像を送信済みの場合には処理をステップＳ５０３以降の処理を実行し、当該画像を送信済み画像として、当該画像のシーケンス番号送信元のクライアント端末１００に通知する。Ｕｓｅｒ００２のクライアント端末１００Ｇ１（無線通信の端末）に当該画像を送信済みでない場合には処理をステップＳ５０５に移行する。

また、例えば、ウェブ会議サーバ２００のＣＰＵ２０１が、図７のステップＳ７００後に図８の会議情報８１０の通信方法８１６を参照し、通信方法８１６＝ｗｉｒｅ−ｌｅｓｓの端末のユーザ（例えばＵｓｅｒ００２）を特定する。そして、ステップＳ７０１の処理実行後、（ステップＳ７０２の処理の代わりに）ステップＳ７０１で特定した画像の送信済みユーザ８３４にＵｓｅｒ００２が含まれるか（無線通信の端末に送信済みの画像か）判定する。Ｕｓｅｒ００２のクライアント端末１００Ｇ１（無線通信の端末）に当該画像を送信済みの場合には処理をステップＳ７０３以降の処理を実行し、当該画像を送信済み画像として、当該画像のシーケンス番号送信元のクライアント端末１００に通知する。Ｕｓｅｒ００２のクライアント端末１００Ｇ１（無線通信の端末）に当該画像を送信済みでない場合には処理をステップＳ７０５に移行する。

これにより、電子会議における端末の通信方法に応じて、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することができる。

例えば会議の参加者数が多い場合であっても、画像ごとに全てのユーザが受信済みの画像かを判定する負荷をかけずに、端末の通信方法によって、遅延画像と考えられる画像を所定のユーザに確認させることができる。

なお、ここでは通信方法に無線通信と有線通信を例に上げて比較し、無線通信に送信済みの画像を送信元に通知するものとしたが、例えば単に有線通信と無線通信とする以外に通信方法の値を設定できるようにしてもよい。例えば無線通信であれば１ｘ、３Ｇ、４Ｇ等を通信方法の値として設定可能な場合、１ｘで通信を行っている端末に送信済みの画像を通知先に通知するようにしてもよい。どの通信方法の端末に送信済みの画像を通知先に通知するかは、不図示の設定画面において、ユーザ操作により自由に設定・変更可能であるもとする。また、当該設定・変更の操作を受け付けることにより、ウェブ会議サーバ２００が、設定・変更された通信方法（所定の通信方法）で通信している端末に送信済みの画像を通知先に通知する設定情報を自装置の外部メモリに記憶するものとする。

また、図１５の１５００に示すような画面を、会議画面における不図示の設定ボタンの押下に応じてクライアント端末１００の表示画面に表示し、「カメラ」ボタン１５０２の押下を受け付けることで、ウェブ会議サーバ２００が、図５のステップＳ５０１〜５０５及び、指定されたカメラ画像の共有がされている場合における図７のステップＳ７００〜７０５の処理を実行するか否かを決定し、切替えるようにしてもよい。また、「アプリケーション共有」ボタン１５０３の押下を受け付けることで、ウェブ会議サーバ２００が、指定されたアプリケーションの画面の画像及びデスクトップ画面の画像の共有がされている場合における図７のステップＳ７００〜７０５の処理を実行するか否かを決定し、切替えるようにしてもよい。

また、例えば、適切に画像が送受信されているか否かに応じて、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供するようにしてもよい。

具体的には、ステップＳ５０２で、処理中の画像が全てクライアント端末１００に送信済みの送信済み画像であると判定された場合に、過去所定時間の間（例えば５秒以上前から現在までの間）、当該ステップＳ５０２によって処理中の画像が送信済み画像であると判定され続けているか判定する。つまり、会議に参加している全てのクライアント端末１００が、画像を取りこぼすことなく受信しているか（所定の時間の間、全てのクライアント端末１００が図９に示すクライアント端末１００Ｓのような状態にあるか）判定する。同じ会議に参加中の全てのクライアント端末１００が、所定時間の間、画像を取りこぼすことなく受信していると判定された場合には、画像の受信・表示の中抜けや遅延によるミスコミュニケーションが発生しないため、送信済み画像を通知先（例えば画像の送信元）に通知する必要はないと判断し、図５の処理を終了する。同じ会議に参加中の全てのクライアント端末１００が、所定時間の間、画像を取りこぼすことなく受信していると判定されなかった場合は、画像を取りこぼしている＝画像の受信・表示の中抜けや遅延が発生しているクライアント端末１００（例えば図９でいうクライアント端末１００Ｇ１、１００Ｇ２）が存在すると判断し、処理をステップＳ５０３に移行して、送信済み画像の通知処理を継続する。

また、図７の処理の場合は、ステップＳ７０２において、ウェブ会議サーバ２００のＣＰＵ２０１が、処理中の画像が全てクライアント端末１００に送信済みの送信済み画像であると判定された場合に、過去所定時間の間（例えば５秒以上前から現在までの間）、当該ステップＳ７０２によって処理中の画像が送信済み画像であると判定され続けているか判定する。つまり、会議に参加している全てのクライアント端末１００が、クライアント端末１００Ｈから送信されている指定画像を取りこぼすことなく受信しているか判定する。同じ会議に参加中の全てのクライアント端末１００が、所定時間の間、画像を取りこぼすことなく受信していると判定された場合には、画像の受信・表示の中抜けや遅延によるミスコミュニケーションが発生しないため、送信済み画像を通知先（例えば指定画像の送信元であるクライアント端末１００Ｈ）に通知する必要はないと判断し、図５の処理を終了する。同じ会議に参加中の全てのクライアント端末１００が、所定時間の間、画像を取りこぼすことなく受信していると判定されなかった場合は、画像を取りこぼしている＝画像の受信・表示の中抜けや遅延が発生しているクライアント端末１００（例えば図９でいうクライアント端末１００Ｇ１、１００Ｇ２）が存在すると判断し、処理をステップＳ７０３に移行して、送信済み画像の通知処理を継続する。

これにより、例えば所定時間の間、全ての会議参加者が適切に画像を受信している場合には画像の受信状況の通知を行わず、通信負荷を軽減し、切に画像を受信していない参加者がいる場合には画像の受信状況の通知をして、当該受信状況をユーザに確認させることができる。

なお、上述した実施形態においては、会議の前参加者に送信済みの送信済み画像のシーケンス番号と、当該送信済み画像を最後に受信したクライアント端末のユーザＩＤとを通知先に通知するものとしたが、例えば、どちらか一方のみを通知するようにしてもよい。また、クライアント端末１００は、当該送信済み画像とユーザＩＤとの両方を、図１１の１１１１に示すように表示画面に表示するものとしたが、どちらか一方のみを表示するようにしてもよい。

前記ユーザＩＤを通知するだけでも、通知されたクライアント端末は、少なくとも画像を最後に受信して表示している他のクライアント端末の存在及びその端末のユーザを確認することが可能である。また、当該ユーザＩＤを会議画面に表示することで、会議画面を表示中のユーザに視覚的に、どのユーザが画像を最後に受信して見ているユーザかを確認させることができる。

また、送信済み画像のシーケンス番号を通知するだけでも、通知されたクライアント端末は、少なくとも画像を最後に受信して表示している他のクライアント端末の存在を確認することができる。また、当該送信済み画像を表示することで、最後に当該送信済み画像を受信した端末でどのような画像が表示されているか（リアルタイム画像とどの程度の差があるか）をユーザに確認させることができる。

なお、上述した実施形態においては、クライアント端末１００は、「Ｕｓｅｒ００１（Ｕｓｅｒ００２）」という文字列を表示画面に表示することで、Ｕｓｅｒ００１から送信した画像を最後に取得したのがＵｓｅｒ００２であることをユーザに通知していたが、他の通知方法を用いてもよい。例えば「Ｕｓｅｒ００１から送信した画像を最後に取得したのはＵｓｅｒ００２である」と音声を再生することで通知してもよい。

また、クライアント端末１００において、画像の表示のＯＮとＯＦＦを切替えられる場合、画像の表示をＯＦＦにしているクライアント端末１００には、画像キューの画像を送信しない（クライアント端末１００からの画像の取得要求がない）ことがある。よって、例えば、クライアント端末１００画像の表示機能のＯＮ／ＯＦＦの状態を、ＯＮ／ＯＦｆが切替えられたタイミングでウェブ会議サーバ２００に通知し、当該通知を受け付けたウェブ会議サーバ２００のＣＰＵ２０１が、いずれのクライアント端末１００（端末ＩＤ）の画像の表示機能がＯＮか（ＯＦＦ）かを外部メモリに記憶・管理しておき、ステップＳ５０２及びステップＳ７０２においては、ステップＳ５０１またはＳ７０１で取得した画像が、当該画像の表示機能がＯＮになっている全ての会議参加者に送信済みの画像かを半定するようにしてもよい。画像の表示機能がＯＮになっている全ての会議参加者（クライアント端末１００）に送信済みの画像であれば、図５の場合は処理をステップＳ５０３に、図７の場合は処理をステップＳ７０３に移行する。

また、図１０や図１１、図１２に示す画面（ウインドウ）を非表示にしているクライアント端末１００には、画像キューの画像を送信しない（そもそも、クライアント端末１００からの画像の取得要求がない）ことがある。

よって例えば、ウェブ会議サーバ２００のＣＰＵ２０１が、ステップＳ５０１、ステップＳ７０１で取得した画像が割り当てられた表示領域が表示画面上に含まれているかを、各クライアント端末１００に対して定期的に問い合せる。そして、ステップＳ５０２及びステップＳ７０２では、ステップＳ５０１、ステップＳ７０１で取得した画像が、当該表示領域が画面上に含まれていると返答したクライアント端末１００のうち全てのクライアント端末１００に送信済みかを判定し、当該画像が、当該表示領域が画面上に含まれていると返答した全てのクライアント端末１００に送信済みの画像であれば、図５の場合は処理をステップＳ５０３に、図７の場合は処理をステップＳ７０３に移行する。

これにより、クライアント端末における画像の表示設定や実際の表示状態に応じて、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することができる。

以上説明したように、本発明によれば、電子会議における画像の受信状況を容易に確認可能とする仕組みを提供することができる。

尚、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

具体的には、ホスト端末（クライアント端末１００）とウェブ会議サーバ２００が一体であり、例えば図３の３２１〜３２６の各機能部で説明した機能をホスト端末が備え、上述した実施形態の各処理のうち、ウェブ会議サーバが実行する処理（図６のステップＳ６０６〜Ｓ６０８、Ｓ６１１〜Ｓ６１４、図７のステップＳ７００〜Ｓ７０５で説明した各ステップの処理）を実行するようにしてもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

尚、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。
即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ クライアント端末
１００Ｇ１ クライアント端末
１００Ｇ２ クライアント端末
１００Ｓ クライアント端末
１０１ カメラ
１０２ マイク
１０３ スピーカ
１５０ ネットワーク
２００ ウェブ会議サーバ

Claims (11)

1. 複数の情報処理装置と、サーバとを含む情報処理システムであって、
   前記サーバは、
   情報処理装置から受信した画像を記憶する記憶手段と、
   前記記憶手段に記憶された画像を、前記複数の情報処理装置に受信させるべく送信する送信手段と、
   前記画像の受信状況を特定可能な第１の情報を通知する通知先となる情報処理装置を、前記複数の情報処理装置の中から特定する通知先特定手段と、
   前記複数の情報処理装置のうちいずれの情報処理装置にかかる前記第１の情報を通知するかを、複数の前記情報処理装置への前記画像の送信状況に基づいて特定する特定手段と、
   前記特定手段により特定された前記第１の情報を、前記通知先特定手段により特定された通知先となる情報処理装置に通知する通知手段と、
   を備え、
   前記情報処理装置は、
   前記通知手段により通知された前記第１の情報に基づいて特定される前記画像の受信状況にかかる情報を表示画面に表示する表示手段
   を備えることを特徴とする情報処理システム。
2. 発話がされたか判定する判定手段
   を備え、
   前記表示手段は、前記判定手段により発話がされたと判定された場合に、前記第１の情報に基づいて特定される前記画像の受信状況にかかる情報を表示することを特徴とする請求項１に記載の情報処理システム。
3. 前記表示手段は、発話がされている場合に、前記通知手段により通知された画像を表示画面に表示することを特徴とする請求項１又は２に記載の情報処理システム。
4. 複数の情報処理装置において共有する画像の指定を受け付ける指定受付手段と、
   を備え、
   前記特定手段は、前記指定受付手段により指定された画像である指定画像であって、前記複数の情報処理装置のうちいずれの情報処理装置に送信された画像を通知するかを、複数の前記情報処理装置への前記画像の送信状況に基づいて特定し、
   前記通知手段は、前記特定手段により特定された前記指定画像を、前記通知先となる情報処理装置に通知することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
5. 話者の指定を受け付ける話者指定受付手段と、
   を備え、
   前記通知手段は、前記話者指定受付手段により話者が指定されている場合に、当該話者に対応する前記情報処理装置に対して、前記特定手段により特定された画像を通知することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
6. 前記特定手段は、通知先に対し、前記複数の情報処理装置の全てに送信済みの画像、または前記複数の情報処理装置のうち所定の端末種別の前記情報処理装置に送信済みの画像、または前記複数の情報処理装置のうち所定の通信方法の前記情報処理装置に送信済みの画像を、前記通知先に通知する画像として特定することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
7. 複数の情報処理装置と、サーバとを含む情報処理システムの制御方法であって、
   前記サーバにおいて、
   情報処理装置から受信した画像を記憶する記憶工程と、
   前記記憶工程に記憶された画像を、前記複数の情報処理装置に受信させるべく送信する送信工程と、
   前記画像の受信状況を特定可能な第１の情報を通知する通知先となる情報処理装置を、前記複数の情報処理装置の中から特定する通知先特定工程と、
   前記複数の情報処理装置のうちいずれの情報処理装置にかかる前記第１の情報を通知するかを、複数の前記情報処理装置への前記画像の送信状況に基づいて特定する特定工程と、
   前記特定工程により特定された前記第１の情報を、前記通知先特定工程により特定された通知先となる情報処理装置に通知する通知工程と、
   を含み、
   前記情報処理装置において、
   前記通知工程により通知された前記第１の情報に基づいて特定される前記画像の受信状況にかかる情報を表示画面に表示する表示工程
   を含むことを特徴とする情報処理システムの制御方法。
8. 複数の情報処理装置と、サーバとを含む情報処理システムを制御するプログラムであって、
   前記サーバを、
   情報処理装置から受信した画像を記憶する記憶手段と、
   前記記憶手段に記憶された画像を、前記複数の情報処理装置に受信させるべく送信する送信手段と、
   前記画像の受信状況を特定可能な第１の情報を通知する通知先となる情報処理装置を、前記複数の情報処理装置の中から特定する通知先特定手段と、
   前記複数の情報処理装置のうちいずれの情報処理装置にかかる前記第１の情報を通知するかを、複数の前記情報処理装置への前記画像の送信状況に基づいて特定する特定手段と、
   前記特定手段により特定された前記第１の情報を、前記通知先特定手段により特定された通知先となる情報処理装置に通知する通知手段として機能させ、
   前記情報処理装置を、
   前記通知手段により通知された前記第１の情報に基づいて特定される前記画像の受信状況にかかる情報を表示画面に表示する表示手段
   として機能させることを特徴とするプログラム。
9. 複数の情報処理装置と通信可能なサーバであって、
   情報処理装置から受信した画像を記憶する記憶手段と、
   前記記憶手段に記憶された画像を、前記複数の情報処理装置に受信させるべく送信する送信手段と、
   前記画像の受信状況を特定可能な第１の情報を通知する通知先となる情報処理装置を、前記複数の情報処理装置の中から特定する通知先特定手段と、
   前記複数の情報処理装置のうちいずれの情報処理装置にかかる前記第１の情報を通知するかを、複数の前記情報処理装置への前記画像の送信状況に基づいて特定する特定手段と、
   前記特定手段により特定された前記第１の情報を、前記通知先特定手段により特定された通知先となる情報処理装置に通知する通知手段と、
   を備えることを特徴とするサーバ。
10. 複数の情報処理装置と通信可能なサーバの制御方法であって、
    情報処理装置から受信した画像を記憶する記憶工程と、
    前記記憶工程に記憶された画像を、前記複数の情報処理装置に受信させるべく送信する送信工程と、
    前記画像の受信状況を特定可能な第１の情報を通知する通知先となる情報処理装置を、前記複数の情報処理装置の中から特定する通知先特定工程と、
    前記複数の情報処理装置のうちいずれの情報処理装置にかかる前記第１の情報を通知するかを、複数の前記情報処理装置への前記画像の送信状況に基づいて特定する特定工程と、
    前記特定工程により特定された前記第１の情報を、前記通知先特定工程により特定された通知先となる情報処理装置に通知する通知工程と、
    を含むことを特徴とするサーバの制御方法。
11. 複数の情報処理装置と通信可能なサーバで実行が可能なプログラムであって、
    前記サーバを、
    情報処理装置から受信した画像を記憶する記憶手段と、
    前記記憶手段に記憶された画像を、前記複数の情報処理装置に受信させるべく送信する送信手段と、
    前記画像の受信状況を特定可能な第１の情報を通知する通知先となる情報処理装置を、前記複数の情報処理装置の中から特定する通知先特定手段と、
    前記複数の情報処理装置のうちいずれの情報処理装置にかかる前記第１の情報を通知するかを、複数の前記情報処理装置への前記画像の送信状況に基づいて特定する特定手段と、
    前記特定手段により特定された前記第１の情報を、前記通知先特定手段により特定された通知先となる情報処理装置に通知する通知手段として機能させることを特徴とするサーバのプログラム。
    

Images