以下、本発明の一実施形態として、本実施形態の通信システム及び通信システムが行うデータ表示方法について図面を参照しながら説明する。
<概略的な動作>
図1は端末装置が表示する資料表示画面60の一例を示す図である。図1の資料表示画面60は非同期画面9を有している。非同期画面9は各参加者が任意のページの会議資料を表示するための画面である。また、資料表示画面60はページ番号の表示欄7を有しており、表示欄7にページ番号101が表示されている。ページ番号101は、進行役の端末装置が現在、表示している会議資料のページ番号である。したがって、進行役でない参加者はこのページを非同期画面9で容易に表示できる。
後述されるように、進行役でない端末装置が、進行役の端末装置が表示する会議資料と同期して表示することは可能である。このため、同期表示されている会議資料を閲覧することはできる。しかし、同期表示された会議資料を進行役でない参加者が閲覧するには視線移動が大きい場合がある。また、会議資料にアプリケーションソフトウェアが付与したページ番号が表示される場合もある。しかし、進行役の端末装置のページが小さく表示されると、例えばプレゼンテーションソフトが付与した会議資料の右下のページ番号も非常に小さく表示されてしまい、参加者が確認することは困難であった。
本実施形態の端末装置は、会議資料が持つページ番号とは別に、進行役の端末装置が表示中の会議資料のページ番号を非同期画面9に表示するため、参加者は進行役の端末装置が表示している会議資料のページ番号を容易に確認できる。
また、図1の資料表示画面60では、非同期画面9が表示欄7を有しており、参加者は非同期画面9を閲覧中に少ない視線移動でページ番号101を確認できる。ページ番号が分かれば、会議資料を表示できる。
なお、以下の説明では、進行役の端末装置が表示する会議資料のページを同期ページ、進行役でない端末装置が表示する会議資料のページを非同期ページという。同期ページが表示される画面を同期画面、非同期ページが表示される画面を非同期画面という。また、参加者とはビデオ会議に参加している者をいい、端末装置を操作するユーザ、利用者、又は操作者などでもある。
<用語について>
共有とは、複数の端末装置が同じデータを表示することを言う。共有対象データは複数の端末装置で共有されるデータである。本実施形態では会議資料という用語で説明するが、テキスト、画像、図形など共有されればどのようなデータでもよい。
第一のページに関する情報は、第一のページを参加者が表示することができる情報である。例えば、第一のページを特定、推定、又は識別するための情報である。具体的にはページ番号等が挙げられる。
<構成例>
図2は、本実施形態の通信システム100の概略構成図の一例を示す。通信システム100は、ネットワークNを介して接続されたサーバシステム30と端末装置3を有する。通信システム100には、サーバシステム30を介して複数の端末装置間で情報や感情等を相互に伝達するコミュニケーションシステム、及び、サーバシステム30を介して一方の端末から他方の端末に一方向でコンテンツデータを伝送するデータ提供システムが含まれる。コミュニケーションシステムは、ビデオ会議システム、テレビ会議システム、テレビ電話システム、音声会議システム、音声電話システム、PC(Personal Computer)画面共有システム等が例として挙げられる。
ネットワークNは、端末装置3が配置された施設のLAN、回線事業者が提供する有線や無線の回線、及び、回線を使ってLANをインターネットに接続するプロバイダのプロバイダネットワーク等により構築されている。ネットワークNが複数のLANを有していてもよいし、インターネットを含んでいてよい。ネットワークNは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。また、端末装置3が、3GやLTEなどの回線交換型の通信機能を有する場合、LANを介することなく回線事業者の回線を介してインターネットに接続し、サーバシステム30と通信することができる。
サーバシステム30は、端末装置3がビデオ会議するための1台以上のサーバである。また、サーバは情報処理装置と呼ばれる場合がある。サーバシステム30は端末装置3のステータス(状態)を管理し、一方の端末装置3から他方の端末装置3に着信があった場合に2つの端末装置間でセッションを開始するなどの呼制御を行う呼制御サーバとして機能する。呼制御とは、通信を開始するための発信、その着信、着信への応答、通信の切断など、電話をかけたり切ったりするための一連の処理をいう。この他、端末装置3の認証、検索、死活の監視なども行う場合が多い。
なお、ステータスとは、端末装置3の通信システム100における状態である。ステータスは主に、ログインした状態(画像データ、音声データ及びページデータ(会議資料のデータ)の受信前)、ビデオ会議中(画像データ、音声データ及びページデータの受信中)、離席、退席、ログアウトなどがある。
また、サーバシステム30は、会議資料のアップロードを受け付け、各端末装置3に配信する。これにより各端末装置3は会議資料を共有できる。例えば進行役の端末装置3の参加者は、共有したい会議資料をサーバシステム30にアップロードする。テレビ会議に参加している各端末装置3はサーバシステム30からアップロードされた会議資料の配信を受ける。進行役が開いている会議資料のページ番号をサーバシステム30が保持している。これにより、各端末装置3が会議資料を同期表示することが可能になる。また、進行役でない端末装置3は、非同期表示として任意のページを自機に表示させることができる。
ただし、端末装置3がビデオ会議を行う際、サーバシステム30は必須ではない。2つの端末装置3が1対1でテレビ会議するような場合、一方の端末装置3が進行役になってページ番号を他方の端末装置3に送信すれば、同期表示及び非同期表示が可能になる。
端末装置3は、通信機能、カメラ及びマイクを備えた情報処理装置である。図2では端末装置3として、PC3a、専用端末3b、スマートフォン3c、及びタブレット端末3dが図示されているが、通信機能、カメラ及びマイクを備えた情報処理装置であればよい。例えばPDA(Personal Digital Assistant)、又は、携帯電話等でもよい。
専用端末3bとは、ビデオ会議の専用の端末装置3である。専用端末3bは、電源ONによりビデオ会議用のアプリケーションソフトウェアが自動的に起動したり、サーバシステム30にログインしたりすることで、参加者は最小限の操作でビデオ会議を開始できる。これに対し、PC3a、スマートフォン3c、及びタブレット端末3dは汎用的な情報処理装置であり、これらの端末装置3ではOS(Operation System)上で通信システム100用のアプリケーションソフトウェアが動作する。参加者がアプリケーションソフトウェアを起動させると、サーバシステム30にログインする。
更に、端末装置3は所定の機能を有する機器でもよい。例えば、電子黒板、複合機、又は、デジタルサイネージ端末が挙げられる。これらも通信機能、カメラ及びマイクを備えた情報処理装置である場合があり、アプリケーションソフトウェアが動作することで端末装置3となりうる。なお、電子黒板とは、タッチパネル付きのディスプレイを有し、タッチパネルを介してペンや指などの軌跡を取り込んで、軌跡を手書き情報としてディスプレイに描画する機器である。手書き情報も端末装置間で共有可能である。また、PCと接続され、PCと同じ画面をディスプレイに表示して手書き情報を重畳して描画したり、タッチパネルから入力された情報にしたがってPCを操作したりすることができる。また、複合機は、プリンタ、スキャナ、ファクシミリ、及び、コピーのうち1つ以上の機能を有する機器である。また、デジタルサイネージ端末は、人が通過又は存在しうる場所でディスプレイなどの電子的な表示機器を使って情報を発信するシステムの端末である。
なお、ビデオ会議に参加している端末装置3が設置されている設置場所を「拠点」と称する。拠点はこのように概念的には場所を示すが、拠点は端末装置3そのものを示す場合がある。また、拠点が設置場所だけでなく拠点の参加者、及び、企業や部署を示す場合がある。したがって、拠点は会議をしている相手(参加者)を特定する意味も持つ。なお、拠点の具体例として、例えば、地名、企業名、企業内の部署名、出張所、支店、参加者名等が挙げられる。
サーバシステム30は複数のサーバを有してよいので、テレビ会議を行うサーバ、資料共有の処理を行うサーバ、又は、画像データと音声データを端末装置3に中継するサーバ等に分かれていてもよい。
<ハードウェア構成例>
図3は、端末装置3のハードウェア構成図の一例である。端末装置3は、CPU10に接続されたカメラ11、マイク12、スピーカ13、記憶装置14、メモリ15、操作部16、LAN I/F17、及び、タッチパネル付きのディスプレイ18、を有している。なお、本実施形態の説明に直接、使用されない図示する以外の構成は省略されている。
カメラ11は、撮像手段としてCMOSやCCDなどの撮像素子を有し周囲の被写体を撮像して画像データを生成する。カメラ11は所定のフレームレート(例えば30fps)で周期的に画像データを生成するため、画像データは動画となる。カメラ11は端末装置3の所定の位置に固定して設置されている。USBインタフェースなどでカメラ11が外付けされていてもよい。
タッチパネル付きのディスプレイ18はCPU10から受信した画像データを表示する表示装置である。また、参加者がペン又は指でタッチパネルに触れた座標を検出しCPU10に通知する。すなわち、タッチパネル付きのディスプレイ18は入出力インタフェース機能を有する。なお、タッチパネルの一例として、ディスプレイ一体型の静電容量方式タッチパネルや抵抗膜方式、又は赤外線遮断方式等があるが、タッチパネルの方式は問わない。
マイク12は参加者の音声を集音し電気信号に変換する。マイク12は、端末装置3の所定の場所に固定されている。USBインタフェースなどでマイク12が外付けされていてもよい。
スピーカ13は音声データを出力する。記憶装置14は、CPU10が実行するプログラム14p、画像データ、音声データ、及び、ページデータを記憶する。記憶装置14として、例えばフラッシュメモリを集積したSSD(Solid State Drive)又はHDD(Hard Disk Drive)といった不揮発性の記憶媒体が挙げられる。
メモリ15はCPU10が実行するプログラムが記憶装置14から展開される作業エリアである。また、CPU10による演算結果や演算の対象のデータが一時的に保存される。例えば、DDRメモリのような揮発性の記憶素子が挙げられる。
LAN I/F17はネットワークに接続する通信装置である。ネットワークを介して他の端末装置3と通信し、画像データ及び音声データの送受信を行う。LAN I/F17として10Base-T,100Base-TX,1000Base-Tに対応したEthernet(登録商標)用のLANカード、又は、IEEE802.11a/b/g/nに対応した無線LANのICが例として挙げられる。別途、携帯電話等の回線通信網に接続する機能を有していてよい。
操作部16は、参加者による端末装置3への操作を受け付ける。例えば、キーボード、ボタン、及び音声認識装置などが相当する。タッチパネルによる入力も操作の一種である。
CPU10は、記憶装置14に記憶されているプログラム14pを実行することで端末装置3の全体の動作を制御する。例えば、カメラ11から取得した画像データ、マイク12から取得した音声データをエンコードしてLAN I/F17を介してサーバシステム30に送信する。また、LAN I/F17が受信した画像データ、及び音声データをデコードして、タッチパネル付きのディスプレイ18に表示し、スピーカ13ーから出力する。なお、CPU10が使用するコーデック(画像圧縮)の一例として、H.264/AVCやH.264/SVC、H.265等がある。
<<サーバシステム>>
図4は、サーバシステム30のハードウェア構成図である。サーバシステム30は、サーバシステム30全体の動作を制御するCPU201、伝送管理用プログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、各種データを記憶するHD(Hard Disk)204を有する。また、CPU201の制御にしたがってHD204に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)205、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ207を有する。また、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ208、ネットワークNを利用してデータ伝送をするためのネットワークI/F209、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード211、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス212を有する。着脱可能な記録媒体の一例としての光記憶媒体213に対するデータの読み出し又は書き込みを制御する光記憶メディアドライブ214、及び、上記各構成要素を図4に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン210を備えている。
なお、上記伝送管理用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206や光記憶媒体213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
<機能について>
図5は、本実施形態の通信システム100が有する機能をブロック状に示す機能ブロック図の一例である。
<<端末装置>>
端末装置3は、送受信部21、同期ページ取得部22、非同期ページ取得部23、操作受付部24、資料アップロード部25、表示制御部26、ビデオ会議通信部27、及び、記憶・読出部28を有する。これら各部は、記憶装置14からメモリ15に展開されたプログラム14pを実行するCPU10によって実現される機能である。また、端末装置3は、記憶装置14及びメモリ15の少なくとも一方によって構成される記憶部29を有している。記憶部29にはページデータDB2901が記憶されている。また、主に進行役の端末装置3では会議資料2902が記憶されている。
送受信部21は、CPU10がプログラム14pを実行しLAN I/F17を制御すること等によって構成され、ネットワークNを介してサーバシステム30と各種データや情報の送受信を行う。
資料アップロード部25は、送受信部21を介して会議資料をサーバシステム30にアップロードする。会議資料は、参加者の一人以上が用意することができる。例えば、プレゼンテーションソフトのファイル、写真などの画像データ、動画データ、HTMLファイルなどであり参加者が記憶装置14に記憶させる。この他、インターネットからダウンロードしたファイルやWebページを会議資料としてもよい。
表示制御部26は、CPU10がプログラム14pを実行しタッチパネル付きのディスプレイ18を制御すること等によって実現され、送受信部21が受信した画像データ、並びに、同期ページ取得部22及び非同期ページ取得部23が取得したページデータを資料表示画面60に成形してディスプレイ18に表示する。画像データ及びページデータのレイアウトは予め決まっているものとするが、参加者が任意に調整してもよい。また、表示制御部26は、端末装置3の設定や操作を受け付ける操作パネルを表示する。
ビデオ会議通信部27は、送受信部21を介してビデオ会議に必要な通信をサーバシステム30と行う。例えば、画像データ及び音声データを送受信する。ビデオ会議通信部27は、ログイン要求部27a、撮像部27b、音入力部27c、及び音出力部27dを有する。
ログイン要求部27aは、CPU10がプログラム14pを実行すること等によって実現される。ログイン要求部27aは、送受信部21を介してサーバシステム30にログインを要求する旨を示すログイン要求及び現時点の自端末のIPアドレスを送信する。送信の契機は、専用端末の場合は電源ONであり、汎用的な情報処理装置の場合はアプリの起動又は参加者のログイン操作である。
撮像部27bは、CPU10がプログラム14pを実行しカメラ11を制御すること等によって実現され、被写体(参加者及びその周囲)を撮像し、画像データを生成する。
音入力部27cは、CPU10がプログラム14pを実行しマイク12を制御すること等によって実現され、マイク12によって集音された音を電気信号としての音声データに変換する。
音出力部27dは、CPU10がプログラム14pを実行しスピーカ13を制御すること等によって実現され、スピーカ13を駆動する信号に音声データを変換しスピーカ13から出力させる。
同期ページ取得部22は、送受信部21を介してサーバシステム30から同期ページを取得する。同期ページとは、進行役の端末装置3が表示している会議資料のページである。同期ページ取得部22は、同期ページが更新されるとサーバシステム30から更新後の同期ページを取得する。具体的には端末装置3からポーリングしてもよいし、AJAXなどを利用して任意のタイミングでサーバシステム30から端末装置3にデータを送信する機能を利用してもよい。同期ページ取得部22が取得したページデータはページデータDB2901に記憶される。
非同期ページ取得部23は、送受信部21を介してサーバシステム30から非同期ページを取得する。非同期ページとは、各端末装置3が任意に表示している会議資料のページを言う。参加者が端末装置3を操作して会議資料のページを変更すると、この操作により決定されるページ番号をサーバシステム30に送信し、サーバシステム30から会議資料のページデータ(非同期ページ)を取得する。非同期ページ取得部23が取得したページデータはページデータDB2901に記憶される。
操作受付部24は、CPU10がプログラム14pを実行し操作部16及びディスプレイ18を制御すること等によって実現され、参加者による各種の入力を受け付ける。例えば、参加者が会議資料の同期ページ又は非同期ページのページ番号を変更する操作を行うと、変更後のページ番号を受け付ける。参加者が入力するページ番号は、次のページ、又は前のページ、などのように現在のページ番号に対する差分でもよいし、ページ番号そのものでもよい。
記憶・読出部28は、CPU10がプログラム14pを実行し記憶装置14及びメモリ15等を制御することより実現され、記憶部29に各種データを記憶したり、記憶部29に記憶された各種データを読み出したりするようになっている。ただし、以下の説明では、記憶・読出部28が記憶部29にアクセスする場合でも「記憶・読出部28を介して」という記載を省略する場合がある。記憶部29にはページデータDB2901が記憶される。また、会議資料を用意した参加者の端末装置3の場合は会議資料2902が記憶される。
なお、記憶部29は、他の端末装置3とビデオ会議を行う際に受信される画像データ、音声データ及びページデータの受信バッファとして用いられる。また、専用端末3bの場合、端末装置3には端末装置3を識別するための端末IDが付されており、記憶部29にはこの端末IDが記憶されている。
表1は、ページデータDB2901に記憶されている情報を模式的に示す。ページデータDB2901には、会議資料IDに対応付けて資料名とページデータが登録されている。会議資料IDは会議資料を識別するための情報である。IDはIdentificationの略であり識別子や識別情報という意味である。IDは複数の対象から、ある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち1つ以上の組み合わせをいう。なお、端末IDは参加者が入力してもよい。
資料名は、会議資料を参加者が判別するための名称である。例えば、ファイル名が挙げられる。ページデータは、会議資料の各ページの画像データである。ページデータはサーバシステム30が会議資料の各ページを画像データに変換したものである。画像データのフォーマットは例えばJPEG、PNG、GIFなどであるが、端末装置3が表示できればどのようなものでもよい。ページデータのうち同期して提供されるものが同期ページ、各端末装置3が任意に表示するものが非同期ページである。このように一度、端末装置3が表示したページデータがキャッシュされることで、二度目以降、端末装置3が表示する際にサーバシステム30から取得する必要がない。
<<サーバシステム30>>
サーバシステム30は、送受信部31、資料共有部32、ビデオ会議通信部33、及び、記憶・読出部38を有する。これら各部は、HD204からRAM203に展開されたプログラム204pを実行するCPU201によって実現される機能である。また、サーバシステム30はHD204、RAM203、及びROM202の少なくとも一方によって構成される記憶部39を有している。記憶部39には資料管理DB3901、会議管理DB3902、及び、参加者DB3903が記憶されている。
送受信部31は、CPU201がプログラム204pを実行しネットワークI/F209を制御すること等によって構成され、ネットワークNを介して端末装置3と各種データや情報の送受信を行う。
資料共有部32は、CPU201がプログラム204pを実行すること等により実現され、送受信部31を介して、同期ページ及び非同期ページを各端末装置3に送信する。会議資料が画像データの形式で送信された場合は、端末装置3に対し適切な解像度やアスペクト比などに成形して同期ページ及び非同期ページを送信する。端末装置3は自機のディスプレイの仕様に基づいて解像度やアスペクト比をサーバシステム30に送信する。また、会議資料がファイル形式で送信された場合は、ファイルを解析してページごとに画像データに変換する。
ビデオ会議通信部33は、CPU201がプログラム204pを実行すること等により実現され、送受信部31を介して、ビデオ会議で送受信される画像データと音声データを中継する。つまり、同じ会議に参加している端末装置3に他の端末装置3から送信された画像データと音声データを転送する。また、ビデオ会議通信部33は端末装置3(参加者)の認証、端末装置3の状態管理、会議の予約の管理等を行う。
記憶・読出部38は、CPU201がプログラム204pを実行しHDD205及びRAM203等を制御することより実現され、記憶部39に各種データを記憶したり、記憶部39に記憶された各種データを読み出したりするようになっている。ただし、以下の説明では、記憶・読出部38が記憶部39にアクセスする場合でも「記憶・読出部38を介して」という記載を省略する場合がある。
表2は、会議管理DB3902に記憶された情報を模式的に示す。会議管理DB3902はビデオ会議に関する情報を事前に参加者が登録する情報である。会議管理DB3902には、会議IDに対応付けて会議名、日時、参加予定者、及びログインパスワードが登録されている。会議IDは会議を識別するための情報である。会議名は参加者が会議を判別するための会議の名称である。日時は会議が開催される日付と時間帯である。参加予定者は会議に参加することが予定される参加者である。ログインパスワードは、参加者が会議に参加する際に、サーバシステム30から認証を受けるためのパスワードである。会議名、参加予定者、及び、ログインパスワードは会議の開始前(会議の開始後でもよい)に参加者の一人がサーバシステム30に登録しておく。
サーバシステム30のビデオ会議通信部33は参加予定者にこれらの情報を電子メールなどで送信する。電子メールにはサーバシステム30のURLが記述されているので、参加者がこのURLを選択することで端末装置3は会議IDで特定されるビデオ会議のログイン画面にアクセスできる。参加者は例えば電子メールアドレスとログインパスワードを入力してログインする。これにより、各参加者は予定された会議に参加できる。
また、予定されていない参加者はログインできないのでセキュリティも保たれる。仮に、予定されていない参加者がビデオ会議中に参加する場合は、参加者に電話などで連絡し同様の電子メールを受信する。
表3は、参加者DB3903に記憶された情報を模式的に示す。参加者DB3903はビデオ会議に参加した参加者に関する情報である。参加者DB3903は、会議IDに対応付けて参加者ID、進行役、及び、IPアドレスの各項目を有する。参加者IDはログインした参加者を特定するための情報であり、本実施形態ではメールアドレスとするが、参加者を特定できればどのような情報でもよい。例えば、専用端末を特定する端末ID、参加者に配布された固有のIDなどでもよい。進行役は、同期ページのページ番号を決定する権限を有する参加者を言う。
進行役の決定方法には例えば以下のように種々の方法がある。
(i) 会議資料をアップロードした参加者
(ii) 予め設定された参加者
(iii) 会議中に現在の進行役から指定された参加者
本実施形態では特に説明しない場合、(i)の参加者が進行役であるとして説明する。また、進行役が決定されている必要はない。この場合、任意の参加者が同期画面8で表示されるページ番号を決定でき、最後に決定されたページ番号の会議資料が同期画面8に表示される。
IPアドレスは、サーバシステム30が把握した各端末装置3のIPアドレスである。各端末装置3のIPアドレスは、端末装置3がサーバシステム30にログインすることで把握される。この他、ポート番号など、端末装置3とサーバシステム30が通信するために必要な情報が登録されてよい。
表4は、資料管理DB3901に記憶されている情報を模式的に示す。資料管理DB3901は同期ページに関する情報を有する。資料管理DB3901は、会議IDに対応付けて会議資料ID、同期ページ番号、及び、総ページ数の各項目を有する。会議IDと会議資料IDについてはすでに説明した。同期ページ番号は、現在の同期ページのページ番号である。総ページ番号は会議資料が有する全ページ数である。非同期ページのページ番号は各端末装置3によって異なりサーバシステム30が保持している必要はないが、サーバシステム30が保持していてもよい。
<セッション接続までの動作手順>
図6は、端末装置3がセッションを接続しビデオ会議に参加するまでの処理を示すシーケンス図の一例である。セッションとは、少なくとも2つの端末装置3が画像データと音声データを送受信できる状態(オンライン)になることをいう。また、会議管理DB3902の情報は各参加者に送信済みであるものとする。
S1:まず、端末装置3を操作する参加者が端末装置3の電源スイッチをONにしてログインするための操作を行うと(電子メールに記述されたURLにアクセス)、操作受付部24が受け付けてログイン要求部27aがネットワークNを介してサーバシステム30にログイン要求を送信する。ログイン要求には、ログイン要求する端末装置3を操作する参加者の参加者ID及びログインパスワードが含まれている。なお、ログイン要求がサーバシステム30に受信された際に、サーバシステム30は送信側である端末装置3のIPアドレスを把握することができる。
S2:サーバシステム30のビデオ会議通信部33はログイン要求に含まれている参加者ID及びログインパスワードに基づいて端末装置3を認証する。認証方法は参加者ID及びログインパスワードに基づくものに限らず、ICカードや生体認証情報を用いてもよい。ここでは認証が成立したものとする。
S3:認証が成立したのでサーバシステム30のビデオ会議通信部33は、会議管理DB3902から要求元の端末装置3の参者IDが登録されている会議IDを読み出し、参加者DB3903に会議IDと参加者IDとIPアドレス(及びポート番号等)を登録する。
S4〜S6:他の端末装置3もステップS1〜S3と同様の処理を行う。これにより、参加者DB3903にはログインした参加者の参加者IDとIPアドレスが登録される。
S7:サーバシステム30のビデオ会議通信部33は参加者DB3903に登録されたIPアドレスの間でセッションを確立する。ビデオ会議通信部33が更にIPアドレスに基づいて端末装置3と通信できるかどうかを判断することでセッションを確立してもよい。
以降、サーバシステム30のビデオ会議通信部33は参加者DB3903に登録されている端末装置3のIPアドレスを宛先に画像データ、及び音声データ(ページデータについては後述する)を送信する。
<ページデータの送信手順>
図7は、端末装置3が同期ページと非同期ページを表示する手順を示すシーケンス図の一例である。図7のシーケンス図は、進行役の端末装置3が会議に参加した参加者の端末装置3と資料を共有する処理(S1〜S6)、参加した端末装置3が2画面モードに切り替える処理(S7,S8)、進行役の端末装置3が会議資料のページ番号を変更する処理(S9〜S15)、進行役でない端末装置3が自分の会議資料のページ番号を変更する処理(S16〜S19)について説明している。
なお、進行役の会議端末と他の端末装置3はビデオ会議通信部の機能により、ビデオ会議を開始している状態である。
S1:進行役の参加者は端末装置3を操作して会議資料をアップロードする操作を行う。操作受付部24はこの操作を受け付けて、進行役の端末装置3の資料アップロード部25は記憶部29に記憶されている会議資料を読み出し、送受信部21を介してサーバシステム30に会議資料と参加者IDを送信する。送信時、進行役の参加者はページ番号の初期値を指定できる。指定しない場合は、自動的に1ページ目が初期値となる。参加者IDが送信されるのは進行役をサーバシステムが特定するためである。
また、会議資料はファイルのままアップロードされても、端末装置3がファイルから変換した画像データがアップロードされてもよい。
S2:サーバシステム30の送受信部31は会議資料と参加者IDを受信して、会議資料を資料管理DB3901に登録する。進行役の端末装置3は参加者IDを送信したので、サーバシステム30は参加者DB3903を参照してどの会議の会議資料かを特定することができる。サーバシステム30の記憶・読出部38は会議IDに対応付けて会議資料IDと総ページ数を登録する。会議資料IDは、1つの会議IDに対し重複しなければよい。総ページ数は、ファイル形式の会議資料の場合は会議資料の最後のページ番号である。画像データの形式の会議資料の場合は画像データの数である。また、進行役の端末装置3からページ番号の初期値の指示がない場合、サーバシステム30の記憶・読出部38は同期ページを1ページに設定する。また、サーバシステム30の記憶・読出部38は参加者DB3903の参加者IDに対応付けて進行役を設定する。
S3:サーバシステム30の資料共有部32は、会議資料が新たに登録されたので、資料管理DB3901の同期ページ番号を参照し、会議資料から同期ページ(1ページ目の画像データ)を取得して会議資料IDと共に送受信部31を介して進行役の端末装置3に送信する。この時、端末装置3が同期画面を更新することを通知するため同期画面変更通知を送信する。同期画面変更通知は、同期画面8のページ番号が変更された旨を通知する情報である。また、資料共有部32はページ番号(1ページ目)を進行役の端末装置3に送信する。進行役の端末装置3にはページ番号は送信されなくてもよいが、進行役の端末装置3もページ番号を表示できる。会議資料IDは複数の会議資料がある場合にどの会議資料のページデータであるかを特定するために使用される。また、この端末装置3が進行役なので進行役であることを示す進行役通知を送信する。進行役通知を受信した端末装置3は任意に同期画面8のページを切り替えることができる。
S4:進行役の端末装置3の送受信部21は同期ページ等を受信して、表示制御部26が同期画面変更通知に基づいて資料表示画面60に同期画面8を表示する。同期画面8には会議資料の1ページ目が表示される。進行役の端末装置3の送受信部21は変更後の同期ページを受信し、記憶・読出部38が記憶部39のページデータDB2901にキャッシュする。
S5:次に、サーバシステム30の資料共有部32は、参加している他の端末装置3にも会議資料ID、会議資料から取得した同期ページ(1ページ目の画像データ)、同期画面変更通知、及び、ページ番号を、送受信部31を介して参加している端末装置3に送信する。他の端末装置3は進行役でないので、進行役であることを示す進行役通知は送信されない。ページ番号が送信されることで進行役でない端末装置3が同期ページを表示できる。更に、総ページ数を送信することが好ましい。
S6:参加している端末装置3の同期ページ取得部22は送受信部21を介して同期ページ(1ページ目のページデータ)等を受信する。参加している端末装置3の表示制御部26は同期画面変更通知に基づいて端末装置3に接続されているディスプレイの資料表示画面60に同期ページを表示する。この時、参加している端末装置3の表示制御部26は、同期画面8と非同期画面9を同時に表示する2画面モードで表示してもよいし、同期画面8のみを表示して後から2画面モードに切り替えてもよい。図7のシーケンス図では、まず、同期画面8のみを表示するものとする。なお、進行役でない端末装置3の送受信部21は変更後の同期ページを受信し、記憶・読出部38が記憶部39のページデータDB2901にキャッシュする。
S7:参加している端末装置3を操作する参加者は2画面モードに切り替える操作を行う。端末装置3の操作受付部24はこの操作を受け付ける。
S8:2画面モードになったため、端末装置3の表示制御部26は同期ページと非同期ページを資料表示画面60に表示させる。詳細は図8にて説明する。後述するように、進行役でない端末装置3が2画面モードの場合、同期画面8には操作パネル61が表示されず、非同期画面9にのみ操作パネル61が表示される。したがって、進行役が操作する同期画面8を、他の端末装置3の参加者が操作することを制限できる。
S9:次に、進行役の参加者が同期画面8のページを切り替える。進行役の端末装置3の操作受付部24はこの操作を受け付ける。
S10:進行役の端末装置3の同期ページ取得部22は、変更後のページ番号をサーバシステム30に送信する。進行役の端末装置3は会議資料IDと共に参加者IDを送信する。
S11:サーバシステム30の送受信部31はページ番号等を受信し、記憶・読出部38が資料管理DB3901の会議IDと会議資料IDに対応付けて、ステップS10のページ番号を同期ページ番号に登録する。
S12:サーバシステム30の資料共有部32は同期画面8のページ番号が更新されたので、まず、進行役の端末装置3に会議資料ID、ページ番号、変更後のページの同期ページ、同期画面変更通知、及び進行役通知を送信する。
S13:進行役の端末装置3の送受信部21は変更後のページの同期ページ等を受信し、記憶・読出部38が記憶部39のページデータDB2901にキャッシュする。また、表示制御部26は、最後に受信したページデータを記憶部39のページデータDB2901から読み出して、進行役の端末装置3に接続されているディスプレイの同期画面8に表示する。
S14:次に、サーバシステム30の資料共有部32は同期画面8のページ番号が更新されたので、参加している端末装置3に会議資料ID、ページ番号、同期画面変更通知、及び、変更後のページの同期ページを送信する。
S15:参加している端末装置3の送受信部31は変更後のページの同期ページ等を受信し、記憶・読出部28が記憶部29のページデータDB2901にキャッシュする。また、表示制御部26は、最後に受信したページデータを記憶部29のページデータDB2901から読み出して、同期画面変更通知に基づいて参加している端末装置3に接続されているディスプレイの同期画面8に表示する。2画面モードの場合、同期画面と非同期画面に同じページデータが表示される。
S16:そして、参加者が端末装置3を操作して、非同期画面9のページ番号を変更する。参加している端末装置3の操作受付部24はこの操作を受け付ける。
S17:非同期画面9が操作されたので、非同期ページ取得部23は送受信部21を介して、サーバシステム30に参加者ID、非同期画面変更通知、変更後のページ番号及び会議資料IDを送信する。非同期画面変更通知は、非同期画面9のページ番号が変更された旨を通知する情報である。
S18:サーバシステム30の送受信部31は変更後のページ番号等を受信し、資料共有部が資料管理DB3901から変更後のページ番号のページデータを取得する。資料共有部32は、参加者IDで端末装置3を特定し、この端末装置3に変更後のページ番号、このページの非同期ページ、非同期画面変更通知、及び会議資料IDを送信する。非同期画面変更通知を受信したので、資料共有部32は他の端末装置3にページデータを送信しない。非同期画面変更通知があることで、似たようなタイミングで同期画面が更新されても進行役でない端末装置3が非同期画面を更新できる。
S19:参加している端末装置3の送受信部21は変更後のページ番号の非同期ページ等を受信し、記憶・読出部28がページデータDB2901にページデータをキャッシュする。また、表示制御部26が最後に受信したページデータをページデータDB2901から読み取り、非同期画面変更通知に基づいて参加している端末装置3に接続されているディスプレイの非同期画面9に表示する。
以上のように、各端末装置3は同期画面8で会議資料を共有しながら、任意のページを非同期画面9に表示できる。
<画面例>
図8は、1画面モードと2画面モードの切り替えを説明する図の一例である。1画面モードと2画面モードは資料表示画面60の表示モードの1つである。図8は会議画面のうち、会議資料のみが表示された資料表示画面60を示す。図8(a)は、1画面モードの資料表示画面60であり、図8(b)は2画面モードの資料表示画面60である。1画面モードの資料表示画面60では原則的に同期画面8のみが表示されるとするが、参加者の所定の操作により非同期画面9のみを表示してもよい。つまり、参加者は同期画面8も非同期画面9もディスプレイ18に大きく表示できる。
2画面モードの資料表示画面60は同期画面8と非同期画面9を有する。図8(b)では左側が同期画面8、右側が非同期画面9であるが、同期画面8と非同期画面9の配置は参加者が任意に設定できる。
1画面モードの資料表示画面60は操作パネル61を有する。操作パネル61は、前ページボタン63、次ページボタン62、及び、2画面モード切替ボタン64を有する。前ページボタン63は1つ前のページを参加者が表示させるボタンであり、次ページボタン62は次のページを参加者が表示させるボタンである。2画面モード切替ボタン64は2画面モードに参加者が切り替えるためのボタンである。この他、任意のページを参加者が入力したり選択したりするボタンを有していてもよい。1画面モードの場合に操作パネル61の2画面モード切替ボタン64を参加者が押下すると、端末装置3の表示制御部26は2画面モードに切り替える。端末装置3が非同期ページを取得していない状態で2画面モードに切り替えた場合、2画面モードでは同じページデータが表示される。
したがって、1画面モードでは進行役でない参加者も同期ページのページ番号を変更できる。しかしながら、1画面モードでは進行役でない端末装置3が操作パネル61を非表示にしてもよい。
2画面モードの操作パネル61は前ページボタン63、次ページボタン62、及び、1画面モード切替ボタン65を有する。1画面モード切替ボタン65は1画面モードに参加者が切り替えるためのボタンである。その他の機能は2画面モードと同じである。
2画面モードでは2つのページデータに1つの操作パネル61しかない。これは単なる参加者(進行役でない)は同期画面8を操作できないためである。すなわち、2画面モードの操作パネル61は非同期画面9を操作するためのものである。このように、進行役でない参加者は同期画面8を操作できないので、同期画面8を誤操作してしまうことを防止できる。
なお、資料表示画面60は3つ目の表示モード(後述するピクチャーインピクチャーモード)を有しており、操作パネル61の操作により、参加者は3つの表示モードを切り替えることができる。
図9は、2画面モードの資料表示画面60の一例を示す。図9は図8(b)と同様の画面である。1つのウィンドウの中に同期画面8と非同期画面9がある。図9では参加者の顔等が撮像された画像データが表示されていないので、参加者は会議資料のみを表示できる。同期画面8と非同期画面9が横に並んで表示されるので、参加者は進行役が表示させる会議資料を把握できる。
同期ページと非同期ページはそれぞれアプリケーションソフトウェアが付与したページ番号を有している。以下、このページ番号をアプリページ番号68という。参加者は同期ページのアプリページ番号68を参照し、同期ページを把握できる。ただし、アプリページ番号68の大きさや資料表示画面60の大きさによっては参加者が見にくい場合がある。
<会議画面>
図10は、会議画面70の一例を示す。会議画面70は、各端末装置3がカメラ11で撮像して得た画像データ71と資料表示画面60を含む画面である。図10では、左側に2つの端末装置3の画像データ71が表示され、右側に資料表示画面60が表示されている。資料表示画面60は2画面モードになっており、操作パネル61が1つだけ表示されている。したがって、参加者は画像データ71を見ながら、会議資料を閲覧することもできる。また、同期画面8の会議資料と非同期画面9の会議資料を同時に閲覧することができる。ただし、アプリページ番号68の大きさや資料表示画面60の大きさによっては参加者が見にくい場合がある。
<2つのディスプレイへの表示>
図11は2つのディスプレイにそれぞれ表示された同期画面8と非同期画面9を示す。端末装置3が2つのディスプレイ18を有する場合、図11に示すように、表示制御部26はそれぞれに同期画面8と非同期画面9を表示できる。このように、1つのディスプレイ18が1つのページデータを表示できるため、参加者は会議資料を大画面で閲覧できる。また、参加者は同期画面8と非同期画面9を任意のサイズに変更できる。図11では資料表示画面60のみが表示されているが、画像データ71を表示することも可能である。
また、2つのディスプレイ18を有するとは、端末装置3が2つのディスプレイI/Fを有することをいう。当然ながら、3つ以上のディスプレイ18を有してもよい。ディスプレイI/Fは、ディスプレイ18を接続するためのインタフェースであり、例えば、HDMI(登録商標)、D−SUB、DVI、Display Port(登録商標)、USBなどがある。ディスプレイ18は、液晶や有機ELのようなフラットパネルディスプレイの他、プロジェクタなどでもよい。
また、資料表示画面60が表示されるディスプレイは、表示機能を有するディスプレイ18だけでなく情報処理装置でもよい。例えば、タブレット端末、スマートフォン、PDAなどディスプレイを有していれば、端末装置3に接続できる。参加者が手持ちの情報処理装置を端末装置3に接続して、図11のような表示を実現することができる。
<ページ番号の表示>
続いて、図12〜図18を用いて、ページ番号の表示形態を説明する。図12(a)は非同期画面9の一部に同期画面8のページ番号が表示された場合の資料表示画面60の一例を示す。このような表示形態をピクチャーインピクチャーという場合がある。図12(a)の資料表示画面60は非同期画面9を全面に表示すると共に、その一部である右上に同期画面8のページ番号の表示欄7がある。ページ番号の表示欄7は右上の他、右下、左下、又は、左上でもよい。また、参加者がページ番号の表示欄7の位置を任意に変更できてよい。
参加者は非同期画面9の内部にあるページ番号101を少ない視線移動で確認できる。また、ページ番号の表示欄7は非同期画面9の閲覧を阻害しない程度の大きさであるが、参加者がページ番号101を見ることができる大きさなので、非同期画面9の閲覧を阻害せずにページ番号101を確認できる。
なお、参加者がページ番号の表示欄7(ページ番号101)を押下すると、このページの同期画面8が大きく表示される。図12(b)は表示欄7が押下されることで表示された同期画面8を示す。ページ番号101で指定された会議資料の同期ページが大きく表示され、右上には「非同期画面 10/15」と表示される。このように、参加者は同期画面と非同期画面を容易に切り替えることができる。
図13は、非同期画面9の一部に同期画面8のページ番号101と同期画面8が表示された場合の資料表示画面60の一例を示す。なお、図13の説明では主に図12との相違を説明する。図13の資料表示画面60は一部に同期画面8を有する。したがって、参加者は非同期画面9と共に小さく表示された同期画面8を閲覧できる。
図13の同期画面8のサイズは、ディスプレイのサイズの1/4より大きいと非同期画面9の閲覧を阻害する。このため、最大でもディスプレイのサイズの1/4以下とする。一方、同期画面8が小さいと同期画面8を見にくくなるため(どの会議資料のどのページかを参加者が判断できない)、最小でもディスプレイのサイズの1/64以上とする。しかしながら、1/4や1/64はあくまで目安であり、参加者が同期ページを閲覧できる程度のサイズであればよい。例えば、同期画面8がディスプレイの1/2のサイズでもよい。
したがって、参加者はページ番号だけでなく小さな同期画面8を見ることで会議資料のどのページを表示すべきか推定できる。
図12又は図13と同様のページ番号101の表示は、図9〜図11の資料表示画面60又は会議画面70でも可能である。図14は、図9の資料表示画面60において同期画面8にページ番号が表示された例を示す。図14の同期画面8は上方にページ番号の表示欄7を有するため、アプリページ番号68が小さくても、参加者はページ番号を容易に確認できる。なお、ページ番号の表示欄7は非同期画面9の一部に表示されてもよい。
図15は、図10の会議画面において同期画面8にページ番号が表示された例を示す。図15の同期画面8は右方にページ番号の表示欄7を有するため、アプリページ番号68が小さくても、参加者はページ番号を容易に確認できる。なお、ページ番号の表示欄7は非同期画面9の一部に表示されてもよい。
図16は、図11の資料表示画面60において同期画面8にページ番号が表示された例を示す。図16の同期画面8は右上にページ番号の表示欄7を有する。ディスプレイが2つある場合はアプリページ番号68が大きく表示されると考えられるが、仮にディスプレイのサイズが小さい場合でも、参加者は会議のページ番号を容易に確認できる。なお、ページ番号の表示欄7は非同期画面9の一部に表示されてもよい。
<他の表示例>
上記では、同期ページを表示するための情報としてページ番号で示したが、同期ページを表示するための情報は以下のような態様で表示することができる。
図17(a)は、現在のページ番号が進捗バー73とパーセンテージ74で表示された資料表示画面60の一例である。同期画面8のページ番号は表示されないが、進捗バー73とパーセンテージ74で参加者はおよそのページ番号が分かるので、会議の進捗状況かを把握できる。なお、進捗バー73は、以下のように表示される。まず、表示制御部26は現在のページ番号を総ページ数で割ることでパーセンテージ74を算出する。進捗バー73の全長のうち、パーセンテージ74に相当する長さを着色する。
図17(b)は、ジャンプボタン75が表示された資料表示画面60の一例を示す。ジャンプボタン75には「Jump To The Page」と表示されている。参加者はページ番号を知ることで同期ページを大きく表示したいので、ジャンプボタン75そのものから参加者がページ番号を判断できなくても、ジャンプボタン75を押下することで同期ページを大きく表示することができる。
また、図18(a)に示すように、ページ番号101は資料表示画面60に常に表示されなくてもよい。図18(a)では、マウスカーソル77が所定の領域と重なると同期画面8とページ番号101が表示される。所定の領域とは同期画面8の右上など、ページ番号が表示される領域である。このように予め定められた場所に参加者がマウスカーソル77を移動させた際にページ番号等が表示されるので、常態では、参加者は非同期画面9のみを閲覧できる。
なお、マウスカーソル77の他、端末装置3の所定のハードキーが押下された場合にページ番号が表示されてもよいし、ディスプレイ18の非同期画面9がタップされた場合にページ番号が表示されてもよい。
また、図18(b)に示すように、同期ページが更新された旨がサーバシステム30から端末装置3に通知された際に、表示制御部26がページ番号を表示してもよい。図18(b)では、同期ページの更新の旨の通知に対し、同期画面8と「ページが更新されました。現在のページは14/15です」というメッセージ78が表示されている。メッセージ78は更新の旨の通知から所定期間だけ表示される。同期ページの更新の旨の通知時にのみページ番号が表示されるので、端末装置3は参加者を注意喚起することができる。
図18(a)と図18(b)は組み合わせて適用されることが有効である。参加者はページの更新のタイミングでページ番号を把握でき、マウスカーソル77を使用して任意のタイミングでページ番号を把握できる。
<表示手順>
図19は、進行役でない端末装置3が資料表示画面60を表示する手順を示すフローチャート図の一例である。図19の処理は端末装置3が会議資料のページデータを受信するとスタートする。なお、ピクチャーインピクチャーモードの説明では、同期画面8とページ番号101が表示される場合を例にして説明する。
<<進行役でない場合>>
まず、ページデータを受信すると表示制御部26は自機である端末装置3が進行役か否かを判断する(S10)。進行役か否かは進行役通知がサーバシステム30から送信されたか否かにより判断される。
ステップS10の判断がNoの場合、表示制御部26は1画面モードか否かを判断する(S20)。表示モードは参加者が操作パネル61を操作して設定する。
(1画面モード)
ステップS20の判断がYesの場合、表示制御部26は資料表示画面60に同期画面8のみを表示して、同期画面8の下方に操作パネル61を表示する(S30)。
次に、表示制御部26は次のページデータを受信したか否かを判断する(S40)。次のページデータを同期画面8に表示するためである。同期ページのページ番号の変更は1画面モードの進行役でない参加者も可能である。
ステップS40の判断がYesの場合、表示制御部26は同期ページか否かを判断する(S50)。同期ページか否かは非同期画面変更通知の有無により判断される。説明の便宜上、1画面モードの場合、同期ページが表示されるものとする。
ステップS50の判断がYesの場合、表示制御部26は同期画面8を更新する(S60)。このように、1画面モードでは受信したページデータを同期画面8に表示できる。ステップS50の判断がNoの場合、表示制御部26は非同期画面9を更新しない。
次に、操作受付部24は操作パネル61から同期画面8のページ番号が変更された否かを判断する(S70)。本実施形態では、進行役以外の端末装置3も1画面モードでは同期画面8のページを変更できる。しかしながら、進行役以外の端末装置3が同期画面8のページ番号を変更することを禁止する運用も考えられ、例えばサーバシステム30から禁止信号を送信して、参加者が同期画面8のページ番号を変更できないように設定することも有効である。
ステップS70の判断がYesの場合、同期ページ取得部22は参加者が操作したページ番号のページデータがページデータDB2901に記憶されているか否かを判断し、ない場合には同期ページ要求とページ番号をサーバシステム30に送信する(S80)。
ステップS70の判断がNoの場合、処理はステップS10に戻り、進行役か否かの判断から繰り返し実行される。
図19の1画面モードでは同期画面が表示されることを前提に説明したが、非同期画面が表示されている場合も同様である。この場合、ステップS50で非同期ページが受信さえたか否かが判断される。
(2画面モード)
ステップS20の判断がNoの場合、表示制御部26は2画面モードか否かを判断する(S110)。
ステップS110の判断がYesの場合、表示制御部26は資料表示画面60に同期画面8と非同期画面9を表示し、同期画面8の操作パネル61を非表示にして、非同期画面9の操作パネル61を表示する(S120)。1ページ目しか送信されていない場合は同期画面8と非同期画面9のどちらも1ページ目が表示される。
また、表示制御部26は同期画面8に同期ページを表示するための情報を表示する(S130)。すなわち、ページ番号101を表示する。
次に、表示制御部26は次のページデータを受信したか否かを判断する(S140)。次のページデータを同期画面8又は非同期画面9に表示するためである。
ステップS140の判断がYesの場合、表示制御部26は同期ページか否かを判断する(S150)。同期ページか否かは非同期画面変更通知の有無により判断される。2画面モードの場合、同期画面8と非同期画面9のどちらにページデータを表示するか判断するためである。
ステップS150の判断がYesの場合、表示制御部26は同期画面8を更新する(S160)。ステップS150の判断がNoの場合、表示制御部26は非同期画面9を更新する(S165)。
次に、操作受付部24は操作パネル61から非同期画面9のページ番号が変更された否かを判断する(S170)。2画面モードの場合、ページ番号が変更されるのは非同期画面9のみである。こうすることで、参加者が2画面モードで誤って同期画面8のページ番号を変更することを防止できる。
ステップS170の判断がYesの場合、非同期ページ取得部23は参加者が操作したページ番号のページデータがページデータDB2901に記憶されているか否かを判断し、ない場合には非同期ページ要求とページ番号をサーバシステム30に送信する(S180)。
ステップS170の判断がNoの場合、処理はステップS10に戻り、進行役か否かの判断から繰り返し実行される。
(ピクチャーインピクチャーモード)
ステップS110の判断がNoの場合、表示制御部26は非同期画面9の一部に同期画面8を小さく表示する資料表示画面60を表示する。また、非同期画面9の操作パネル61を表示する(S220)。1ページ目しか送信されていない場合は同期画面8と非同期画面9のどちらも1ページ目が表示される。
また、表示制御部26は非同期画面9の一部に同期ページを表示するための情報を表示する(S230)。すなわち、ページ番号101を表示する。
次に、表示制御部26は次のページデータを受信したか否かを判断する(S240)。次のページデータを同期画面8又は非同期画面9に表示するためである。
ステップS240の判断がYesの場合、表示制御部26は同期ページか否かを判断する(S250)。同期ページか否かは非同期画面変更通知の有無により判断される。ピクチャーインピクチャーモードの場合、同期画面8と非同期画面9のどちらにページデータを表示するか判断するためである。
ステップS250の判断がYesの場合、表示制御部26は同期画面8を更新する(S260)。ステップS250の判断がNoの場合、表示制御部26は非同期画面9を更新する(S265)。
次に、操作受付部24は操作パネル61から非同期画面9のページ番号が変更された否かを判断する(S270)。ピクチャーインピクチャーモードの場合、ページ番号が変更されるのは非同期画面9のみである。こうすることで、参加者がピクチャーインピクチャーモードで誤って同期画面8のページ番号を変更することを防止できる。
ステップS270の判断がYesの場合、非同期ページ取得部23は参加者が操作したページ番号のページデータがページデータDB2901に記憶されているか否かを判断し、ない場合には非同期ページ要求とページ番号をサーバシステム30に送信する(S280)。
ステップS270の判断がNoの場合、操作受付部24はページ番号101が押下されたか否かを判断する(S290)。同期画面8を大きく表示するためである。
ステップS290の判断がYesの場合、表示制御部26は同期画面8と非同期画面9のサイズを交換して表示する(S300)。つまり、非同期画面9が大きく表示されていた場合は同期画面8を大きく表示し、同期画面8が大きく表示されていた場合は非同期画面9を大きく表示する。こうすることで、参加者はいつでも同期画面8又は非同期画面9を大きく表示できる。
<<進行役である場合>>
図20は進行役の端末装置3が資料表示画面60を表示する手順を示すフローチャート図の一例である。図20の説明では図19との相違を説明する。進行役の参加者がビデオ会議中に非同期画面9を表示すると操作を誤ったり、うまく進行できなかったりするなどのおそれがある。このため、考えの1つとして進行役の端末装置3は1画面モードしか表示できないように制御することも有効である。別の考え方として、進行役の端末装置3は進行のために同期ページとは別に任意のページを閲覧したい場合があるとも考えられる。この場合は、端末装置3が表示モードを制限すべきでない。本実施形態ではどちらも採用しうるが、図20では後者の考えに基づいて説明する。
この場合、図20の処理はステップS120のみが異なる。すなわち、表示制御部26は同期画面8の操作パネル61を表示し、非同期画面9の操作パネル61を表示する(S120)。進行役の参加者は同期画面8のページ番号を変更する必要があるため、これにより、進行役の端末装置3は2画面モードでも同期画面8のページ番号を更新できる。
<ディスプレイ18のサイズが小さい場合>
図21,図22を用いてディスプレイ18のサイズが小さい端末装置3の資料表示画面60について説明する。具体的には、スマートフォン、タブレット端末、PDA、又は、携帯電話などで有効である。
図21(a)〜(c)は縦長のディスプレイに表示される資料表示画面60の一例を示す。表示制御部26は、資料表示画面60を上半分と下半分の1:1に固定する。また、操作量が多くなる非同期画面9(自分が操作する画面)を下側に配置する。
図21(b)に示すように、端末装置3がカメラで撮像された画像データ71を表示する場合は、資料表示画面60を下側に配置する。参加者が操作するためである。
図21(c)に示すように、同期画面8に画像データ71を重ねて表示してもよい。この場合、資料表示画面60が大きく表示できると共に、画像データ71が小さく表示されるため、参加者の表情を見ながらビデオ会議することができる。
いずれの場合も、表示制御部26は同期画面8にページ番号を表示する。これにより、ディスプレイ18のサイズが小さくても参加者はページ番号を確認できる。
なお、ページの変更に関する操作として、参加者はフリック操作(指でタッチパネルを一方向になぞる)を使用できる。上記のように、進行役でない参加者は2画面モード(図21(a)〜(c)の全て)で同期画面8のページ番号を変更できない。つまり、操作受付部24は同期画面8に対するページ変更の操作を受け付けない。上記と同様に操作パネル61を表示して操作してもよい。
図22(a)〜(c)は横長のディスプレイ18に表示される資料表示画面60の一例を示す。表示制御部26は、資料表示画面60を左半分と右半分の1:1に固定する。参加者は利き手で非同期画面9を操作すると考えられるので、表示制御部26は利き手側に非同期画面9を表示する。参加者は自分の利き手を端末装置3に設定しておく。
したがって、図22(b)に示すように、表示制御部26が画像データ71を表示する場合、資料表示画面60を利き手側に表示する。また、図22(c)に示すように、表示制御部26は同期画面8に画像データを重ねて表示してもよい。ページの変更に関する操作は図21と同様である。
<まとめ>
以上説明したように端末装置3は、会議資料が持つページ番号とは別に、進行役の端末装置3が表示中の会議資料のページ番号を非同期画面9に表示するため、参加者は進行役の端末装置3が表示している会議資料のページ番号を容易に確認できる。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、同期ページを表示するための情報として、会議開始からの時間を表示してもよい。
また、上記実施形態では、通信システム100の一例として、ビデオ会議システムの場合について説明したが、これに限るものではなく、IP(Internet Protocol)電話や、インターネット電話等の電話システムであってもよい。
また、通信システム100は、移動体に搭載されたカーナビゲーション装置を含むシステムであってもよい。また、端末装置3に画面共有用のPCが接続されてもよい。
また、上記実施形態では、コンテンツデータの一例として、画像データ及び音声データについて説明したが、これに限るものではなく、触覚(touch)データであってもよい。この場合、一方の端末装置側で参加者が接触した感覚が、他方の端末装置側に伝達される。更に、コンテンツデータは、嗅覚(smell)データであってもよい。
また、図5などの構成例は、端末装置3による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。端末装置3の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
なお、表示制御部26は表示処理手段の一例であり、同期ページ取得部22は第一のページ取得手段の一例であり、非同期ページ取得部23は第二のページ取得手段の一例であり、操作受付部24は受付手段の一例であり、ページデータDB2901はページ記憶部の一例である。同期ページは第一のページ、非同期ページは第二のページの一例である。