JP2011082694A - 通信会議システム及び通信装置 - Google Patents

Abstract

【課題】平置き又は直立等の通信装置の設置状態に応じて画像データ又は音声データ等の送信を制御し、不要なデータの送受信を抑制することができる通信会議システム及び通信装置を提供する。
【解決手段】端末装置５ａ、５ｂは、表示部及びカメラが設けられた筐体の傾斜角度を検出する傾斜角検出部を有し、検出した傾斜角度から端末装置５ａ、５ｂの設置状態を判定する。端末装置５ａ、５ｂは、直立状態の場合にカメラが撮像した画像データ及びマイクが集音した音声データの送信を行い、平置き状態の場合に画像データ及び音声データの送信を停止する。また端末装置５ａ、５ｂは、画像データを受信した場合にこの画像データをＲＡＭに記憶しておき、画像データを受信しない場合にはＲＡＭに記憶した画像データを読み出して表示する。
【選択図】図８

Description

本発明は、カメラが撮像した画像データ及びマイクが集音した音声データ等を、一の通信装置が他の装置との間で送受信することによって、遠隔地の複数のユーザが通信会議を行うことを可能とした通信会議システム、及びこのシステムに用いられる通信装置に関する。

ネットワーク技術の発展に伴って、遠隔の二拠点又は三拠点以上の多拠点に設置された複数の通信装置の間で画像（映像）及び音声等の大容量データを送受信することが可能となり、これらの通信装置を利用して遠隔地のユーザが会議を行うことができる通信会議システム（所謂、テレビ会議システム又はＷｅｂ会議システム）が実用化されている。

従来の通信会議システムでは、一の通信装置が電話番号又はＩＰ（Internet Protocol）アドレス等を指定して他の装置と直接的に接続を確立し、２つの通信装置が一対一で画像及び音声等のデータを交換することで通信会議が実現される。また３つ以上の通信装置を利用して、一の通信装置を親機とし、他の複数の通信装置を子機として、複数の子機がそれぞれ親機との接続を確立し、親機が子機間のデータ交換を中継することにより、三拠点以上の多拠点での通信会議を実現した通信会議システムがある。また、より多くの拠点間での通信会議を実現するために、複数の通信装置をＭＣＵ（Multipoint Control Unit、多地点接続装置）にスター状に接続し、通信装置間のデータ交換をＭＣＵが中継する構成の通信会議システムがある。ＭＣＵを利用した通信会議システムでは、通信会議に参加可能な拠点数はＭＣＵの能力（通信装置を接続できる数、例えば通信ポートの数）に依存する。

更には、ＬＡＮ（Local Area Network）又はインターネット等のネットワークを介して接続された通信会議のサーバ装置と複数の通信装置（クライアント装置）とを用い、サーバ装置が任意の複数の通信装置間でのデータ交換を中継することで通信会議を実現するサーバ＆クライアント型の通信会議システムが存在する。サーバ＆クライアント型の通信会議システムは、サーバ装置の処理能力及びネットワークの通信速度等の制限はあるものの、ＭＣＵを利用した通信会議システムと比較して、通信会議に参加する拠点数の増減を比較的容易に行うことができるという利点がある。

多数の装置間で画像又は音声等のデータ交換を行うことができる通信会議システムでは、１つの通信装置を１人（又は少人数）のユーザが使用して通信会議を行うことが可能となる。各ユーザが使用する通信装置は、液晶などのディスプレイ、カメラ、マイク及びスピーカ等を備え、ユーザを撮像した画像データの送受信及びユーザの発言に係る音声データの送受信等を行う。

カメラを備える装置として、例えば特許文献１においては、ラップトップ型コンピュータ本体に被写体の画像データを入力する画像入力手段を設置することにより、被写体の位置及び方向の調整に伴う操作の簡略化を図ることができ、装置の利便性を向上することができる画像入力装置付きラップトップ型コンピュータが提案されている。

また特許文献２には、第１の会議室内に設けられた会議参加者を撮影するための旋回機能付きＴＶカメラが撮影した映像データを、第２の会議室内に設けられたモニタに表示するテレビ会議システムにて、ＴＶカメラの旋回中には映像データの送信を抑制し、モニタにはカメラの旋回前の受信済みの映像データを表示する会議相手映像切替方式が提案されている。

また液晶表示装置として、例えば特許文献３においては、液晶モジュールフロントカバー、液晶モジュールバックカバー、着脱可能なベース部及び着脱可能な背面カバーにて液晶ユニットを構成し、液晶モジュールバックカバーが平滑な面及び湾曲した面を有する形態とした液晶表示装置が提案されている。この液晶表示装置は、直置き又は平置きの使用状態を速やかに提供できるため、同時に複数の人に映像情報が提供できるなど、液晶表示装置の使用シーンの多様化に対応することができる。

特開平５−０６６８５５号公報 特開平５−２６０４６３号公報 特開平９−２３８２９３号公報

通信会議システムに用いられる通信装置は、画像表示のためのディスプレイを備えており、スタンド又は架台等の支持部材によって支持された状態で使用される場合が多い（特許文献３参照）。また近年では、ディスプレイの薄型化及び軽量化等の実現によって通信装置の携帯性及び可搬性が高まり、スタンド又は架台等の支持部を用いることなく、ユーザがディスプレイの外枠部分などを把持して使用する通信装置が実用化されている。

このような支持部材を有しない通信装置は、薄い板状の筐体の一面にディスプレイが設けられ、ディスプレイの周囲の枠部分などにカメラが一体的に設けられ、マイク及びスピーカが筐体内に設けられる。更には、ディスプレイの表面に対する接触入力を受け付けるタッチパネル又はペンタブレット等の入力受付手段が通信装置に設けられる場合もある。ユーザは、通信装置を机上などに載置した平置きの設置状態で使用することもでき、通信装置の筐体を把持して直立などの設置状態で使用することもできる。即ち、ユーザは、適宜の傾斜角度で通信装置を使用することができる。

この通信装置をユーザが把持して直立状態（又は直立に近い急角度）で使用している場合、ユーザはディスプレイに表示された情報を単独で見ていることが想定される。これに対して、通信装置を机上などに平置きした状態（又は平置きに近い緩角度）で使用している場合、ユーザはタッチパネル又はペンタブレット等により手描きの入力作業を行っているか、又は、通信装置を取り囲んで複数のユーザが表示された情報を見て協議していることが想定される。

通信装置に設けられたカメラは、この通信装置を使用するユーザを撮像するためのものであり、カメラにより撮像された画像データは通信会議に参加する他のユーザの通信装置へ送信される。カメラがディスプレイ周囲の枠部分に設けられた通信装置が机上などに平置きされた場合、カメラは上方（例えば部屋の天井など）を撮像することとなり、ユーザが含まれない通信会議とは無関係の画像が送信される虞がある。

また通信装置のマイクにて集音された音声は、通信会議に参加する他のユーザの通信装置へ送信される。平置きした通信装置を囲んで複数のユーザが協議を行っている場合、複数のユーザが同時的に発言することによって、マイクにて集音された音声は複数のユーザの音声が重なったものとなり、他の通信装置を使用するユーザにとって聞き取り難いものとなる虞がある。

一方、各通信装置はカメラが撮像した画像データ及びマイクが集音した音声データを送信し、サーバ装置は各通信装置からの画像データ及び音声データを受信して合成などの画像処理及び音声処理を行い、通信会議に参加する全ての通信装置へ処理後の画像データ及び音声データを送信する必要がある。画像データ及び音声データはデータ量が多いため、通信会議に多数の通信装置が参加する場合、通信回線に対する負荷及びサーバ装置の処理負荷等が増大するという問題があり、通信装置及びサーバ装置間で不必要なデータの送受信を削減することが望ましい。

特許文献２に記載の会議相手映像切替方式では、ＴＶカメラの旋回中に映像データの送信を抑制することによって、無駄な映像データの送信を抑制し、通信コストを節約することができる。しかしながら、ＴＶカメラの旋回を制御する制御装置が旋回中にＴＶカメラの出力をオフする構成であり、ユーザの作業状態などの変化による通信装置の設置状態の変化に応じた処理を行うことができるものではなく、通信装置が平置き状態とされた場合の不必要なデータの送受信を削減できるものではない。

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、平置き又は直立等の通信装置の設置状態に応じて画像データ又は音声データ等の送信を制御し、不要なデータの送受信を抑制することができる通信会議システム及び、このシステムを構成する通信装置を提供することにある。

本発明に係る通信会議システムは、画像を表示する表示部が設けられた筐体及びカメラの撮像により得られた画像データを送信する送信手段を有する送信側通信装置と、該送信側通信装置からの画像データを受信する受信手段、該受信手段が受信した画像データを表示する処理を行う表示処理手段を有する受信側通信装置とを備える通信会議システムにおいて、前記送信側通信装置は、前記筐体の設置状態を検出する検出手段と、該検出手段の検出結果に応じて、前記送信手段による画像データの送信を停止させる送信制御手段とを有し、前記受信側通信装置は、画像データを記憶する記憶手段を有し、前記送信側通信装置からの画像データの送信が停止された場合に、前記表示処理手段が前記記憶手段に記憶された画像データを表示するようにしてあることを特徴とする。

また、本発明に係る通信会議システムは、前記受信側通信装置の記憶手段が、前記受信手段が受信した画像データを記憶するようにしてあり、前記受信側通信装置の表示処理手段は、前記送信側通信装置からの画像データの送信が停止された場合に、送信停止以前に前記記憶手段に記憶された画像データを表示するようにしてあることを特徴とする。

また、本発明に係る通信会議システムは、前記受信側通信装置の記憶手段が、予め定められた所定画像の画像データを記憶しており、前記受信側通信装置の表示処理手段は、前記送信側通信装置からの画像データの送信が停止された場合に、前記記憶手段が予め記憶した前記所定画像を表示するようにしてあることを特徴とする。

また、本発明に係る通信会議システムは、前記所定画像が、前記送信側通信装置の設置状態に係る情報を示す文字メッセージ又は画像メッセージを含む画像であることを特徴とする。

また、本発明に係る通信会議システムは、前記送信側通信装置の送信手段が、集音手段の集音により得られた音声データを画像データと共に送信するようにしてあり、前記送信側通信装置の送信制御手段は、前記検出手段の検出結果に応じて、前記送信手段による画像データ及び音声データの送信を停止させるようにしてあり、前記受信側通信装置の受信手段は、前記送信側通信装置が送信した画像データ及び音声データを受信するようにしてあり、前記受信側通信装置は、前記受信手段が受信した音声データに係る音声の出力処理を行う音声出力処理手段を有することを特徴とする。

また、本発明に係る通信会議システムは、前記送信側通信装置の検出手段が、前記筐体の傾斜角度に応じて前記設置状態を検出するようにしてあり、前記送信側通信装置の送信制御手段は、前記検出手段が検出した傾斜角度が閾値角度より水平又は鉛直のいずれに近いかに応じて、前記送信手段によるデータの送信を停止させるようにしてあることを特徴とする。

また、本発明に係る通信会議システムは、前記送信側通信装置が、前記筐体の前記表示部を囲む枠部に設けられたカメラを有し、前記送信手段が、前記カメラの撮像により得られた画像データを送信するようにしてあることを特徴とする。

また、本発明に係る通信装置は、他の装置から送信された画像データを受信する受信手段と、該受信手段が受信した画像データを表示する処理を行う表示処理手段とを備える通信装置において、画像データを記憶する記憶手段を備え、前記他の装置からの画像データの送信が停止された場合に、前記表示処理手段が前記記憶手段に記憶された画像データを表示するようにしてあることを特徴とする。

本発明においては、カメラが撮像した画像データを送信する送信側通信装置に、筐体の設置状態を検出する手段を設け、検出した設置状態に応じて画像データの送信を停止する制御を行う。送信側通信装置の平置き状態又は直立状態等を検出することができ、例えば送信側通信装置の平置き状態の際に画像データの送信を停止し、直立状態の際に画像データの送信を行う構成とすることができる。これにより、送信側通信装置の平置き状態にてカメラが撮像した不要な画像データの送信を停止することができ、直立状態にてユーザを撮像した画像を確実に送信することができる。
送信側通信装置の画像データの送信が停止された場合、受信側通信装置では画像データを受信することができず、画像表示を行うことができない。画像表示が突然に途切れると、受信側通信装置を使用するユーザに不快感又は不安感等を与える虞がる。そこで受信側通信装置には、画像データを記憶するメモリなどの記憶手段を設けて、送信側通信装置の画像データの送信が停止された場合に表示する画像データを予め記憶手段に記憶しておく。これにより受信側通信装置は、送信側通信装置が画像データの送信を行っている場合には、この画像データを受信して表示する処理を行い、送信側通信装置の画像データの送信が停止された場合には、記憶手段に記憶された画像データを表示する処理を行うことができる。
よって本発明の通信会議システムでは、ユーザによる送信側通信装置の使用態様に適した画像データの送信を行うことができると共に、送信側通信装置による画像データの送信状況に適した画像表示を受信側通信装置が行うことができる。

また、本発明においては、受信側通信装置の記憶手段には受信した画像データを記憶しておく。これにより、記憶手段に記憶される画像データは、送信側通信装置のカメラにて適切にユーザの姿を撮像することができた画像であると推定できる。よって、送信側通信装置の画像データの送信が停止された場合に、送信停止以前に記憶手段に記憶した画像データの表示を受信側通信装置が行うことによって、送信側通信装置を使用するユーザの姿を受信側通信装置に表示することができる。なお、受信側通信装置が記憶手段に記憶して表示する画像データは、静止画像であってもよく、動画像であってもよい。

また、本発明においては、受信側通信装置の記憶手段には予め定められた所定画像を記憶しておく。所定画像は、例えば送信側通信装置の画像データの送信が停止された旨を通知するメッセージなどを含む画像とすることができる。これにより、送信側通信装置の画像データの送信が停止された場合に、受信側通信装置が所定画像を表示して画像データの送信が停止された旨を通知することができる。

また、本発明においては、記憶手段に予め記憶しておく所定画像として、送信側通信装置の設置状態に係る情報（設置状態そのものであってもよく、設置状態から推定される送信側通信装置のユーザの作業状況などであってもよい）を示す文字メッセージ又は画像メッセージ（アイコン若しくはイラスト等）を含む画像を用いる。これにより、受信側通信装置を使用するユーザに対して、相手方のユーザによる送信側通信装置の使用状況などを通知することができる。

また、本発明においては、送信側通信装置がマイクなどの集音手段によりユーザの会話音声を集音して受信側通信装置へ送信する場合には、送信側通信装置の設置状態に応じて、画像データのみでなく音声データの送信を停止する。受信側通信装置は、送信側通信装置が送信した音声データを受信し、受信した音声データに係る音声出力処理を行うが、送信側通信装置による音声データの送信が停止された場合には音声出力処理を停止すればよい。
これにより、例えば複数のユーザが協議を行っている際の会話など、受信側通信装置を使用するユーザが聞き取り難い音声データを送信側通信装置が送信することを防止できる。

また、本発明においては、筐体の設置状態を検出するために、送信側通信装置は、筐体の傾斜角度の検出を行い、検出した傾斜角度が水平又は鉛直のいずれに近いかを判定する。これにより、傾斜角度が水平に近い場合には送信側通信装置が平置き状態で使用され、傾斜角度が鉛直に近い場合には送信側通信装置が直立状態で使用されていると判断できる。
よって、送信側通信装置の使用態様を確実に判断し、傾斜角度が水平に近い場合に画像データの送信を停止することにより、使用態様に適した画像データの送信を行うことができる。

また、本発明においては、送信側通信装置には、筐体の表示部を囲む枠部にカメラを設ける。このように表示部及びカメラを筐体に一体的に設けた場合、送信側通信装置の使用態様などに応じてカメラの撮像方向が変化する可能性が高いため、上述のように筐体の設置状態に応じてカメラが撮像した画像データの送信制御を行うことが好ましい。

本発明による場合は、送信側通信装置に筐体の設置状態を検出する手段を設け、検出した設置状態に応じて画像データの送信を停止する制御を行うと共に、受信側通信装置に画像データを記憶する記憶手段を設け、送信側通信装置の画像データの送信が停止された場合に表示する画像データを予め記憶手段に記憶しておく構成とすることにより、送信側通信装置の平置き状態にてカメラが撮像した不要な画像データの送信を停止することができる。これにより、大容量データの送受信による通信回線に対する負荷の増大、送信側及び受信側の通信装置の処理負荷の増大、並びにサーバ装置の処理負荷の増大を抑制できる。また受信側通信装置では、記憶手段に記憶した画像データを表示できるため、送信側通信装置の画像データの送信停止により、受信側通信装置を使用するユーザに不快感又は不安感等を与えることを防止できる。
よって、本発明の通信会議システム及び通信装置は、不要な画像データの送受信を抑制して、送信側通信装置の使用態様に適した送信側通信装置の画像データの送信と受信側通信装置の画像表示とを実現することができ、遠隔地での快適な通信会議を実現することができる。

本発明に係る通信会議システムの一構成例を示す模式図である。 通信会議における画像データの送受信を説明するための模式図である。 通信会議におけるドキュメントデータの送受信を説明するための模式図である。 会議サーバ装置の構成を示すブロック図である。 端末装置の構成を示すブロック図である。 端末装置の信号処理部の構成を示すブロック図である。 端末装置の傾斜角度を説明するための模式図である。 端末装置が傾斜角度に応じて行う通信制御処理を説明するための模式図である。 端末装置が行う通信制御処理の手順を示すフローチャートである。 端末装置が行うデータ受信時の処理の手順を示すフローチャートである。 変形例に係る端末装置の構成を示すブロック図である。 変形例に係る端末装置が傾斜角度に応じて行う通信制御処理を説明するための模式図である。

以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。図１は、本発明に係る通信会議システムの一構成例を示す模式図である。図において１は通信会議システムの会議サーバ装置であり、無線又は有線のネットワーク３を介して複数の端末装置（通信装置、送信側通信装置、受信側通信装置）５ａ、５ｂ…に接続されている。会議サーバ装置１は、ネットワーク３に接続された複数の端末装置５ａ、５ｂ…から任意に選択された２つ以上の端末装置５ａ、５ｂ…の間で、画像データ、音声データ又はドキュメントデータ等の各種のデータ送受信を中継することにより、遠隔地での通信会議を実現する。なお、各端末装置５ａ、５ｂ…は本発明の通信装置に相当すると共に、相互にデータの送受信を行うため本発明の送信側通信装置及び受信側通信装置にも相当する。

また会議サーバ装置１は、複数の通信会議を並列的に行うことができる。図１に示す例では、３つの端末装置５ａ、５ｄ、５ｅが１つのグループを形成して会議１を行い、他の３つの端末装置５ｂ、５ｃ、５ｆが１つのグループを形成して会議２を行っている。即ち、会議サーバ装置１は、２以上の端末装置５ａ、５ｂ…を、通信会議を行う１つのグループとして扱い、１つのグループに含まれる複数の端末装置５ａ、５ｂ…の間で画像データ及び音声データ等の中継を行うと共に、ネットワーク中に複数のグループを形成することを許し、複数のグループについて画像データ及び音声データ等の中継を同時的に行うことができる。

通信会議システムの端末装置５ａ、５ｂ…は、ペンタブレット型の表示部及び入力部を有する機器にカメラ、マイク、スピーカ及び通信機能を搭載した構成などにより実現することができる。ただし端末装置５ａ、５ｂ…の構成はこれに限るものではなく、例えばノート型ＰＣ（Personal Computer）にカメラ及びスピーカを搭載した構成、また例えばディスプレイにカメラ及び通信機能を搭載した構成等により実現することができる。端末装置５ａ、５ｂ…は、少なくとも会議サーバ装置１との間で通信を行う機能、ユーザなどの撮像を行う機能、画像を表示する機能及び音声を出力する機能等を備える装置であればよい。

図２は、通信会議における画像データの送受信を説明するための模式図であり、４つの端末装置５ａ〜５ｄが会議サーバ装置１を利用して通信会議を行う場合について示してある。また、図２においては、各端末装置５ａ〜５ｄに搭載されたカメラにて撮影された各ユーザの画像を、全ての端末装置５ａ〜５ｄの間で送受信する例を示してある。

各端末装置５ａ〜５ｄにはユーザの顔又は上半身等を撮影可能な位置にカメラがそれぞれ設けられている。各端末装置５ａ〜５ｄは、これを使用するユーザをカメラにて撮影し、撮影により得られた画像（自端末画像）を符号化した送信用の画像データを作成し、この画像データを会議サーバ装置１へ送信する。

会議サーバ装置１は、４つの端末装置５ａ〜５ｄからの画像データ（４つの自端末画像）を受信し、必要に応じて各画像のサイズ又は画質等を調整する画像処理を行う。会議サーバ装置１は、これらの画像データを通信会議に参加する各端末装置５ａ〜５ｄへそれぞれ送信する。

各端末装置５ａ〜５ｄは、会議サーバ装置１が送信する画像データを受信する。ただし、会議サーバ装置１から各端末装置５ａ〜５ｄへ送信する画像データは、各端末装置５ａ〜５ｄの自端末画像を含まない画像、即ち他の端末装置５ａ〜５ｄにて撮像された画像（他端末画像）のみであってよい。各端末装置５ａ〜５ｄは、自らが撮影した自端末画像と、会議サーバ装置１から受信した複数の他端末画像とをディスプレイに並べて表示する。なお、各端末装置５ａ〜５ｄは、自らのカメラにて撮像した自端末画像については表示を行わない構成であってもよい。通信会議システムでは会議サーバ装置１及び端末装置５ａ〜５ｄが上記の処理を繰り返し行っており、これにより各端末装置５ａ〜５ｄには、通信会議に参加する全てのユーザの画像が動画像として表示される。

なお、図示は省略するが、通信会議における音声データの送受信についても同様の方法で送受信を行うことができる。各通信端末５ａ〜５ｄにはマイクが備えられており、ユーザの会話を音声データに変換して会議サーバ装置１へ送信する。会議サーバ装置１は、各端末装置５ａ〜５ｄからの音声データを受信し、必要に応じて音量及び音質等を調整する音声処理を行って、各端末装置５ａ〜５ｄへ音声データを送信する。各端末装置５ａ〜５ｄは、他の端末装置５ａ〜５ｄの音声データを会議サーバ装置１から受信し、自らのマイクにて集音した音声データと、会議サーバ装置１から受信した複数の音声データとを合成してスピーカから音声出力を行う。

図３は、通信会議におけるドキュメントデータの送受信を説明するための模式図である。通信会議の開催者は、予め会議サーバ装置１に通信会議の開催予約を行い、この際に通信会議にて使用する資料を会議サーバ装置１に登録しておく。会議サーバ装置１に登録する資料は、テキスト又は画像等のデータで構成されたドキュメントデータであり、例えばテキストファイル、画像ファイル、プレゼンテーションソフトウェア用のファイルなどの種々のデータ形式のものであってよい。会議サーバ装置１は、開催者により予め登録されたこれらのドキュメントデータを共有資料１０１として記憶している。

通信会議に参加するユーザが使用する各端末装置５ａ、５ｂ…には、液晶ディスプレイなどによる表示部５５が設けられており、上述のように会議参加ユーザを撮影した画像を表示部５５に表示することができると共に、会議資料のドキュメントデータを表示することができる。このとき、端末装置５ａ、５ｂ…は、表示部５５を上下又は左右等に分割してユーザの撮影画像及びドキュメントデータを共に表示する構成であってもよく、表示部５５に撮影画像又はドキュメントデータのいずれを表示するかをユーザが選択して切り替える構成であってもよい。

会議サーバ装置１は、通信会議のための共有資料１０１をページ毎に管理しており、通信会議に参加する全ての端末装置５ａ、５ｂ…に対して共有資料１０１の所定のページを送信することによって、全ての端末装置５ａ、５ｂ…の表示部５５に共有資料１０１の同じページを表示することができる。各端末装置５ａ、５ｂ…の表示部５５に表示する共有資料１０１のページの変更は、通信会議の開催者のユーザが使用する端末装置５ａ、５ｂ…にて行うことができ、他のユーザが使用する端末装置５ａ、５ｂ…では開催者のユーザが行うページ変更の操作に同期して共有資料１０１の表示ページが変更される。なお、開催者以外のユーザが、自らの端末装置５ａ、５ｂ…にて、開催者のユーザによるページ変更とは非同期に、共有資料１０１のページ変更を行うこともできる。

また各端末装置５ａ、５ｂ…はペンタブレット、マウス又はタッチパネル等のポインティングデバイスによる入力部６１を有しており、ユーザは表示部５５に表示された会議資料に対して文字又は図形等の記入を入力部６１にて行うことができる。一のユーザが一の端末装置５ａ、５ｂ…の入力部６１にて会議資料に記入した文字又は図形等は、他のユーザが使用する他の端末装置５ａ、５ｂ…の表示部５５に会議資料と重ねて表示される。即ち、会議資料に対して一のユーザが記入した文字又は図形等のデータは、通信会議に参加する全てのユーザにて共有される。

このようなドキュメントデータ及びユーザの記入データの共有を行うために、本通信会議システムでは、共有資料１０１の各ページと、各端末装置５ａ、５ｂ…にてユーザが記入した文字又は図形等のデータとを、それぞれ異なるレイヤとして扱っている。会議サーバ装置１から各端末装置５ａ、５ｂ…へページ単位で送信される共有資料１０１は、各通信端末５ａ、５ｂ…においては背景レイヤ１５１として扱われる。

ユーザが入力部６１を用いて記入した文字又は図形等のデータは、各端末装置５ａ、５ｂ…にて書込レイヤ１５５として扱われる。各端末装置５ａ、５ｂ…は、入力部６１にてユーザからの入力を受け付けた後、書込レイヤ１５５のデータを会議サーバ装置１へ送信し、これを受信した会議サーバ装置１は、各端末装置５ａ、５ｂ…に対応付けた端末情報１０５ａ、１０５ｂ…の書込情報として、各端末装置５ａ、５ｂ…の書込レイヤ１５５のデータを記憶する。

会議サーバ装置１は、会議に参加する全ての端末装置５ａ、５ｂ…について、端末情報１０５ａ、１０５ｂの書込情報として各端末装置５ａ、５ｂ…の書込レイヤ１５５のデータを記憶する。更に会議サーバ装置１は、各端末装置５ａ、５ｂ…へ、他の端末装置５ａ、５ｂ…の書込情報をそれぞれ異なるレイヤとして送信する。各端末装置５ａ、５ｂ…は、会議サーバ装置１から送信された他の端末装置５ａ、５ｂ…の書込レイヤ１５５のデータを受信して、背景レイヤ１５１に他の端末装置５ａ、５ｂ…の書込レイヤ１５５と自らの書込レイヤ１５５とを重ねた表示用データを作成し、表示部５５へ表示する。これにより、各端末装置５ａ、５ｂ…の表示部５５には、会議に参加する全ての端末装置５ａ、５ｂ…にてユーザが書き込んだ情報を表示することができる。

なお、各端末装置５ａ、５ｂ…では、背景レイヤ、他の端末装置５ａ、５ｂ…の書込レイヤ１５５、及び自らの書込レイヤ１５５等の複数のレイヤから、表示部５５に重ねて表示するレイヤをユーザが任意に選択することができる。各端末装置５ａ、５ｂ…は、いずれのレイヤを表示するかを閲覧情報として会議サーバ装置１へ送信しており、会議サーバ装置１は、各端末装置５ａ、５ｂ…に対応付けた端末情報１０５ａ、１０５ｂ…に、書込情報と共に閲覧情報を記憶している。これにより会議サーバ装置１は、各端末装置５ａ、５ｂ…へ他の端末装置５ａ、５ｂ…の書込情報を送信する際に、必要な書込情報のみを取捨選択して送信することができる。

図４は、会議サーバ装置１の構成を示すブロック図である。通信会議システムの会議サーバ装置１は、制御部１１、信号処理部１２、画像処理部１３、音声処理部１４、通信処理部１５、ネットワークＩ／Ｆ（インタフェース）部１６、メモリ１７、入力処理部１８、表示処理部１９及びハードディスク２０等を備えて構成されている。

ネットワークＩ／Ｆ部１６は、通信会議システムのネットワーク３を構成する通信ケーブルなどを接続するための端子を有しており、予め定められたＨ．３２３、ＳＩＰ又はＨＴＴＰ等の通信プロトコルに従って、端末装置５ａ、５ｂ…及び他のサーバ装置（例えば、メールサーバなど）との間で通信を行う。ネットワークＩ／Ｆ部１６は、受信したデータを通信処理部１５へ与えると共に、通信処理部１５から与えられたデータを所定の送信先へ送信する。なお会議サーバ装置１は、ネットワーク３を介して無線信号の中継を行う無線通信器３ａに接続されており、無線通信機能を有する端末装置５ａ、５ｂ…との間で通信を行う場合には、無線通信器３ａを介して通信を行うことができる。

通信処理部１５は、通信に係るデータ変換及び暗号化等の処理を行う。通信処理部１５は、制御部１１又は信号処理部１２等から与えられた送信用のデータを通信プロトコルに適したデータ形式に変換し、更に暗号化してネットワークＩ／Ｆ部１６へ与えることによって、データの送信を行う。また通信処理部１５は、ネットワークＩ／Ｆ部１６から与えられた受信データを復号し、会議サーバ装置１の処理に適したデータ形式に変換して制御部１１又は信号処理部１２等へ与えることによって、データの受信を行う。

信号処理部１２は、画像データを符号化する画像符号化部、画像データを復号する画像復号化部、音声データを符号化する音声符号化部及び音声データを復号する音声復号化部を有している。会議サーバ装置１は、各端末装置５ａ、５ｂ…からの画像データを通信処理部１５にて受信し、受信した画像データを必要に応じて信号処理部１２にて復号し、画像処理部１３にて種々の画像処理を施すことができる。画像処理が施された画像データは、信号処理部１２にて符号化され、各通信端末５ａ、５ｂ…へ送信される。なお会議サーバ装置１は、受信した画像データに対して画像処理を施す必要がない場合は、受信した画像データに画像処理を施すことなく各通信端末５ａ、５ｂ…へ送信する。

同様に、会議サーバ装置１は、各端末装置５ａ、５ｂ…からの音声データを通信処理部１５にて受信し、受信した音声データを必要に応じて信号処理部１２にて復号し、音声処理部１４にて種々の音声処理を施すことができる。音声処理が施された音声データは、信号処理部１２にて符号化され、各通信端末５ａ、５ｂ…へ送信される。なお会議サーバ装置１は、受信した音声データに対して音声処理を施す必要がない場合は、受信した音声データに音声処理を施すことなく各通信端末５ａ、５ｂ…へ送信する。

なお信号処理部１２は、Ｈ．２６１、Ｈ．２６３又はＨ２６４等の規格により画像データの符号化／復号化を行うことができ、Ｇ．７１１、Ｇ．７２２、Ｇ．７２８、Ｇ．７２９又はＭＰＥＧ４等の規格により音声データの符号化／復号化を行うことができる。ただし、上記の規格以外の規格により信号処理部１２が画像データ又は音声データの符号化／復号化を行う構成であってもよい。

画像処理部１３は、信号処理部１２から与えられた画像データに対して種々の画像処理、例えば画像の拡大縮小、エッジ強調又は色調整等の画像処理を行うことができる。画像処理部１３は、画像処理を施した画像データを信号処理部１２へ与える。また画像処理部１３は、会議サーバ装置１に接続された表示装置２６に表示する画像の生成する処理を行う。同様に、音声処理部１４は、信号処理部１２から与えられた音声データに対して種々の音声処理、例えばノイズ除去又は音量調整等の音声処理を行うことができる。音声処理部１４は、音声処理を施した音声データを信号処理部１２へ与える。

制御部１１は、具体的にはＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）等の演算処理装置であり、ハードディスク２０に予めインストールされた種々のプログラムを読み出して実行することにより、会議サーバ装置１の各部の動作を制御し、通信会議に係る種々の処理を行う。

メモリ１７は、例えばＳＲＡＭ（Static Random Access Memory）又はＤＲＡＭ（Dynamic Random Access Memory）等のメモリ素子で構成されている。メモリ１７は、制御部１１、信号処理部１２、画像処理部１３及び音声処理部１４等が行う処理の過程にて生じた種々のデータを記憶する（ただし、信号処理部１２、画像処理部１３又は音声処理部１４は、専用のメモリを有していてもよい）。またメモリ１７は、通信処理部１５にて送受信するデータを一時的に記憶する通信バッファとして使用してもよい。

入力処理部１８は、マウス又はキーボード等の入力装置２５からの入力信号を処理することによって、ユーザによる入力操作の有無及び入力操作の内容等を判断して制御部１１へ通知する。制御部１１は、入力処理部１８からの通知に応じて処理を行うことができる。表示処理部１９は、画像処理部１３から与えられた表示のための画像データを、液晶ディスプレイなどの表示装置２６の表示に適した画像信号に変換して出力することにより、表示装置２６にて画像表示を行う。

ハードディスク２０は、メモリ１７より大容量の磁気記憶装置であり、不図示のＯＳ（Operating System）及び各種のアプリケーションソフトウェア等の他に、通信会議システムを実現するための会議管理プログラム２０ａ及び認証情報２０ｂ等のプログラム及びデータが記憶（インストール）されている。

図５は、端末装置５ａの構成を示すブロック図である。なお他の端末装置５ｂ、５ｃ…の構成は、端末装置５ａの構成と同様であるため、図示は省略する。ただし、端末装置５ａ、５ｂ…は全て同じ構成である必要はなく、通信会議システムには構成が異なる複数種の端末装置５ａ、５ｂ…が含まれていてよい。また図５においては、端末装置５ａがカメラ５２、マイク５３、スピーカ５６、入力部６１及び表示部５５を一体的に備える構成を示してあるが、これに限るものではなく、これらの各装置が端末装置５ａの本体に着脱可能に設けられる構成であってもよい。

端末装置５ａは、例えば表示部５５の近傍にカメラ５２が搭載されており、表示部５５へ向いたユーザの頭部又は上半身等をカメラ５２が１秒間に数十回又は数百回程度の頻度で撮像し、撮影画像に係る画像信号を信号処理部７０へ与える。また端末装置５ａは、ユーザの発言などの音声を集音するためのマイク５３を備えており、マイク５３が集音した音声信号はミキサ５４を介して信号処理部７０へ与えられる。ミキサ５４は、マイク５３により集音された音声信号の信号レベルの調整及び帯域制限等の処理を行うものである。

端末装置５ａは液晶ディスプレイなどの表示部５５を備えており、表示部５５は信号処理部７０から与えられる画像信号に応じて画像表示を行う。また端末装置５ａは音声出力を行うスピーカ５６を備えており、スピーカ５６は信号処理部７０から与えられる音声信号に応じて音声出力を行う。

信号処理部７０は、アナログの画像信号及び音声信号とデジタルの画像データ及び音声データとの相互変換処理、画像データ及び音声データの符号化及び復号化等の処理を行うものである。図６は、端末装置５ａの信号処理部７０の構成を示すブロック図である。信号処理部７０は、カメラ５２及びミキサ５４から入力される画像信号及び音声信号を多重化した送信データを生成する機能と、他の装置からの多重化された受信データを画像信号及び音声信号に分離して表示部５５及びスピーカ５６へ出力する機能とを有している。

信号処理部７０は、送信データを生成する機能に関するブロックとして、制御信号Ｉ／Ｆ部７１、Ａ／Ｄ変換部７２、送信メモリ７３、画像符号化部７４、Ａ／Ｄ変換部７５、音声符号化部７６及び多重化部７７を有している。制御信号Ｉ／Ｆ部７１は、端末装置５ａの制御部５１から制御信号が入力されており、この制御信号を多重化部７７へ与えることにより、多重化部７７は制御部５１の制御に応じて処理を行うことができる。

通信処理部７０のＡ／Ｄ変換部７２は、カメラ５２の撮像により得られるアナログの画像信号が入力されており、この画像信号をデジタルの画像データに変換して出力し、送信メモリ７３に記憶する。送信メモリ７３は、ＳＲＡＭ又はＤＲＡＭ等のメモリ素子で構成され、動画を構成する多数の画像データを記憶する十分な記憶容量を有している。送信メモリ７３に記憶された画像データは、画像符号化部７４にて所定規格のデータに符号化され、多重化部７７へ与えられる。

通信処理部７０のＡ／Ｄ変換部７５は、マイク５３にて集音されたアナログの音声信号がミキサ５４から入力されており、この音声信号をデジタルの音声データに変換して音声符号化部７６へ出力する。音声符号化部７６は、入力された音声データを所定規格のデータに符号化して、多重化部７７へ与える。多重化部７７は、画像符号化部７４から入力された画像データと、音声符号化部７６から与えられた音声データとを多重化した送信データを生成して出力する。信号処理部７０の多重化部７７から出力された送信データは、端末装置５ａの通信処理部５８へ与えられ、ネットワークを介して会議サーバ装置１へ送信される。

信号処理部７０は、受信データの分離機能に関するブロックとして、分離部７８、音声復号化部７９、Ｄ／Ａ変換部８０、画像復号化部８１、受信メモリ８２、Ｄ／Ａ変換部８３及び制御信号識別部８４を有している。分離部７８は、端末装置５ａの通信処理部５８から受信データが与えられており、多重化された受信データを画像データ、音声データ及び制御データに分離して出力する。

信号処理部７０の音声復号化部７９は、分離部７８から音声データが入力されており、この音声データを復号化してＤ／Ａ変換部８０へ出力する。Ｄ／Ａ変換部８０は、音声復号化部７９から与えられたデジタルの音声データをアナログの音声信号に変換してスピーカ５６へ出力する。これにより、通信会議に係る音声がスピーカ５６から出力される。

信号処理部７０の画像復号化部８１は、分離部７８から画像データが入力されており、この画像データを復号化して受信メモリ８２に記憶する。受信メモリ８２は、ＳＲＡＭ又はＤＲＡＭ等のメモリ素子で構成され、動画を構成する多数の画像データを記憶する十分な記憶容量を有している。また制御信号識別部８４は、分離部７８から制御データが入力されており、この制御データに応じて受信メモリ８２に記憶された画像データの読み出しタイミングを制御する。受信メモリ８２に記憶された動画データは、制御信号識別部８４の制御に応じて所定のタイミングで読み出され、Ｄ／Ａ変換部８３へ与えられる。Ｄ／Ａ変換部８３は、受信メモリ８２から読み出されたデジタルの画像データをアナログの画像信号に変換して表示部５５へ出力する。これにより、通信会議に係る画像が表示部５５に表示される。

また、端末装置５ａは、他の装置との間でデータの送受信を行うための無線通信部５７及び通信処理部５８を有しており、信号処理部７０は通信処理部５８との間でデータの授受を行うことにより、会議サーバ装置１などの他の装置との間でネットワーク３を介したデータの送受信を行うことができる。無線通信部５７は、通信処理部５８から与えられた送信データを無線信号として送信すると共に、他の装置からの無線信号を受信し、受信した無線信号を受信データとして通信処理部５８へ与える。通信処理部５８は、通信に係るデータ変換及び暗号化等の処理を行う。通信処理部５８は、制御部５１又は信号処理部７０等から与えられた送信データを通信プロトコルに適したデータ形式に変換し、更に暗号化して無線通信部５７へ与えることによって、データの無線送信を行う。また通信処理部５８は、無線通信部５７から与えられた受信データを復号し、端末装置５ａの処理に適したデータ形式に変換して制御部５１又は信号処理部７０等へ与えることによって、データの受信を行う。

制御部５１は、具体的にはＣＰＵ又はＭＰＵ等の演算処理装置であり、ＲＯＭ（Read Only Memory）５９に予め記憶された種々のプログラムを読み出して実行することにより、端末装置５ａの各部の動作を制御し、通信会議に係る種々の処理を行う。ＲＯＭ５９は、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）又はフラッシュメモリ等の不揮発性のメモリ素子で構成されており、通信会議システムを実現するためのプログラム及びデータが予め記憶されている。

ＲＡＭ（Random Access Memory）６０は、例えばＳＲＡＭ又はＤＲＡＭ等のメモリ素子で構成されており、制御部５１及び信号処理部７０等が行う処理の過程にて生じた種々のデータを記憶する。特に、本実施の形態の端末装置５ａにおいては、通信処理部５８にて受信した画像データ６０ａがＲＡＭ６０に記憶される。ＲＡＭ６０は、例えば５分程度の動画に係る画像データ６０ａを記憶できる容量を有しており、端末装置５ａは、他の装置からの画像データの送信が停止された場合に、ＲＡＭ６０に記憶した画像データ６０ａを読み出して表示部５５に表示することができる。

また端末装置５ａは、ペンタブレット、マウス若しくはタッチパネルなどのポインティングデバイス又はキーボード等のユーザの入力操作を受け付ける入力部６１を備えており、入力部６１はユーザによる入力操作に応じた信号を入力処理部６２へ出力する。入力処理部６２は、入力部６１からの入力信号を処理することによって、ユーザによる入力操作の有無及び入力操作の内容等を判断して制御部５１へ通知する。制御部５１は、入力処理部６２からの通知に応じて処理を行うことができる。

また、本発明に係る端末装置５ａは、装置の傾斜角度を検出する傾斜角検出部６３を備えている。傾斜角検出部６３は、例えば振子部材及びこれの変位を検知するスイッチ等により構成することができ、また例えば加速度センサなどにより構成することができる。本実施の形態に係る端末装置５ａの傾斜角度検出部６３は、少なくとも０°（水平）及び９０°（鉛直）の２状態を検出できるものであればよい。傾斜角度検出部６３が検出した傾斜角度は制御部５１へ通知され、制御部５１はこの傾斜角度に応じて端末装置５ａの設置状態を判定し、画像データ及び音声データの送信処理を行うか否かを判断する。

図７は、端末装置５ａの傾斜角度を説明するための模式図であり、端末装置５ａの外観及び使用方法の一例を図示してある。例えば、端末装置５ａは、四角板状の扁平な略直方体形をなす筐体９１の一の面（以下、正面９２という）に、液晶ディスプレイなどの表示部５５が設けられた構成をなしている。端末装置５ａは、正面９２がＡ４サイズ程度の大きさであり、ユーザが把持して使用することが可能な程度の軽量なものである。端末装置５ａの正面９２には表示部５５を露出させる略長方形の開口が形成されており、正面９２は四角枠状をなしている。また端末装置５ａの筐体９１には、表示部５５を囲む枠状の正面９２にカメラ５２が設けてあり、カメラ５２は表示部５５の表示面に対して略鉛直な方向（図中の破線矢印参照）が撮像方向である。

ユーザは、端末装置５ａを把持することによって、端末装置５ａを直立状態（正面９２（表示部５５の表示面）が地面又は机面等に対して略鉛直となるように筐体９１を立てた状態）で使用することができる（図７（ａ）参照）。端末装置５ａが直立状態の場合、筐体９１の正面９２に設けられたカメラ５２は、端末装置５ａを把持するユーザを撮像することができる。なお、端末装置５ａは、ユーザの把持により直立状態とする構成のみでなく、スタンドなどに立て掛ける又は固定することで直立状態とする構成であってもよい。また、直立状態には、地面等に対して９０°（鉛直）の状態のみでなく、地面等に対して４５°〜１１０°程度の鉛直に近い状態（急傾斜状態）を含む。

またユーザは、端末装置５ａを机上などに載置することによって、端末装置５ａを平置き状態（正面９２（表示部５５の表示面）が地面又は机面等に対して略平行となる状態）で使用することができる（図７（ｂ）参照）。なお、平置き状態には、地面又は机面等に対して０°（水平）の状態のみでなく、０°〜４５°程度の水平に近い状態（緩傾斜状態）を含む。例えば端末装置５ａがペンタブレットなどの入力操作を受け付ける構成の場合に、ユーザは端末装置５ａを平置き状態とすることで容易且つ快適に入力操作を行うことができる。ただし、端末装置５ａが平置き状態とされた場合、筐体９１の正面９２に設けられたカメラ５２は、部屋の天井などの上方を撮像し、ユーザを撮像することができない虞がある。

端末装置５ａの傾斜角検出部６３は、筐体９１の正面９２（又は表示部５５の表示面）の地面等に対する傾斜角度を検出する。例えば、傾斜角検出部６３は傾斜角度４５°を閾値とした２値の検出信号を出力する構成とすることができる。傾斜角検出部６３の検出結果は端末装置５ａの制御部５１に通知され、制御部５１は検出結果から端末装置５ａが直立状態又は平置き状態のいずれの設置状態で使用されているかを判定することができる。

図８は、端末装置５ａ、５ｂ…が傾斜角度に応じて行う通信制御処理を説明するための模式図である。なお、図８においては２人のユーザＡ及びＢのみで通信会議を行っており、ユーザＡが端末装置５ａを使用し、ユーザＢが端末装置５ｂを使用している場合を示してある。また各ユーザＡ、Ｂが、端末装置５ａ、５ｂにドキュメントデータを表示させずに、カメラ５２の撮像した画像の表示を行わせていると共に、自らの端末装置５ａ、５ｂにて撮像された画像は表示させずに、相手方の端末装置５ａ、５ｂにて撮像された画像のみを表示させた場合である。

傾斜角検出部６３が検出した傾斜角から端末装置５ａ、５ｂが直立状態であると判定した場合、端末装置５ａ、５ｂの制御部５１は、カメラ５２が撮像した画像データ及びマイク５３が集音した音声データを、会議サーバ装置１を介して他の端末装置５ａ、５ｂへ送信する。また会議サーバ装置１を介して他の端末装置５ａ、５ｂから画像データ及び音声データを受信した場合、端末装置５ａ、５ｂの制御部５１は、受信した画像データに基づく画像表示を表示部５５にて行うと共に、受信した音声データに基づく音声出力をスピーカ５６にて行う。

ユーザＡ及びＢが共に端末装置５ａ、５ｂを直立状態で使用している場合（図８（ａ）参照）、端末装置５ａ、５ｂは共に画像データ及び音声データを送信する。一方の端末装置５ａ、５ｂから送信された画像データ及び音声データは、会議サーバ装置１を介して他方の端末装置５ａ、５ｂへ送信される。画像データ及び音声データを受信した端末装置５ａ、５ｂは、それぞれ画像表示（リアルタイム表示）及び音声出力を行う。また画像データを受信した端末装置５ａ、５ｂは、受信した画像データをＲＡＭ６０に所定期間（例えば５分など）だけ記憶しておく。

ユーザＡが端末装置５ａを平置き状態で使用し、ユーザＢが端末装置５ｂを直立状態で使用している場合（図８（ｂ）参照）、平置き状態の端末装置５ａは画像データ及び音声データの送信を行わず、直立状態の端末装置５ｂは画像データ及び音声データの送信を行う。会議サーバ装置１は、端末装置５ｂから受信した画像データ及び音声データを端末装置５ａへ送信し、端末装置５ａからの画像データ及び音声データは受信していないため端末装置５ｂへの画像データ及び音声データの送信は行わない。画像データ及び音声データを受信した端末装置５ａは、それぞれ画像表示（リアルタイム表示）及び音声出力を行う。画像データ及び音声データを受信しない端末装置５ｂは、ＲＡＭ６０に記憶された画像データ６０ａを読み出して表示部５５に表示する（録画表示）と共に、スピーカ５６からの音声出力を行わない。

ユーザＡ及びＢが共に端末装置５ａ、５ｂを平置き状態で使用している場合（図８（ｃ）参照）、端末装置５ａ、５ｂは共に画像データ及び音声データを送信しない。会議サーバ装置１は端末装置５ａ、５ｂから画像データ及び音声データを受信しないため、端末装置５ａ、５ｂへの画像データ及び音声データの送信を行わない。よって、画像データ及び音声データを受信しない端末装置５ａ、５ｂは、ＲＡＭ６０に記憶された画像データ６０ａをそれぞれ読み出して表示部５５に表示する（録画表示）と共に、スピーカ５６からの音声出力を行わない。

このように、各端末装置５ａ、５ｂは、通信会議を行っている相手先からの画像データを受信しない場合には、相手の画像のリアルタイム表示に代えて、ＲＡＭ６０に記憶しておいた画像データ６０ａを表示部５５に録画表示する。なお、端末装置５ａ、５ｂが行う録画表示は、静止画像を表示してもよく、動画象を表示してもよい。また、相手先から音声データを受信しない場合には、端末装置５ａ、５ｂは音声出力を行わない。

図９は、端末装置５ａ、５ｂ…が行う通信制御処理の手順を示すフローチャートであり、各端末装置５ａ、５ｂ…の制御部５１が行う処理である。端末装置５ａ、５ｂ…の制御部５１は、まず、傾斜角検出部６３による傾斜角の検出を行って（ステップＳ１）傾斜角度を取得し、この傾斜角度から端末装置５ａ、５ｂ…の設置状態を判定する（ステップＳ２）。判定の結果、制御部５１は、端末装置５ａ、５ｂ…の設置状態に変化があったか否かを判定し（ステップＳ３）、設置状態が変化していない場合（Ｓ３：ＮＯ）、ステップＳ１へ処理を戻し、傾斜角の検出及び設置状態の判定を繰り返し行う。

端末装置５ａ、５ｂ…の設置状態に変化がある場合（Ｓ３：ＹＥＳ）、制御部５１は、ステップＳ２にて判定した設置状態が平置き状態であるか否かを更に判定する（ステップＳ４）。設置状態が平置き状態でない場合（Ｓ４：ＮＯ）、即ち直立状態の場合、制御部５１は、カメラ５２による撮像を開始すると共に（ステップＳ５）、マイク５３による集音を開始し（ステップＳ６）、得られた画像データ及び音声データを多重化してこのデータの送信を開始し（ステップＳ７）、ステップＳ１１へ処理を進める。

端末装置５ａ、５ｂ…の設置状態が平置き状態の場合（Ｓ４：ＹＥＳ）、制御部５１は、カメラ５２による撮像を停止すると共に（ステップＳ８）、マイク５３による集音を停止し（ステップＳ９）、画像データ及び音声データの送信を停止して（ステップＳ１０）、ステップＳ１１へ処理を進める。

その後、制御部５１は、通信会議が終了したか否かを判定し（ステップＳ１１）、通信会議が終了していない場合には（Ｓ１１：ＮＯ）、ステップＳ１へ処理を戻し、上述のステップＳ１〜Ｓ１０の処理を繰り返し行う。通信会議が終了した場合（Ｓ１１：ＹＥＳ）、制御部５１は、通信制御処理を終了する。

図１０は、端末装置５ａ、５ｂ…が行うデータ受信時の処理の手順を示すフローチャートである。端末装置５ａ、５ｂ…の制御部５１は、まず、ネットワーク３を介して他の装置からデータを受信したか否かを判定する（ステップＳ２１）。データを受信した場合（Ｓ２１：ＹＥＳ）、制御部５１は、多重化された受信データを分離し、分離により得られた画像データに係る画像の表示部５５への表示を行うと共に（ステップＳ２２）、音声データに係る音声のスピーカ５６からの出力を行う（ステップＳ２３）。また制御部５１は、分離により得られた画像データをＲＡＭ６０に記憶する（ステップＳ２４）。

これに対して、ネットワーク３を介して他の装置からのデータを受信していない場合（Ｓ２１：ＮＯ）、制御部５１は、スピーカ５６からの音声出力を停止し（ステップＳ２５）、ＲＡＭ６０に記憶された画像データ６０ａを読み出して（ステップＳ２６）、読み出した画像を表示部５５に表示する（ステップＳ２７）。

ステップＳ２４又はＳ２７の処理の終了後、制御部５１は、通信会議が終了したか否かを判定し（ステップＳ２８）、通信会議が終了していない場合には（Ｓ２８：ＮＯ）、ステップＳ２１へ処理を戻し、上述のステップＳ２１〜Ｓ２７の処理を繰り返し行う。通信会議が終了した場合（Ｓ２８：ＹＥＳ）、制御部５１は処理を終了する。

以上の構成の通信会議システムにおいては、端末装置５ａ、５ｂ…が筐体９１の傾斜角度を検出する傾斜角検出部６３を有し、検出した傾斜角度から端末装置５ａ、５ｂ…の設置状態を判定し、平置き状態の場合に画像データ及び音声データの送信を停止する構成とすることにより、平置き状態でカメラ５２により撮像される天井などの画像データ、及びマイク５３により集音される複数ユーザが協議する会話の音声データ等の不要なデータが送信されることを防止でき、ネットワーク３の通信負荷増大、送信側及び受信側の端末装置５ａ、５ｂ…の処理負荷の増大、並びに会議サーバ装置１の処理負荷増大等を抑制することができる。例えば、通信会議に参加する各ユーザは、自らが発言する場合に自らの端末装置５ａ、５ｂ…を直立状態として発言を行い、それ以外の場合には自らの端末装置５ａ、５ｂ…を平置き状態とするなどの使用方法が考えられる。

また、端末装置５ａ、５ｂ…は、他の装置からの画像データを受信した場合にはＲＡＭ６０にこれを記憶しておき、他の装置からの画像データを受信しない場合にＲＡＭ６０に記憶した画像データを読み出して表示する構成とすることにより、この端末装置５ａ、５ｂ…を使用するユーザに対して、相手方の端末装置５ａ、５ｂ…からの画像データの送信が停止された際に不快感又は不安感等を与えることを防止できる。

よって、本発明の通信会議システム及び端末装置５ａ、５ｂ…は、端末装置５ａ、５ｂ…の使用態様に適した画像データ及び音声データの送信と、画像データの受信状況に適した画像表示とを実現することができ、遠隔地での通信会議を各ユーザが快適に行うことができる。

また、本発明に係る端末装置５ａ、５ｂ…の構成としては、筐体９１の表示部５５を囲む枠状の正面９２にカメラ５２を一体的に設ける構成が好適である。この構成の場合、端末装置５ａ、５ｂ…が平置き状態で使用されると、カメラ５２がユーザを撮像せずに部屋の天井などを撮像する可能性があるため、本発明の適用により不要な画像データの送信を抑制できる。また、本発明に係る端末装置５ａ、５ｂ…の構成としては、表示部５５に対する接触入力を受け付けるタッチパネル又はペンタブレット等の入力部６１を備える構成が好適である。この構成の場合、ユーザが接触入力を行う際に端末装置５ａ、５ｂ…を平置き状態として使用する可能性が高く、本発明の適用により接触入力を行っている際の不要な画像データの送信を抑制できる。

なお、本実施の形態においては、カメラ５２、マイク５３及びスピーカ５６が端末装置５ａ、５ｂ…に一体的に備えられる構成としたが、これに限るものではなく、例えばカメラ５２が端末装置５ａ、５ｂ…の筐体９１に着脱可能な構成であってもよく、また例えばマイク５３及びスピーカ５６が筐体９１とは別体としてケーブルなどで接続される構成であってもよく、更にその他の構成であってもよい。

また、各端末装置５ａ、５ｂ…は会議サーバ装置１を介して画像データ及び音声データの送受信を行う構成としたが、これに限るものではなく、複数の端末装置５ａ、５ｂ…が直接的に通信を行って画像データ及び音声データを交換する構成であってもよい。また、端末装置５ａ、５ｂ…は画像データを受信した場合にＲＡＭ６０に記憶する構成としたが、これに限るものではなく、更に受信した音声データをＲＡＭ６０に記憶する構成としてもよく、他の装置からの音声データが受信されない場合にＲＡＭ６０に記憶した音声データに係る音声出力を行ってもよい。また、端末装置５ａ、５ｂ…が直立状態から平置き状態に変化し、データの送信を停止する際には、データの送信を停止する旨を通知するメッセージを会議サーバ装置１又は他の端末装置５ａ、５ｂ…等へ送信する構成としてもよい。

（変形例）
図１１は、変形例に係る端末装置１０５ａの構成を示すブロック図である。変形例に係る端末装置１０５ａは、ＲＯＭ１５９に予め画像データ１５９ａが記憶されている。画像データ１５９ａは、端末装置１０５ａが他の装置からの画像データを受信しない場合に、表示部５５に表示するための画像であり、例えば「送信側の通信端末が平置き状態です」、「送信側のユーザが討議中です」又は「送信側のユーザが書き込み中です」等のような、相手側の端末装置の設置状態又はこの設置状態から推定できるユーザの作業状態等を示す文字メッセージ又は画像メッセージ（アイコン若しくはイラスト等）を含む画像を予め記憶しておけばよい。

よって変形例に係る端末装置１０５ａは、他の装置から画像データを受信した場合であっても、ＲＡＭ６０に受信した画像データを記憶しておく必要はない。また端末装置１０５ａは、他の装置からの画像データを受信しない場合には、ＲＯＭ１５９から画像データ１５９ａを読み出して表示部５５に表示する処理を行う。

図１２は、変形例に係る端末装置１０５ａ、１０５ｂ…が傾斜角度に応じて行う通信制御処理を説明するための模式図である。なお、図１２においては、図８と同様に、２人のユーザＡ及びＢのみで通信会議を行っており、ユーザＡが端末装置１０５ａを使用し、ユーザＢが端末装置１０５ｂを使用している場合を示してある。

ユーザＡ及びＢが共に端末装置１０５ａ、１０５ｂを直立状態で使用している場合（図１２（ａ）参照）、端末装置１０５ａ、１０５ｂは共に画像データ及び音声データを送信する。一方の端末装置１０５ａ、１０５ｂから送信された画像データ及び音声データは、会議サーバ装置１を介して他方の端末装置１０５ａ、１０５ｂへ送信される。画像データ及び音声データを受信した端末装置１０５ａ、１０５ｂは、それぞれ画像表示（リアルタイム表示）及び音声出力を行う。

ユーザＡが端末装置１０５ａを平置き状態で使用し、ユーザＢが端末装置１０５ｂを直立状態で使用している場合（図１２（ｂ）参照）、平置き状態の端末装置１０５ａは画像データ及び音声データの送信を行わず、直立状態の端末装置１０５ｂは画像データ及び音声データの送信を行う。会議サーバ装置１は、端末装置１０５ｂから受信した画像データ及び音声データを端末装置１０５ａへ送信し、端末装置１０５ａからの画像データ及び音声データは受信していないため端末装置１０５ｂへの画像データ及び音声データの送信は行わない。画像データ及び音声データを受信した端末装置１０５ａは、画像表示（リアルタイム表示）及び音声出力を行う。画像データ及び音声データを受信しない端末装置１０５ｂは、ＲＯＭ１５９に記憶された画像データ１５９ａを読み出して表示部５５に表示する（メッセージ表示）と共に、スピーカ５６からの音声出力を行わない。

ユーザＡ及びＢが共に端末装置１０５ａ、１０５ｂを平置き状態で使用している場合（図１２（ｃ）参照）、端末装置１０５ａ、１０５ｂは共に画像データ及び音声データを送信しない。会議サーバ装置１は端末装置１０５ａ、１０５ｂから画像データ及び音声データを受信しないため、端末装置１０５ａ、１０５ｂへの画像データ及び音声データの送信を行わない。よって、画像データ及び音声データを受信しない端末装置１０５ａ、１０５ｂは、ＲＯＭ１５９に記憶された画像データ１５９ａを読み出して表示部５５に表示する（メッセージ表示）と共に、スピーカ５６からの音声出力を行わない。

このように、変形例に係る端末装置１０５ａ、１０５ｂは、通信会議を行っている相手先からの画像データを受信しない場合には、相手の画像のリアルタイム表示に代えて、ＲＯＭ１５９に記憶しておいた画像データ１５９ａを表示部５５に表示することによってメッセージ表示を行う。また、相手先から音声データを受信しない場合には、端末装置１０５ａ、１０５ｂは音声出力を行わない。

以上の構成の変形例に係る端末装置１０５ａ、１０５ｂは、相手先からの画像データを受信しない場合に、ＲＯＭ１５９に予め記憶された画像データ１５９ａを読み出して表示部５５に表示する構成とすることによって、この端末装置１０５ａ、１０５ｂを使用するユーザに対して、相手方の端末装置１０５ａ、１０５ｂからの画像データの送信が停止された際に不快感又は不安感等を与えることを防止できる。また、ＲＯＭ１５９に予め記憶しておく画像データ１５９ａを、相手側の端末装置１０５ａ、１０５ｂの設置状態又はこの設置状態から推定できるユーザの作業状態等を示す文字メッセージ又は画像メッセージを含む画像とすることにより、端末装置１０５ａ、１０５ｂを使用するユーザに対して相手方ユーザの状況を通知することができるため、端末装置１０５ａ、１０５ｂの利便性及び通信会議の快適性等をより向上することができる。

なお、上述の実施の形態１に係る端末装置５ａ、５ｂについても、ＲＯＭ５９に文字メッセージ又は画像メッセージ等を含む画像データを記憶しておき、ＲＯＭ５９の画像データと、受信してＲＡＭ６０に記憶した画像データとを共に表示部５５に表示する構成としてもよい。

１ 会議サーバ装置
３ ネットワーク
５ａ〜５ｆ 端末装置（通信装置、送信側通信装置、受信側通信装置）
５１ 制御部（送信制御手段）
５２ カメラ
５３ マイク（集音手段）
５５ 表示部
５６ スピーカ
５８ 通信処理部（送信手段、受信手段）
５９ ＲＯＭ
６０ ＲＡＭ（記憶手段）
６０ａ 画像データ
６３ 傾斜角検出部（検出手段）
７０ 信号処理部（表示処理手段、音声出力処理手段）
９１ 筐体
１０５ａ、１０５ｂ 端末装置（通信装置、送信側通信装置、受信側通信装置）
１５９ ＲＯＭ（記憶手段）
１５９ａ 画像データ（所定画像）

Claims (8)

1. 画像を表示する表示部が設けられた筐体及びカメラの撮像により得られた画像データを送信する送信手段を有する送信側通信装置と、該送信側通信装置からの画像データを受信する受信手段、該受信手段が受信した画像データを表示する処理を行う表示処理手段を有する受信側通信装置とを備える通信会議システムにおいて、
   前記送信側通信装置は、
   前記筐体の設置状態を検出する検出手段と、
   該検出手段の検出結果に応じて、前記送信手段による画像データの送信を停止させる送信制御手段と
   を有し、
   前記受信側通信装置は、
   画像データを記憶する記憶手段を有し、
   前記送信側通信装置からの画像データの送信が停止された場合に、前記表示処理手段が前記記憶手段に記憶された画像データを表示するようにしてあること
   を特徴とする通信会議システム。
2. 前記受信側通信装置の記憶手段は、前記受信手段が受信した画像データを記憶するようにしてあり、
   前記受信側通信装置の表示処理手段は、前記送信側通信装置からの画像データの送信が停止された場合に、送信停止以前に前記記憶手段に記憶された画像データを表示するようにしてあること
   を特徴とする請求項１に記載の通信会議システム。
3. 前記受信側通信装置の記憶手段は、予め定められた所定画像の画像データを記憶しており、
   前記受信側通信装置の表示処理手段は、前記送信側通信装置からの画像データの送信が停止された場合に、前記記憶手段が予め記憶した前記所定画像を表示するようにしてあること
   を特徴とする請求項１に記載の通信会議システム。
4. 前記所定画像は、前記送信側通信装置の設置状態に係る情報を示す文字メッセージ又は画像メッセージを含む画像であること
   を特徴とする請求項３に記載の通信会議システム。
5. 前記送信側通信装置の送信手段は、集音手段の集音により得られた音声データを画像データと共に送信するようにしてあり、
   前記送信側通信装置の送信制御手段は、前記検出手段の検出結果に応じて、前記送信手段による画像データ及び音声データの送信を停止させるようにしてあり、
   前記受信側通信装置の受信手段は、前記送信側通信装置が送信した画像データ及び音声データを受信するようにしてあり、
   前記受信側通信装置は、前記受信手段が受信した音声データに係る音声の出力処理を行う音声出力処理手段を有すること
   を特徴とする請求項１から請求項４までのいずれか１つに記載の通信会議システム。
6. 前記送信側通信装置の検出手段は、前記筐体の傾斜角度に応じて前記設置状態を検出するようにしてあり、
   前記送信側通信装置の送信制御手段は、前記検出手段が検出した傾斜角度が閾値角度より水平又は鉛直のいずれに近いかに応じて、前記送信手段によるデータの送信を停止させるようにしてあること
   を特徴とする請求項１から請求項５までのいずれか１つに記載の通信会議システム。
7. 前記送信側通信装置は、
   前記筐体の前記表示部を囲む枠部に設けられたカメラを有し、
   前記送信手段が、前記カメラの撮像により得られた画像データを送信するようにしてあること
   を特徴とする請求項１から請求項６までのいずれか１つに記載の通信会議システム。
8. 他の装置から送信された画像データを受信する受信手段と、該受信手段が受信した画像データを表示する処理を行う表示処理手段とを備える通信装置において、
   画像データを記憶する記憶手段を備え、
   前記他の装置からの画像データの送信が停止された場合に、前記表示処理手段が前記記憶手段に記憶された画像データを表示するようにしてあること
   を特徴とする通信装置。

Images