<<実施形態の全体構成>>
以下、図1乃至図33を用いて、本発明の一実施形態について説明する。図1は、本発明の一実施形態に係る遠隔通信システム1の概略図であり、まずは図1を用いて、本実施形態の概略を説明する。
図1に示す遠隔通信システム1は、複数の遠隔通信端末(10aa,10ab,…,10db)、各遠隔通信端末(10aa,10ab,…,10db)用のディスプレイ(100aa,100ab,…,100db)、複数の中継装置(30a,30b,30c,30d)、遠隔通信管理システム50、及び配置情報提供システム80によって構築されている。
なお、本実施形態では、遠隔通信端末(10aa,10ab,…,10db)のうち任意の遠隔通信端末を示す場合には「遠隔通信端末10」を用い、ディスプレイ(100aa,100ab,…,100db)のうち任意のディスプレイを示す場合には「ディスプレイ100」を用い、中継装置(30a,30b,30c,30d)のうち任意の中継装置を示す場合には「中継装置30」を用いる。
遠隔通信端末10は、他の遠隔通信端末10との間で、映像データ、音声データ、画像データ等の送受信を行う。本実施形態では、映像データの画像が動画の場合について説明するが、動画だけでなく静止画であてもよい。また、映像データの映像には、動画と静止画の両方が含まれてもよい。中継装置30は、複数の遠隔通信端末10の間で、映像データ、音声データ、及び画像データの中継を行う。遠隔通信管理システム50は、遠隔通信端末10及び中継装置30を一元的に管理する。配置情報提供システム80は、遠隔通信端末10の画面での映像データ、後述する画像データを配置する画面上の位置や大きさを示す配置情報を、遠隔通信端末10に提供する。なお、遠隔通信端末10が配置情報をあらかじめ備えていれば、遠隔通信システム1は配置情報提供システム80を備えていなくてもよい。
外部入力装置40は、遠隔通信端末10と接続され、遠隔通信端末10に対して、外部入力装置40のディスプレイ400に表示されている画像を生成するための画像データの送信を行う。画像データとは、たとえば、表示装置の画面に表示された画像をJPEG(Joint Photographic Experts Group)やBitmap等の形式で作成したデータ、GDI(Graphics Device Interface )等の形式で作成した描画コマンドである。また、画像データにかかる画像の一部、または全体には文書作成ソフトウェア、表計算ソフトウェア、プレゼンテーション用ソフトウェア等を用いて利用される資料データが表示されていることがある。
また、図1に示されている複数のルータ(70a,70b,…,70g)は、映像データ及び音声データの最適な経路の選択を行う。なお、本実施形態では、ルータ(70a,70b,…,70g)のうち任意のルータを示す場合には「ルータ70」を用いる。プログラム提供システム90は、遠隔通信端末10に各種機能又は各種手段を実現させるための遠隔通信端末用プログラムが記憶された、不図示のHD(Hard Disk)を備えており、遠隔通信端末10に、遠隔通信端末用プログラムを送信することができる。また、プログラム提供システム90のHDには、中継装置30に各種機能又は各種手段を実現させるための中継装置用プログラムも記憶されており、中継装置30に、中継装置用プログラムを送信することができる。更に、プログラム提供システム90のHDには、遠隔通信管理システム50に各種機能又は各種手段を実現させるための遠隔通信管理用プログラムも記憶されており、遠隔通信管理システム50に、遠隔通信管理用プログラムを送信することができる。
また、遠隔通信端末10aa、遠隔通信端末10ab、中継装置30a、及びルータ70aは、LAN2aによって通信可能に接続されている。遠隔通信端末10ba、遠隔通信端末10bb、中継装置30b、及びルータ70bは、LAN2bによって通信可能に接続されている。また、LAN2a及びLAN2bは、ルータ70cが含まれた専用線2abによって通信可能に接続されており、所定の地域A内で構築されている。例えば、地域Aは日本であり、LAN2aは東京の事業所内で構築されており、LAN2bは大阪の事業所内で構築されている。
一方、遠隔通信端末10ca、遠隔通信端末10cb、中継装置30c、及びルータ70cは、LAN2cによって通信可能に接続されている。遠隔通信端末10da、遠隔通信端末10db、中継装置30d、及びルータ70dは、LAN2dによって通信可能に接続されている。また、LAN2c及びLAN2dは、ルータ70eが含まれた専用線2cdによって通信可能に接続されており、所定の地域B内で構築されている。例えば、地域Bはアメリカであり、LAN2cはニューヨークの事業所内で構築されており、LAN2dはワシントンD.C.の事業所内で構築されている。地域A及び地域Bは、それぞれルータ(70c,70e)からインターネット2iを介して通信可能に接続されている。
また、遠隔通信管理システム50、及びプログラム提供システム90は、インターネット2iを介して、遠隔通信端末10、及び中継装置30と通信可能に接続されている。遠隔通信管理システム50、及びプログラム提供システム90は、地域A又は地域Bに設置されていてもよいし、これら以外の地域に設置されていてもよい。
なお、本実施形態では、LAN2a、LAN2b、専用線2ab、インターネット2i、専用線2cd、LAN2c、及びLAN2dによって、本実施形態の通信ネットワーク2が構築されている。
また、図1において、各遠隔通信端末10、各中継装置30、遠隔通信管理システム50、各ルータ70、及びプログラム提供システム90の下に示されている4組の数字は、一般的なIPv4におけるIPアドレスを簡易的に示している。例えば、遠隔通信端末10aaのIPアドレスは「1.2.1.3」である。また、IPv4ではなく、IPv6を用いてもよいが。説明を簡略化するため、IPv4を用いて説明する。
<<実施形態のハードウェア構成>>
次に、本実施形態のハードウェア構成を説明する。本実施形態では、中継先としての遠隔通信端末10で映像データの受信に遅延が生じた場合に、中継装置30によって映像データの画像の解像度を変更してから、中継先としての遠隔通信端末10へ映像データを送信する場合について説明する。
図2は、本発明の一実施形態に係る遠隔通信端末10のハードウェア構成図である。図2に示されているように、本実施形態の遠隔通信端末10は、遠隔通信端末10全体の動作を制御するCPU(Central Processing Unit)101、遠隔通信端末用プログラムを記憶したROM(Read Only Memory)102、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103、映像データや音声データ等の各種データを記憶するフラッシュメモリ104、CPU101の制御にしたがってフラッシュメモリ104に対する各種データの読み出し又は書き込みを制御するSSD(Solid State Drive)105、フラッシュメモリ等の記録メディア106に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ107、遠隔通信端末10の宛先を選択する場合などに操作される操作ボタン108、遠隔通信端末10の電源のON/OFFを切り換えるための電源スイッチ109、後述の通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F111、CPU101の制御に従って被写体を撮像し映像データを得るCCD(Charge Coupled Device)112、このCCD112の駆動を制御する撮像素子I/F113、音声を入力するマイク114、音声を出力するスピーカ115、CPU101の制御に従ってマイク114及びスピーカ115との間で音声信号の入出力を処理する音声入出力I/F116、CPU101の制御に従って外付けのディスプレイ100に映像データを伝送するディスプレイI/F117、外部の装置と各種データを送受信する外部入力装置I/F118及び上記各構成要素を図2に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン110を備えている。
なお、記録メディア106は、遠隔通信端末10に対して着脱自在な構成となっている。また、CPU101の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ104に限らず、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。更に、CCD112は、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子であり、被写体を撮像するものであればCCDに限らず、CMOS(Complementary Metal Oxide Semiconductor)等を用いてもよい。また、ディスプレイ100は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成されている。
更に、上記遠隔通信端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア106等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
図3は、本発明の一実施形態に係る遠隔通信管理システムのハードウェア構成図である。遠隔通信管理システム50は、遠隔通信管理システム50全体の動作を制御するCPU201、遠隔通信管理用プログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、各種データを記憶するHD(Hard Disk)204、CPU201の制御にしたがってHD204に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)205、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ207、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ208、後述の通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F209、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード211、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス212、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)213に対するデータの読み出し又は書き込みを制御するCD−ROMドライブ214、外部の装置と各種データを送受信する外部入力装置I/F215及び、上記各構成要素を図3に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン210を備えている。
なお、上記遠隔通信管理用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
また、中継装置30は、上記遠隔通信管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、ROM202には、中継装置30を制御するための中継装置用プログラムが記録されている。この場合も、中継装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
また、外部入力装置40は、上記遠隔通信管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、ROM202には、外部入力装置40を制御するための外部入力装置用プログラムが記録されている。この場合も、外部入力装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
更に、プログラム提供システム90は、上記遠隔通信管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、ROM202には、プログラム提供システム90を制御するためのプログラム提供用プログラムが記録されている。この場合も、プログラム提供用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
なお、上記着脱可能な記録媒体の他の例として、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
<<実施形態の機能構成>>
次に、本実施形態の機能構成について説明する。図4は、本実施形態の遠隔通信システム1を構成する各端末、装置及びシステムの機能ブロック図である。図4では、遠隔通信端末10、中継装置30、及び遠隔通信管理システム50が、通信ネットワーク2を介してデータ通信することができるように接続されている。外部入力装置40は、遠隔通信端末10とデータ通信することができるように接続されている。また、図26は、本実施形態の遠隔通信システム1を構成する外部入力装置40の機能ブロック図である。また、図1に示されているプログラム提供システム90は、テレビ会議の通信において直接関係ないため、図4では省略されている。
<遠隔通信端末の機能構成>
遠隔通信端末10は、送受信部11、操作入力受付部12、ログイン要求部13、撮像部14a、表示制御部14b、配置情報抽出部14c、音声入力部15a、音声出力部15b、最終絞込部16、遅延検出部17、外部情報送受信部18、記憶・読出処理部19、表示要求判定部21、表示要求送信部22、表示制御判定部23、及び再要求判定部24を有している。これら各部は、図2に示されている各構成要素のいずれかが、ROM202に記憶されているプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。また、遠隔通信端末10は、図2に示されているSSD105、ROM202、RAM203のいずれかによって構築される記憶部1000を有している。
(配置情報管理テーブル)
記憶部1000には、図23に示されているような配置情報管理テーブルによって構成されている配置情報管理DB1001が構築されている。この配置情報管理テーブルでは、遠隔通信端末10での画像データを受信できる状態にあるか否かを示す受信情報に関連付けて、画面内の各領域に表示するデータ(情報)が記憶されている。画像データを受信できる状態にあるか否かは遠隔通信端末10が外部入力装置とUSBケーブル等により、接続されているか否かにより決まる。接続されている場合は遠隔通信端末が画像データを受信できる状態にあり、受信情報は「有」、接続されていない場合は遠隔通信端末が画像データを受信できない状態であり、受信情報は「無」となる。図23に例を示すように画像データを受信したことを表す受信情報「有」の場合には、領域1に受信した画像データを表示させ、領域2には通信相手の端末である遠隔通信端末10aaの撮像部14aが撮像した映像データを表示させ、領域3には自身の端末である遠隔通信端末10dbの撮像部14aが撮像した映像データを表示させることを表している。また、画像データを受信していないことを表す受信情報「無」の場合には、領域1に通信相手の端末である遠隔通信端末10aaの撮像部14aが撮像した映像データを表示させ、領域2には、自身の端末である遠隔通信端末10dbの撮像部14aが撮像した映像データを表示させ、領域3には何も表示させないことを表している。領域1乃至領域3は大きさ及び画面内における位置によって決められている。図24に示す例は、配置情報記憶部に記憶されている配置情報である配置図に基づいて画像データ、映像データによる画像が表示されている例である。左側の図は受信情報「有」の場合に配置図1に基づいて表示されている画面、右側の図は受信情報「無」の場合に配置図2に基づいて表示されている画面であり、画面左部の領域を領域1、画面の右上部の領域を領域2、画面の右中部の領域を領域3としている。
(画像情報管理テーブル)
記憶部1000には、図25に示されているような画像情報管理テーブルによって構成されている画像情報管理DB1002が構築されている。この画像情報管理テーブルでは、要求状態フラグ1001、及び中継装置から受信する表示要求に関連付けて、外部入力装置40に開始ボタン、停止ボタンのかを示す画像情報が記憶されている。図25に例を示すように要求状態フラグ1001が「オン」であり、表示要求が「開始要求」の場合には停止ボタンを表示させることを表している。
(遠隔通信端末の各機能部)
次に、遠隔通信端末の各部を詳細に説明する。遠隔通信端末10の送受信部11は、図2に示されているネットワークI/F111によって実現され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(情報)の送受信を行う。操作入力受付部12は、図2に示されている操作ボタン108、及び電源スイッチ109によって実現され、利用者による各種入力を受け付ける。例えば、利用者が、図2に示されている電源スイッチ109をONにすると、図4に示されている操作入力受付部12が電源ONを受け付けて、電源をONにする。ログイン要求部13は、図2に示されているCPU101からの命令によって実現され、上記電源ONの受け付けを契機として、送受信部11から通信ネットワーク2を介して遠隔通信管理システム50に、ログインを要求する旨を示すログイン要求情報、及び遠隔通信端末10abの現時点のIPアドレスを自動的に送信する。
撮像部14aは、図2に示されているCCD112、及び撮像素子I/F113によって実現され、被写体を撮像して、この撮像して得た映像データを出力する。表示制御部14bは、図2に示されているディスプレイI/F117によって実現され、外付けのディスプレイ100に対して映像データを表示させるための制御を行う。配置情報抽出部14cは送受信部11が画像データを受信したか否かを示す受信情報に基づいて、表示制御部14bがディスプレイ100に表示させる画面の配置情報を抽出する。音声入力部15aは、図2に示されているマイク114、及び音声入出力I/F116によって実現され、利用者の音声を入力し、この音声を音声信号に変換することで、音声信号に係る音声データを出力する。音声出力部15bは、図2に示されているスピーカ115、及び音声入出力I/F116によって実現され、音声データに係る音声信号を音声に変換して出力する。
最終絞込部16は、複数の中継装置30から最終的に1つの中継装置30に絞り込む最終絞り込み処理を行うため、図2に示されているCPU101からの命令によって、計測部16a、算出部16b、及び最終選択部16cを実現する。このうち、計測部16aは、送受信部11によって受信された後述の事前送信情報毎に、送受信部11によって事前送信情報が受信される際の受信日時を計測する。算出部16bは、計測部16aによって受信日時が計測された事前送信情報毎に、この計測された受信時間と、この事前送信情報に含まれている送信日時との差に基づいて、事前送信情報の送信から受信までの所要時間を算出する。最終選択部16cは、算出部16bによって算出された所要時間のうち最短の所要時間を要した事前送信情報が中継された中継装置30を選択することで、最終的に1つの中継装置を選択する。
遅延検出部17は、図2に示されているCPU101からの命令によって実現され、他の遠隔通信端末10から中継装置30を介して送られて来る映像データ、音声データ、画像データの遅延時間(ms)を検出する。また、外部情報送受信部18は、外部入力装置I/F118により外部にある入力装置とデータを送受信する。
記憶・読出処理部19は、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出す処理を行う。記憶部1000には、遠隔通信端末10を識別するための端末ID(Identification)、及びパスワード、並びに、映像データ、及び音声データ等が記憶される。
表示要求判定部21は、送受信部11が外部入力装置40から受信したユーザ要求に基づいて、表示を開始するための開始要求、表示を停止するための停止要求のうち、いずれの表示要求を中継装置30に送信するかを判定する。表示要求送信部22は、表示要求判定部21で判定された表示要求を中継装置30に送信する。
表示制御判定部23は、送受信部11が中継装置30から受信した表示要求に基づいて、外部入力装置40に開始ボタンを表示させるか停止ボタンを表示させるかを示す表示制御情報を判定する。再要求判定部24は、表示制御判定部23が表示制御情報を判定すると、要求状態フラグ1002と表示状態フラグ1003に基づいて、開始要求を中継装置30に送信するかを判定する。
なお、本実施形態の端末ID、及び後述の中継装置IDは、それぞれ遠隔通信端末10、及び中継装置30を一意に識別するために使われる言語、文字、記号、又は各種のしるし等の識別情報を示す。また、端末ID、及び中継装置IDは、上記言語、文字、記号、及び各種のしるしのうち、少なくとも2つが組み合わされた識別情報であってもよい。また、以下では、テレビ会議の開始を要求する要求元としての遠隔通信端末10を「要求元端末10A」とし、要求先である宛先としての遠隔通信端末10を「宛先端末10B」として説明する。
(要求状態フラグ)
記憶部1000には、要求状態フラグ1002が記憶されている。要求状態フラグ1002は、遠隔通信端末が、開始要求または停止要求をしている状態であるかどうかの情報を表すものである。
(表示状態フラグ)
記憶部1000には、表示状態フラグ1003が記憶されている。この表示状態フラグ1003は、記憶・読出処理部19によって、中継装置30から開始要求を受信すると「オン」と変更され、中継装置30から停止要求を受信すると「オフ」と変更される。これにより、表示状態フラグ1003は、遠隔通信端末10が画像データを表示している状態であるか表示していない状態であるかの情報を表すものである。
<中継装置の機能構成>
次に、中継装置30の機能又は手段について説明する。中継装置30は、送受信部31、状態検知部32、データ品質確認部33、変更品質管理部34、データ品質変更部35、及び記憶・読出処理部39を有している。これら各部は、図3に示されている各構成要素のいずれかが、ROM202に記憶されているプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。また、中継装置30は、図3に示されているHD204により構築される記憶部3000を有している。
(変更品質管理テーブル)
記憶部3000には、図6に示されているような変更品質管理テーブルによって構成されている変更品質管理DB(Data Base)3001が構築される。変更品質管理テーブルでは、映像データの中継先としての遠隔通信端末10のIPアドレス、及びこの中継先に中継装置30が中継する映像データの画質が関連付けられて管理される。
ここで、本実施形態で扱われる映像データの画像の解像度について説明する。図5(a)に示されているように、横が160画素、縦が120画素から成り、ベース画像となる低解像度の画像と、図5(b)に示されているように、横が320画素、縦が240画素から成る中解像度の画像と、図5(c)に示されているように、横が640画素、縦が480画素から成る高解像度の画像とがある。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の映像データのみから成る低画質の映像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の映像データ、及び中解像度の映像データから成る中画質の映像データが中継される。また、帯域が非常に広い場合には、ベース画質となる低解像度の映像データ、中画解像度の映像データ、及び高解像度の映像データから成る高画質の映像データが中継される。例えば、図6に示されている変更品質管理テーブルにおいて、中継装置30が、IPアドレス「1.3.2.4」の宛先端末10dbに対して映像データを中継する場合には、この中継される映像データの画質(画像の品質)は「高品質」である。
<中継装置の各機能部>
次に、中継装置30の各機能構成について詳細に説明する。なお、以下では、中継装置30の各部を説明するにあたって、図2に示されている各構成要素のうち、中継装置30の各部を実現させるための主な構成要素との関係も説明する。
図4に示されている中継装置30の送受信部31は、図3に示されているネットワークI/F209によって実現され、通信ネットワーク2を介して他の端末、装置、又はシステムと各種データ(情報)の送受信を行う。状態検知部32は、図3に示されているCPU201からの命令によって実現され、この状態検知部32を有する中継装置30の稼動状態を検知する。稼動状態としては、「ONライン」、「OFFライン」、又は「故障中」の状態がある。
データ品質確認部33は、図3に示されているCPU201からの命令によって実現され、宛先端末10BのIPアドレスを検索キーとして、変更品質管理DB3001(図6参照)を検索し、対応した中継される映像データの画質を抽出することで、中継される映像データの画質を確認する。変更品質管理部34は、図3に示されているCPU201からの命令によって実現され、遠隔通信管理システム50から送られて来る、後述の品質情報に基づいて、変更品質管理DB3001の内容を変更する。例えば、端末IDが「01aa」である要求元端末10aaと、端末IDが「01db」である宛先端末10dbとの間で高画質の映像データを送受信することによってテレビ会議を行っている最中に、他のテレビ会議を行う要求元端末bbと宛先端末caが通信ネットワーク2を介してテレビ会議を開始すること等によって、宛先端末10dbで映像データの受信の遅延が生じた場合には、中継装置30は今まで中継していた映像データの画質を、高画質から中画質に下げる必要がある。このような場合に、中画質を示す品質情報に基づいて、中継装置30が中継する映像データの画質を高画質から中画質に下げるように、変更品質管理DB3001の内容が変更される。
データ品質変更部35は、図3に示されているCPU201からの命令によって実現され、送信元端末10から送られて来た映像データの画質を、上記変更された変更品質管理DB3001の内容に基づいて変更する。記憶・読出処理部39は、図3に示されているHDD205によって実現され、記憶部3000に各種データを記憶したり、記憶部3000に記憶された各種データを読み出す処理を行う。
<外部入力装置の機能構成>
外部入力装置40は、図26に示されているように、送受信部41、操作入力受付部42、表示制御部43、画像データ取得部44、接続検知部45、インストール判定部46、マウント部47、プログラム取得部48及び記憶・読出処理部49を有している。これら各部は、図3に示されている各構成要素のいずれかが、ROM202に記憶されているプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。
<外部入力装置の各機能部>
次に、外部入力装置40の各部を詳細に説明する。外部入力装置40の送受信部41は、図3に示されている外部入力装置I/F215によって実現され、遠隔通信端末10と各種データ(情報)を送受信する。操作入力受付部42は、利用者の操作による入力を受け付ける。表示制御部43は、ディスプレイ400に後述する記憶・読出処理部49が読み出した画像を表示させる。
画像データ取得部44は、外部入力装置40が表示させる画面に関する画像データを取得するものである。接続検知部45は、外部入力装置40がUSBケーブル等により別の装置と接続されたことを検知するものである。インストール判定部46は、外部入力装置に画像データ取得部44がインストールされているか否かを判定するものである。マウント部47は、USBケーブル等により接続された別の装置の記憶部を外部入力装置にマウントするものである。プログラム取得部48は、マウントされた記憶部から画像データ取得部44を取得し、外部入力装置にインストールするものである。
<遠隔通信管理システムの機能構成>
次に、遠隔通信管理システム50の機能又は手段について説明する。遠隔通信管理システム50は、送受信部51、端末認証部52、状態管理部53、端末抽出部54、端末状態取得部55、一次絞込部56、セッション管理部57、品質決定部58、記憶・読出処理部59、及び遅延時間管理部60を有している。これら各部は、図3に示されている各構成要素のいずれかが、ROM202に記憶されているプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。また、遠隔通信管理システム50は、図3に示されているHD204により構築される記憶部5000を有している。
(中継装置管理テーブル)
記憶部5000には、図7に示されているような中継装置管理テーブルによって構成されている中継装置管理DB5001が構築されている。この中継装置管理テーブルでは、各中継装置30の中継装置ID毎に、各中継装置30の稼動状態、稼動状態が示される状態情報が遠隔通信管理システム50で受信された受信日時、中継装置30のIPアドレス、及び中継装置30における最大データ伝送速度(Mbps)が関連付けられて管理される。例えば、図7に示されている中継装置管理テーブルにおいて、中継装置IDが「111a」の中継装置30aは、稼動状態が「ONライン」で、遠隔通信管理システム50で状態情報が受信された日時が「2009年11月10日の13時00分」で、この中継装置30aのIPアドレスが「1.2.1.2」で、この中継装置30aにおける最大データ伝送速度が100Mbpsであることが示されている。
(端末認証管理テーブル)
更に、記憶部5000には、図8に示されているような端末認証管理テーブルによって構成されている端末認証管理DB5002が構築されている。この端末認証管理テーブルでは、遠隔通信管理システム50によって管理される全ての遠隔通信端末10の各端末IDに対して、各パスワードが関連付けられて管理される。例えば、図8に示されている端末認証管理テーブルにおいて、遠隔通信端末10aaの端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。
(端末管理テーブル)
また、記憶部5000には、図9に示されているような端末管理テーブルによって構成されている端末管理DB5003が構築されている。この端末管理テーブルでは、各遠隔通信端末10の端末ID毎に、各遠隔通信端末10の稼動状態、後述のログイン要求情報が遠隔通信管理システム50で受信された受信日時、及び遠隔通信端末10のIPアドレスが関連付けられて管理される。例えば、図9に示されている端末管理テーブルにおいて、端末IDが「01aa」の遠隔通信端末10aaは、稼動状態が「ONライン」で、遠隔通信管理システム50でログイン要求情報が受信された日時が「2009年11月10日の13時40分」で、この遠隔通信端末10aaのIPアドレスが「1.2.1.3」であることが示されている。
(宛先リスト管理テーブル)
更に、記憶部5000には、図10に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB5004が構築されている。この宛先リスト管理テーブルでは、テレビ会議の開始を要求する要求元端末10Aの端末IDに対して、宛先端末10Bの候補として登録されている宛先端末10Bの端末IDが全て関連付けられて管理される。例えば、図10に示されている宛先リスト管理テーブルにおいて、端末IDが「01aa」である要求元端末10aaからテレビ会議の開始を要求することができる宛先端末10Bの候補は、端末IDが「01ab」の遠隔通信端末10ab、端末IDが「01ba」の遠隔通信端末10ba、及び端末IDが「01db」の遠隔通信端末10dbの3つであることが示されている。この宛先端末10Bの候補は、要求元端末10Aから遠隔通信管理システム50に対する追加又は削除の要請により、追加又は削除されることで更新される。
(セッション管理テーブル)
また、この記憶部5000には、図11に示されているようなセッション管理テーブルによって構成されているセッション管理DB5005が構築されている。このセッション管理テーブルでは、中継装置30を選択するためのセッションの実行に用いられる選択用セッションID毎に、映像データ及び音声データの中継に使用される中継装置30の中継装置ID、要求元端末10Aの端末ID、宛先端末10Bの端末ID、宛先端末10Bにおいて映像データが受信される際の受信の遅延時間(ms)、及びこの遅延時間が示されている遅延情報を宛先端末10Bから送られて来て遠隔通信管理システム50で受信された受信日時が関連付けられて管理される。例えば、図11に示されているセッション管理テーブルにおいて、選択用セッションID「se1」を用いて実行されたセッションで選択された中継装置30a(中継装置ID「111a」)は、端末IDが「01aa」の要求元端末10aaと、端末IDが「01db」の宛先端末10dbとの間で、映像データ及び音声データを中継しており、宛先端末10dbにおいて「2009年11月10日の14時00分」時点における映像データの遅延時間が200(ms)であることが示されている。なお、2つの遠隔通信端末10の間でテレビ会議を行う場合には、上記宛先端末10Bではなく要求元端末10Aから送信されてきた遅延情報に基づいて、遅延情報の受信日時を管理してもよい。但し、3つ以上の遠隔通信端末10の間でテレビ会議を行う場合には、映像データ及び音声データの受信側の遠隔通信端末10から送信されてきた遅延情報に基づいて、遅延情報の受信日時を管理する。
(アドレス優先度管理テーブル)
更に、記憶部5000には、図12に示されているようなアドレス優先度管理テーブルによって構成されている優先度管理DB5006が構築されている。このアドレス優先度管理テーブルでは、一般的なIPv4におけるIPアドレスのうちの4組のドットアドレス(Dot Address)部分の同異に応じて、アドレス優先度のポイントが高くなるように関連付けられて管理される。例えば、図12に示されているアドレス優先度管理テーブルにおいて、ドットアドレスの上位から下位にかけて3つの値が同じIPアドレスの場合には、アドレス優先度のポイントが「5」である。ドットアドレスの上位から下位にかけて2つの値が同じIPアドレスの場合には、アドレス優先度のポイントが「3」である。この場合、最下位のドットアドレスの値が同じであるか否かは優先度に関係ない。ドットアドレスの最上位の値が同じで、上位から2番目の値が異なるIPアドレスの場合には、アドレス優先度のポイントが「1」である。この場合、上位から3番目及び最下位のドットアドレスの値が同じであるか否かは優先度には関係ない。ドットアドレスの最上位の値が異なるIPアドレスの場合には、アドレス優先度のポイントが「0」である。この場合、上位から2番目、3番目、及び最下位のドットアドレスの値が同じであるか否かは優先度には関係ない。
(伝送速度優先度管理テーブル)
また、記憶部5000に構築されている優先度管理DB5006には、図13に示されているような伝送速度優先度管理テーブルも含まれている。この伝送速度優先度管理テーブルでは、中継装置30における最大データ伝送速度(Mbps)の値に応じて、伝送速度優先度のポイントが高くなるように関連付けられて管理される。例えば、図13に示されている伝送速度優先度管理テーブルにおいて、中継装置30における最大データ伝送速度が1000Mbps以上の場合には、伝送速度優先度のポイントが「5」である。中継装置30における最大データ伝送速度が100Mbps以上1000Mbps未満の場合には、伝送速度優先度のポイントが「3」である。中継装置30における最大データ伝送速度が10Mbps以上100Mbps未満の場合には、伝送速度優先度のポイントが「1」である。中継装置30における最大データ伝送速度が10Mbps未満の場合には、伝送速度優先度のポイントが「0」である。
(品質管理テーブル)
更に、記憶部5000には、図14に示されているような品質管理テーブルによって構成されている品質管理DB5007が構築されている。この品質管理テーブルでは、要求元端末10A又は宛先端末10Bにおける映像データの遅延時間(ms)に応じて、中継装置30で中継させる映像データの画質(画像の品質)が関連付けられて管理される。
(遠隔通信管理システムの各機能部)
次に、遠隔通信管理システム50の各機能部について詳細に説明する。なお、以下では、遠隔通信管理システム50の各部を説明するにあたって、図3に示されている各構成要素のうち、遠隔通信管理システム50の各部を実現させるための主な構成要素との関係も説明する。
送受信部51は、図2に示されているネットワークI/F209によって実行され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(情報)の送受信を行う。端末認証部52は、送受信部51を介して受信されたログイン要求情報に含まれている端末ID及びパスワードを検索キーとし、記憶部5000の端末認証管理DB5002を検索し、端末認証管理DB5002に同一の端末ID及びパスワードが管理されているかを判断することによって端末認証を行う。状態管理部53は、ログイン要求してきた要求元端末10Aの稼動状態を管理すべく、端末管理テーブル(図9参照)が構成されている端末管理DB5003に、この要求元端末10Aの端末ID、要求元端末10Aの稼動状態、遠隔通信管理システム50でログイン要求情報が受信された受信日時、及び要求元端末10のIPアドレスを関連付けて記憶して管理する。
端末抽出部54は、ログイン要求した要求元端末10Aの端末IDをキーとして、宛先リスト管理テーブル(図10参照)が構成されている宛先リスト管理DB5004を検索し、要求元端末10Aと遠隔通信することができる宛先端末10Bの候補の端末IDを読み出すことで、端末IDを抽出する。また、端末抽出部54は、ログイン要求してきた要求元端末10Aの端末IDをキーとして、宛先リスト管理テーブル(図10参照)が構成されている宛先リスト管理DB5004を検索し、上記要求元端末10Aの端末IDを宛先端末10Bの候補として登録している他の要求元端末10Aの端末IDも抽出する。
端末状態取得部55は、上記端末抽出部54によって抽出された宛先端末10Bの候補の端末IDを検索キーとして、端末管理テーブル(図9参照)が構成されている端末管理DB5003を検索し、上記端末抽出部54によって抽出された端末ID毎に稼動状態を読み出す。これにより、端末状態取得部55は、ログイン要求してきた要求元端末10Aと遠隔通信することができる宛先端末10Bの候補の稼動状態を取得することができる。また、端末状態取得部55は、上記端末抽出部54によって抽出された端末IDを検索キーとして、端末状態管理DB5003を検索し、ログイン要求してきた要求元端末10Aの稼動状態も取得する。
一次絞込部56は、複数の中継装置30から最終的に1つの中継装置30に絞り込む最終絞り込み処理を支援するため、最終絞り込み処理前の一次絞り込み処理を行うため、選択用セッションID生成部56a、端末IPアドレス抽出部56b、一次選択部56c、及び優先度決定部56dを有している。このうち、選択用セッションID生成部56aは、中継装置30を選択するためのセッションの実行に用いられる選択用セッションIDを生成する。端末IPアドレス抽出部56bは、要求元端末10Aから送られてきた開始要求情報に含まれている要求元端末10Aの端末ID、及び、宛先端末10Bの端末IDに基づいて、端末管理テーブル(図9参照)が構成されている端末管理DB5003を検索することにより、対応するそれぞれの遠隔通信端末10のIPアドレスを抽出する。一次選択部56cは、中継装置管理テーブル(図7参照)が構成されている中継装置管理DB5001で管理されている中継装置30のうち、稼動状態が「ONライン」となっている中継装置30の中継装置IDを選択することにより、中継装置30の選択を行う。
また、一次選択部56cは、上記端末IPアドレス抽出部56bによって抽出された、要求元端末10AのIPアドレス、及び宛先端末10BのIPアドレスに基づいて、中継装置管理テーブル(図7参照)が構成されている中継装置管理DB5001を検索することにより、上記選択された中継装置30のIPアドレスのドットアドレス毎に、上記要求元端末10A及び宛先端末10Bの各IPアドレスにおける各ドットアドレスと同じであるか異なるかを調査する。更に、一次選択部56cは、中継装置毎に、アドレス優先度のポイントにおいて遠隔通信端末10に対する高い方のポイントと、伝送速度優先度のポイントを統合した統合ポイントのうち、ポイントが高い上位2つの中継装置30を選択することにより、中継装置30の更なる選択を行う。
なお、本実施形態では、ポイントが高い上位2つの中継装置30を選択することにしているが、これに限られるものではなく、中継装置30を1つでも多く絞り込むことができれば、ポイントが高い上位3つ以上の中継装置30を選択するようにしてもよい。
優先度決定部56dは、優先度管理テーブル(図12参照)が構成されている優先度管理DB5006を参照して、上記一次選択部56cによって調査された中継装置30毎に、アドレス優先度のポイントを決定する。また、優先度決定部56dは、中継装置管理テーブル(図7参照)が構成されている中継装置管理DB5001で管理されている各中継装置30の最大データ伝送速度に基づいて、優先度管理テーブル(図12参照)が構成されている優先度管理DB5006を検索することにより、上記一次選択部56cによる第1次の絞り込み処理によって絞り込まれた中継装置30毎に伝送速度優先度のポイントを決定する。
セッション管理部57は、記憶部5000のセッション管理テーブル(図11参照)が構成されているセッション管理DB5005に、選択用セッションID生成部56aで生成された選択用セッションID、要求元端末の端末ID、及び宛先端末の端末IDを関連付けて記憶して管理する。また、セッション管理部57は、セッション管理テーブル(図11参照)が構成されているセッション管理DB5005に対して、選択用セッションID毎に、遠隔通信端末10の最終選択部16cで最終的に1つに選択された中継装置30の中継装置IDを記憶して管理する。
品質決定部58は、上記遅延時間を検索キーとして、品質管理DB5007(図14参照)を検索し、対応する画像データの画質を抽出することで、中継装置30に中継させる画像データの画質を決定する。記憶・読出処理部59は、図3に示されているHDD205によって実行され、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出す処理を行う。遅延時間管理部60は、上記宛先端末10BのIPアドレスを検索キーとして、端末管理DB5003(図9参照)を検索することで、対応する端末IDを抽出し、更に、セッション管理DB5005のセッション管理テーブル(図11参照)において、上記抽出した端末IDが含まれるレコードにおける遅延時間のフィールド部分に、上記遅延情報で示されている遅延時間を記憶して管理する。
<<実施形態の処理・動作>>
以上が、本実施形態に係る遠隔通信システム1の構成及び機能(又は手段)の説明であり、続いて、図15乃至図21、図27乃至図33を用いて、本実施形態に係る遠隔通信システム1における処理方法を説明する。なお、図15は、各中継装置30から遠隔通信管理システム50に送信された各中継装置30の状態を示す状態情報を管理する処理を示したシーケンス図である。図16は、複数の遠隔通信端末10の間で遠隔通信を開始する準備段階の処理を示したシーケンス図である。図17は、中継装置30を絞り込む処理を示したシーケンス図である。図18は、中継装置30を絞り込む処理を示した処理フロー図である。図19は、中継装置の絞り込み処理を行う際の優先度のポイントの計算状態を示した図である。図20は、遠隔通信端末10が中継装置30を選択する処理を示したシーケンス図である。図21は、遠隔通信端末で中継装置30を選択する処理を示した処理フロー図である。図22は、遠隔通信端末間で映像データ及び音声データを送受信する処理を示したシーケンス図である。図23は、配置情報記憶部に記憶されている配置情報管理テーブルを示す概念図である。図24は、配置情報記憶部に記憶されている配置情報である配置図に基づいて画像データ、映像データが表示されている画面の例を示した図である。図25は、画像情報記憶部に記憶されている画像情報管理テーブルを示す概念図である。図27は、遠隔通信端末が映像データ、画像データを表示する処理を示したシーケンス図である。図28は、遠隔通信端末が映像データ及び画像データを表示する処理における配置を決定する処理を示したフロー図である。図29は、画像データ、映像データが表示されている画面の例を示した図である。図30は、画像データの表示を開始または停止する処理を示したシーケンス図である。図31は、表示要求を開始要求とするか、停止要求とするかを判定する処理を示したフロー図である。図32は、表示制御情報を決定するの処理を示したフロー図である。図33は、中継装置30に対して、再度、開始要求を送信するか否かを判定する処理を示したフロー図である。
まず、図15を用いて、各中継装置30から遠隔通信管理システム50に送信された各中継装置30の状態を示す状態情報を管理する処理を説明する。まず、各中継装置30では、図4に示されている状態検知部32が、自装置である中継装置30の稼動状態を定期的に検知している(ステップS1−1〜ステップS1−4)。そして、遠隔通信管理システム50側で各中継装置30の稼動状態をリアルタイムで管理させるべく、各中継装置30の送受信部31は、定期的に通信ネットワーク2を介して遠隔通信管理システム50へ各状態情報を送信する(ステップS2−1〜S2−4)。これら各状態情報には、中継装置30毎の中継装置IDと、これら各中継装置IDに係る中継装置30の状態検知部32で検知された稼動状態とが含まれている。なお、本実施形態では、中継装置(30a,30b,30d)は、正常に稼動して「ONライン」となっている一方で、中継装置30cは稼働中ではあるが、中継装置30cの中継動作を実行するためのプログラムに何らかの不具合が生じて、「OFFライン」となっている場合が示されている。
次に、遠隔通信管理システム50では、各中継装置30から送られて来た各状態情報を送受信部51が受信し、記憶・読出処理部59を介して記憶部5000の中継装置状態管理DB5001(図7参照)に、中継装置ID毎に状態情報を記憶して管理する(ステップS3−1〜S3−4)。これにより、図7に示されるような中継装置管理テーブルに対して、中継装置ID毎に「ONライン」、「OFFライン」、又は「故障中」のいずれかの稼動状態が記憶されて管理される。またこの際に、中継装置ID毎に、遠隔通信管理システム50で状態情報が受信された受信日時も記憶されて管理される。なお、中継装置30から状態情報が送られない場合には、図7に示されている中継装置管理テーブルの各レコードにおける稼動状態のフィールド部分及び受信日時のフィールド部分が空白になるか、又は、前回の受信時の稼動状態及び受信日時をそれぞれ示す。
次に、図16を用いて、遠隔通信端末10aaと遠隔通信端末10dbとの間で、遠隔通信を開始する前の準備段階の処理について説明する。まず、利用者が、図2に示されている電源スイッチ109をONにすると、図4に示されている操作入力受付部12が電源ONを受け付けて、電源をONにする(ステップS21)。そして、ログイン要求部13は、上記電源ONの受信を契機とし、送受信部11から通信ネットワーク2を介して遠隔通信管理システム50に、ログイン要求を示すログイン要求情報を自動的に送信する(ステップS22)。このログイン要求情報には、要求元としての自装置である遠隔通信端末10aaを識別するための端末ID、及びパスワードが含まれている。これら端末ID、及びパスワードは、記憶・読出処理部19を介して記憶部1000から読み出されて、送受信部11に送られたデータである。なお、遠隔通信端末10aaから遠隔通信管理システム50へログイン要求情報が送信される際は、受信側である遠隔通信管理システム50は、送信側である遠隔通信端末10abのIPアドレスを把握することができる。
次に、遠隔通信管理システム50の端末認証部52は、送受信部51を介して受信したログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、記憶部5000の端末認証管理DB5002(図8参照)を検索し、端末認証管理DB5002に同一の端末ID及びパスワードが管理されているかを判断することによって端末認証を行う(ステップS23)。この端末認証部52によって、同一の端末ID及びパスワードが管理されているため、正当な利用権限を有する遠隔通信端末10からのログイン要求であると判断された場合には、状態管理部53は、端末管理DB5003(図9参照)に、遠隔通信端末10aaの端末ID、稼動状態、上記ログイン要求情報が受信された受信日時、及び遠隔通信端末10aaのIPアドレスを関連付けて記憶する(ステップS24)。これにより、図9に示されている端末管理テーブルには、遠隔通信端末ID「01aa」に、稼動状態「ONライン」、受信日時「2009.11.10.13:40」及び端末IPアドレス「1.2.1.3」が関連付けて管理されることになる。
そして、遠隔通信管理システム50の送受信部51は、上記端末認証部52によって得られた認証結果が示された認証結果情報を、通信ネットワーク2を介して、上記ログイン要求してきた要求元端末10aaに送信する(ステップS25)。本実施形態では、端末認証部52によって正当な利用権限を有する端末であると判断された場合につき、以下続けて説明する。
遠隔通信管理システム50の端末抽出部54は、ログイン要求した要求元端末10aaの端末ID「01aa」を検索キーとして、宛先リスト管理DB5004(図10参照)を検索し、要求元端末10aaと遠隔通信することができる宛先端末10Bの候補の端末IDを読み出すことによって抽出する(ステップS26)。ここでは、要求元端末10aaの端末ID「01aa」に対応する宛先端末(10ab,10ba,10db)のそれぞれの端末ID「01ab」、「01ba」、「01db」が抽出されることになる。
次に、端末状態取得部55は、上記端末抽出部54によって抽出された宛先端末10Bの候補の端末ID(「01ab」、「01ba」、「01db」)を検索キーとして、端末管理DB5003(図9参照)を検索し、上記端末抽出部54によって抽出された端末ID毎に稼動状態(「OFFライン」、「ONライン」、「ONライン」)を読み出すことにより、遠隔通信端末(10ab,10ba,10db)の各稼動状態を取得する(ステップ27)。
次に、送受信部51は、上記ステップS27で使用された検索キーとしての端末ID(「01ab」、「01ba」、「01db」)と、対応する宛先端末(10ab,10ba,10db)の稼動状態(「OFFライン」、「ONライン」、「ONライン」)とが含まれた宛先状態情報を、通信ネットワーク2を介して要求元端末10aaに送信する(ステップS28)。これにより、要求元端末10aaは、この要求元端末10aaと遠隔通信することができる宛先端末10Bの候補である遠隔通信端末(10ab,10ba,10db)の現時点のそれぞれの稼動状態(「OFFライン」、「ONライン」、「ONライン」)を把握することができる。
更に、遠隔通信管理システム50の端末抽出部54は、ログイン要求してきた要求元端末10aaの端末ID「01aa」を検索キーとして、宛先リスト管理DB5004(図10参照)を検索し、上記要求元端末10aaの端末ID「01aa」を宛先端末10Bの候補として登録している他の要求元端末10Aの端末IDを抽出する(ステップS29)。図10に示されている宛先リスト管理テーブルでは、抽出される他の要求元端末10Aの端末IDは、「01ab」、「01ba」、及び「01db」である。
次に、遠隔通信管理システム50の端末状態取得部55は、上記ログイン要求して来た要求元端末10aaの端末ID「01aa」を検索キーとして、端末状態管理DB5003(図9参照)を検索し、ログイン要求してきた要求元端末10aaの稼動状態を取得する(ステップS30)。
そして、送受信部51は、上記ステップS29で抽出された端末ID(「01ab」、「01ba」、及び「01db」)に係る遠隔通信端末(10ab,10ba,10db)のうち、端末管理DB5003(図9参照)で稼動状態が「ONライン」となっている遠隔通信端末(10ba,10db)に、上記ステップS30で取得された要求元端末10aaの端末ID「01aa」と稼動状態「ONライン」が含まれる宛先状態情報を送信する(ステップS31−1,S31−2)。なお、送受信部51が遠隔通信端末(10ba,10db)に宛先状態情報を送信する際に、各端末ID(「01ba」、「01db」)に基づいて、図9に示されている端末管理テーブルで管理されている端末のIPアドレスを参照する。これにより、ログイン要求した要求元端末10aaを宛先として遠隔通信することができる他の宛先端末(10db,10ba)のぞれぞれに、上記ログイン要求した要求元端末10aaの端末ID「01aa」、及び稼動状態「ONライン」を伝えることができる。
一方、他の遠隔通信端末10でも、上記ステップS21と同様に、利用者が図3に示されている電源スイッチ109をONにすると、図4に示されている操作入力受付部12が電源ONを受け付け、上記ステップS22〜S31−1,2の処理と同様の処理を行うため、その説明を省略する。
続いて、図17を用いて、中継装置30を絞り込む処理を説明する。なお、本実施形態においては、要求元端末10aaは、宛先の候補としての遠隔通信端末10のうち、上記ステップS28によって受信した宛先状態情報により、稼動状態がONラインである遠隔通信端末(10ba,10db)の少なくとも一方と遠隔通信を行うことができる。そこで、以下では、要求元端末10aaの利用者が、宛先端末10dbと遠隔通信を開始することを選択した場合について説明する。
まず、利用者が図2に示されている操作ボタン108を押下して遠隔通信端末10dbを選択すると、図4に示されている操作入力受付部12は、遠隔通信端末10dbとの遠隔通信を開始する要求を受け付ける(ステップS41)。そして、遠隔通信端末10aaの送受信部11は、要求元端末10aaの端末ID「01aa」、及び宛先端末10dbの端末ID「01db」が含まれ、遠隔通信を開始したい旨を示す開始要求情報を、遠隔通信管理システム50へ送信する(ステップS42)。これにより、遠隔通信管理システム50の送受信部51は、上記開始要求情報を受信すると共に、送信元である要求元端末10aaのIPアドレス「1.2.1.3」を把握することになる。そして、状態管理部53は、開始要求情報に含まれる要求元端末10aaの端末ID「01aa」及び宛先端末10dbの端末ID「01db」に基づき、端末管理DB5003(図9参照)の端末管理テーブルにおいて、上記端末ID「01aa」及び端末ID「01db」がそれぞれ含まれるレコードの稼動状態のフィールド部分を、ともに「通話中」に変更する(ステップS43)。なお、この状態では、要求元端末10aaと宛先端末10dbは、遠隔通信(通話)を開始していないが、通話中状態となり、他の遠隔通信端末10が要求元端末10aa又は宛先端末10dbと遠隔通信しようとすると、いわゆる通話中状態を示す旨の音声又は表示が出力される。
次に、ステップS44〜S48、及びステップS61−1〜66により、中継装置30を選択するためのセッションを実行する処理を説明する。まず、選択用セッションID生成部56aは、中継装置30を選択するためのセッションの実行に用いられる選択用セッションIDを生成する(ステップS44)。そして、セッション管理部57は、記憶部5000のセッション管理DB5005(図11参照)に、上記ステップS44で生成された選択用セッションID「se1」、要求元端末10aaの端末ID「01aa」、及び宛先端末10dbの端末ID「01db」を関連付けて記憶して管理する(ステップS45)。
次に、遠隔通信管理システム50の一次絞込部56は、中継装置管理DB5001、端末管理DB5003、及び優先度管理DB5006に基づいて、要求元端末10aaと、宛先端末10dbとの遠隔通信を中継するための中継装置30の一次絞り込みを行う(ステップS46)。
ここで、図18を用いて、ステップS46における処理を更に詳細に説明する。まず、端末IPアドレス抽出部56bは、要求元端末10aaから送られてきた開始通信情報に含まれている要求元端末10aaの端末ID「01aa」、及び、宛先端末10dbの端末ID「01db」に基づいて、端末管理DB5003(図9参照)を検索することにより、対応する遠隔通信端末(10aa,10db)のIPアドレス(「1.2.1.3」,「1.3.2.4」)を抽出する(ステップS46−1)。次に、一次選択部56cは、中継装置管理DB5001(図7参照)で管理されている中継装置30の稼動状態のうち、「ONライン」になっている中継装置(30a,30b,30d)の各中継装置ID(111a,111b,111d)を選択する(ステップS46−2)。また、一次選択部56cは、上記ステップS46−1で抽出された、要求元端末10aaのIPアドレス「1.2.1.3」、及び宛先端末10dbのIPアドレス「1.3.2.4」に基づいて、中継装置管理DB5001(図7参照)を検索することにより、上記ステップS46−2によって選択された中継装置(30a,30b,30d)の各IPアドレス(「1.2.1.2.」,「1.2.2.2」,「1.3.2.2」)のドットアドレス毎に、上記要求元端末10aa及び宛先端末10dbの各IPアドレス(「1.2.1.3」,「1.3.2.4」)における各ドットアドレスと同じであるか異なるかを調査する(ステップS46−3)。
次に、優先度決定部57cは、優先度管理DB5006(図12参照)を参照して、上記ステップS46−3によって調査された中継装置(30a,30b,30d)毎に、アドレス優先度のポイントを決定する(ステップS46−4)。この決定処理の結果を表に表すと、図19に示されているような状態になる。なお、図19は、中継装置30の絞り込み処理を行う際の優先度のポイントの計算状態を示した図である。この図19では、中継装置ID毎に、アドレス優先度のポイント、伝送速度優先度のポイント、及び統合ポイントが示されている。また、アドレス優先度のポイントは、更に、各中継装置30の要求元端末10aaに対するポイント及び宛先端末10dbに対するポイントが示されている。統合ポイントは、アドレス優先度の2つのポイントのうちの高い方のポイントと、伝送速度優先度のポイントの合計である。
本実施形態では、中継装置30aのIPアドレス「1.2.1.2」は要求元端末10aaのIPアドレス「1.2.1.3」に対して、「同.同.同.異」であるため、図19に示されているように、アドレス優先度のポイントは「5」になる。また、中継装置30aのIPアドレス「1.2.1.2」は宛先端末10dbのIPアドレス「1.3.2.4」に対して、「同.異.異.異」であるため、アドレス優先度のポイントは「1」になる。また、中継装置30bのIPアドレス「1.2.2.2」は要求元端末10aaのIPアドレス「1.2.1.3」に対して、「同.同.異.異」であるため、アドレス優先度のポイントは「3」になる。また、中継装置30bのIPアドレス「1.2.2.2」は宛先端末10dbのIPアドレス「1.3.2.4」に対して、「同.異.同.異」であるため、アドレス優先度のポイントは「1」になる。更に、中継装置30dのIPアドレス「1.3.2.2」は要求元端末10aaのIPアドレス「1.2.1.3」に対して、「同.異.異.異」であるため、アドレス優先度のポイントは「1」になる。また、中継装置30dのIPアドレス「1.3.2.2」は宛先端末10dbのIPアドレス「1.3.2.4」に対して、「同.同.同.異」であるため、アドレス優先度のポイントは「5」になる。
次に、図18に戻って、優先度決定部57dは、中継装置管理DB5001(図7参照)で管理されている各中継装置30の最大データ伝送速度に基づいて、優先度管理DB5006(図13参照)を検索することにより、上記ステップS46−2によって第1次絞り込み処理によって絞り込まれた中継装置(30a,30b,30d)毎に伝送速度優先度のポイントを決定する(ステップS46−5)。本実施形態では、図7に示されているように、中継装置30aの最大データ伝送速度が100(Mbps)であるため、図13に示されている伝送速度優先度を参照すると、伝送速度優先度が3ポイントになる。また、同様に、中継装置30bの最大データ伝送速度について計算すると1000(Mbps)であるため、伝送速度優先度が5ポイントになる。また同様に、中継装置30dの最大データ伝送速度について計算すると10(Mbps)であるため、伝送速度優先度が1ポイントになる。
次に、一次選択部56cは、中継装置(30a,30b,30d)毎に、アドレス優先度のポイントにおいて遠隔通信端末(10aa,10db)のうち高い方のポイントと、伝送速度優先度のポイントを統合した統合ポイントのうち、ポイントが高い上位2つの中継装置30を選択する(ステップS46−6)。本実施形態では、図19に示されているように、中継装置ID(111a,111b,111d)は、それぞれ統合ポイントが「8」、「8」、「5」であるため、中継装置ID「111a」に係る中継装置30a、及び中継装置ID「111b」に係る中継装置30bが選択されることになる。
以上のステップS46における絞り込み処理が終了すると、図4に示されている送受信部51は、通信ネットワーク2を介して、宛先端末10dbへ、上記絞り込まれた中継装置30の数を伝達するための中継装置絞込情報を送信する(ステップS47)。この中継装置絞込情報には、上記ステップS46によって絞り込まれた中継装置30の数「2」、要求元端末10aaの端末ID「01aa」、及び上記選択用セッションID「se1」が含まれている。これにより、遠隔通信端末10dbは、選択用セッションID「se1」におけるセッションの実行において、中継装置30の数がいくつで、どの遠隔通信端末10からテレビ会議を開始したいとの要求があったのかを把握することができると共に、中継装置絞込情報の送信元である遠隔通信管理システム50のIPアドレス「1.1.1.2」を把握することができる。
そして、遠隔通信端末10dbは、送受信部11から通信ネットワーク2を介して遠隔通信管理システム50へ、上記中継装置絞込情報の受信が完了した旨を示す受信完了情報を送信する(ステップS48)。この受信完了情報には、セッションID「se1」が含まれている。これにより、遠隔通信管理システム50は、セッションID「se1」で実行されている中継装置数の伝達が完了した旨と共に、送信元である宛先端末10dbのIPアドレス「1.3.2.4」を把握することができる。
次に、図20を用いて、宛先端末10aaが中継装置30を選択する処理を説明する。まず、遠隔通信管理システム50は、テレビ会議を開始する前に、上記ステップS46によって絞り込まれた中継装置(30a,30b)のそれぞれに対して、事前に中継を要求する旨の事前中継要求情報を送信する(ステップS61−1,2)。この事前中継要求情報には、セッションID「se1」、要求元端末10aaのIPアドレス「01aa」、及び宛先端末10dbが含まれている。これにより、中継装置(30a,30b)は、どの選択用セッションのものであるか、要求元端末10Aが何であるか、及び宛先端末10Bが何であるかを把握することができると共に、事前中継要求情報の送信元である遠隔通信管理システム50のIPアドレス「1.1.1.2」を把握することができる。
次に、各中継装置(30a,30b)のそれぞれは、送受信部31から通信ネットワーク2を介して、上記ステップS61−1,2によって把握した要求元端末10aaへ、テレビ会議の開始前に自装置としての各中継装置(30a,30b)へ、後述のping(Packet Internet Groper)が含まれた事前送信情報を送信させる旨を示す事前送信要求情報を送信する(ステップS62−1,2)。この事前送信情報には、セッションID「se1」が含まれている。これにより、要求元端末10aaは、セッションID「se1」で実行されている中継装置30の選択処理において、各中継装置(30a,30b)に事前送信情報を送信することを把握すると共に、事前送信要求情報の送信元である中継装置(30a,30b)のIPアドレス(「1.2.1.2」,「1.2.2.2」)を把握することができる。
なお、遠隔通信管理システム50から直接、要求元端末10baに対して、宛先端末10dbのIPアドレスを通知せずに、上記ステップ61−1のように中継装置30aに対して宛先端末10dbのIPアドレスを通知し、上記ステップ61−2のように中継装置30aが要求元端末10baに対し、自装置(中継装置30a)に対して事前送信要求情報を送信するように要求するのは、各遠隔通信端末10には、他の遠隔通信端末10のIPアドレスを知らせないようにして、セキュリティーを確保するためである。
次に、要求元端末10aaは、送受信部11から通信ネットワーク2を介して中継装置(30a,30b)へ事前送信情報を送信する(ステップS63−1,2)。この事前送信情報は、映像データ及び音声データの送信に先立って、これら映像データ及び音声データの代わりに各中継装置(30a,30b)を介して宛先端末10dbへ送信されることで、要求元端末10aaの送信から宛先端末dbの受信までの所要時間を計測するために用いられる情報である。また、この事前送信情報には、要求元端末10aa、中継装置(30a,30b)、及び宛先端末10dbが通信可能に接続されていることを確認するためのping、要求元端末10aaから事前送信情報が送信された送信日時、及びセッションID「se1」が含まれている。これにより、各中継装置(30a,30b)は、選択用セッションID「se1」におけるセッションの実行において、事前送信情報が送られて来たことを把握できると共に、この事前送信情報の送信元である要求元端末10aaのIPアドレス「1.2.1.3」を把握することができる。
次に、各中継装置(30a,30b)は、上記ステップS61−1,2によって受信した事前中継要求情報に含まれている宛先端末10dbのIPアドレス「1.3.2.4」に対して、上記事前送信情報を中継する(ステップS64−1,2)。これにより、宛先端末10dbは、セッションID「se1」におけるセッションの実行において、事前送信情報が送られて来たことを把握できると共に、この事前送信情報の送信元(中継元)である中継装置(30a,30b)のIPアドレス(「1.2.1.2」,「1.2.2.2」)を把握することができる。
次に、宛先端末10dbの最終絞込部16は、事前送信情報に基づいて、最終的にテレビ会議で映像データ及び音声データを中継する1つの中継装置30に絞り込む(ステップ65)。
ここで、図4及び図21を用いて、ステップS65における処理を更に詳細に説明する。まず、図4に示されている最終絞込部16の計測部16aは、各中継装置(30a,30b)によって中継された事前送信情報毎に、遠隔通信端末10dbの送受信部11で受信した際の受信日時を計測する(ステップS65−1)。次に、算出部16bは、上記受信時間が計測された事前送信情報毎に、上記受信日時と上記事前送信情報に含まれている送信日時との差に基づいて、各事前送信情報の送信から受信までの所要時間を算出する(ステップS65−2)。次に、最終選択部16cは、セッションID「se1」におけるセッションの実行において、中継予定の中継装置30の数「2」に相当する数の事前送信情報を全て受信したかを判断する(ステップS65−3)。そして、全て受信していない場合には(NO)、最終選択部16cは、遠隔通信端末10dbで事前送信情報を受信してから所定時間(ここでは1分間)経過したかを判断する(ステップS65−4)。更に、所定時間経過していない場合には(NO)、上記ステップS65−1に戻る。一方、上記ステップ65−3において、全て受信した場合(YES)、又は上記ステップS65−4において、所定時間経過した場合(YES)には、最終選択部16cは、これまでに算出部16bで算出された所要時間のうち最短の所要時間を要した事前送信情報を中継した中継装置30を1つ選択する(ステップS65−5)。本実施形態では、中継装置30aによって中継された事前送信情報が、中継装置30bによって中継された事前送信情報よりも送信から受信までの所要時間が短かったものとして、中継装置30aが選択される例を示している。
なお、上記実施形態では、宛先端末10db側で中継装置30aが絞り込まれたが、これに限るものではなく、宛先端末10dbが要求元端末10aa又は遠隔通信管理システム50へ、事前送信情報の送信から受信までの所要時間を示した所要時間情報を全て送信することで、要求元端末10aa側又は遠隔通信管理システム50側で、最終的に1つの中継装置30aが絞り込まれるようにしてもよい。
次に、宛先端末10dbは、送受信部11から通信ネットワーク2を介して遠隔通信管理システム50へ、中継装置30aを選択した旨を示す選択情報を送信する(ステップS66)。この選択情報には、セッションID「se1」、及び、選択された中継装置30aの中継装置ID「111a」が含まれている。これにより、遠隔通信管理システム50は、セッションID「se1」におけるセッションの実行において、中継装置30aが選択されたことを把握できると共に、選択情報の送信元である遠隔通信端末10dbのIPアドレス「1.3.2.4」を把握することができる。
次に、遠隔通信管理システム50のセッション管理部57は、セッション管理DB5005(図11参照)のセッション管理テーブルにおいて、セッションID「se1」が含まれるレコードの中継装置IDのフィールド部分に、上記最終的に1つに選択された中継装置30aの中継装置ID「111a」を記憶して管理する(ステップS67)。そして、遠隔通信管理システム50の送受信部51は、通信ネットワーク2を介して中継装置30aへ、中継を開始する旨の要求が示された中継開始要求情報を送信する(ステップS68)。この中継開始要求情報には、中継される要求元端末10aa及び宛先端末10dbの各IPアドレス(「1.2.1.3」,「1.3.2.4」)が含まれている。これにより、中継装置30aは、遠隔通信端末(10aa,10db)の間で、低解像度、中解像度、及び高解像度の3つ映像データ、並びに、音声データを遠隔通信するためのセッションを確立する(ステップS69)。これにより、遠隔通信端末(10aa,10db)は、テレビ会議を開始することができる。
なお、上記ステップS47において、遠隔通信管理システム50が宛先端末10dbに中継装置絞込情報を送信することに伴い、ステップS48〜S64−1,2を経て、宛先端末10db側で中継装置の選択処理(ステップS65)を行ったが、これに限るものではなく、上記ステップS47において、遠隔通信管理システム50が要求元端末10aaに中継装置絞込情報を送信することで、その後ステップS64−1,2までは、各情報の送信元と受信元が、要求元端末10aaと宛先端末10dbとで入れ替わるようにしてもよい。これにより、要求元端末10aaが上記ステップS65に替わって中継装置の選択処理を行うことができ、また、上記ステップS66に替わって選択情報の送信も行うことができる。
続いて、図4及び図22を用いて、要求元端末10aaと宛先端末10dbとの間で、テレビ会議を行うために、映像データ及び音声データを送受信する処理を説明する。まず、要求元端末10aaは、撮像部14aで撮像された被写体の映像データ、及び音声入力部15aで入力された音声の音声データを、送受信部11から通信ネットワーク2を介して中継装置30aへ送信する(ステップS81)。なお、本実施形態では、図5に示されている低解像度、中解像度、及び高解像度の3つから成る高画質の映像データ、並びに、音声データを送信している。これにより、中継装置30aでは、送受信部31で上記3つの解像度の映像データ及び音声データを受信する。そして、データ品質確認部33が、宛先端末10dbのIPアドレス「1.3.2.4」を検索キーとして、変更品質管理DB3001(図6参照)を検索し、対応した中継する映像データの画質を抽出することで、中継する映像データの画像の品質を確認する(ステップS82)。本実施形態では、確認された映像データの画像の画質が「高画質」であり、送受信部31で受信した映像データの画質と同じであるため、そのままの画質の映像データ、及びそのままの音質の音声データで、宛先端末10dbに転送する(ステップS83)。これにより、宛先端末10dbは、送受信部11で映像データ及び音声データを受信し、表示制御部14bがディスプレイ100に上記映像データに基づく画像を表示させると共に、音声出力部15bが音声データに基づく音声を出力させることができる。
次に、遠隔通信端末10dbの遅延検出部17は、送受信部11で受信された映像データの受信の遅延時間を一定時間毎(例えば、1秒毎)に検出する(ステップS84)。なお、本実施形態では、遅延時間が200(ms)である場合について、以下説明を続ける。
宛先端末10dbの送受信部11は、通信ネットワーク2を介して遠隔通信管理システム50へ、遅延時間「200(ms)」を示す遅延情報を送信する(ステップS85)。これにより、遠隔通信管理システム50は、遅延時間を把握すると共に、遅延情報の送信元である遠隔通信端末10dbのIPアドレス「1.3.2.4」を把握することができる。
次に、遠隔通信管理システム50の遅延時間管理部60は、上記宛先端末10dbのIPアドレス「1.3.2.4」を検索キーとして、端末管理DB5003(図9参照)を検索することで、対応する端末ID「01db」を抽出し、更に、セッション管理DB5005(図11参照)のセッション管理テーブルにおいて、上記端末ID「01db」のレコードにおける遅延時間のフィールド部分に、上記遅延情報で示されている遅延時間「200(ms)」を記憶して管理する(ステップS86)。
次に、品質決定部58は、上記遅延時間「200(ms)」を検索キーとして、品質管理DB5007(図14参照)を検索し、対応する映像データの画質「中画質」を抽出することで、画質を「中画質」に決定する(ステップS87)。
次に、送受信部51は、セッション管理DB(図11参照)のセッション管理テーブルにおいて、上記端末ID「01db」に関連付けられている中継装置ID「111a」を検索キーとして、中継装置管理DB5001(図7参照)を検索し、対応する中継装置30aのIPアドレス「1.2.1.2」を抽出する(ステップS88)。そして、送受信部51は、通信ネットワーク2を介して中継装置30aへ、上記ステップ87によって決定された映像データの画質「中画質」を示す品質情報を送信する(ステップS89)。この品質情報には、上記ステップS86において検索キーとして用いた宛先端末10dbのIPアドレス「1.3.2.4」が含まれている。これにより、中継装置30aでは、変更品質管理部34が、変更品質管理DB3001(図6参照)に、送信先の遠隔通信端末10(ここでは、宛先端末10db)のIPアドレス「1.3.2.4」、及び中継される映像データの画質「中画質」を関連付けて記憶して管理する(ステップS90)。
次に、遠隔通信端末10aaは、引き続き上記ステップS81と同様に、中継装置30aへ、低画質、中画質、及び高画質の3つから成る高画質の映像データ、並びに、音声データを送信する(ステップS91)。これにより、中継装置30aでは、上記ステップS82と同様に、データ品質確認部33が、宛先端末10dbのIPアドレス「1.3.2.4」を検索キーとして、変更品質管理DB3001(図6参照)を検索し、対応した中継する映像データの画質「中画質」を抽出することで、中継される映像データの画像の品質を確認する(ステップS92)。本実施形態では、確認された映像データの画質が「中画質」であり、送受信部31で受信された映像データの画質「高画質」よりも低くなるため、データ品質変更部35は、映像データの画質を「高画質」から「中画質」に抑制することで、映像データの画像の品質を変更する(ステップS93)。そして、送受信部31は、通信ネットワーク2を介して遠隔通信端末10dbへ、上記映像データの画質が「中画質」に変更された映像データ、及び音声の音質が変更されていない音声データを送信する(ステップS94)。このように、映像データを受信する宛先端末10dbで、受信の遅延が生じた場合には、中継装置30aは画像の品質を変更し、テレビ会議に参加している人に違和感を与えないようにすることができる。
続いて、図27を用いて、遠隔通信端末10aaに接続されている外部入力装置40aaの資料データを画面に表示するための画像データと、遠隔通信端末10aaで入力された映像データを、遠隔通信端末10dbが表示する処理を説明する。
外部入力装置40aa、遠隔通信端末10aaが互いに接続されると、外部入力装置40aaの接続検知部45がそれを検知する(ステップS70−1)。接続検知部45が、外部入力装置40aa、遠隔通信端末10aaが互いに接続されたことを検出すると、インストール判定部46は画像データ取得部44が既にインストールされているか否かを判定する(ステップS70−2)。ステップS70−2で画像データ取得部44がインストールされていないと判定された場合は、外部入力装置40aaのマウント部47は、遠隔通信端末10aaの記憶部1000をマウントし(ステップS70−3)、プログラム取得部48が、遠隔通信端末10aaに記憶されている画像データ取得部44を取得し、インストールする(ステップS70−4)。
ステップS70−2で画像データ取得部44がインストールされていると判定された場合は、ステップS71−5以降の処理に移る。
あらかじめ、映像データや画像データを、遠隔通信端末10の画面に表示させる領域、大きさ等を定めた配置情報を遠隔通信端末10が記憶しておく。具体的には、配置情報提供システム80からインターネット2i、専用線2cd、LAN2dを介して遠隔通信端末10dbの送受信部11が、配置情報を受信し(ステップS70−1)、記憶・読出処理部19が記憶部1000に構築されている配置情報管理DB1001に記憶する。(ステップS70−2)。
会議が開始されると、遠隔通信端末10aaの撮像部14aが会議参加者等の映像データを撮像する(ステップS73−1)。ステップS73−1で撮像された映像データを、送受信部11が中継装置30aに送信する(ステップS74−1)。映像データを受信した中継装置30aは、画像の品質を変換し(ステップS75−1)、遠隔通信端末10dbへ送信する(ステップS76−1)。そして、中継装置30aから送信された映像データを遠隔通信端末10dbの送受信部11が受信し、表示させるための配置情報を配置情報管理DB1001から抽出する(ステップS77)。
一方、そして、表示制御部43が、資料データを含む画像データに基づく画像をディスプレイ400に表示させるよう要求し(ステップS71−1)、表示装置が資料データを表示する(ステップS71−2)。ステップS71−1で、表示制御部43がディスプレイ400に表示させるよう要求した画像データを、画像データ取得部44が取得し(ステップS71−3)、取得した画像データを送受信部41が遠隔通信端末10aaの外部情報送受信部18に対して送信する(ステップS72)。ステップS72で受信した画像データを、送受信部11が中継装置30aに送信する(ステップS74−3)。画像データを受信した中継装置30aは、画像の品質を変換し(ステップS75−3)、遠隔通信端末10dbへ送信する(ステップS76−3)。そして、中継装置30aから送信された映像データを遠隔通信端末10dbの送受信部11が受信し、表示させるための配置情報を配置情報管理DB1001から抽出する(S77−3)。
ステップS75−1、S75−2及びステップS75−3で画像の品質を変換する処理の詳細は、上述で説明した、音声データ及び映像データの品質を変更する処理(ステップS81〜ステップS94)と同じであるため、説明を省略する。
次に、図28を用いて、ステップS77−1、及びステップS77−3で実施される配置情報が抽出される処理を詳細に説明する。
まず、配置情報抽出部14cは、送受信部11が映像データを受信したか否かを判定する(ステップS791)。映像データが受信されていなければ、表示制御部14bは何も表示させないで終了する。ステップS791で映像データが受信されていれば、配置情報抽出部14cは、送受信部11が画像データを受信したか否かを判定する(ステップS792)。ステップS792で画像データが受信されていれば、受信情報「有」を検索キーにして、図23に示す配置情報管理テーブルを検索し、配置図1に基づいて画面の各領域に関連付けて記憶されている映像データまたは画像データを抽出する(ステップS793)。ステップS792で画像データが受信されていなければ、受信情報「無」を検索キーにして、配置図2に基づいて画面の図23に示す配置情報管理テーブルを検索し、各領域に関連付けて記憶されている映像データを抽出する(ステップS794)。
そして、表示制御部14bが、ステップS793もしくはステップS794で抽出された映像データ、画像データに基づいて画像を生成し、それぞれの領域に表示させる(ステップS80)。
次に、映像データ及び画像データを表示させる領域を変更する処理を説明する。
受信情報が「有」の場合、ステップS80では図24の(1)に示されているように領域1に画像データに基づく画像、領域2に会議相手の遠隔通信端末10dbから送信された映像データに基づく画像、領域3に自身が利用している遠隔通信端末10aaによって撮像された画像が表示されている。ここで、ユーザが遠隔通信端末10aaに対して、画面の各領域に表示させる画像を変更する旨の操作を入力すると、図29(1)に示すように、領域1に会議相手の遠隔通信端末10dbから送信された映像データに基づく画像、領域2に自身が利用している遠隔通信端末10aaによって撮像された画像、領域3画像データに基づく画像が表示される。再びユーザが遠隔通信端末10aaに対して、画面の各領域に表示させる画像を変更する旨の操作を入力すると、図29(2)に示すように、領域1に自身が利用している遠隔通信端末10aaによって撮像された画像、領域2に画像データに基づく画像、領域3会議相手の遠隔通信端末10dbから送信された映像データに基づく画像が表示される。更に、再びユーザが遠隔通信端末10aaに対して、画面の各領域に表示させる画像を変更する旨の操作を入力すると、各画像はステップS80で表示された領域に表示される。
受信情報が「無」の場合、ステップS80では図24(2)に示すように領域1に会議相手の遠隔通信端末10dbから送信された映像データに基づく画像、領域2に自身が利用している遠隔通信端末10aaによって撮像された画像が表示されている。以降、遠隔通信端末10aaのマイク114によって音声データが取得された場合には、表示制御部14bは図29(1)に示すように領域1に自身が利用している遠隔通信端末10aaによって撮像された画像、領域2に会議相手の遠隔通信端末10dbから送信された映像データに基づく画像を表示する。また、遠隔通信端末10dbのマイク114によって取得された音声データを送受信部が受信した場合には、表示制御部14bは図29(2)に示されているように領域1に会議相手の遠隔通信端末10dbから送信された映像データに基づく画像、領域2に自身が利用している遠隔通信端末10aaによって撮像された画像を表示する。
続いて、画像データを同時に表示することを開始または停止する処理を、図30を用いて説明する。ここでは、画像データの表示を開始する要求を開始要求といい、表示を停止する要求を停止要求といい、これらを表示要求ということとする。
この処理が行われる際、遠隔通信端末10aa、遠隔通信端末10dbはUSBケーブルでそれぞれ外部入力装置40aa、外部入力装置40dbに接続されている。そして、外部入力装置40aa、外部入力装置40aaには、利用者から画像データを表示させる指示を受け付けるインターフェースとして開始ボタンまたは停止ボタンが表示されている。なお、自身が有する画像データを表示している場合には、外部入力装置40に停止ボタンが表示されている。他の外部入力装置が有する画像データを表示している場合、または、いずれの画像データも表示されていない場合には、外部入力装置40に開始ボタンが表示されている。また、このとき、遠隔通信端末10aa、遠隔通信端末10dbの記憶部1000に記憶されている要求状態フラグ1002は「オフ」とされている。
まず、外部入力装置40aaの画像データを表示するために、利用者によって外部入力装置40aaの画面に表示されている開始ボタンまたは停止ボタンがクリックされると、外部入力装置40aaの操作入力受付部42がユーザ要求を受け付ける(ステップS5001)。具体的には、ユーザによって開始ボタンがクリックされた場合には、表示を開始するためのユーザ要求、停止ボタンがクリックされた場合には、停止を開始するためのユーザ要求が受け付けられる。操作入力受付部42がユーザ要求を受け付けると、送受信部41がユーザ要求を遠隔通信端末10aaに送信する(ステップS5002)。外部入力装置40aaの送受信部41から送信されたユーザ要求を、遠隔通信端末10aaの送受信部11が受信すると、記憶・読出処理部19は要求状態フラグ1002を「オン」にする(ステップS5003)。
次に、遠隔通信端末10aaの表示要求判定部21は中継装置30に送信する表示要求を開始要求とするか、停止要求とするかを判定する(ステップS5004)。この表示要求を判定する表示要求判定部21の処理を、図31を用いて説明する。
まず、ステップS5002で受信したユーザ要求が「開始要求」であるか、「停止要求」であるか、判定する(ステップS50041)。ここでユーザ要求が「開始要求」であれば、記憶・読出処理部19を介して、記憶部1000に記憶されている表示状態フラグ1003が読み出され、「オン」であるか「オフ」であるか判定される(ステップS50042)。ここで、表示状態フラグが「オン」であれば、中継装置30に対して送信される表示要求は停止要求と判定される(ステップS50043)。表示状態フラグが「オフ」であれば、中継装置30に対して送信される表示要求は開始要求と判定される(ステップS50044)。また、ステップS50041で要求状態が「停止要求」であれば、中継装置30に対して送信される表示要求は停止要求と判定される(ステップS50043)。
続いて、図30に戻り、遠隔通信端末10aaの送受信部11は、ステップS5004で決定された表示要求を中継装置30に送信する(ステップS5005)。遠隔通信端末10aaから表示要求を受信すると、中継装置30の送受信部31は遠隔通信端末10aa、遠隔通信端末10dbに対して表示要求を送信する(ステップS5006)。中継装置30から送信された表示要求を遠隔通信端末10aaの送受信部11が受信すると、表示制御部14bが外部入力装置40aaに送信する表示制御情報を決定する(ステップS5007−1)。具体的には、図25に示される画像情報管理テーブルで要求状態フラグと表示要求を検索キーとして関連付けられている表示制御情報とする。
なお、ステップS5007−1で行われる表示制御情報を決定する処理を、図32で示す処理フロー図によってCPUが判定してもよい。この場合、記憶部1000に記憶されている要求状態が「オン」であるか、「オフ」であるかを判定する(ステップS50071)。要求状態が「オン」であれば、中継装置30から受信した表示要求が開始要求であるか停止要求であるかを判定する(ステップS50072)。開始要求であれば、表示制御情報は「停止ボタンの表示」と決定され(ステップS50073)、停止要求であれば、表示制御情報を「開始ボタンの表示」と決定される(ステップS50074)。要求状態が「オフ」である場合には表示制御情報は「開始ボタンの表示」と決定される(ステップS50074)。
ステップS5007−1で表示制御情報が決定されると、決定された表示制御情報を送受信部41が外部入力装置40aaに送信する(ステップS5008−1)。外部入力装置40aaの送受信部41で表示制御情報を受信すると、表示制御部43は受信した表示制御情報に基づいてディスプレイ400に停止ボタンまたは開始ボタンを表示する(ステップS5009−1)。
続いて、遠隔通信端末10aaの再要求判定部24は中継装置30に対して、再度、開始要求を送信するかを判定する(ステップS5010−1)。これは、遠隔通信端末10dbに接続されているが外部入力装置40dbの画像データを表示しているときに、外部入力装置40aaの画像データを表示するように切り替える場合には、いったん表示を停止し、その後に、表示を開始させるために実施する処理である。
具体的な処理の手順を、図33を用いて説明する。
まず、ステップS5002で受信したユーザ要求が「開始要求」であるか、「停止要求」であるか、判定される(ステップS50101)。ユーザ要求が「開始要求」である場合、記憶・読出処理部19によって、記憶部1000に記憶されている表示状態フラグが読み出され、「オン」であるか「オフ」であるか判定される(ステップS50102)。「オン」である場合、ステップS5005に戻って、送受信部11は開始要求を中継装置30に送信する。以降の処理は、上述のステップ5006以降の処理と同様であるため、その説明を省略する。ステップS50101でユーザ要求が「停止要求」である場合は、処理を終了する。同様にステップS50102で表示状態が「オフ」である場合は、処理を終了する。
ステップS5010−1の処理を終了すると、記憶・読出処理部19が要求状態フラグ1002をオフに変更する。
一方、ステップS5005で中継装置30から送信された表示要求を遠隔通信端末10dbの送受信部11が受信すると、遠隔通信端末10dbの表示制御判定部23が表示制御情報を判定し(ステップS5007−2)、送受信部11が判定された表示制御情報を外部入力装置40dbに送信する(ステップS5008−2)。送信された表示制御情報を外部入力装置40の送受信部41が受信し、受信した表示制御情報に基づいて表示制御部43が開始ボタンまたは停止ボタンを表示する(ステップS5009−2)。また、ステップS5007−2で表示制御情報が判定されると、再要求判定部24が再要求判定を実施する(ステップS5010−2)。ステップS5007−2、ステップS5008−2、ステップS5009−2、ステップS5010−2の処理の詳細はそれぞれ上述のステップS5007−1、ステップS5008−1、ステップS5009−1、ステップS5010−1と同様であるため、ここでの説明を省略する。
<<実施形態の主な効果>>
以上説明したように本実施形態によれば、画像データを表示しながら会議を行っているときに、別の遠隔通信端末に接続されている外部入力装置の画像データを表示する必要が生じた場合に、会議を中断することなく、別の遠隔通信端末に接続されている外部入力装置の画像データを表示するように変更することが可能となる。したがって、テレビ会議の参加者が設定をしなおす煩わしさをなくすことができる。
更に、遠隔通信端末がテレビ会議の相手の外部入力装置40で表示している画像データを受け付けたか否かに基づいて、記憶手段から抽出した画面の配置情報で表示を制御することにより、表示装置の画面を効率的に利用することが可能となる。
更に、通信ネットワーク2のうち、中継装置30のIPアドレス等のLAN2の環境を入手することができたとしても、インターネット2iの環境までは入手することは困難であるため、まずは入手できる環境の情報から、映像データ及び音声データを中継する複数の中継装置30うち2つ以上に絞り込む。そして、次に複数の遠隔通信端末10の間で映像データ及び音声データを実際に送受信する前に、映像データ及び音声データに替えて、事前送信情報を送受信させてみることで、実際に最も早く事前送信情報を中継することができる1つの中継装置30に絞り込むことができるという効果を奏する。
即ち、遠隔通信端末10のIPアドレスの何れかに近い上位2つ以上のIPアドレスがそれぞれ割り当てられている中継装置30を選択することで、最終的に使用される中継装置30の候補を2つ以上残すことができる。これにより、その後、実際に候補としての各中継装置30を介して、要求元端末10Aと宛先端末10Bの間で事前送信情報を送受信することで、上記2つ以上の候補の中継装置30のうち、送受信に要した所要時間が最短の事前送信情報を中継した中継装置30に絞り込むことができる。よって、現状の通信ネットワーク2の環境下で最大限に高品質の映像データ又は音声データを送受信することを実現することができるという効果を奏する。
また、本実施形態では、中継装置30を絞り込む際に、テレビ会議を行う遠隔通信端末10のIPアドレスに近いIPアドレスの中継装置30を優先的に選択するだけでなく、各中継装置30における最大データ伝送速度も考慮して、2つ以上の中継装置30が選択されている。これにより、現実の通信ネットワーク2の環境に即した中継装置30の候補を絞り込むことができるという効果を奏する。
更に、本実施形態では、中継装置30を絞り込む際に、稼動状態がONラインである中継装置30の中から絞り込むため、現実の通信ネットワーク2の環境に更に即した中継装置30の候補を絞り込むことができる。
<<実施形態の補足>>
なお、遠隔会議システムとして距離的に離れた場所間の会議の例を示しているが、遠隔会議には、距離的に離れている場合だけでなく、同じ建物内の会議室のように距離的に近い会議室の間、また、同じ部屋であっても肉声が聞こえないような場所間の会議を含む。すなわち遠隔会議とは直接対面して生のままで行う会議ではなく、会議装置を介して行う会議を意味する。また、会議とは複数の人の間のみでなく1人対1人で行う打合せのような場合を含む。
また、表示する資料データの数を制限するようにしてもよい。これにより、リソースの節約を可能となる。また、その場合、表示する資料データの数が制限されていることを表示してもよい。これにより、ユーザの利便性の向上を図ることが可能となる。
また、表示装置に資料データが画面に表示されていない場合も、画像データを表示する処理は実施される。
また、画像データを受信できる状態にあるか否かは外部入力装置40で画像データ取得部44等を実現するアプリケーションが起動されているか否かにより決まる。アプリケーションが起動されている場合は遠隔通信端末が画像データを受信できる状態にあり、受信情報は「有」、アプリケーションが起動されていない場合は遠隔通信端末が画像データを受信できない状態であり、受信情報は「無」となる。
また、上記各実施形態における遠隔通信管理システム50、及びプログラム提供システム90は、単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。また、プログラム提供システム90が単一のコンピュータによって構築されている場合には、プログラム提供システム90によって送信されるプログラムは、複数のモジュールに分けて送信されるようにしてもよいし、分けないで送信されるようにしてもよい。更に、プログラム提供システム90が複数のコンピュータによって構築されている場合には、複数のモジュールが分けられた状態で、各コンピュータから送信されるようにしてもよい。
また、上記本実施形態の遠隔通信端末用プログラム、中継装置用プログラム、及び遠隔通信管理用プログラムが記憶された記録媒体、並びに、これらプログラムが記憶されたHD204、及びこのHD204を備えたプログラム提供システム90は、いずれもプログラム製品(Program Product)として、国内又は国外へ、上記遠隔通信端末用プログラム、中継装置用プログラム、及び遠隔通信管理用プログラムが利用者等に提供される場合に用いられる。
更に、上記実施形態では、図6に示されている変更品質管理テーブル、及び図14に示されている品質管理テーブルによって、中継装置30で中継される映像データの画像の品質の一例として、映像データの画像の解像度に着目して管理したが、これに限られるものではなく、品質の他の例として、映像データの画質の深度、音声データの音声におけるサンプリング周波数、音声データの音声におけるビット長などに着目して管理してもよい。
また、図7、図9、及び図11では、受信日時について管理しているが、これに限るものではなく、受信日時のうち少なくとも受信時間を管理すればよい。
更に、上記実施形態では、図7で中継装置のIPアドレス、図9で遠隔通信端末のIPアドレスを管理することとしたが、これに限るものではなく、通信ネットワーク2上で中継装置30を特定するための中継装置特定情報、又は通信ネットワーク2上で遠隔通信端末10を特定するための端末特定情報であれば、それぞれのFQDN(Fully Qualified Domain Name)を管理してもよい。この場合、周知のDNS(Domain Name System)サーバによって、FQDNに対応するIPアドレスが取得されることになる。なお、「通信ネットワーク2で中継装置30を特定するための中継装置特定情報」だけでなく、「通信ネットワーク2上における中継装置30への接続先を示した中継装置接続先情報」、又は「通信ネットワーク2上における中継装置30への宛先を示した中継装置宛先情報」と表現してもよい。同じく、「通信ネットワーク2で遠隔通信端末10を特定するための端末特定情報」だけでなく、「通信ネットワーク2上における遠隔通信端末10への接続先を示した端末接続先情報」、又は「通信ネットワーク2上における遠隔通信端末10への宛先を示した端末宛先情報」と表現してもよい。
また、上記実施形態では、遠隔通信システム1の一例として、テレビ会議システムの場合について説明したが、これに限るものではなく、IP(Internet Protocol)電話や、インターネット電話等の電話システムであってもよい。また、遠隔通信システム1は、カーナビゲーションシステムであってもよい。この場合、例えば、遠隔通信端末10の一方が自動車に搭載されたカーナビゲーション装置に相当し、遠隔通信端末10の他方が、カーナビゲーションを管理する管理センターの管理端末若しくは管理サーバ、又は他の自動車に搭載されているカーナビゲーション装置に相当する。
更に、外部入力装置40はディスプレイ400にデータを表示させる場合について説明したが、このディスプレイ400は外部入力装置40と別の装置でもよいし、外部入力装置40に備えられているものでもよい。
また、上述で、表示要求判定部21が、表示要求を中継装置30に送信するかを判定する処理は、表示要求を中継装置30に送信しないかを判定するとしてもよいし、表示要求を中継装置30に送信するか否かを判定する処理としてもよい。
同様に、再要求判定部24が、要求状態フラグ1002と表示状態フラグ1003に基づいて、開始要求を中継装置30に送信するかを判定する処理は、要求状態フラグ1002と表示状態フラグ1003に基づいて、開始要求を中継装置30に送信しないかを判定するとしてもよいし、要求状態フラグ1002と表示状態フラグ1003に基づいて、開始要求を中継装置30に送信するか否かを判定する処理としてもよい。