JP2018037806A - 伝送管理システム、伝送管理方法、及びプログラム - Google Patents

伝送管理システム、伝送管理方法、及びプログラム Download PDF

Info

Publication number
JP2018037806A
JP2018037806A JP2016168526A JP2016168526A JP2018037806A JP 2018037806 A JP2018037806 A JP 2018037806A JP 2016168526 A JP2016168526 A JP 2016168526A JP 2016168526 A JP2016168526 A JP 2016168526A JP 2018037806 A JP2018037806 A JP 2018037806A
Authority
JP
Japan
Prior art keywords
terminal
transmission
language
unit
relay device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016168526A
Other languages
English (en)
Inventor
未友 前田
Miyu Maeda
未友 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2016168526A priority Critical patent/JP2018037806A/ja
Publication of JP2018037806A publication Critical patent/JP2018037806A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】 伝送端末に表示されるテキストの言語を、その伝送端末の利用者が使用する言語に、自動的に決定する。【解決手段】 一実施形態に係る伝送管理システムは、複数の伝送端末間で通信ネットワークを介して通信される音声データを翻訳する翻訳言語を決定する伝送管理システムであって、前記伝送端末を識別するための端末識別情報毎に、前記伝送端末が設置された地域を管理する端末管理手段と、前記地域毎に設定された言語を管理する言語管理手段と、前記音声データの宛先となる前記伝送端末が設置された前記地域に設定された前記言語を、前記音声データの前記翻訳言語として決定する言語決定手段と、を備える。【選択図】 図7

Description

本発明は、伝送管理システム、伝送管理方法、及びプログラムに関する。
中継装置を介して複数の伝送端末間でコンテンツデータを送受信する伝送システムの一例として、インターネット等の通信ネットワークを介してテレビ会議などを行うテレビ会議システムが挙げられる。従来のテレビ会議システムでは、テレビ会議のある参加者(テレビ会議システムを構成する会議端末の利用者)が発言すると、その発言に対応する音声データがその参加者の会議端末に入力される。入力された音声データの言語が自動的に判定され、音声データがテキストデータに変換される。変換されたテキストデータが所定の言語(以下、「翻訳言語」という)に翻訳され、翻訳されたテキストデータ(以下、「翻訳テキストデータ」という)が各参加者の会議端末に送信される。各参加者の会議端末には、受信した翻訳テキストデータに応じたテキスト(以下、「翻訳テキスト」という)が表示される。これにより、各参加者は、発言者の発言を自動的に共有することができる。
しかしながら、上記従来のテレビ会議システムは、発言者以外の参加者が使用する言語を、自動的に判定することができなかった。このため、各参加者は、自身が使用する言語を、自身の会議端末に表示するテキストデータの翻訳言語として、予め設定しなければならなかった。この設定を行わないと、第1の言語を使用する参加者の会議端末に、第2の言語に翻訳された翻訳テキストが表示され、参加者が発言者の発言を共有できなくなるおそれがあった。
本発明は、上記の課題に鑑みてなされたものであり、伝送端末に表示されるテキストの言語を、その伝送端末の利用者が使用する言語に、自動的に決定することを目的とする。
一実施形態に係る伝送管理システムは、複数の伝送端末間で通信ネットワークを介して通信される音声データを翻訳する翻訳言語を決定する伝送管理システムであって、前記伝送端末を識別するための端末識別情報毎に、前記伝送端末が設置された地域を管理する端末管理手段と、前記地域毎に設定された言語を管理する言語管理手段と、前記音声データの宛先となる前記伝送端末が設置された前記地域に設定された前記言語を、前記音声データの前記翻訳言語として決定する言語決定手段と、を備える。
本発明の各実施形態によれば、利用者が使用する可能性が高い言語を、その利用者が利用する伝送端末に表示するテキストデータの翻訳言語として、自動的に決定することができる。
本発明の第1の実施形態に係る伝送システムの概略図である。 伝送システムにおける画像データ、音声データ、及び各種管理情報の送受信の状態を示した概念図である。 画像データの画質を説明する概念図である。 本実施形態に係る端末の外観図である。 本実施形態に係る端末のハードウェア構成図である。 本実施形態に係る管理システム、中継装置、プログラム提供システム、メンテナンスシステム、又はサービス提供システムのハードウェア構成図である。 本実施形態に係る伝送システムを構成する各端末、装置及びシステムの機能ブロック図である。 最終絞込部の機能構成図である。 一次絞込部の機能構成図である。 変更品質管理テーブルを示す概念図である。 中継装置管理テーブルを示す概念図である。 端末認証管理テーブルを示す概念図である。 端末管理テーブルを示す概念図である。 宛先リスト管理テーブルを示す概念図である。 セッション管理テーブルを示す概念図である。 アドレス優先度管理テーブルを示す概念図である。 伝送速度優先度管理テーブルを示す概念図である。 品質管理テーブルを示す概念図である。 言語管理テーブルを示す概念図である。 各中継装置の稼動状態を示す状態情報を管理する処理を示したシーケンス図である。 端末間で遠隔通信を開始する準備段階の処理を示したシーケンス図である。 中継装置を絞り込む処理を示したシーケンス図である。 中継装置を絞り込む処理を示した処理フロー図である。 中継装置の絞り込み処理を行う際の優先度のポイントの計算状態を示した図である。 本発明の第1の実施形態に係り、伝送端末が中継装置を選択する処理を示したシーケンス図である。 伝送端末で中継装置を選択する処理を示した処理フロー図である。 伝送端末間で画像データ及び音声データを送受信する処理を示したシーケンス図である。 本発明の第1の実施形態に係り、送信先端末に翻訳テキストを表示する処理を示したシーケンス図である。 本発明の第2の実施形態に係り、伝送端末が中継装置を選択する処理を示したシーケンス図である。 本発明の第3の実施形態に係り、送信先端末に翻訳テキストを表示する処理を示したシーケンス図である。
〔第1の実施形態〕
以下、図1乃至図28を用いて、本発明の第1の実施形態について説明する。
<<実施形態の全体構成>>
図1は、本発明の本実施形態に係る伝送システム1の概略図である。図2は、伝送システムにおける画像データ、音声データ、及び各種管理情報の送受信の状態を示した概念図である。図3は、画像データの画質を説明する概念図である。
この伝送システムには、伝送管理システムを介して一方の伝送端末から他方の伝送端末に一方向でコンテンツデータを伝送するデータ提供システムが含まれる。また、伝送システムには、伝送管理システムを介して複数の伝送端末間で情報や感情等を相互に伝達するコミュニケーションシステムが含まれる。このコミュニケーションシステムは、コミュニケーション管理システム(「伝送管理システム」に相当)を介して複数のコミュニケーション端末(「伝送端末」に相当)間で情報や感情等を相互に伝達するためのシステムである。コミュニケーションシステムの例として、テレビ会議システムやテレビ電話システム等が挙げられる。
本実施形態では、コミュニケーションシステムの一例としてのテレビ会議システム、コミュニケーション管理システムの一例としてのテレビ会議管理システム、及びコミュニケーション端末の一例としてのテレビ会議端末を想定する。その上で、伝送システム、伝送管理システム、及び伝送端末について説明する。即ち、本発明の伝送端末及び伝送管理システムは、テレビ会議システムに適用されるだけでなく、コミュニケーションシステム、又は伝送システムにも適用される。
まず、図1に示されている伝送システム1は、複数の伝送端末(10aa,10ab,…)、各伝送端末(10aa,10ab,…)用のディスプレイ(120aa,120ab,…)、及び複数の中継装置(30a,30b,30c,30d)を備える。また、伝送システム1は、伝送管理システム50、プログラム提供システム90、メンテナンスシステム100、及びサービス提供システム130を備える。
複数の伝送端末10は、コンテンツデータの一例としての画像データ及び音声データの送受信による伝送を行う。
なお、以下では、「伝送端末」を単に「端末」として表し、「伝送管理システム」を単に「管理システム」として表す。また、複数の端末(10aa,10ab,…)のうち任意の端末は、「端末10」と表され、複数のディスプレイ(120aa,120ab,…)のうち任意のディスプレイは「ディスプレイ120」と表されている。また、複数の中継装置(30a,30b,30c,30d)のうち任意の中継装置は「中継装置30」と表されている。更に、テレビ会議の開始を要求する要求元としての端末は「要求元端末」と表され、要求先である宛先(中継先)としての端末は「宛先端末」と表されている。また更に、音声データを送信する送信元としての端末は「送信元端末」と表され、音声データを受信する送信先としての端末は「送信先端末」と表されている。
また、図2に示されているように、伝送システム1において、要求元端末と宛先端末との間では、管理システム50を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。また、要求元端末と宛先端末との間では、中継装置30を介して、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、及び音声データの4つの各データを送受信するための4つのセッションが確立される。ここでは、これら4つのセッションをまとめて、画像・音声データ用セッションsedとして示している。
また、本実施形態では、音声データの送信元端末とサービス提供システム130との間で、音声データと、音声データをテキスト化したテキストデータと、テキストデータを翻訳言語に翻訳した翻訳テキストデータと、が送受信される。翻訳テキストデータは、管理システム50を介して、送信元端末から送信先端末に送信され、送信先端末に翻訳テキストデータに応じた翻訳テキストが表示される。
ここで、本実施形態で扱われる画像データの画像の解像度について説明する。図3(a)に示されているように、横が160画素、縦が120画素から成り、ベース画像となる低解像度の画像と、図3(b)に示されているように、横が320画素、縦が240画素から成る中解像度の画像と、がある。また、図3(c)に示されているように、横が640画素、縦が480画素から成る高解像度の画像とがある。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の画像データのみから成る低画質の画像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の画像データ、及び中解像度の画像データから成る中画質の画像データが中継される。また、帯域が非常に広い場合には、ベース画質となる低解像度の画像データ、中画解像度の画像データ、及び高解像度の画像データから成る高画質の画像データが中継される。
図1に示されている中継装置30は、複数の端末10の間で、コンテンツデータの中継を行う。管理システム50は、端末10からのログイン認証、端末10の通話状況の管理、宛先リストの管理等、及び中継装置30の通信状況等を一元的に管理する。なお、画像データの画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。
複数のルータ(70a,70b,70c,70d,70ab,70cd)は、画像データ及び音声データの最適な経路の選択を行う。なお、以下では、ルータ(70a,70b,70c,70d,70ab,70cd)のうち任意のルータは「ルータ70」と表されている。
プログラム提供システム90は、後述のHD(Hard Disk)204を備えており、端末10に各種機能を実現させる(又は、端末10を各種手段として機能させる)ための端末用プログラムが記憶され、端末10に端末用プログラムを送信することができる。また、プログラム提供システム90のHD204には、中継装置30に各種機能を実現させる(又は、中継装置30を各種手段として機能させる)ための中継装置用プログラムも記憶されており、中継装置30に、中継装置用プログラムを送信することができる。更に、プログラム提供システム90のHD204には、管理システム50に各種機能を実現させる(又は、管理システム50を各種手段として機能させる)ための伝送管理用プログラムも記憶されている。プログラム提供システム90は、管理システム50に、伝送管理用プログラムを送信できる。また更に、プログラム提供システム90のHD204には、サービス提供システム130に各種機能を実現させる(又は、サービス提供システム130を各種手段として機能させる)ためのサービス提供用プログラムも記憶されている。プログラム提供システム90は、サービス提供システム130に、サービス提供用プログラムを送信することができる。
メンテナンスシステム100は、端末10、中継装置30、管理システム50、プログラム提供システム90、及びサービス提供システム130のうちの少なくとも1つの維持、管理、又は保守を行うためのコンピュータである。例えば、メンテナンスシステム100が国内に設置され、端末10、中継装置30、管理システム50、プログラム提供システム90、又はサービス提供システム130が国外に設置されている場合について考える。この場合、メンテナンスシステム100は、通信ネットワーク2を介して遠隔的に、端末10、中継装置30、管理システム50、プログラム提供システム90、及びサービス提供システム130のうちの少なくとも1つの維持、管理、保守等のメンテナンスを行う。また、メンテナンスシステム100は、通信ネットワーク2を介さずに、端末10、中継装置30、及び管理システム50のうちの少なくとも1つにおける機種番号、製造番号、販売先、保守点検、又は故障履歴の管理等のメンテナンスを行う。また、メンテナンスシステム100は、通信ネットワーク2を介さずに、プログラム提供システム90及びサービス提供システム130のうちの少なくとも1つにおける機種番号、製造番号、販売先、保守点検、又は故障履歴の管理等のメンテナンスを行ってもよい。
サービス提供システム130は、発言者の発言(音声)に応じた音声データから翻訳テキストデータを生成するためのコンピュータである。サービス提供システム130は、音声データをテキストデータに変換するテキスト化サービスと、テキストデータを翻訳言語に翻訳し、翻訳テキストデータを生成する翻訳サービスと、を提供する。サービス提供システム130は、通信ネットワーク2を介して端末10と通信する。
本実施形態において、送信元端末は、音声データを入力されると、入力された音声データをサービス提供システム130に送信する。サービス提供システム130は、受信した音声データをテキストデータに変換し、変換したテキストデータを送信元端末に返信する。送信元端末は、テキストデータを翻訳するために、サービス提供システム130から受信したテキストデータを再びサービス提供システム130に送信する。サービス提供システム130は、受信したテキストデータを翻訳言語に翻訳し、得られた翻訳テキストデータを送信元端末に返信する。送信元端末は、受信した翻訳テキストデータを、送信先端末に送信する。
ところで、端末(10aa,10ab,10ac,・・・)、中継装置30a、及びルータ70aは、LAN2aによって通信可能に接続されている。端末(10ba,10bb,10bc,・・・)、中継装置30b、及びルータ70bは、LAN2bによって通信可能に接続されている。また、LAN2a及びLAN2bは、ルータ70abが含まれた専用線2abによって通信可能に接続されており、所定の地域A内で構築されている。例えば、地域Aは日本であり、LAN2aは東京の事業所内で構築されており、LAN2bは大阪の事業所内で構築されている。
一方、端末(10ca,10cb,10cc,・・・)、中継装置30c、及びルータ70cは、LAN2cによって通信可能に接続されている。端末10d(a,10db,10dc,・・・)、中継装置30d、及びルータ70dは、LAN2dによって通信可能に接続されている。また、LAN2c及びLAN2dは、ルータ70cdが含まれた専用線2cdによって通信可能に接続されており、所定の地域B内で構築されている。例えば、地域Bはアメリカ合衆国であり、LAN2cはニューヨークの事業所内で構築されており、LAN2dはワシントンD.C.の事業所内で構築されている。地域A及び地域Bは、それぞれルータ(70ab,70cd)からインターネット2iを介して通信可能に接続されている。
また、管理システム50、プログラム提供システム90、及びサービス提供システム130は、インターネット2iを介して、端末10、及び中継装置30と通信可能に接続されている。管理システム50、プログラム提供システム90、及びサービス提供システム130は、地域A又は地域Bに設置されていてもよいし、これら以外の地域に設置されていてもよい。
なお、本実施形態では、LAN2a、LAN2b、専用線2ab、インターネット2i、専用線2cd、LAN2c、及びLAN2dによって、本実施形態の通信ネットワーク2が構築されている。この通信ネットワーク2には、有線だけでなく、WiFi(Wireless Fidelity)や、Bluetooth(登録商標)等の無線による通信が行われる箇所があってもよい。
また、図1において、各端末10等の下に示されている4組の数字は、一般的なIPv4におけるIPアドレスを簡易的に示している。例えば、端末10aaのIPアドレスは「1.2.1.3」である。また、IPv4ではなく、IPv6を用いてもよいが、説明を簡略化するため、IPv4を用いて説明する。
なお、各端末10は、複数の事業所間での通話や、同じ事業所内の異なる部屋間での通話だけでなく、同じ部屋内での通話や、屋外と屋内又は屋外と屋外での通話で使われてもよい。各端末10が屋外で使われる場合には、携帯電話通信網等の無線による通信が行われる。
<<実施形態のハードウェア構成>>
次に、本実施形態のハードウェア構成を説明する。本実施形態では、宛先(中継先)としての端末10で画像データの受信に遅延が生じた場合に、中継装置30によって画像データの画像の解像度を変更してから、中継先としての端末10へ画像データを送信する場合について説明する。
図4は、本実施形態に係る端末10の外観図である。図4に示されているように、端末10は、筐体1021、アーム1074、及びカメラハウジング1075を備えている。このうち、筐体1021の前側壁1021aの略全面には、複数の吸気孔1021eが形成されており、筐体1021の後側壁1021bの略全域には、不図示の複数の排気孔が形成されている。これにより、筐体1021に内蔵された冷却ファンの駆動によって、吸気孔1021eを介して端末10の前方の外気を取り込み、排気孔を介して端末10の後方へ排気することができる。前側壁1021aの中央部には、収音用孔1021fが形成され、後述する内蔵型のマイク114によって音声、物音、雑音等の音が収音可能となっている。
筐体1021の正面視、左側には、操作パネル1022が形成されている。この操作パネル1022には、後述の操作ボタン108、及び後述の電源スイッチ109が設けられていると共に、後述の内蔵型のスピーカ115からの出力音を通すための複数の音声出力孔1022fが形成されている。また、筐体1021の正面視、右側には、アーム1074及びカメラハウジング1075を収容するための凹部としての収容部1021pが形成されている。
アーム1074は、トルクヒンジ1073を介して筐体1021に取り付けられている。アーム1074は、筐体1021に対して、正面を0度として±180度のパン角θ1の範囲で、且つ、90度のチルト角θ2の範囲(概ね45度の傾き時にクリック感が発生するようになっている)で、上下左右方向に回転可能に構成されている。
カメラハウジング1075には、後述の内蔵型のカメラ112が設けられており、ユーザや部屋等を撮像することができる。また、カメラハウジング1075には、トルクヒンジ1075aが形成されている。カメラハウジング1075は、トルクヒンジ1075aを介して、アーム1074に取り付けられている。そして、カメラハウジング1075がアーム1074に対して直線状となるようにした状態を0度とし、端末10の前方側に概ね100度、端末10の後方側に概ね90度のチルト角θ3の範囲で回転可能に構成されている。
なお、中継装置30、管理システム50、プログラム提供システム90、メンテナンスシステム100、及びサービス提供システム130は、それぞれ一般のサーバ・コンピュータの外観と同じであるため、外観の説明を省略する。
図5は、本発明の本実施形態に係る端末10のハードウェア構成図である。本実施形態の端末10は、端末10全体の動作を制御するCPU(Central Processing Unit)101、及びIPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶したROM(Read Only Memory)102を備えている。また、端末10は、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103、端末用プログラム、画像データ、及び音声データ等の各種データを記憶するフラッシュメモリ104を備えている。さらに、端末10は、CPU101の制御にしたがってフラッシュメモリ104に対する各種データの読み出し又は書き込みを制御するSSD(Solid State Drive)105を備えている。また更に、端末10は、フラッシュメモリ等の記録メディア106に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ107、及び端末10の宛先を選択する場合などに操作される操作ボタン108を備えている。そして、端末10は、端末10の電源のON/OFFを切り換えるための電源スイッチ109、及び通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F(Interface)111を備えている。
また、端末10は、CPU101の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ112、カメラ112の駆動を制御する撮像素子I/F113、音声を入力する内蔵型のマイク114、及び音声を出力する内蔵型のスピーカ115を備えている。さらに、端末10は、CPU101の制御に従ってマイク114及びスピーカ115との間で音声信号の入出力を処理する音声入出力I/F116を備えている。また更に、端末10は、CPU101の制御に従って外付けのディスプレイ120に画像データを伝送するディスプレイI/F117、及び各種の外部機器を接続するための外部機器接続I/F118を備えている。そして、端末10は、上記各構成要素を図5に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン110を備えている。
ディスプレイ120は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示部である。また、ディスプレイ120は、ケーブル120cによってディスプレイI/F117に接続される。このケーブル120cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよい。また、ケーブル120cは、HDMI(登録商標)(High-Definition Multimedia Interface)やDVI(Digital Video Interactive)信号用のケーブルであってもよい。
カメラ112は、レンズや、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含み、固体撮像素子として、CMOS(Complementary Metal Oxide Semiconductor)や、CCD(Charge Coupled Device)等が用いられる。
外部機器接続I/F118には、USB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、CPU101の制御に従って、内蔵型のカメラ112に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、CPU101の制御に従って、それぞれが内蔵型のマイク114や内蔵型のスピーカ115に優先して、外付けマイクや外付けスピーカが駆動する。
なお、記録メディア106は、端末10に対して着脱自在な構成となっている。また、CPU101の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ104に限らず、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。
更に、上記端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア106等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記端末用プログラムは、フラッシュメモリ104ではなくROM102に記憶させるようにしてもよい。
また更に、フラッシュメモリ104は、音声データと、テキストデータ、翻訳テキストデータと、発言者言語情報と、翻訳言語情報と、を記憶する。発言者言語情報は、発言者言語を示す情報である。発言者言語は、送信元端末の利用者が使用する言語であり、音声データ及びテキストデータの言語である。翻訳言語情報は、翻訳言語を示す情報である。翻訳言語は、送信先端末の利用者が使用する言語であり、翻訳テキストデータの言語である。翻訳言語は、音声データ及びテキストデータを翻訳する言語に相当する。テキストデータ、翻訳テキストデータ、発言者言語情報、及び翻訳言語情報は、ネットワークI/F111を介して受信される。
図6は、本発明の本実施形態に係る管理システム50のハードウェア構成図である。管理システム50は、管理システム50全体の動作を制御するCPU201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、及びCPU201のワークエリアとして使用されるRAM203を備える。また、管理システム50は、伝送管理用プログラム等の各種データを記憶するHD204、及びCPU201の制御にしたがってHD204に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)205を備える。また、管理システム50は、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込みを制御するメディアドライブ207、及びカーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ208を備える。また、管理システム50は、通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F209、及び文字、数値、各種指示などの入力のための複数のキーを備えたキーボード211を備える。また、管理システム50は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス212を備える。また、管理システム50は、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)213に対する各種データの読み出し又は書き込みを制御するCD−ROMドライブ214を備える。また、管理システム50は、上記各構成要素を図6に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン210を備える。
なお、上記伝送管理用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記伝送管理用プログラムは、HD204ではなくROM202に記憶されるようにしてもよい。
また、中継装置30は、上記管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、HD204には、中継装置30を制御するための中継装置用プログラムが記録されている。この場合も、中継装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記中継装置用プログラムは、HD204ではなくROM202に記憶されるようにしてもよい。
また、プログラム提供システム90は、上記管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、HD204には、プログラム提供システム90を制御するためのプログラム提供用プログラムが記録されている。この場合も、プログラム提供用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記プログラム提供システム用プログラムは、HD204ではなくROM202に記憶されるようにしてもよい。
更に、メンテナンスシステム100は、上記管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、HD204には、メンテナンスシステム100を制御するためのメンテナンス用プログラムが記録されている。この場合も、メンテナンス用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記メンテナンス用プログラムは、HD204ではなくROM202に記憶されるようにしてもよい。
また更に、サービス提供システム130は、上記管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、HD204には、サービス提供システム130を制御するためのサービス提供用プログラムが記録されている。この場合も、サービス提供用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記サービス提供システム用プログラムは、HD204ではなくROM202に記憶されるようにしてもよい。
なお、上記着脱可能な記録媒体の他の例として、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
<<実施形態の機能構成>>
次に、本実施形態の機能構成について説明する。図7は、本実施形態の伝送システム1を構成する各端末、装置及びシステムの機能ブロック図である。図7では、端末10、中継装置30、管理システム50、及びサービス提供システム130が、通信ネットワーク2を介してデータ通信することができるように接続されている。また、図1に示されているプログラム提供システム90及びメンテナンスシステム100は、テレビ会議の通信において直接関係ないため、図7では省略されている。
<端末の機能構成>
端末10は、送受信部11、操作入力受付部12、ログイン要求部13、撮像部14、音声入力部15a、音声出力部15b、最終絞込部16、表示制御部17、遅延検出部18、記憶・読出処理部19、及びサービス要求部20を有している。これら各部は、図5に示されている各構成要素のいずれかが、フラッシュメモリ104からRAM103上に展開された端末用プログラムに従ったCPU101からの命令によって動作することで実現される機能、又は機能する手段である。また、端末10は、図5に示されているRAM103、及び図5に示されているフラッシュメモリ104によって構築される記憶部1000を有している。
(端末の各機能構成)
次に、図5及び図7を用いて、端末10の各機能構成について詳細に説明する。なお、以下では、端末10の各機能構成を説明するにあたって、図5に示されている各構成要素のうち、端末10の各機能構成を実現させるための主な構成要素との関係も説明する。
図7に示す端末10の送受信部11は、図5に示されているCPU101からの命令、及び図5に示されているネットワークI/F111によって実現され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。この送受信部11は、所望の宛先端末と通話を開始する前から、管理システム50より、宛先候補としての各端末の状態を示す各状態情報の受信を開始する。なお、この状態情報は、各端末10の稼動状態(オンラインかオフラインかの状態)だけでなく、オンラインであっても更に通話可能であるか、通話中であるか、離籍中であるか等の詳細な状態を示す。また、この状態情報は、各端末10の稼動状態だけでなく、端末10でケーブル120cが端末10から外れていたり、音声を出力するが画像は出力させなかったり、音声を出力さないようにする(MUTE)等、様々な状態を示す。以下では、一例として、状態情報が稼動状態を示す場合について説明する。
操作入力受付部12は、図5に示されているCPU101からの命令、並びに図5に示されている操作ボタン108及び電源スイッチ109によって実現され、利用者による各種入力を受け付ける。例えば、利用者が、図5に示されている電源スイッチ109をONにすると、図7に示されている操作入力受付部12が電源ONを受け付けて、電源をONにする。
ログイン要求部13は、図5に示されているCPU101からの命令によって実現される。ログイン要求部13は、上記電源ONの受け付けを契機として、送受信部11から通信ネットワーク2を介して管理システム50に、ログインを要求する旨を示すログイン要求情報、及び要求元端末の現時点のIPアドレスを自動的に送信する。また、利用者が電源スイッチ109をONの状態からOFFにすると、送受信部11が管理システム50へ電源をOFFする旨の状態情報を送信した後に、操作入力受付部12が電源を完全にOFFにする。これにより、管理システム50側では、端末10が電源ONから電源OFFになったことを把握することができる。
撮像部14は、図5に示されているCPU101からの命令、並びに図5に示されているカメラ112及び撮像素子I/F113によって実現され、被写体を撮像して、この撮像して得た画像データを出力する。
音声入力部15aは、図5に示されているCPU101からの命令、及び図5に示されている音声入出力I/F116によって実現され、マイク114によって利用者の音声が音声信号に変換された後、この音声信号に係る音声データを入力する。音声出力部15bは、図5に示されているCPU101からの命令、及び図5に示されている音声入出力I/F116によって実現され、音声データに係る音声信号をスピーカ115に出力し、スピーカ115から音声を出力させる。
最終絞込部16は、複数の中継装置30から最終的に1つの中継装置30に絞り込む最終絞り込み処理を行うため、図5に示されているCPU101からの命令によって、図8に示されるような計測部16a、算出部16b、及び最終選択部16cを実現する。
このうち、計測部16aは、送受信部11によって受信された後述の事前送信情報毎に、送受信部11によって事前送信情報が受信される際の受信日時を計測する。算出部16bは、計測部16aによって受信日時が計測された事前送信情報毎に、この計測された受信時間と、この事前送信情報に含まれている送信日時との差に基づいて、事前送信情報の送信から受信までの所要時間(T)を算出する。最終選択部16cは、算出部16bによって算出された所要時間のうち最短の所要時間を要した事前送信情報が中継された中継装置30を選択することで、最終的に1つの中継装置を選択する。
表示制御部17は、図5に示されているCPU101からの命令、及び図5に示されているディスプレイI/F117によって実現される。表示制御部17は、後述のように、受信された解像度の異なる画像データを組み合わせ、この組み合わされた画像データをディスプレイ120に送信するための制御を行う。また、表示制御部17は、管理システム50から受信した宛先リストの情報をディスプレイ120に送信して、ディスプレイ120に宛先リストを表示させることができる。
遅延検出部18は、図5に示されているCPU101からの命令によって実現され、他の端末10から中継装置30を介して送られて来る画像データ又は音声データの遅延時間(ms)を検出する。
記憶・読出処理部19は、図5に示されているCPU101からの命令及び図5に示すSSD105によって実行され、又はCPU101からの命令によって実現される。記憶・読出処理部19は、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出す処理を行う。この記憶部1000には、端末10を識別するための端末ID(Identification)、宛先名、及びパスワード等が記憶される。更に、記憶部1000には、宛先端末との通話を行う際に受信される画像データ及び音声データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ120に画像が表示され、上書きされる前の音声データによってスピーカ115から音声が出力される。また、記憶部1000には、管理システム50から受信した発言者言語情報及び翻訳言語情報と、サービス提供システム130から受信したテキストデータ及び翻訳テキストデータと、が記憶される。
サービス要求部20は、図5に示されているCPU101からの命令によって実現され、記憶部1000に記憶された発言者言語情報及び翻訳言語情報を利用して、サービス提供システム130にサービスの提供を要求し、サービスの提供を受け付ける。
なお、本実施形態の端末ID及び後述の中継装置IDは、それぞれ端末10及び中継装置30を一意に識別するために使われる言語、文字、記号、又は各種のしるし等の識別情報を示す。また、端末ID及び中継装置IDは、上記言語、文字、記号、及び各種のしるしのうち、少なくとも2つが組み合わされた識別情報であってもよい。
<中継装置の機能構成>
中継装置30は、送受信部31、状態検知部32、データ品質確認部33、変更品質管理部34、データ品質変更部35、及び記憶・読出処理部39を有している。これら各部は、図6に示されている各構成要素のいずれかが、HD204からRAM203上に展開された中継装置用プログラムに従ったCPU201からの命令によって動作することで実現される機能又は機能する手段である。また、中継装置30は、図6に示されているRAM203、及び/又は図6に示されているHD204によって構築される記憶部3000を有している。
(変更品質管理テーブル)
記憶部3000には、図10に示されているような変更品質管理テーブルによって構成されている変更品質管理DB(Data Base)3001が構築される。変更品質管理テーブルでは、画像データの中継先(宛先)としての端末10のIPアドレス、及びこの中継先に中継装置30が中継する画像データの画質が関連付けられて管理される。
(中継装置の各機能構成)
次に、中継装置30の各機能構成について詳細に説明する。なお、以下では、中継装置30の各機能構成を説明するにあたって、図6に示されている各構成要素のうち、中継装置30の各機能構成を実現させるための主な構成要素との関係も説明する。
中継装置30の送受信部31は、図6に示されているCPU201からの命令、及び図6に示されているネットワークI/F209によって実現され、通信ネットワーク2を介して他の端末、装置、又はシステムと各種データ(または情報)の送受信を行う。
状態検知部32は、図6に示されているCPU201からの命令によって実現され、この状態検知部32を有する中継装置30の稼動状態を検知する。稼動状態としては、「オンライン」、「オフライン」、「通話中」又は「一時中断」の状態がある。
データ品質確認部33は、図6に示されているCPU201からの命令によって実現される。データ品質確認部33は、宛先端末のIPアドレスを検索キーとして、変更品質管理DB3001(図10参照)を検索し、対応した中継される画像データの画質を抽出することで、中継される画像データの画質を確認する。
変更品質管理部34は、図6に示されているCPU201からの命令によって実現され、管理システム50から送られて来る、後述の品質情報に基づいて、変更品質管理DB3001の内容を変更する。例えば、端末IDが「01aa」である要求元端末(端末10aa)と、端末IDが「01db」である宛先端末(端末10db)との間で高画質の画像データを送受信することによってテレビ会議を行っている場合について考える。そして、テレビ会議の最中に、他のテレビ会議を行う要求元端末(端末10bb)と宛先端末(端末10ca)が通信ネットワーク2を介してテレビ会議を開始すること等によって、宛先端末(端末10db)で画像データの受信の遅延が生じたものとする。この場合、中継装置30は今まで中継していた画像データの画質を、高画質から中画質に下げる。このような場合に、中画質を示す品質情報に基づいて、中継装置30が中継する画像データの画質を高画質から中画質に下げるように、変更品質管理DB3001の内容が変更される。
データ品質変更部35は、図6に示されているCPU201からの命令によって実現され、送信元端末から送られて来た画像データの画質を、上記変更された変更品質管理DB3001の内容に基づいて変更する。
記憶・読出処理部39は、図6に示されているCPU201からの命令、及び図6に示されているHDD205によって実現され、記憶部3000に各種データを記憶したり、記憶部3000に記憶された各種データを読み出す処理を行う。
<管理システムの機能構成>
管理システム50は、送受信部51、端末認証部52、状態管理部53、端末抽出部54、端末状態取得部55、一次絞込部56、セッション管理部57、品質決定部58、記憶・読出処理部59、遅延時間管理部60、及び言語決定部61を有している。これら各部は、図6に示されている各構成要素のいずれかが、HD204からRAM203上に展開された管理システム用プログラムに従ったCPU201からの命令によって動作することで実現される機能又は機能する手段である。また、管理システム50は、図6に示されているHD204により構築される記憶部5000を有している。
(中継装置管理テーブル)
記憶部5000には、図11に示されているような中継装置管理テーブルによって構成されている中継装置管理DB5001が構築されている。この中継装置管理テーブルでは、各中継装置30の中継装置ID毎に、各中継装置30の稼動状態、稼動状態が示される状態情報が管理システム50で受信された受信日時、及び中継装置30のIPアドレスが関連付けられて管理される。また、中継装置管理テーブルでは、各中継装置30の中継装置ID毎に、中継装置30における最大データ伝送速度(Mbps)が関連付けられて管理される。例えば、中継装置管理テーブルにおいて、中継装置IDが「111a」の中継装置30aは、稼動状態が「オンライン」で、管理システム50で状態情報が受信された日時が「2009年11月10日の13時00分」であることが示されている。また、中継装置IDが「111a」の中継装置30aは、この中継装置30aのIPアドレスが「1.2.1.2」で、この中継装置30aにおける最大データ伝送速度が100Mbpsであることが示されている。
(端末認証管理テーブル)
更に、記憶部5000には、図12に示されているような端末認証管理テーブルによって構成されている端末認証管理DB5002が構築されている。この端末認証管理テーブルでは、管理システム50によって管理される全ての端末10の各端末IDに対して、各パスワードが関連付けられて管理される。例えば、図12に示されている端末認証管理テーブルにおいて、端末10aaの端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。
(端末管理テーブル)
また、記憶部5000には、図13に示されているような端末管理テーブルによって構成されている端末管理DB5003が構築されている。この端末管理テーブルでは、各端末10の端末ID毎に、各端末10を宛先とした場合の宛先名、各端末10の稼動状態、後述のログイン要求情報が管理システム50で受信された受信日時、及び端末10のIPアドレスが関連付けられて管理される。宛先名は、予め設定され、端末10が設置された地域(国名及び事業所名など)と、端末10の名称と、を含む。例えば、図13に示されている端末管理テーブルにおいて、端末IDが「01aa」の端末10aaは、宛先名が「日本 東京事業所 AA端末」で、稼動状態が「オンライン(通話可能)」であることが示されている。端末IDが「01aa」の端末10aaは、管理システム50でログイン要求情報が受信された日時が「2009年11月10日の13時40分」で、この端末10aaのIPアドレスが「1.2.1.3」であることが示されている。
(宛先リスト管理テーブル)
更に、記憶部5000には、図14に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB5004が構築されている。この宛先リスト管理テーブルでは、テレビ会議における通話の開始を要求する要求元端末の端末IDに対して、宛先端末の候補として登録されている宛先端末の端末IDが全て関連付けられて管理される。例えば、図14に示されている宛先リスト管理テーブルにおいて、端末IDが「01aa」である要求元端末(端末10aa)からテレビ会議における通話の開始を要求することができる宛先端末(端末10db)の候補が示されている。具体的には、宛先端末の候補として、は、端末IDが「01ab」の端末10ab、端末IDが「01ba」の端末10ba、及び端末IDが「01bb」の端末10bb等が示されている。この宛先端末の候補は、任意の要求元端末から管理システム50に対する追加又は削除の要請により、追加又は削除されることで更新される。
(セッション管理テーブル)
また、この記憶部5000には、図15に示されているようなセッション管理テーブルによって構成されているセッション管理DB5005が構築されている。このセッション管理テーブルでは、中継装置30を選択するためのセッションの実行に用いられる選択用セッションID毎に、画像データ及び音声データの中継に使用される中継装置30の中継装置ID、及び要求元端末の端末IDが関連付けられて管理される。また、セッション仮テーブルでは、選択用セッションID毎に、宛先端末の端末ID、及び宛先端末において画像データが受信される際の受信の遅延時間(ms)が関連付けられて管理される。また、セッション仮テーブルでは、選択用セッションID毎に、遅延時間が示されている遅延情報を宛先端末から送られて来て管理システム50で受信された受信日時が関連付けられて管理される。
例えば、図15に示されているセッション管理テーブルにおいて、選択用セッションID「se1」を用いて実行されたセッションで選択された中継装置30a(中継装置ID「111a」)について、以下のことが示されている。すなわち、中継装置30aは、端末IDが「01aa」の要求元端末(端末10aa)と、端末IDが「01db」の宛先端末(端末10db)との間で、画像データ及び音声データを中継していることが示されている。また、中継装置30aは、宛先端末(端末10db)において「2009年11月10日の14時00分」時点における画像データの遅延時間が200(ms)であることが示されている。なお、2つの端末10の間でテレビ会議を行う場合には、上記宛先端末ではなく要求元端末から送信されてきた遅延情報に基づいて、遅延情報の受信日時を管理してもよい。但し、3つ以上の端末10の間でテレビ会議を行う場合には、画像データ及び音声データの受信側の端末10から送信されてきた遅延情報に基づいて、遅延情報の受信日時を管理する。
(アドレス優先度管理テーブル)
更に、記憶部5000には、図16に示されているようなアドレス優先度管理テーブルによって構成されている優先度管理DB5006が構築されている。このアドレス優先度管理テーブルでは、ドットアドレスの同異とアドレス優先度とが関連付けられて管理される。具体的には、任意の端末10と任意の中継装置30において、一般的なIPv4におけるIPアドレスのうちの4組のドットアドレス(Dot Address)部分の「同」が多い程、アドレス優先度のポイントが高くなるように管理される。この「同」は、ドットアドレス部分が同じであることを意味し、「異」は、ドットアドレス部分が異なることを意味する。例えば、図16に示されているアドレス優先度管理テーブルにおいて、ドットアドレスの上位から下位にかけて3つの値が同じIPアドレスの場合には、アドレス優先度のポイントが「5」である。ドットアドレスの上位から下位にかけて2つの値が同じIPアドレスの場合には、アドレス優先度のポイントが「3」である。この場合、最下位のドットアドレスの値が同じであるか否かは優先度に関係ない。ドットアドレスの最上位の値が同じで、上位から2番目の値が異なるIPアドレスの場合には、アドレス優先度のポイントが「1」である。この場合、上位から3番目及び最下位のドットアドレスの値が同じであるか否かは優先度には関係ない。ドットアドレスの最上位の値が異なるIPアドレスの場合には、アドレス優先度のポイントが「0」である。この場合、上位から2番目、3番目、及び最下位のドットアドレスの値が同じであるか否かは優先度には関係ない。
(伝送速度優先度管理テーブル)
また、記憶部5000に構築されている優先度管理DB5006には、図17に示されているような伝送速度優先度管理テーブルも含まれている。この伝送速度優先度管理テーブルでは、中継装置30における最大データ伝送速度(Mbps)の値が大きくなる程、伝送速度優先度のポイントが高くなるように、最大テータ伝送速度と伝送速度優先度とが関連付けられて管理される。例えば、図17に示されている伝送速度優先度管理テーブルにおいて、中継装置30における最大データ伝送速度が1000Mbps以上の場合には、伝送速度優先度のポイントが「5」である。中継装置30における最大データ伝送速度が100Mbps以上1000Mbps未満の場合には、伝送速度優先度のポイントが「3」である。中継装置30における最大データ伝送速度が10Mbps以上100Mbps未満の場合には、伝送速度優先度のポイントが「1」である。中継装置30における最大データ伝送速度が10Mbps未満の場合には、伝送速度優先度のポイントが「0」である。
(品質管理テーブル)
更に、記憶部5000には、図18に示されているような品質管理テーブルによって構成されている品質管理DB5007が構築されている。この品質管理テーブルでは、要求元端末又は宛先端末における画像データの遅延時間(ms)が長い程、中継装置30で中継させる画像データの画質を下げるように、画像データの遅延時間と画像データの画質(画像の品質)とが関連付けられて管理される。
(言語管理テーブル)
記憶部5000には、図19に示されているような言語管理テーブルによって構成されている言語管理DB5008が構築されている。この言語管理テーブルでは、地域名と、その地域で最も使用されている言語と、が対応付けて管理される。地域に対応する言語は、予め設定される。例えば、図19に示されている言語管理テーブルにおいて、日本で最も使用されている言語は日本語であることが示されている。このような言語管理テーブルは、記憶部5000に予め用意される。後述する通り、この言語管理テーブルに基づいて、発言者言語及び翻訳言語は決定される。なお、言語管理テーブルが言語を管理する地域の単位は、国に限られず、州などであってもよい。すなわち、言語管理テーブルは、州などの地域ごとに言語を管理してもよい。
(管理システムの各機能構成)
次に、管理システム50の各機能構成について詳細に説明する。なお、以下では、管理システム50の各機能構成を説明するにあたって、図6に示されている各構成要素のうち、管理システム50の各機能構成を実現させるための主な構成要素との関係も説明する。
送受信部51は、図6に示されているCPU201からの命令、及び図6に示されているネットワークI/F209によって実行され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。
端末認証部52は、図6に示されているCPU102からの命令によって実現される。端末認証部52は、送受信部51を介して受信されたログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、記憶部5000の端末認証管理DB5002を検索する。そして、端末認証部52は、端末認証管理DB5002に同一の端末ID及びパスワードが管理されているかを判断することによって端末認証を行う。
状態管理部53は、図6に示されているCPU102からの命令によって実現される。状態管理部53は、要求元端末の稼動状態を管理すべく、端末管理DB5003に、この要求元端末の端末ID、要求元端末の稼動状態、管理システム50でログイン要求情報が受信された受信日時、及び要求元端末のIPアドレスを関連付けて記憶して管理する。また、状態管理部53は、利用者が端末10の電源スイッチ109の状態をONからOFFにすることで、端末10から送られてきた、電源をOFFする旨の状態情報に基づいて、端末管理DB5003のオンラインを示す稼動状態をオフラインに変更する。
端末抽出部54は、図6に示されているCPU102からの命令によって実現される。端末抽出部54は、ログイン要求した要求元端末の端末IDをキーとして、宛先リスト管理DB5004(図14参照)を検索し、要求元端末と通話することができる宛先端末の候補の端末IDを読み出すことで、端末IDを抽出する。また、端末抽出部54は、ログイン要求してきた要求元端末の端末IDをキーとして、宛先リスト管理DB5004(図14参照)を検索し、上記要求元端末の端末IDを宛先端末の候補として登録している他の要求元端末の端末IDも抽出する。
端末状態取得部55は、図6に示されているCPU102からの命令によって実現される。端末状態取得部55は、上記端末抽出部54によって抽出された宛先端末の候補の端末IDを検索キーとして、端末管理DB5003(図13参照)を検索し、上記端末抽出部54によって抽出された端末ID毎に稼動状態を読み出す。これにより、端末状態取得部55は、ログイン要求してきた要求元端末と通話することができる宛先端末の候補の稼動状態を取得することができる。また、端末状態取得部55は、上記端末抽出部54によって抽出された端末IDを検索キーとして、端末管理DB5003を検索し、ログイン要求してきた要求元端末の稼動状態も取得する。
一次絞込部56は、図6に示されているCPU102からの命令によって実現され、複数の中継装置30から最終的に1つの中継装置30に絞り込む最終絞り込み処理を支援するため、この最終絞り込み処理前の一次絞り込み処理を行う。そのために、一次絞込部56は、図5に示されているCPU201からの命令によって、図9に示されているように、選択用セッションID生成部56a、端末IPアドレス抽出部56b、一次選択部56c、及び優先度決定部56dを実現する。
このうち、選択用セッションID生成部56aは、中継装置30を選択するためのセッションの実行に用いられる選択用セッションIDを生成する。端末IPアドレス抽出部56bは、要求元端末から送られてきた開始要求情報に含まれている要求元端末の端末ID、及宛先端末の端末IDに基づいて、端末管理DB5003を検索することにより、対応するそれぞれの端末10のIPアドレスを抽出する。一次選択部56cは、中継装置管理DB5001(図11参照)で管理されている中継装置30のうち、稼動状態が「オンライン」となっている中継装置30の中継装置IDを選択することにより、中継装置30の選択を行う。
また、一次選択部56cは、上記端末IPアドレス抽出部56bによって抽出された、要求元端末のIPアドレス、及び宛先端末のIPアドレスに基づいて、中継装置管理DB5001(図11参照)を検索する。これにより、一次選択部56cは、上記選択された中継装置30のIPアドレスのドットアドレス毎に、上記要求元端末及び宛先端末の各IPアドレスにおける各ドットアドレスと同じであるか異なるかを調査する。更に、一次選択部56cは、中継装置毎に、アドレス優先度のポイントにおいて端末10に対する高い方のポイントと、伝送速度優先度のポイントを統合した統合ポイントのうち、ポイントが高い上位2つの中継装置30を選択する。これにより、一次選択部56cは、中継装置30の更なる選択を行う。なお、本実施形態では、ポイントが高い上位2つの中継装置30を選択することにしているが、これに限られるものではなく、中継装置30を1つでも多く絞り込むことができれば、ポイントが高い上位3つ以上の中継装置30を選択するようにしてもよい。
優先度決定部56dは、優先度管理DB5006(図16参照)を参照して、上記一次選択部56cによって調査された中継装置30毎に、アドレス優先度のポイントを決定する。また、優先度決定部56dは、中継装置管理DB5001(図11参照)で管理されている各中継装置30の最大データ伝送速度に基づいて、優先度管理DB5006(図17参照)を検索する。これにより優先度決定部56dは、上記一次選択部56cによる第1次の絞り込み処理によって絞り込まれた中継装置30毎に伝送速度優先度のポイントを決定する。
続いて、セッション管理部57は、図6に示されているCPU102からの命令によって実現される。セッション管理部57は、記憶部5000のセッション管理DB5005(図15参照)に、選択用セッションID生成部56aで生成された選択用セッションID、要求元端末の端末ID、及び宛先端末の端末IDを関連付けて記憶して管理する。また、セッション管理部57は、セッション管理DB5005(図15参照)に対して、選択用セッションID毎に、端末10の最終選択部16cで最終的に1つに選択された中継装置30の中継装置IDを記憶して管理する。
品質決定部58は、上記遅延時間を検索キーとして、品質管理DB5007(図18参照)を検索し、対応する画像データの画質を抽出することで、中継装置30に中継させる画像データの画質を決定する。
記憶・読出処理部59は、図6に示されているCPU102からの命令、及び図6に示されているHDD205によって実行され、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出す処理を行う。
遅延時間管理部60は、図6に示されているCPU102からの命令によって実現される。遅延時間管理部60は、上記宛先端末のIPアドレスを検索キーとして、端末管理DB5003(図13参照)を検索することで、対応する端末IDを抽出する。また、遅延時間管理部60は、セッション管理DB5005(図15参照)のセッション管理テーブルにおいて、上記抽出した端末IDが含まれるレコードにおける遅延時間のフィールド部分に、上記遅延情報で示されている遅延時間を記憶して管理する。
言語決定部61は、図6に示されているCPU102からの命令によって実現される。言語決定部61は、送信元端末の宛先名に含まれる国名を検索キーとして、言語管理DB5008(図19参照)を検索し、その国名に設定された言語を発言者言語として決定する。また、言語決定部61は、送信先端末の宛先名に含まれる国名を検索キーとして、言語管理DB5008(図19参照)を検索し、その国名に設定された言語を翻訳言語として決定する。
<サービス提供システムの機能構成>
サービス提供システム130は、送受信部131、テキスト化部132、翻訳部133、及び認証部134を有している。これら各部は、図6に示されている各構成要素のいずれかが、HD204からRAM203上に展開された中継装置用プログラムに従ったCPU201からの命令によって動作することで実現される機能又は機能する手段である。
(サービス提供システムの各機能構成)
次に、サービス提供システム130の各機能構成について詳細に説明する。なお、以下では、サービス提供システム130の各機能構成を説明するにあたって、図6に示されている各構成要素のうち、サービス提供システム130の各機能構成を実現させるための主な構成要素との関係も説明する。また、サービス提供システム130として、有償又は無償で提供されている外部のクラウドサービスを想定しているため、詳細な機能構成は省略する。
図7に示されているサービス提供システム130の送受信部131は、図6に示されているCPU201からの命令、及び図6に示されているネットワークI/F209によって実現される。送受信部131は、通信ネットワーク2を介して他の端末、装置、又はシステムと各種データ(または情報)の送受信を行う。
テキスト化部132は、図6に示されているCPU201からの命令によって実現される。テキスト化部132は、端末10から受信した発言者言語情報に基づいて、端末10にテキスト化サービスを提供する。すなわち、テキスト化部132は、端末10から受信した音声データをテキスト化し、テキストデータを生成する。生成されたテキストデータは、送受信部131により端末10に返信される。
翻訳部133は、図6に示されているCPU201からの命令によって実現される。翻訳部133は、端末10から受信した翻訳言語情報に基づいて、端末10に翻訳サービスを提供する。すなわち、翻訳部133は、端末10から受信したテキストデータを翻訳言語に翻訳し、翻訳テキストデータを生成する。生成された翻訳テキストデータは、送受信部131により端末10に返信される。
認証部134は、図6に示されているCPU201からの命令によって実現される。認証部134は、端末10から受信したセッション要求に基づいて、端末10の認証処理を行い、端末10に認証結果を返信する。
<<実施形態の処理または動作>>
次に、図20乃至図28を用いて、本実施形態に係る伝送システム1における処理方法を説明する。なお、図20は、各中継装置30から管理システム50に送信された各中継装置30の状態を示す状態情報を管理する処理を示したシーケンス図である。図21は、複数の端末10の間で通話を開始する準備段階の処理を示したシーケンス図である。図22は、中継装置30を絞り込む処理を示したシーケンス図である。図23は、中継装置30を絞り込む処理を示した処理フロー図である。図24は、中継装置30の絞り込み処理を行う際のポイントの計算状態を示した図である。図25は、端末10が中継装置30を選択する処理を示したシーケンス図である。図26は、端末で中継装置30を選択する処理を示した処理フロー図である。図27は、端末間で画像データ及び音声データを送受信する処理を示したシーケンス図である。図28は、送信先端末に翻訳テキストを表示する処理を示したシーケンス図である。
まず、図20を用いて、各中継装置30から管理システム50に送信された各中継装置30の状態を示す状態情報を管理する処理を説明する。まず、各中継装置30では、図7に示されている状態検知部32が、自装置である中継装置30の稼動状態を定期的に検知している(ステップS1−1〜4)。そして、管理システム50側で各中継装置30の稼動状態をリアルタイムで管理させるべく、各中継装置30の送受信部31は、定期的に通信ネットワーク2を介して管理システム50へ各状態情報を送信する(ステップS2−1〜4)。これら各状態情報には、中継装置30毎の中継装置IDと、これら各中継装置IDに係る中継装置30の状態検知部32で検知された稼動状態とが含まれている。なお、本実施形態では、中継装置(30a,30b,30d)は、正常に稼動して「オンライン」となっている。その一方で、中継装置30cは稼働中ではあるが、中継装置30cの中継動作を実行するためのプログラムに何らかの不具合が生じて、「オフライン」となっている。
次に、管理システム50では、各中継装置30から送られて来た各状態情報を送受信部51が受信し、記憶・読出処理部59を介して記憶部5000の中継装置管理DB5001に、中継装置ID毎に状態情報を記憶して管理する(ステップS3−1〜4)。これにより、図11に示されるような中継装置管理テーブルに対して、中継装置ID毎に「オンライン」、「オフライン」、又は「故障中」のいずれかの稼動状態が記憶されて管理される。またこの際に、中継装置ID毎に、管理システム50で状態情報が受信された受信日時も記憶されて管理される。なお、中継装置30から状態情報が送られない場合には、図11に示されている中継装置管理テーブルの各レコードにおける稼動状態のフィールド部分及び受信日時のフィールド部分が空白になるか、又は、前回の受信時の稼動状態及び受信日時をそれぞれ示す。
次に、図21を用いて、端末10aaと端末10dbとの間で、通話を開始する前の準備段階における各管理情報の送受信処理について説明する。なお、図21では、全て図2に示されている管理情報用セッションseiによって、各種管理情報が送受信される。
まず、利用者が、図5に示されている電源スイッチ109をONにすると、図7に示されている操作入力受付部12が電源ONを受け付けて、電源をONにする(ステップS21)。そして、ログイン要求部13は、上記電源ONの受け付けを契機とし、送受信部11から通信ネットワーク2を介して管理システム50に、ログイン要求を示すログイン要求情報を自動的に送信する(ステップS22)。このログイン要求情報には、要求元としての自端末である端末10aaを識別するための端末ID、宛先名、及びパスワードが含まれている。これら端末ID、宛先名、及びパスワードは、記憶・読出処理部19を介して記憶部1000から読み出されて、送受信部11に送られたデータである。なお、端末10aaから管理システム50へログイン要求情報が送信される際は、受信側である管理システム50は、送信側である端末10abのIPアドレスを把握することができる。
次に、管理システム50の端末認証部52は、送受信部51を介して受信したログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、記憶部5000の端末認証管理DB5002(図12参照)を検索する。端末認証部52は、端末認証管理DB5002に同一の端末ID及びパスワードが管理されているかを判断することによって端末認証を行う(ステップS23)。この端末認証部52により正当な利用権限を有する端末10からのログイン要求であると判断された場合には、状態管理部53は、端末管理DB5003(図13参照)に、端末10aaの端末ID、宛先名、及び稼動状態を関連付けて記憶する(ステップS24)。また、状態管理部53は、端末管理DB5003(図13参照)に、上記ログイン要求情報が受信された受信日時、及び端末10aaのIPアドレスを関連付けて記憶する(ステップS24)。これにより、端末管理テーブルには、端末ID「01aa」に、宛先名「日本 東京事業所 AA端末」、稼動状態「オンライン」、受信日時「2009.11.10.13:40」及び端末10aaのIPアドレス「1.2.1.3」が関連付けて管理される。
また、言語決定部61は、送受信部51を介して受信したログイン要求情報に含まれている宛先名に含まれる地域(「日本」)を検索キーとして、記憶部5000の言語管理DB5008を検索し、地域に対応する言語(「日本語」)を発言者言語として決定する。
そして、管理システム50の送受信部51は、上記端末認証部52によって得られた認証結果が示された認証結果情報を、通信ネットワーク2を介して、上記ログイン要求してきた要求元端末(端末10aa)に送信する(ステップS25)。
また、管理システム50の送受信部51は、言語決定部61によって決定された発言者言語を示す発言者言語情報を、通信ネットワーク2を介して、上記ログイン要求してきた要求元端末(端末10aa)に送信する。要求元端末(端末10aa)の記憶・読出処理部19は、送受信部11が発言者言語情報を受信すると、受信した発言者言語情報を記憶部1000に記憶させる。本実施形態では、端末認証部52によって正当な利用権限を有する端末であると判断された場合につき、以下続けて説明する。
管理システム50の端末抽出部54は、ログイン要求した要求元端末(端末10aa)の端末ID「01aa」を検索キーとして、宛先リスト管理DB5004(図14参照)を検索する。端末抽出部54は、要求元端末(端末10aa)と通信することができる宛先端末の候補の端末IDを読み出すことによって抽出する(ステップS26)。ここでは、要求元端末(端末10aa)の端末ID「01aa」に対応する宛先端末(端末10ab,10ba,10db)のそれぞれの端末ID(「01ab」、「01ba」、「01db」)が抽出されることになる。
次に、端末状態取得部55は、上記端末抽出部54によって抽出された宛先端末の候補の端末ID(「01ab」、「01ba」、「01db」)を検索キーとして、端末管理DB5003(図13参照)を検索する。端末状態取得部55は、上記端末抽出部54によって抽出された端末ID毎に稼動状態(「オフライン」、「オンライン」、「オンライン」)を読み出すことにより、端末(10ab,10ba,10db)の各稼動状態を取得する(ステップS27)。
また、言語決定部61は、上記端末抽出部54によって抽出された宛先端末の候補の端末ID(「01ab」、「01ba」、「01db」)を検索キーとして、端末管理DB5003(図13参照)を検索する。言語決定部61は、検索結果として得られた上記端末抽出部54によって抽出された端末ID毎に宛先名に含まれる地域(「日本」、「日本」、「アメリカ」)をそれぞれ抽出する。そして、言語決定部61は、抽出した各端末IDの国名(「日本」、「日本」、「アメリカ」)を検索キーとして、言語管理DB5008(図19参照)を検索する。言語決定部61は、検索結果として得られた地域に対応する言語(「日本語」、「日本語」、「英語」)を、宛先端末の各候補(端末10ab,10ba,10db)の翻訳言語にそれぞれ決定する。
次に、送受信部51は、宛先状態情報を、通信ネットワーク2を介して要求元端末(端末10aa)に送信する(ステップS28)。宛先状態情報は、検索キーとしての端末ID(「01ab」、「01ba」、「01db」)と、それぞれに対応する宛先端末(端末10ab,10ba,10db)のそれぞれの稼動状態(「オフライン」、「オンライン」、「オンライン」)と、を含む。これにより、要求元端末(端末10aa)は、要求元端末(端末10aa)と通信できる宛先端末の候補である端末(10ab,10ba,10db)の現時点のそれぞれの稼動状態(「オフライン」、「オンライン」、「オンライン」)を把握することができる。
また、送受信部51は、宛先端末の各候補(端末10ab,10ba,10db)の翻訳言語(「日本語」、「日本語」、「英語」)を示す翻訳言語情報を、通信ネットワーク2を介して要求元端末(端末10aa)に送信する(ステップS28)。すなわち、宛先端末(送信先端末)の各候補の翻訳言語は、要求元端末(送信元端末)と宛先端末(送信先端末)との間で通話を開始する前の準備段階において、管理システム50から要求元端末(送信元端末)に送信される。
要求元端末(端末10aa)の記憶・読出処理部19は、送受信部11が翻訳言語情報を受信すると、受信した翻訳言語情報を記憶部1000に記憶させる。これにより、要求元端末(端末10aa)は、この要求元端末(端末10aa)と通信することができる宛先端末の候補である端末(10ab,10ba,10db)の翻訳言語(「日本語」、「日本語」、「英語」)を把握することができる。
更に、管理システム50の端末抽出部54は、ログイン要求してきた要求元端末(端末10aa)の端末ID「01aa」を検索キーとして、宛先リスト管理DB5004(図14参照)を検索する。これにより、端末抽出部54は、上記要求元端末(端末10aa)の端末ID「01aa」を宛先端末の候補として登録している他の要求元端末の端末IDを抽出する(ステップS29)。図14に示されている宛先リスト管理テーブルでは、抽出される他の要求元端末の端末IDは、「01ab」、「01ba」、及び「01db」である。
次に、管理システム50の端末状態取得部55は、上記ログイン要求して来た要求元端末(端末10aa)の端末ID「01aa」を検索キーとして、端末状態管理DB5003(図13参照)を検索する。これにより、端末状態取得部55は、ログイン要求してきた要求元端末(端末10aa)の稼動状態を取得する(ステップS30)。
そして、送受信部51は、上記ステップS29で抽出された端末IDに係る端末のうち、端末管理DB5003(図13参照)で稼動状態が「オンライン」となっている端末(10ba,10db)に、宛先状態情報を送信する(ステップS31−1,2)。この宛先状態情報には、上記ステップS30で取得された要求元端末(端末10aa)の端末ID「01aa」と、稼動状態「オンライン」と、が含まれる。なお、送受信部51が端末(10ba,10db)に宛先状態情報を送信する際に、各端末ID(「01ba」、「01db」)に基づいて、図13に示されている端末管理テーブルで管理されている端末のIPアドレスを参照する。これにより、ログイン要求した要求元端末(端末10aa)を宛先として通信できる他の宛先端末(端末10db,10ba)のそれぞれに、要求元端末(端末10aa)の端末ID「01aa」、及び稼動状態「オンライン」を伝えることができる。
一方、他の端末10でも、上記ステップ21と同様に、利用者が図6に示されている電源スイッチ109をONにすると、図7に示されている操作入力受付部12が電源ONを受け付ける。その後、他の端末10は、上記ステップS22〜S31−1,2の処理と同様の処理を行うため、その説明を省略する。
続いて、図22を用いて、中継装置30を絞り込む処理を説明する。なお、図22では、全て図22に示されている管理情報用セッションseiによって、各種管理情報が送受信される。また、本実施形態では、要求元端末(端末10aa)は、宛先の候補としての端末10のうち、上記ステップS32によって受信した端末の状態情報により、稼動状態がオンラインである端末(10ba,10db)の少なくとも一方と通話を行うことができる。そこで、以下では、要求元端末(端末10aa)の利用者が、宛先端末(端末10db)と通話を開始することを選択した場合について説明する。
まず、利用者が図5に示されている操作ボタン108を押下して端末10dbを選択すると、図7に示されている操作入力受付部12は、宛先端末(端末10db)との通話を開始する要求を受け付ける(ステップS41)。そして、要求元端末(端末10aa)の送受信部11は、端末10aaの端末ID「01aa」、及び宛先端末(端末10db)の端末ID「01db」が含まれ、通話を開始したい旨を示す開始要求情報を、管理システム50へ送信する(ステップS42)。これにより、管理システム50の送受信部51は、上記開始要求情報を受信すると共に、送信元である要求元端末(端末10aa)のIPアドレス「1.2.1.3」を把握することができる。
そして、状態管理部53は、開始要求情報に含まれる要求元端末(端末10aa)の端末ID「01aa」及び宛先端末(端末10db)の端末ID「01db」に基づき、端末管理DB5003(図13参照)の端末管理テーブルを変更する。具体的には、状態管理部53は、上記端末ID「01aa」及び端末ID「01db」がそれぞれ含まれるレコードの稼動状態のフィールド部分を、ともに「通話中」に変更する(ステップS43)。なお、この状態では、要求元端末(端末10aa)と宛先端末(端末10db)は、通話を開始していないが、通話中状態となる。このため、他の端末10が要求元端末(端末10aa)又は宛先端末(端末10db)と通話しようとすると、いわゆる通話中状態を示す旨の通知音又は表示が出力される。
次に、中継装置30を選択するためのセッションを実行する処理を説明する。まず、図9に示されている選択用セッションID生成部56aは、中継装置30を選択するためのセッションの実行に用いられる選択用セッションIDを生成する(ステップS44)。そして、セッション管理部57は、セッション管理DB5005に、選択用セッションID「se1」、要求元端末(端末10aa)の端末ID「01aa」、及び宛先端末(端末10db)の端末ID「01db」を関連付けて記憶して管理する(ステップS45)。
次に、管理システム50の一次絞込部56は、中継装置管理DB5001、端末管理DB5003、及び優先度管理DB5006に基づいて、要求元端末と、宛先端末との通話を中継するための中継装置30の一次絞り込みを行う(ステップS46)。
ここで、図9及び図23を用いて、ステップS46における処理を更に詳細に説明する。まず、端末IPアドレス抽出部56bは、開始通信情報に含まれている要求元端末(端末10aa)の端末ID「01aa」、及宛先端末(端末10db)の端末ID「01db」に基づいて、端末管理DB5003(図13参照)を検索する。これにより、端末IPアドレス抽出部56bは、それぞれに対応する端末(10aa,10db)のIPアドレス(「1.2.1.3」,「1.3.2.4」)を抽出する(ステップS46−1)。
次に、一次選択部56cは、中継装置管理DB5001で管理されている中継装置30の稼動状態のうち、「オンライン」になっている中継装置(30a,30b,30d)の各中継装置ID(111a,111b,111d)を選択する(ステップS46−2)。また、一次選択部56cは、ステップS46−1で抽出された、要求元端末(端末10aa)のIPアドレス「1.2.1.3」、及び宛先端末(端末10db)のIPアドレス「1.3.2.4」に基づいて、中継装置管理DB5001(図11参照)を検索する。これにより、一次選択部56cは、選択された中継装置(30a,30b,30d)の各IPアドレスのドットアドレス毎に、要求元端末及び宛先端末の各IPアドレスにおける各ドットアドレスと同じであるか異なるかを調査する(ステップS46−3)。なお、選択された中継装置(30a,30b,30d)の各IPアドレスは、「1.2.1.2.」,「1.2.2.2」,「1.3.2.2」である。また、要求元端末(端末10aa)及び宛先端末(端末10db)の各IPアドレスは「1.2.1.3」,「1.3.2.4」である。
次に、優先度決定部56dは、優先度管理DB5006(図16参照)を参照して、上記ステップ46−3によって調査された中継装置(30a,30b,30d)毎に、アドレス優先度のポイントを決定する(ステップS46−4)。この決定処理の結果を表に表すと、図24に示されているような状態になる。なお、図24は、中継装置30の絞り込み処理を行う際の優先度のポイントの計算状態を示した図である。この図24では、中継装置ID毎に、アドレス優先度のポイント、伝送速度優先度のポイント、及び統合ポイントが示されている。また、アドレス優先度のポイントは、更に、各中継装置30の要求元端末(端末10aa)に対するポイント及び宛先端末(端末10db)に対するポイントが示されている。統合ポイントは、アドレス優先度の2つのポイントのうちの高い方のポイントと、伝送速度優先度のポイントの合計である。
本実施形態では、中継装置30aのIPアドレス「1.2.1.2」は要求元端末(端末10aa)のIPアドレス「1.2.1.3」に対して、「同.同.同.異」であるため、図24に示されているように、アドレス優先度のポイントは「5」になる。また、中継装置30aのIPアドレス「1.2.1.2」は宛先端末(端末10db)のIPアドレス「1.3.2.4」に対して、「同.異.異.異」であるため(図16参照)、図24に示されているように、アドレス優先度のポイントは「1」になる。また、中継装置30bのIPアドレス「1.2.2.2」は要求元端末(端末10aa)のIPアドレス「1.2.1.3」に対して、「同.同.異.異」であるため、アドレス優先度のポイントは「3」になる。また、中継装置30bのIPアドレス「1.2.2.2」は宛先端末(端末10db)のIPアドレス「1.3.2.4」に対して、「同.異.同.異」であるため、アドレス優先度のポイントは「1」になる。更に、中継装置30dのIPアドレス「1.3.2.2」は要求元端末(端末10aa)のIPアドレス「1.2.1.3」に対して、「同.異.異.異」であるため、アドレス優先度のポイントは「1」になる。また、中継装置30dのIPアドレス「1.3.2.2」は宛先端末(端末10db)のIPアドレス「1.3.2.4」に対して、「同.同.同.異」であるため、アドレス優先度のポイントは「5」になる。
次に、図23に戻って、優先度決定部56dは、中継装置管理DB5001(図11参照)で管理されている各中継装置30の最大データ伝送速度に基づいて、優先度管理DB5006(図17参照)を検索する。これにより、優先度決定部56dは、上記ステップS46−2によって第1次絞り込み処理によって絞り込まれた中継装置(30a,30b,30d)毎に伝送速度優先度のポイントを決定する(ステップS46−5)。本実施形態では、図11に示されているように、中継装置30aの最大データ伝送速度が100(Mbps)であるため、図17に示されている伝送速度優先度を参照すると、伝送速度優先度が3ポイントになる。また、同様に、中継装置30bの最大データ伝送速度について計算すると1000(Mbps)であるため、伝送速度優先度が5ポイントになる。また同様に、中継装置30dの最大データ伝送速度について計算すると10(Mbps)であるため、伝送速度優先度が1ポイントになる。
次に、一次選択部56cは、中継装置毎に、アドレス優先度のポイントにおいて各端末のうち高い方のポイントと、伝送速度優先度のポイントを統合した統合ポイントのうち、ポイントが高い上位2つの中継装置30を選択する(ステップ46−6)。本実施形態では、中継装置ID(111a,111b,111d)は、それぞれ統合ポイントが「8」、「8」、「6」であるため、中継装置ID「111a」に係る中継装置30a、及び中継装置ID「111b」に係る中継装置30bが選択されることになる。
以上のステップS46における絞り込み処理が終了すると、図7に示されている送受信部51は、通信ネットワーク2を介して、宛先端末(端末10db)へ、上記絞り込まれた中継装置30の数を伝達するための中継装置絞込情報を送信する(ステップS47)。この中継装置絞込情報には、上記ステップ46によって絞り込まれた中継装置30の数「2」、要求元端末(端末10aa)の端末ID「01aa」、及び上記選択用セッションID「se1」が含まれている。これにより、端末10dbは、選択用セッションID「se1」におけるセッションの実行において、中継装置30の数がいくつで、どの端末10から通話を開始したいとの要求があったのかを把握することができる。また、端末10dbは、中継装置絞込情報の送信元である管理システム50のIPアドレス「1.1.1.2」を把握することができる。
そして、端末10dbは、送受信部11から通信ネットワーク2を介して管理システム50へ、上記中継装置絞込情報の受信が完了した旨を示す受信完了情報を送信する(ステップS48)。この受信完了情報には、セッションID「se1」が含まれている。これにより、管理システム50は、セッションID「se1」で実行されている中継装置数の伝達が完了した旨と共に、送信元である宛先端末(端末10db)のIPアドレス「1.3.2.4」を把握することができる。
次に、図25及び図26を用いて、宛先端末(端末10db)が中継装置30を選択する処理を説明する。なお、図25では、全て図2に示されている管理情報用セッションseiによって、各種管理情報が送受信される。
まず、管理システム50は、テレビ会議の通話を開始する前に、上記ステップS46によって絞り込まれた中継装置(30a,30b)のそれぞれに対して、事前に中継を要求する旨の事前中継要求情報を送信する(ステップS61−1,2)。この事前中継要求情報には、セッションID「se1」、要求元端末(端末10aa)のIPアドレス「1.2.1.3」、及び宛先端末(端末10db)のIPアドレス「1.3.2.4」が含まれている。これにより、各中継装置(30a,30b)は、どの選択用セッションのものであるか、要求元端末が何であるか、及び宛先端末が何であるかを把握することができる。また、各中継装置(30a,30b)は、事前中継要求情報の送信元である管理システム50のIPアドレス「1.1.1.2」を把握することができる。
次に、各中継装置は、送受信部31から通信ネットワーク2を介して、上記ステップS61−1,2によって把握した要求元端末(端末10aa)へ、通話の開始前に自装置としての各中継装置へ、事前送信要求情報を送信する(ステップS62−1,2)。事前送信要求情報は、後述のping(Packet Internet Groper)が含まれた事前送信情報を送信させる旨を示す。この事前送信情報には、セッションID「se1」が含まれている。これにより、要求元端末(端末10aa)は、セッションID「se1」で実行されている中継装置30の選択処理において、各中継装置(30a,30b)に事前送信情報を送信することを把握できる。また、要求元端末(端末10aa)は、事前送信要求情報の送信元である中継装置(30a,30b)のそれぞれのIPアドレス(「1.2.1.2」,「1.2.2.2」)を把握することができる。
なお、管理システム50から直接、要求元端末に対して、宛先端末のIPアドレスを通知しないのは、各端末10には、他の端末10のIPアドレスを知らせないようにして、セキュリティーを確保するためである。
次に、要求元端末(端末10aa)は、送受信部11から通信ネットワーク2を介して各中継装置(30a,30b)へ事前送信情報を送信する(ステップS63−1,2)。この事前送信情報は、画像データ及び音声データの送信に先立って、これら画像データ及び音声データの代わりに各中継装置を介して宛先端末へ送信されることで、要求元端末の送信から宛先端末の受信までの所要時間を計測するために用いられる情報である。また、この事前送信情報には、要求元端末、中継装置、及び宛先端末が通信可能に接続されていることを確認するためのping、要求元端末から事前送信情報が送信された送信日時、及びセッションID「se1」が含まれている。これにより、各中継装置は、選択用セッションID「se1」におけるセッションの実行において、事前送信情報が送られて来たことを把握できると共に、この事前送信情報の送信元である要求元端末のIPアドレス「1.2.1.3」を把握することができる。
次に、各中継装置(30a,30b)は、上記ステップS61−1,2によって受信された事前中継要求情報に含まれている宛先端末(端末10db)のIPアドレス「1.3.2.4」に対して、上記事前送信情報を中継する(ステップS64−1,2)。これにより、宛先端末(端末10db)は、セッションID「se1」におけるセッションの実行において、事前送信情報が送られて来たことを把握できる。また、宛先端末(端末10db)は、この事前送信情報の送信元(中継元)である中継装置(30a,30b)のIPアドレス(「1.2.1.2」,「1.2.2.2」)を把握することができる。
次に、宛先端末(端末10db)の最終絞込部16は、事前送信情報に基づいて、最終的にテレビ会議の通話で画像データ及び音声データを中継する1つの中継装置30に絞り込む(ステップS65)。
ここで、図8及び図26を用いて、ステップS65における処理を更に詳細に説明する。まず、図8に示されている最終絞込部16の計測部16aは、各中継装置(30a,30b)によって中継された事前送信情報毎に、端末10dbの送受信部11で受信した際の受信日時を計測する(ステップS65−1)。次に、算出部16bは、上記受信時間が計測された事前送信情報毎に、上記受信日時と上記事前送信情報に含まれている送信日時との差に基づいて、各事前送信情報の送信から受信までの所要時間を算出する(ステップS65−2)。次に、最終選択部16cは、セッションID「se1」におけるセッションの実行において、中継予定の中継装置30の数「2」に相当する数の事前送信情報を全て受信したかを判断する(ステップS65−3)。そして、全て受信していない場合には(NO)、最終選択部16cは、端末10dbで事前送信情報を受信してから所定時間(ここでは1分間)経過したかを判断する(ステップS65−4)。更に、所定時間経過していない場合には(NO)、上記ステップS65−1に戻る。一方、上記ステップ65−3において、全て受信した場合(YES)には、最終選択部16cは、これまでに算出部16bで算出された所要時間のうち最短の所要時間を要した事前送信情報を中継した中継装置30を1つ選択する(ステップS65−5)。同様に、上記ステップS65−4において、所定時間経過した場合(YES)には、最終選択部16cは、これまでに算出部16bで算出された所要時間のうち最短の所要時間を要した事前送信情報を中継した中継装置30を1つ選択する(ステップS65−5)。本実施形態では、中継装置30aによって中継された事前送信情報が、中継装置30bによって中継された事前送信情報よりも送信から受信までの所要時間が短かったものとして、中継装置30aが選択される例を示している。
次に、宛先端末(端末10db)は、送受信部11から通信ネットワーク2を介して管理システム50へ、中継装置30aを選択した旨を示す選択情報を送信する(ステップS66)。この選択情報には、セッションID「se1」、及び、選択された中継装置30aの中継装置ID「111a」が含まれている。これにより、管理システム50は、セッションID「se1」におけるセッションの実行において、中継装置30aが選択されたことを把握できる。また、管理システム50は、選択情報の送信元である宛先端末(端末10db)のIPアドレス「1.3.2.4」を把握することができる。
次に、セッション管理部57は、セッション管理テーブルにおいて、セッションID「se1」が含まれるレコードの中継装置IDのフィールド部分に、最終的に1つに選択された中継装置30aの中継装置ID「111a」を記憶して管理する(ステップS67)。そして、管理システム50の送受信部51は、通信ネットワーク2を介して中継装置30aへ、中継を開始する旨の要求が示された中継開始要求情報を送信する(ステップS68)。この中継開始要求情報には、中継される要求元端末(端末10aa)及び宛先端末(端末10db)の各IPアドレス(「1.2.1.3」,「1.3.2.4」)が含まれている。これにより、中継装置30aは、自装置である中継装置30aが選択されたことを把握できるため、端末の間で、低解像度、中解像度、及び高解像度の3つ画像データ、並びに、音声データを通話するためのセッションを確立する(ステップS69)。よって、端末(10aa,10db)は、テレビ会議の通話を開始することができる。
なお、上記ステップS47において、管理システム50が要求元端末に中継装置絞込情報を送信することで、その後ステップS64−1,2までは、各情報の送信元と受信元が、要求元端末と宛先端末とで入れ替わるようにしてもよい。これにより、要求元端末(端末10aa)が上記ステップS65に替わって中継装置の選択処理を行うことができ、また、上記ステップS66に替わって選択情報の送信も行うことができる。
続いて、図7及び図27を用いて、要求元端末と宛先端末との間で、テレビ会議の通話を行うために、画像データ及び音声データを送受信する処理を説明する。なお、端末10aaから端末10dbに画像データ及び音声データを送信する一方向の処理と、端末10dbから端末10aaに画像データ及び音声データを送信する逆方向の処理とで、画像データ及び音声データの送受信や遅延時間の検出等は同じ処理である。このため、上記一方向の通信について説明し、上記逆方向の通信は省略する。
まず、要求元端末は、画像・音声データ用セッションsedによって、撮像部14aで撮像された被写体の画像データ、及び音声入力部15aで入力された音声の音声データを、送受信部11から中継装置30aへ送信する(ステップS81)。なお、本実施形態では、図3に示されている低解像度、中解像度、及び高解像度の3つから成る高画質の画像データ、並びに、音声データを送信している。これにより、中継装置30aでは、送受信部31で上記3つの解像度の画像データ及び音声データを受信する。そして、データ品質確認部33が、宛先端末のIPアドレス「1.3.2.4」を検索キーとして、変更品質管理DB3001を検索し、対応した中継する画像データの画質を抽出することで、中継する画像データの画像の品質を確認する(ステップS82)。本実施形態では、確認された画像データの画質が「高画質」であり、送受信部31で受信した画像データの画質と同じである。このため、中継装置30aは、画像・音声データ用セッションsedによって、そのままの画質の画像データ、及びそのままの音質の音声データで、宛先端末(端末10db)に転送する(ステップS83)。これにより、宛先端末(端末10db)は、送受信部11で、低解像度、中解像度、高解像度の3つから成る高画質の画像データ、及び音声データを受信する。そして、表示制御部17が、3つの画質の画像データを組み合わせて、ディスプレイ120に画像を表示させると共に、音声出力部15bが音声データに基づく音声を出力させることができる。
次に、端末10dbの遅延検出部18は、送受信部11で受信された画像データの受信の遅延時間を一定時間毎(例えば、1秒毎)に検出する(ステップS84)。なお、本実施形態では、遅延時間が200(ms)である場合について、以下説明を続ける。
宛先端末(端末10db)の送受信部11は、図2に示されている管理情報用セッションseiによって、通信ネットワーク2を介して管理システム50へ、遅延時間「200(ms)」を示す遅延情報を送信する(ステップS85)。これにより、管理システム50は、遅延時間を把握すると共に、遅延情報の送信元である端末10dbのIPアドレス「1.3.2.4」を把握することができる。
次に、管理システム50の遅延時間管理部60は、上記宛先端末(端末10db)のIPアドレス「1.3.2.4」を検索キーとして、端末管理DB5003(図13参照)を検索することで、対応する端末ID「01db」を抽出する。また、遅延時間管理部60は、セッション管理テーブルにおいて、上記端末ID「01db」のレコードにおける遅延時間のフィールド部分に、上記遅延情報で示されている遅延時間「200(ms)」を記憶して管理する(ステップS86)。
次に、品質決定部58は、上記遅延時間「200(ms)」を検索キーとして、品質管理DB5007(図18参照)を検索し、対応する画像データの画質「中画質」を抽出することで、画質を「中画質」に決定する(ステップS87)。
次に、送受信部51は、セッション管理テーブルにおいて、上記端末ID「01db」に関連付けられている中継装置ID「111a」を検索キーとして、中継装置管理DB5001(図11参照)を検索する。これにより、送受信部51は、検索キーに対応する中継装置30aのIPアドレス「1.2.1.2」を抽出する(ステップS88)。そして、送受信部51は、図2に示されている管理情報用セッションseiによって、通信ネットワーク2を介して中継装置30aへ、上記ステップ87によって決定された画像データの画質「中画質」を示す品質情報を送信する(ステップS89)。この品質情報には、上記ステップS86において検索キーとして用いた宛先端末(端末10db)のIPアドレス「1.3.2.4」が含まれている。これにより、中継装置30aでは、変更品質管理部34が、変更品質管理DB3001に、送信先の端末10(端末10db)のIPアドレス「1.3.2.4」、及び中継される画像データの画質「中画質」を関連付けて記憶して管理する(ステップS90)。
次に、端末10aaは、引き続き上記ステップS81と同様に、画像・音声データ用セッションsedによって、中継装置30aへ、低解像度、中解像度、高解像度の3つから成る高画質の画像データ、並びに、音声データを送信する(ステップS91)。中継装置30aでは、上記ステップS82と同様に、データ品質確認部33が、宛先端末(端末10db)のIPアドレス「1.3.2.4」を検索キーとして、変更品質管理DB3001(図10参照)を検索する。データ品質確認部33は、検索キーに対応した中継する画像データの画質「中画質」を抽出することで、中継される画像データの画像の品質を確認する(ステップS92)。本実施形態では、確認された画像データの画質が「中画質」であり、送受信部31で受信された画像データの画質「高画質」よりも低くなる。このため、データ品質変更部35は、画像データの画質を「高画質」から「中画質」に抑制することで、画像データの画像の品質を変更する(ステップS93)。
そして、送受信部31は、画像・音声データ用セッションsedによって、通信ネットワーク2を介して端末10dbへ、上記画像データの画質が「中画質」に変更された画像データ、及び音声の音質が変更されていない音声データを送信する(ステップS94)。これにより、宛先端末(端末10db)は、送受信部11で、低解像度、中解像度の2つから成る中画質の画像データ、及び音声データを受信する。そして、表示制御部17が、2つの解像度の画像データを組み合わせて、ディスプレイ120に画像を表示させると共に、音声出力部15bが音声データに基づく音声を出力させることができる。
このように、画像データを受信する宛先端末(端末10db)で、受信の遅延が生じた場合には、中継装置30aは画像の品質を変更し、テレビ会議に参加している人に違和感を与えないようにすることができる。
次に、図28を用いて、送信先端末に翻訳テキストを表示する処理を説明する。以下では、端末10aaが送信元端末であり、端末10dbが送信先端末であるものとする。また、端末10aaの言語(発言者言語)は日本語であり、端末10dbの言語(翻訳言語)は英語であるものとする。この場合、端末10aaの利用者による日本語の発言(音声)が、英語の翻訳テキストとして、端末10dbのディスプレイ120dbに表示される。
会議を開催するために端末10aa及び端末10dbが接続すると、端末10aaは、サービス要求部20の機能を実現するアプリケーションを起動する(ステップS101)。以降、このアプリケーションの機能を、サービス要求部20の動作として説明する。アプリケーションの起動は、サービス要求部20の動作開始に相当する。
サービス要求部20は、動作を開始すると、まず、サービス提供システム130にセッション要求を送信する(ステップS102)。この際、サービス要求部20は、セッション要求と共に、サービス提供システム130に応じた情報を送信する。例えば、サービス提供システム130が外部のクラウドサービスである場合、端末10aaのユーザIDやパスワードを送信することが考えられる。
サービス提供システム130の認証部134は、端末10aaからセッション要求を受信すると、受信した情報(ユーザIDやパスワード)を利用して、認証処理を実行する(ステップS103)。認証が失敗した場合、サービス提供システム130は、その旨を端末10aaに返信する。端末10aaは、この認証結果(認証失敗)を受信すると、受信した認証結果をディスプレイ120aaに表示し、認証が失敗したことを利用者に通知する。
一方、認証が成功した場合、認証部134は、端末10aaにセッション確立応答(アクセストークン)を返信する(ステップS104)。
端末10aaのサービス要求部20がセッション確立応答を受信すると、端末10aaとサービス提供システム130との間のセッションが確立される。セッションが確立すると、サービス要求部20は、管理システム50から予め受信した発言者言語情報及び翻訳言語情報を記憶部1000から読み出す(ステップS105)。
そして、サービス要求部20は、端末10aa(送信元端末)の言語である発言者言語(日本語)を示す発言者言語情報と、テキスト化サービス開始要求と、をサービス提供システム130に送信する(ステップS106)。この時点で記憶部1000に音声データが記憶されている場合には、サービス要求部20は、テキスト化サービス開始要求と共に、音声データをサービス提供システム130に送信してもよい。
サービス提供システム130のテキスト化部132は、テキスト化サービス開始要求を受信すると、端末10aaへのテキスト化サービスの提供を開始する(ステップS107)。
また、サービス要求部20は、端末10db(送信先端末)の言語である翻訳言語(英語)を示す翻訳言語情報と、翻訳サービス開始要求と、をサービス提供システム130に送信する(ステップS108)。この時点で記憶部1000にテキストデータが記憶されている場合には、サービス要求部20は、翻訳サービス開始要求と共に、テキストデータをサービス提供システム130に送信してもよい。
サービス提供システム130の翻訳部133は、翻訳サービス開始要求を受信すると、端末10aaへの翻訳サービスの提供を開始する(ステップS109)。
その後、端末10aaのサービス要求部20は、音声データを入力されると、入力された音声データを記憶部1000から読み出し(ステップS110)、読み出した音声データをサービス提供システム130に送信する(ステップS111)。
サービス提供システム130のテキスト化部132は、端末10aaから音声データを受信すると、受信した音声データを発言者言語(日本語)のテキストデータに変換する(ステップS112)。そして、テキスト化部132は、得られたテキストデータを端末10aaに返信する(ステップS113)。すなわち、テキスト化部132は、端末10aaにテキスト化サービスを提供する。
また、端末10aaのサービス要求部20は、サービス提供システム130からテキストデータを受信すると、受信したテキストデータを記憶部1000に記憶させ、記憶させたテキストデータを記憶部1000から読み出す(ステップS114)。そして、サービス要求部20は、読み出したテキストデータをサービス提供システム130に送信する(ステップS115)。
サービス提供システム130の翻訳部133は、端末10aaからテキストデータを受信すると、受信したテキストデータを、翻訳言語(英語)に翻訳し(ステップS116)、得られた翻訳テキストデータを端末10aaに返信する(ステップS117)。すなわち、翻訳部133は、端末10aaに翻訳サービスを提供する。
端末10aaのサービス要求部20は、サービス提供システム130から翻訳テキストデータを受信すると、受信した翻訳テキストデータを記憶部1000に記憶させ、記憶させた翻訳テキストデータを記憶部1000から読み出す(ステップS118)。そして、サービス要求部20は、読み出した翻訳テキストデータを、管理システム50を介して、端末10dbに送信する(ステップS119)。
端末10dbの表示制御部17は、端末10aaから翻訳テキストデータを受信すると、受信した翻訳テキストデータに応じた翻訳テキストを、ディスプレイ120dbに表示させる(ステップS120)。
以上のステップS110〜S120の処理は、テキスト化サービス及び翻訳サービスの提供開始後、端末10aaに音声データが入力されるたびに実行される。これにより、端末10aaの利用者による日本語の発言(音声)を、英語の翻訳テキストとして、端末10dbのディスプレイ120dbに表示させることができる。
なお、図28の例では、端末10aaが送信元端末である場合の処理について説明したが、端末10dbが送信元端末である場合についても、上記と同様の処理が可能である。これにより、端末10dbの利用者による英語の発言(音声)を、日本語の翻訳テキストとして、端末10aaのディスプレイ120aaに表示させることができる。
また、図28の例では、2つの端末10の利用者が会議を開催する場合の処理について説明したが、3つ以上の端末10の利用者が会議を開催する場合についても、上記と同様の処理が可能である。
例えば、端末10aa,10ab,10dbの利用者が会議を開催する場合について考える。端末10aaが送信元端末であり、端末10ab,10dbが送信先端末であるものとする。また、端末10aaの言語(発言者言語)は日本語であり、端末10ab,10dbの言語(翻訳言語)はそれぞれ日本語及び英語であるものとする。
この場合、端末10aaは、端末10ab,10dbの翻訳言語を示す翻訳言語情報をサービス提供システム130に送信する(ステップS108)。サービス提供システム130の翻訳部133は、端末10aaからテキストデータを受信すると(ステップS115)、受信したテキストデータを、端末10abの翻訳言語(日本語)と、端末10dbの翻訳言語(英語)と、に翻訳する(ステップS116)。そして、翻訳部133は、得られた2つの翻訳テキストデータを、各端末10ab,10dbの翻訳テキストデータとして端末10aaに返信する(ステップS117)。端末10aaは、端末10abの翻訳テキストデータを端末10abに送信し、端末10dbの翻訳テキストデータを端末10dbに送信する(ステップS119)。これにより、端末10aaの利用者による日本語の発言(音声)を、日本語の翻訳テキストとして、端末10abのディスプレイ120abに表示させ、英語の翻訳テキストとして、端末10dbのディスプレイ120dbに表示させることができる。
なお、上記の端末10aa,10abのように、送信元端末の言語(発言者言語)と、送信先端末の言語(翻訳言語)と、が一致する場合には、翻訳部133は、テキストデータを翻訳せずに返信してもよい。また、翻訳言語が一致する送信先端末が複数存在する場合には、翻訳部133は、1度の翻訳により得られた翻訳テキストデータを、翻訳言語が一致する複数の送信先端末の翻訳テキストデータとして返信してもよい。いずれの場合も、翻訳部133による翻訳処理を削減し、サービス提供システム130の負荷を軽減することができる。
<<本実施形態の主な効果>>
以上説明したように本実施形態によれば、通信ネットワーク2のうち、中継装置30のIPアドレス等のLAN2の環境を把握することができたとしても、インターネット2i全体の環境まで把握することは困難である。このため、まずは把握できる環境の情報から、画像データ及び音声データを中継する複数の中継装置の30うち2つ以上まで絞り込む。そして、次に複数の端末10の間で画像データ及び音声データを実際に送受信する前に、画像データ及び音声データに替えて、事前送信情報を送受信させてみる。これにより、実際に最も早く事前送信情報を中継することができる1つの中継装置30に絞り込むことができるという効果を奏する。
即ち、端末10のIPアドレスの何れかに近い上位2つ以上のIPアドレスがそれぞれ割り当てられている中継装置30を選択することで、最終的に使用される中継装置30の候補を2つ以上残すことができる。その後、実際に候補としての各中継装置30を介して、要求元端末と宛先端末の間で事前送信情報を送受信することで、2つ以上の候補の中継装置30のうち、送受信に要した所要時間が最短の事前送信情報を中継した中継装置30に絞り込むことができる。よって、現状の通信ネットワーク2の環境下で最大限に高品質の画像データ又は音声データを送受信することを実現することができるという効果を奏する。
また、本実施形態では、中継装置30を絞り込む際に、テレビ会議を行う端末10のIPアドレスに近いIPアドレスの中継装置30を優先的に選択するだけでなく、各中継装置30における最大データ伝送速度も考慮して、2つ以上の中継装置30が選択される。これにより、現実の通信ネットワーク2の環境に即した中継装置30の候補を絞り込むことができるという効果を奏する。
更に、本実施形態では、中継装置30を絞り込む際に、稼動状態がオンラインである中継装置30の中から絞り込むため、現実の通信ネットワーク2の環境に更に即した中継装置30の候補を絞り込むことができる。
また、本実施形態では、音声データを翻訳する翻訳言語が、送信先端末が設置された地域で最も使用されている言語に自動的に決定される。例えば、送信先端末がアメリカ合衆国に設置されている場合、翻訳言語は英語に自動的に決定される。一般に、送信先端末の利用者が使用する言語は、その送信先端末が設置された地域で最も使用されている言語である可能性が高い。したがって、本実施形態のように翻訳言語を決定することにより、翻訳言語を、送信先端末の利用者が使用する言語に自動的に決定することができる。
〔第2の実施形態〕
以下、図29を用いて、本発明の第2の実施形態について説明する。図29は、本発明の第2の実施形態に係り、端末が中継装置を選択する処理を示したシーケンス図である。なお、本実施形態と上記第1の実施形態とは、それぞれ図29と図25とにおける処理・動作が異なるのみであるため、ここでは以下に示すように、処理・動作の相違点のみを説明する。
<<実施形態の処理または動作>>
上記第1の実施形態の図25におけるステップS61−1,S62−1,S61−2,S62−2では、管理システム50から各中継装置(30a,30b)を介して、要求元端末(端末10aa)に事前要求情報を送信するように要求した。これに対して、本実施形態では、管理システム50から直接、要求元端末(端末10aa)に事前要求情報を送信するようにした点で両者は相違する。
即ち、本実施形態では、図29に示されているように、まず、管理システム50は、要求元端末(端末10aa)に対して事前送信要求情報を送信する(ステップS161)。この場合の事前送信要求情報には、セッションID「se1」、一次絞り込みされた中継装置のそれぞれのIPアドレス(「1.2.1.2」、「1.2.2.2」)、及び宛先端末のIPアドレス「1.3.2.4」が含まれる。これにより、要求元端末(端末10aa)は、どの選択用セッションのものであるか、一次絞り込みにより最終的な絞り込み候補となった中継装置30が何であるか、及び宛先端末(端末10db)のIPアドレスが何であるかを把握することができる。また、要求元端末(端末10aa)は、事前送信要求情報の送信元である管理システム50のIPアドレス「1.1.1.2」を把握することができる。
次に、要求元端末(端末10aa)は、中継装置(30a,30b)へ事前送信情報を送信する(ステップS162−1,2)。この事前送信情報には、上記第1の実施形態におけるステップS63−1,2と同じく、ping、要求元端末(端末10aa)から事前送信情報が送信された送信日時、及びセッションID「se1」が含まれている。また、事前送信情報には、更に宛先端末(端末10db)のIPアドレス「1.3.2.4」が含まれる。これにより、各中継装置(30a,30b)は、選択用セッションID「se1」におけるセッションの実行において、事前送信情報が送られて来たことを把握できる。また、各中継装置(端末30a,30b)は、この事前送信情報の送信元である要求元端末(端末10aa)のIPアドレス「1.2.1.3」を把握することができる。更に、各中継装置(端末30a,30b)は、この事前送信情報の送信先である宛先端末(端末10db)のIPアドレス「1.3.2.4」を把握することができる。よって、各中継装置(30a,30b)は、取得された宛先端末(端末10db)のIPアドレスに対して、事前送信情報を送信(又は、転送)することができる。
なお、図29におけるステップS163−1,2〜S168は、それぞれ上記第1の実施形態における図25のS64−1,2〜S69と同様の処理であるため、その説明を省略する。
<<本実施形態の主な効果>>
以上説明したように本実施形態によれば、上記第1の実施形態における主な効果と同様の効果を奏する。
但し、本実施形態では、要求元端末には、宛先端末のIPアドレスを知らせるため、上記第1の実施形態に比べるとセキュリティー面で劣る。しかし、例えば、第1の実施形態において、LAN2aの機密性を確保するためにファイアウオール(Firewall)が設置されている場合には、中継装置30bから要求元端末(端末10aa)に対して、事前送信要求情報を届けることができないことがあり得る。これに対して、本実施形態では、中継装置30側から端末10aaに対して、事前送信要求情報を送る訳ではないため、事前送信要求情報を届けることができないという問題は生じない。なお、この場合、管理システム50は、ファイアウオールの外側の通信ネットワーク上にあるが、端末10aaと管理システム50は、図21に示されているように、既に接続が確立している。このため、管理システム50は、ファイアウオールを通過して、端末10aaに事前送信要求情報を届けることができる。
〔実施形態の補足〕
上記実施形態における中継装置30、管理システム50、プログラム提供システム90、メンテナンスシステム100、及びサービス提供システム130は、単一のコンピュータによって構築されてもよい。また、中継装置30、管理システム50、プログラム提供システム90、メンテナンスシステム100、及びサービス提供システム130は、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。また、プログラム提供システム90が単一のコンピュータによって構築されている場合には、プログラム提供システム90によって送信されるプログラムは、複数のモジュールに分けて送信されるようにしてもよいし、分けないで送信されるようにしてもよい。更に、プログラム提供システム90が複数のコンピュータによって構築されている場合には、複数のモジュールが分けられた状態で、各コンピュータから送信されるようにしてもよい。
また、端末用プログラム等のプログラムが記憶されたCD−ROM等の記録媒体、HD204、及びこのHD204を備えたプログラム提供システム90は、いずれもプログラム製品(Program Product)として、利用者等に提供される場合に用いられる。
更に、上記実施形態では、図10に示されている変更品質管理テーブル、及び図18に示されている品質管理テーブルによって、中継装置30で中継される画像データの画像の品質の一例として、画像データの画像の解像度に着目して管理した。しかしながら、品質は、これに限られるものではない。品質の他の例として、画像データの画質の深度、音声データの音声におけるサンプリング周波数、音声データの音声におけるビット長などに着目して管理してもよい。また、音声データが3種類の解像度(高解像度、中解像度、低解像度)のデータに分かれて送受信されるようにしてもよい。
また、図11、図13、及び図15では、受信日時について管理しているが、これに限るものではなく、受信日時のうち少なくとも受信時間を管理すればよい。
更に、上記実施形態では、図11で中継装置のIPアドレス、図13で端末のIPアドレスを管理することとしたが、これに限るものではない。通信ネットワーク2上で中継装置30を特定するための中継装置特定情報、又は通信ネットワーク2上で端末10を特定するための端末特定情報であれば、それぞれのFQDN(Fully Qualified Domain Name)を管理してもよい。この場合、周知のDNS(Domain Name System)サーバによって、FQDNに対応するIPアドレスが取得されることになる。なお、「通信ネットワーク2で中継装置30を特定するための中継装置特定情報」だけでなく、「通信ネットワーク2上における中継装置30への接続先を示した中継装置接続先情報」と表現してもよい。また、「通信ネットワーク2上における中継装置30への宛先を示した中継装置宛先情報」と表現してもよい。また、「通信ネットワーク2で端末10を特定するための端末特定情報」だけでなく、「通信ネットワーク2上における端末10への接続先を示した端末接続先情報」又は「通信ネットワーク2上における端末10への宛先を示した端末宛先情報」と表現してもよい。
また、上記実施形態では、伝送システム1の一例として、テレビ会議システムの場合について説明したが、これに限るものではなく、IP(Internet Protocol)電話や、インターネット電話等の電話システムであってもよい。また、伝送システム1は、カーナビゲーションシステムであってもよい。この場合、例えば、端末10の一方が自動車に搭載されたカーナビゲーション装置に相当し、端末10の他方が、カーナビゲーションを管理する管理センターの管理端末若しくは管理サーバ、又は他の自動車に搭載されているカーナビゲーション装置に相当する。また、伝送システム1は、携帯電話機の通信システムであってもよい。この場合、例えば、端末10は携帯電話機に相当する。
また、上記実施形態では、コンテンツデータの一例として、画像データ及び音声データについて説明したが、これに限るものではなく、触覚(touch)データであってもよい。この場合、一方の端末側でユーザが接触した感覚が、他方の端末側に伝達される。更に、コンテンツデータは、嗅覚(smell)データであってもよい。この場合、一方の端末側の匂い(臭い)が、他の端末側に伝達される。また、コンテンツデータは、画像データ、音声データ、触覚データ、及び嗅覚データのうち、少なくとも1つのデータであればよい。
また、上記実施形態では、伝送システム1によってテレビ会議をする場合について説明したが、これに限るものではなく、打ち合わせ、家族間や友人間等の一般的な会話、又は、一方向での情報の提示に使用されても構わない。
〔第3の実施形態〕
以下、図30を用いて、本発明の第3の実施形態について説明する。図30は、本発明の第3の実施形態に係り、送信先端末に翻訳テキストを表示する処理を示したシーケンス図である。なお、本実施形態と上記第1の実施形態とは、それぞれ図28と図30とにおける処理・動作が異なるのみであるため、ここでは以下に示すように、処理・動作の相違点のみを説明する。
<<実施形態の処理または動作>>
上記第1の実施形態の図28では、送信元端末がサービス提供システム130と通信し、サービスの提供を受ける場合を想定した。これに対して、本実施形態では、送信先端末がサービス提供システム130と通信し、サービスの提供を受ける場合を想定している。
図30を用いて、送信先端末に翻訳テキストを表示する処理を説明する。以下では、端末10aaが送信元端末であり、端末10dbが送信先端末であるものとする。また、端末10aaの言語(発言者言語)は日本語であり、端末10dbの言語(翻訳言語)は英語であるものとする。この場合、端末10aaの利用者による日本語の発言(音声)が、英語の翻訳テキストとして、端末10dbのディスプレイ120dbに表示される。
会議を開催するために端末10aa及び端末10dbが接続すると、端末10dbは、サービス要求部20の機能を実現するアプリケーションを起動する(ステップS131)。以降、このアプリケーションの機能を、サービス要求部20の動作として説明する。アプリケーションの起動は、サービス要求部20の動作開始に相当する。
サービス要求部20は、動作を開始すると、まず、サービス提供システム130にセッション要求を送信する(ステップS132)。この際、サービス要求部20は、セッション要求と共に、サービス提供システム130に応じた情報を送信する。例えば、サービス提供システム130が外部のクラウドサービスである場合、端末10dbのユーザIDやパスワードを送信することが考えられる。
サービス提供システム130の認証部134は、端末10dbからセッション要求を受信すると、受信した情報(ユーザIDやパスワード)を利用して、認証処理を実行する(ステップS133)。認証が失敗した場合、サービス提供システム130は、その旨を端末10dbに返信する。端末10dbは、この認証結果(認証失敗)を受信すると、受信した認証結果をディスプレイ120dbに表示し、認証が失敗したことを利用者に通知する。
一方、認証が成功した場合、認証部134は、端末10dbにセッション確立応答(アクセストークン)を返信する(ステップS134)。
端末10dbのサービス要求部20がセッション確立応答を受信すると、端末10dbとサービス提供システム130との間のセッションが確立される。セッションが確立すると、サービス要求部20は、管理システム50から予め受信した発言者言語情報及び翻訳言語情報を記憶部1000から読み出す(ステップS135)。
そして、サービス要求部20は、端末10aa(送信元端末)の言語である発言者言語(日本語)を示す発言者言語情報と、テキスト化サービス開始要求と、をサービス提供システム130に送信する(ステップS136)。この時点で記憶部1000に音声データが記憶されている場合には、サービス要求部20は、テキスト化サービス開始要求と共に、音声データをサービス提供システム130に送信してもよい。
サービス提供システム130のテキスト化部132は、テキスト化サービス開始要求を受信すると、端末10dbへのテキスト化サービスの提供を開始する(ステップS137)。
また、サービス要求部20は、端末10db(送信先端末)の言語である翻訳言語(英語)を示す翻訳言語情報と、翻訳サービス開始要求と、をサービス提供システム130に送信する(ステップS138)。この時点で記憶部1000にテキストデータが記憶されている場合には、サービス要求部20は、翻訳サービス開始要求と共に、テキストデータをサービス提供システム130に送信してもよい。
サービス提供システム130の翻訳部133は、翻訳サービス開始要求を受信すると、端末10dbへの翻訳サービスの提供を開始する(ステップS139)。
その後、端末10dbのサービス要求部20は、管理システム50を介して、端末10aaから音声データを受信すると(ステップS140)、受信した音声データをサービス提供システム130に送信する(ステップS141)。この際、端末10dbの音声出力部15bは、ループバック処理により、受信した音声データに係る音声信号をスピーカ115に出力し、スピーカ115から音声を出力させてもよい。
サービス提供システム130のテキスト化部132は、端末10dbから音声データを受信すると、受信した音声データを、発言者言語(日本語)のテキストデータに変換する(ステップS142)。そして、テキスト化部132は、得られたテキストデータを端末10dbに返信する(ステップS143)。すなわち、テキスト化部132は、端末10dbにテキスト化サービスを提供する。
端末10dbのサービス要求部20は、サービス提供システム130からテキストデータを受信すると、受信したテキストデータを記憶部1000に記憶させ、記憶させたテキストデータを記憶部1000から読み出す(ステップS144)。サービス要求部20は、読み出したテキストデータをサービス提供システム130に送信する(ステップS145)。
サービス提供システム130の翻訳部133は、端末10dbからテキストデータを受信すると、受信したテキストデータを、翻訳言語(英語)に翻訳し(ステップS146)、得られた翻訳テキストデータを端末10dbに返信する(ステップS147)。すなわち、翻訳部133は、端末10dbに翻訳サービスを提供する。
端末10dbのサービス要求部20は、サービス提供システム130から翻訳テキストデータを受信すると、受信した翻訳テキストデータを記憶部1000に記憶させ、記憶させた翻訳テキストデータを記憶部1000から読み出す(ステップS148)。サービス要求部20は、読み出した翻訳テキストデータに応じた翻訳テキストを、ディスプレイ120dbに表示させる(ステップS149)。
以上のステップS141〜S149の処理は、テキスト化サービス及び翻訳サービスの提供開始後、端末10aaから音声データを受信するたびに実行される。これにより、端末10aaの利用者による日本語の発言(音声)を、英語の翻訳テキストとして、端末10dbのディスプレイ120dbに表示させることができる。
なお、図30の例では、端末10aaが送信元端末である場合の処理について説明したが、端末10dbが送信元端末である場合についても、上記と同様の処理が可能である。これにより、端末10dbの利用者による英語の発言(音声)を、日本語の翻訳テキストとして、端末10aaのディスプレイ120aaに表示させることができる。
また、図30の例では、2つの端末10の利用者が会議を開催する場合の処理について説明したが、3つ以上の端末10の利用者が会議を開催する場合についても、上記と同様の処理が可能である。
例えば、端末10aa,10ab,10dbの利用者が会議を開催する場合について考える。端末10aaが送信元端末であり、端末10ab,10dbが送信先端末であるものとする。また、端末10aaの言語(発言者言語)は日本語であり、端末10ab,10dbの言語(翻訳言語)はそれぞれ日本語及び英語であるものとする。
この場合、端末10aaは、端末10ab,10dbにそれぞれ音声データを送信する(ステップS140)。この音声データを受信した端末10ab,10dbは、それぞれステップS141〜S149の処理を実行する。これにより、端末10aaの利用者による日本語の発言(音声)を、日本語の翻訳テキストとして、端末10abのディスプレイ120abに表示させ、英語の翻訳テキストとして、端末10dbのディスプレイ120dbに表示させることができる。
<<本実施形態の主な効果>>
以上説明したように本実施形態によれば、上記第1の実施形態における主な効果と同様の効果を奏する。
また、第1の実施形態では、送信元端末が、各送信先端末の翻訳テキストデータを生成するための通信を全て行ったのに対して、本実施形態では、各送信先端末が、自装置の翻訳テキストデータを生成するための通信をそれぞれ行う。すなわち、本実施形態では、翻訳テキストデータを生成するための通信が、各送信先端末により分担される。このため、本実施形態によれば、伝送システム1を構成する各端末10の負荷を分散させ、伝送システム1の動作を安定化することができる。
1 伝送システム
10 伝送端末
11 送受信部
16 最終絞込部
16a 計測部
16b 算出部
16c 最終選択部
17 表示制御部
18 遅延検出部
20 サービス要求部
30 中継装置
31 送受信部
32 状態検知部
33 データ品質確認部
34 変更品質管理部
35 データ品質変更部
50 伝送管理システム
51 送受信部(送信手段の一例)
52 端末認証部
53 状態管理部
54 端末抽出部
55 端末状態取得部
56 一次絞込部
56a 選択用セッションID生成部
56b 端末IPアドレス抽出部
56c 一次選択部56c
56d 優先度決定部
57 セッション管理部
58 品質決定部
60 遅延時間管理部
61 言語決定部(言語決定手段の一例)
70 ルータ
90 プログラム提供システム
100 メンテナンスシステム
130 サービス提供システム
131 送受信部
132 テキスト化部
133 翻訳部
134 認証部
1000 記憶部(記憶手段の一例)
3000 記憶部
3001 変更品質管理DB
5000 記憶部
5001 中継装置管理DB
5002 端末認証管理DB(端末管理手段の一例)
5003 端末管理DB
5004 宛先リスト管理DB
5005 セッション管理DB
5006 優先度管理DB
5007 品質管理DB
5008 言語管理DB(言語管理手段の一例)
特開2005−295015号公報

Claims (8)

  1. 複数の伝送端末間で通信ネットワークを介して通信される音声データを翻訳する翻訳言語を決定する伝送管理システムであって、
    前記伝送端末を識別するための端末識別情報毎に、前記伝送端末が設置された地域を管理する端末管理手段と、
    前記地域毎に設定された言語を管理する言語管理手段と、
    前記音声データの送信先となる前記伝送端末が設置された前記地域に設定された前記言語を、前記音声データの前記翻訳言語として決定する言語決定手段と、
    を備える伝送管理システム。
  2. 前記地域毎に設定された言語は、前記地域毎に最も使用されている言語である
    請求項1に記載の伝送管理システム。
  3. 前記言語決定手段が決定した前記翻訳言語を示す翻訳言語情報を、前記音声データの送信元となる前記伝送端末に送信する送信手段を更に備える
    請求項1又は請求項2に記載の伝送管理システム。
  4. 前記言語決定手段が決定した前記翻訳言語を示す翻訳言語情報を、前記音声データの送信先となる前記伝送端末に送信する送信手段を更に備える
    請求項1又は請求項2に記載の伝送管理システム。
  5. 前記送信手段は、前記伝送端末とのセッション確立後、前記音声データの通信開始前に、前記翻訳言語情報を前記伝送端末に送信する
    請求項3又は請求項4に記載の伝送管理システム。
  6. 前記言語決定手段は、前記音声データの送信元となる前記伝送端末が設置された前記地域に設定された前記言語を、前記音声データの言語である発言者言語として決定する
    請求項1乃至請求項5のいずれか1項に記載の伝送管理システム。
  7. 複数の伝送端末間で通信ネットワークを介して通信される音声データを翻訳する翻訳言語を決定する伝送管理方法であって、
    前記伝送端末を識別するための端末識別情報毎に、前記伝送端末が設置された地域を管理する工程と、
    前記地域毎に設定された言語を管理する工程と、
    前記音声データの送信先となる前記伝送端末が設置された前記地域に設定された前記言語を、前記音声データの前記翻訳言語として決定する工程と、
    を備える伝送管理方法。
  8. 複数の伝送端末間で通信ネットワークを介して通信される音声データを翻訳する翻訳言語を決定するプログラムであって、
    前記伝送端末を識別するための端末識別情報毎に、前記伝送端末が設置された地域を管理する工程と、
    前記地域毎に設定された言語を管理する工程と、
    前記音声データの送信先となる前記伝送端末が設置された前記地域に設定された前記言語を、前記音声データの前記翻訳言語として決定する工程と、
    をコンピュータに実行させるためのプログラム。
JP2016168526A 2016-08-30 2016-08-30 伝送管理システム、伝送管理方法、及びプログラム Pending JP2018037806A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016168526A JP2018037806A (ja) 2016-08-30 2016-08-30 伝送管理システム、伝送管理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016168526A JP2018037806A (ja) 2016-08-30 2016-08-30 伝送管理システム、伝送管理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2018037806A true JP2018037806A (ja) 2018-03-08

Family

ID=61566119

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016168526A Pending JP2018037806A (ja) 2016-08-30 2016-08-30 伝送管理システム、伝送管理方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2018037806A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020136939A (ja) * 2019-02-21 2020-08-31 株式会社リコー 通信端末、共用システム、表示制御方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020136939A (ja) * 2019-02-21 2020-08-31 株式会社リコー 通信端末、共用システム、表示制御方法およびプログラム
JP7205697B2 (ja) 2019-02-21 2023-01-17 株式会社リコー 通信端末、共用システム、表示制御方法およびプログラム

Similar Documents

Publication Publication Date Title
KR101257594B1 (ko) 전송 관리 시스템, 전송 시스템, 컴퓨터 판독 가능한 기록 매체, 프로그램 제공 시스템, 및 메인터넌스 시스템
JP5353989B2 (ja) 伝送管理装置、伝送端末、伝送システム、伝送管理方法、伝送端末制御方法、伝送管理プログラム及び伝送端末制御プログラム
JP5953689B2 (ja) 伝送管理システム、伝送システム、及び伝送管理システム用プログラム
JP5655499B2 (ja) 伝送管理システム、伝送システム、伝送管理用プログラム、プログラム提供システム、及びメンテナンスシステム
JP5793869B2 (ja) 伝送管理システム、伝送管理方法、及び伝送管理プログラム
JP5884964B2 (ja) 伝送システム、及び伝送方法
JP5811334B2 (ja) 伝送管理システム、伝送管理方法、プログラム、及び伝送システム
JP5983792B2 (ja) 伝送システム、及び伝送方法
JP2013197800A (ja) 伝送端末、伝送システム、表示制御方法、及びプログラム
JP6590011B2 (ja) 伝送システム、伝送方法、伝送端末、伝送端末制御方法及び伝送端末制御プログラム
JP5831320B2 (ja) 伝送管理システム、伝送システム、及び伝送管理システム用プログラム
JP6308362B2 (ja) 宛先管理システム、通信システム、プログラム、及び宛先管理方法
JP5870557B2 (ja) 伝送管理システム、及び伝送管理用プログラム
JP2014072703A (ja) 伝送管理システム、伝送システム、伝送管理方法、及びプログラム
JP6327338B2 (ja) 宛先端末、伝送システム、中継装置の選択方法、及び記録媒体
JP2018037806A (ja) 伝送管理システム、伝送管理方法、及びプログラム
JP5884965B2 (ja) 伝送管理システム、伝送システム、及び選択方法
JP2015162207A (ja) 宛先管理システム、通信システム、プログラム、及び宛先管理方法
JP2012217122A (ja) 中継装置、伝送システム、プログラム、プログラム提供システム、及びメンテナンスシステム
JP6593392B2 (ja) 伝送方法、中継装置、及びプログラム
JP2017069932A (ja) 伝送管理システム、中継装置選択方法、及びプログラム
JP2015126307A (ja) 伝送システム、伝送端末およびプログラム並びに通信方法
JP2013232932A (ja) 接続制御システム、伝送システム、接続制御システム用プログラム、及び、接続制御方法