JP6536716B2 - Transmission system, first transmission terminal, transmission method, display method and program - Google Patents
Transmission system, first transmission terminal, transmission method, display method and program Download PDFInfo
- Publication number
- JP6536716B2 JP6536716B2 JP2018104441A JP2018104441A JP6536716B2 JP 6536716 B2 JP6536716 B2 JP 6536716B2 JP 2018104441 A JP2018104441 A JP 2018104441A JP 2018104441 A JP2018104441 A JP 2018104441A JP 6536716 B2 JP6536716 B2 JP 6536716B2
- Authority
- JP
- Japan
- Prior art keywords
- terminal
- transmission
- image
- transmission terminal
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
Description
本発明は、複数の伝送端末間で会話をするためのコンテンツデータの通信を管理する発明に関する。 The present invention relates to an invention of managing communication of content data for conversation among a plurality of transmission terminals.
中継装置を介して複数の伝送端末間でコンテンツデータを送受信する伝送システムの一例として、インターネット等の通信ネットワークを介してテレビ会議などを行うテレビ会議システムが挙げられる。このようなテレビ会議システムは、近年の出張経費及び出張時間の削減に伴い、必要性が向上している。このようなテレビ会議システムでは、伝送端末の一例であるテレビ会議端末が複数台用いられている。そして、これらテレビ会議端末間で画像データ及び音声データの送受信が行われることにより、テレビ会議を実現することができる。 As an example of a transmission system that transmits and receives content data between a plurality of transmission terminals via a relay device, there is a video conference system that performs a video conference or the like via a communication network such as the Internet. The need for such a video conference system has increased with the recent reductions in travel expenses and travel time. In such a video conference system, a plurality of video conference terminals, which are an example of transmission terminals, are used. Then, by transmitting and receiving image data and audio data between these video conference terminals, a video conference can be realized.
ところが、自宅などのプライベートな場所のように、テレビ会議をするには不適切な環境が存在する。このような環境下でテレビ会議を行う場合の対策として、相手側の伝送端末が置かれた環境状態を取得して、画像通信又は音声通信を規制する伝送端末が提案されている(特許文献1参照)。 However, there is an inappropriate environment for making a video conference, such as a private place such as a home. As a measure for performing a video conference under such an environment, there has been proposed a transmission terminal which acquires an environmental state in which a transmission terminal on the other party is placed and regulates image communication or voice communication (Patent Document 1) reference).
しかしながら、特許文献1に開示されている伝送端末は、相手側の伝送端末の周りの環境を考慮して画像通信又は音声通信の規制を行っているだけであって、相手側の伝送端末自体の画像通信状態を考慮して画像通信を規制している訳ではない。即ち、特許文献1に開示されている伝送端末は、相手側の伝送端末が、音声通信機能を有しているが画像通信機能を有していない、又は画像通信機能を有していても画像通信を行っていない等の画像通信状態を考慮して、画像通信の規制を行っている訳ではない。そのため、例えば、伝送端末は、相手側の伝送端末が上述のような画像通信状態の場合に画像通信を行ったとしても、相手側の伝送端末が画像通信に対応できないため、無駄な画像通信を行うことになるという課題が生じる。
However, the transmission terminal disclosed in
請求項1に係る発明は、音声通信が可能な第一の伝送端末と第二の伝送端末を含む複数の伝送端末とセッションを管理する管理システムとを含む伝送システムであって、前記管理システムは、前記第一の伝送端末と前記第二の伝送端末の間で確立されるセッションを管理するセッション管理手段と、前記第一の伝送端末と前記第二の伝送端末が前記セッションによって画像及び音声を送信している際に前記第二の伝送端末において画像の通信が停止された場合に、前記第二の伝送端末の画像の通信状態を示す情報を前記第一の伝送端末へ送信する第一の送信手段と、を備え、前記第一の伝送端末は、前記セッションによって画像及び音声を送信する第二の送信手段と、前記第一の送信手段によって送信された前記第二の伝送端末の画像の通信状態を示す情報を受信する受信手段と、前記第二の送信手段によって画像及び音声を送信中に、前記第一の伝送端末が画像を通信中であることを示す状態を表示画面に表示させる表示制御手段と、を有し、前記表示制御手段は、前記受信した前記第二の伝送端末の画像の通信状態を示す情報に基づいて、前記第二の伝送端末からの画像の通信が停止中であることを示す状態を前記表示画面に表示させることを特徴とする伝送システムである。
The invention according to
請求項11に記載の発明は、音声通信が可能な第一の伝送端末と第二の伝送端末の間で確立されるセッションを管理するセッション管理手段と、前記第一の伝送端末と前記第二の伝送端末が前記セッションによって画像及び音声を送信している際に前記第二の伝送端末において画像の通信が停止された場合に、前記第二の伝送端末の画像の通信状態を示す情報を前記第一の伝送端末へ送信する第一の送信手段と、を有する管理システムとネットワークを介して接続される第一の伝送端末であって、前記セッションによって画像及び音声を送信する第二の送信手段と、前記第一の送信手段によって送信された前記第二の伝送端末の画像の通信状態を示す情報を受信する受信手段と、前記第二の送信手段によって画像及び音声を送信中に、前記第一の伝送端末が画像を通信中であることを示す状態を前記表示画面に表示させる表示制御手段と、を有し、前記表示制御手段は、前記受信した前記第二の伝送端末の画像の通信状態を示す情報に基づいて、前記第二の伝送端末からの画像の通信が停止中であることを示す状態を前記表示画面に表示させることを特徴とする第一の伝送端末である。
The invention according to claim 11 is a session management means for managing a session established between a first transmission terminal capable of voice communication and a second transmission terminal, the first transmission terminal, and the second transmission terminal. Information indicating the communication state of the image of the second transmission terminal when the second transmission terminal stops communication of the image while the transmission terminal of the second embodiment transmits the image and the voice by the session; A first transmission terminal connected via a network with a management system having a first transmission means for transmitting to a first transmission terminal, the second transmission means for transmitting an image and voice by the session And receiving means for receiving information indicating the communication state of the image of the second transmission terminal transmitted by the first transmitting means, and the second transmitting means for transmitting the image and sound. And a display control means for displaying on the display screen a state indicating that the transmission terminal of the second communication terminal is communicating an image, the display control means communicating the communication state of the received second transmission terminal image And a state indicating that the communication of the image from the second transmission terminal is being stopped is displayed on the display screen.
以上説明したように本発明によれば、伝送管理システムは、各伝送端末の画像通信状態を示す画像通信状態情報に基づいて、所定の伝送端末に画像通信を制御させるための所定の通信制御メッセージを作成し、前記画像通信を制御させる伝送端末に対して、通信制御メッセージを送信する。これにより、伝送管理システムは、所定の伝送端末に対して、相手側の伝送端末の画像通信状態に応じた画像通信を行わせることができるため、無駄な画像通信を防止することができるという効果を奏する。 As described above, according to the present invention, the transmission management system causes the predetermined transmission terminal to control the image communication based on the image communication state information indicating the image communication state of each transmission terminal. And transmit a communication control message to the transmission terminal that controls the image communication. As a result, the transmission management system can cause the predetermined transmission terminal to perform image communication according to the image communication state of the transmission terminal on the other party side, so that unnecessary image communication can be prevented. Play.
以下、図1乃至図33を用いて、本発明の一実施形態について説明する。なお、本実施形態においては、伝送端末は、相手側の伝送端末へ、音声データを送信することで音声通信を行い、画像データを送信することで画像通信を行う。 Hereinafter, an embodiment of the present invention will be described with reference to FIGS. 1 to 33. In the present embodiment, the transmission terminal performs voice communication by transmitting voice data to the transmission terminal on the other side, and performs image communication by transmitting image data.
<<実施形態の全体構成>>
図1は、本発明の本実施形態に係る伝送システム1の概略図である。図2は、伝送システムにおける画像データ、音声データ、及び各種管理情報の送受信の状態を示した概念図である。図3は、画像データの画質を説明する概念図である。
<< Whole Configuration of Embodiment >>
FIG. 1 is a schematic view of a
また、伝送システムには、伝送管理システムを介して一方の伝送端末から他方の伝送端末に一方向でコンテンツデータを伝送するデータ提供システムや、伝送管理システムを介して複数の伝送端末間で情報や感情等を相互に伝達するコミュニケーションシステムが含まれる。このコミュニケーションシステムは、コミュニケーション管理システム(「伝送管理システム」に相当)を介して複数のコミュニケーション端末(「伝送端末」に相当)間で情報や感情等を相互に伝達するためのシステムであり、テレビ会議システムやテレビ電話システム等が例として挙げられる。 Also, the transmission system includes a data providing system for transmitting content data in one direction from one transmission terminal to the other transmission terminal via the transmission management system, information between a plurality of transmission terminals via the transmission management system, and the like. It includes a communication system that mutually communicates emotions and the like. This communication system is a system for mutually transmitting information, emotions and the like between a plurality of communication terminals (corresponding to "transmission terminals") via a communication management system (corresponding to "transmission management system"). A conference system, a video telephone system, etc. are mentioned as an example.
本実施形態では、コミュニケーションシステムの一例としてのテレビ会議システム、コミュニケーション管理システムの一例としてのテレビ会議管理システム、及びコミュニケーション端末の一例としてのテレビ会議端末を想定した上で、伝送システム、伝送管理システム、及び伝送端末について説明する。即ち、本発明の伝送端末及び伝送管理システムは、テレビ会議システムに適用されるだけでなく、コミュニケーションシステム、又は伝送システムにも適用される。なお、本実施形態では、「テレビ会議」と説明しているが、「ビデオ会議」と言われることもあり、両者は同じ内容である。 In this embodiment, assuming a video conference system as an example of a communication system, a video conference management system as an example of a communication management system, and a video conference terminal as an example of a communication terminal, a transmission system, a transmission management system, And the transmission terminal will be described. That is, the transmission terminal and the transmission management system of the present invention are applied not only to the video conference system but also to the communication system or the transmission system. In the present embodiment, the “television conference” is described, but it may be referred to as a “video conference”, and both have the same contents.
まず、図1に示されている伝送システム1は、複数の伝送端末(10aa,10ab,…)、各伝送端末(10aa,10ab,…)用の表示手段としてのディスプレイ(120aa,120ab,…)、複数の中継装置(30a,30b,30c,30d)、伝送管理システム50、プログラム提供システム90、及びメンテナンスシステム100によって構築されている。
First, the
複数の端末10は、コンテンツデータの一例としての画像データ及び音声データの送受信による伝送を行う。
The plurality of
なお、以下では、「伝送端末」を単に「端末」として表し、「伝送管理システム」を単に「管理システム」として表す。また、複数の端末(10aa,10ab,…)のうち任意の端末は、「端末10」と表され、複数のディスプレイ(120aa,120ab,…)のうち任意のディスプレイは「ディスプレイ120」と表され、複数の中継装置(30a,30b,30c,30d)のうち任意の中継装置は「中継装置30」と表されている。更に、テレビ会議の開始を要求する要求元としての端末は「要求元端末」と表され、要求先である宛先(中継先)としての端末は「宛先端末」と表されている。
In the following, “transmission terminal” is simply represented as “terminal”, and “transmission management system” is simply represented as “management system”. Further, any of the plurality of terminals (10aa, 10ab, ...) is represented as "terminal 10", and any of the plurality of displays (120aa, 120ab, ...) is represented as "
また、図2に示されているように、伝送システム1において、要求元端末と宛先端末との間では、管理システム50を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。また、要求元端末と宛先端末との間では、中継装置30を介して、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、及び音声データの4つの各データを送受信するための4つのセッションが確立される。ここでは、これら4つのセッションをまとめて、画像・音声データ用セッションsedとして示している。
Further, as shown in FIG. 2, in the
ここで、本実施形態で扱われる画像データの画像の解像度について説明する。図3(a)に示されているように、横が160画素、縦が120画素から成り、ベース画像となる低解像度の画像と、図3(b)に示されているように、横が320画素、縦が240画素から成る中解像度の画像と、図3(c)に示されているように、横が640画素、縦が480画素から成る高解像度の画像とがある。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の画像データのみから成る低画質の画像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の画像データ、及び中解像度の画像データから成る中画質の画像データが中継される。また、帯域が非常に広い場合には、ベース画質となる低解像度の画像データ、中画解像度の画像データ、及び高解像度の画像データから成る高画質の画像データが中継される。 Here, the resolution of the image of the image data handled in the present embodiment will be described. As shown in FIG. 3A, the low resolution image, which is 160 pixels wide and 120 pixels high and is a base image, and as shown in FIG. 3B, is horizontal As shown in FIG. 3C, there are a medium resolution image consisting of 320 pixels and 240 vertical pixels, and a high resolution image consisting of 640 horizontal pixels and 480 vertical pixels. Among these, when passing through a narrow band path, low-quality image data consisting only of low-resolution image data to be a base image is relayed. When the bandwidth is relatively wide, low-resolution image data to be a base image and medium-quality image data consisting of medium-resolution image data are relayed. Further, when the bandwidth is very wide, high-quality image data consisting of low-resolution image data serving as a base image, medium-resolution image data, and high-resolution image data is relayed.
図1に示されている中継装置30は、複数の端末10の間で、コンテンツデータの中継を行う。管理システム50は、端末10からのログイン認証、端末10の通話状況の管理、宛先リストの管理等、及び中継装置30の通信状況等を一元的に管理する。なお、画像データの画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。
The
複数のルータ(70a,70b,70c,70d,70ab,70cd)は、画像データ及び音声データの最適な経路の選択を行う。なお、以下では、ルータ(70a,70b,70c,70d,70ab,70cd)のうち任意のルータは「ルータ70」と表されている。 A plurality of routers (70a, 70b, 70c, 70d, 70ab, 70cd) perform selection of the optimal path of image data and voice data. In the following, any of the routers (70a, 70b, 70c, 70d, 70ab, 70cd) is represented as "router 70".
プログラム提供システム90は、後述のHD(Hard Disk)204を備えており、端末10に各種機能を実現させる(又は、端末10を各種手段として機能させる)ための端末用プログラムが記憶され、端末10に端末用プログラムを送信することができる。また、プログラム提供システム90のHD204には、中継装置30に各種機能を実現させる(又は、中継装置30を各種手段として機能させる)ための中継装置用プログラムも記憶されており、中継装置30に、中継装置用プログラムを送信することができる。更に、プログラム提供システム90のHD204には、管理システム50に各種機能を実現させる(又は、管理システム50を各種手段として機能させる)ための伝送管理用プログラムも記憶されており、管理システム50に、伝送管理用プログラムを送信することができる。
The program providing system 90 includes an HD (Hard Disk) 204 described later, and stores a terminal program for causing the terminal 10 to realize various functions (or causing the terminal 10 to function as various means). The terminal program can be sent to The
メンテナンスシステム100は、端末10、中継装置30、管理システム50、及びプログラム提供システム90のうちの少なくとも1つの維持、管理、又は保守を行うためのコンピュータである。例えば、メンテナンスシステム100が国内に設置され、端末10、中継装置30、管理システム50、又はプログラム提供システム90が国外に設置されている場合、メンテナンスシステム100は、通信ネットワーク2を介して遠隔的に、端末10、中継装置30、管理システム50、及びプログラム提供システム90のうちの少なくとも1つの維持、管理、保守等のメンテナンスを行う。また、メンテナンスシステム100は、通信ネットワーク2を介さずに、端末10、中継装置30、管理システム50、及びプログラム提供システム90のうちの少なくとも1つにおける機種番号、製造番号、販売先、保守点検、又は故障履歴の管理等のメンテナンスを行う。
The
ところで、端末(10aa,10ab,10ac,・・・)、中継装置30a、及びルータ70aは、LAN2aによって通信可能に接続されている。端末(10ba,10bb,10bc,・・・)、中継装置30b、及びルータ70bは、LAN2bによって通信可能に接続されている。また、LAN2a及びLAN2bは、ルータ70abが含まれた専用線2abによって通信可能に接続されており、所定の地域A内で構築されている。例えば、地域Aは日本であり、LAN2aは東京の事業所内で構築されており、LAN2bは大阪の事業所内で構築されている。
The terminals (10aa, 10ab, 10ac, ...), the
一方、端末(10ca,10cb,10cc,・・・)、中継装置30c、及びルータ70cは、LAN2cによって通信可能に接続されている。端末10d(a,10db,10dc,・・・)、中継装置30d、及びルータ70dは、LAN2dによって通信可能に接続されている。また、LAN2c及びLAN2dは、ルータ70cdが含まれた専用線2cdによって通信可能に接続されており、所定の地域B内で構築されている。例えば、地域Bはアメリカ合衆国であり、LAN2cはニューヨークの事業所内で構築されており、LAN2dはワシントンD.C.の事業所内で構築されている。地域A及び地域Bは、それぞれルータ(70ab,70cd)からインターネット2iを介して通信可能に接続されている。
On the other hand, the terminals (10ca, 10cb, 10cc,...), The
また、管理システム50、及びプログラム提供システム90は、インターネット2iを介して、端末10、及び中継装置30と通信可能に接続されている。管理システム50、及びプログラム提供システム90は、地域A又は地域Bに設置されていてもよいし、これら以外の地域に設置されていてもよい。
The
なお、本実施形態では、LAN2a、LAN2b、専用線2ab、インターネット2i、専用線2cd、LAN2c、及びLAN2dによって、本実施形態の通信ネットワーク2が構築されている。この通信ネットワーク2には、有線だけでなく、WiFi(Wireless Fidelity)や、Bluetooth(登録商標)等の無線による通信が行われる箇所があってもよい。
In the present embodiment, the communication network 2 of the present embodiment is constructed by the
また、図1において、各端末10、各中継装置30、管理システム50、各ルータ70、及びプログラム提供システム90の下に示されている4組の数字は、一般的なIPv4におけるIPアドレスを簡易的に示している。例えば、端末10aaのIPアドレスは「1.2.1.3」である。また、IPv4ではなく、IPv6を用いてもよいが、説明を簡略化するため、IPv4を用いて説明する。
Also, in FIG. 1, four sets of numbers shown under each terminal 10, each
なお、各端末10は、複数の事業所間での通話や、同じ事業所内の異なる部屋間での通話だけでなく、同じ部屋内での通話や、屋外と屋内又は屋外と屋外での通話で使われてもよい。各端末10が屋外で使われる場合には、携帯電話通信網等の無線による通信が行われる。 Each terminal 10 is not only a call between a plurality of business establishments or a call between different rooms within the same business establishment, but also a call within the same room or a conversation between outdoor and indoor or outdoor and outdoor. It may be used. When each terminal 10 is used outdoors, wireless communication such as a cellular phone communication network is performed.
<<実施形態のハードウェア構成>>
次に、本実施形態のハードウェア構成を説明する。図4は、本実施形態に係る端末10の外観図である。以下、端末10の長手方向をX軸方向、水平面内でX軸方向に直交する方向をY軸方向、X軸方向及びY軸方向に直交する方向(鉛直方向)をZ軸方向として説明する。
<< Hardware Configuration of Embodiment >>
Next, the hardware configuration of the present embodiment will be described. FIG. 4 is an external view of the terminal 10 according to the present embodiment. Hereinafter, the longitudinal direction of the terminal 10 will be described as an X axis direction, a direction perpendicular to the X axis direction in a horizontal plane as a Y axis direction, and a direction (vertical direction) orthogonal to the X axis direction and the Y axis direction as a Z axis direction.
図4に示されているように、端末10は、筐体1100、アーム1200、及びカメラハウジング1300を備えている。このうち、筐体1100の前側壁面1110には、複数の吸気孔によって形成された不図示の吸気面が設けられており、筐体1100の後側壁面1120には、複数の排気孔が形成された排気面1121が設けられている。これにより、筐体1100に内蔵された冷却ファンの駆動によって、不図示の吸気面を介して端末10の後方の外気を取り込み、排気面1121を介して端末10の後方へ排気することができる。筐体1100の右側壁面1130には、収音用孔1131が形成され、後述する内蔵型のマイク114によって音声、物音、雑音等の音が収音可能となっている。
As shown in FIG. 4, the terminal 10 includes a
筐体1100の右側壁面1130側には、操作パネル1150が形成されている。この操作パネル1150には、後述の複数の操作ボタン(108a〜108e)、後述の電源スイッチ109、及び後述のアラームランプ119が設けられていると共に、後述の内蔵型のスピーカ115からの出力音を通すための複数の音声出力孔によって形成された音出面1151が形成されている。また、筐体1100の左側壁面1140側には、アーム1200及びカメラハウジング1300を収容するための凹部としての収容部1160が形成されている。筐体1100の右側壁面1130には、後述の外部機器接続I/F118に対して電気的にケーブルを接続するための複数の接続口(1132a〜1132c)が設けられている。一方、筐体1100の左側壁面1140には、後述の外部機器接続I/F118に対して電気的にディスプレイ120用のケーブル120cを接続するための不図示の接続口が設けられている。
An
なお、以下では、操作ボタン(108a〜108e)のうち任意の操作ボタンを示す場合には「操作ボタン108」を用い、接続口(1132a〜1132c)のうち任意の接続口を示す場合には「接続口1132」を用いて説明する。
In the following, the "
次に、アーム1200は、トルクヒンジ1210を介して筐体1100に取り付けられており、アーム1200が筐体1100に対して、135度のチルト角θ1の範囲で、上下方向に回転可能に構成されている。図4は、チルト角θ1が90度の状態を示している。
Next, the
カメラハウジング1300には、後述の内蔵型のカメラ112が設けられており、利用者、書類、及び部屋等を撮像することができる。また、カメラハウジング1300には、トルクヒンジ1310が形成されている。カメラハウジング1300は、トルクヒンジ1310を介して、アーム1200に取り付けられている。そして、カメラハウジング1300は、トルクヒンジ1310を介してアーム1200に取り付けられており、カメラハウジング1300がアーム1200に対して、図4で示されている状態を0度として±180度のパン角θ2の範囲で、且つ、±45度のチルト角θ3の範囲で、上下左右方向に回転可能に構成されている。
The
なお、中継装置30、管理システム50、及びプログラム提供システム90は、それぞれ一般のサーバ・コンピュータの外観と同じであるため、外観の説明を省略する。
The
図5は、本発明の本実施形態に係る端末10のハードウェア構成図である。図5に示されているように、本実施形態の端末10は、端末10全体の動作を制御するCPU(Central Processing Unit)101、IPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶したROM(Read Only Memory)102、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103、端末用プログラム、画像データ、及び音声データ等の各種データを記憶するフラッシュメモリ104、CPU101の制御にしたがってフラッシュメモリ104に対する各種データの読み出し又は書き込みを制御するSSD(Solid State Drive)105、フラッシュメモリ等の記録メディア106に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ107、端末10の宛先を選択する場合などに操作される操作ボタン108、端末10の電源のON/OFFを切り換えるための電源スイッチ109、通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F(Interface)111を備えている。
FIG. 5 is a hardware configuration diagram of the terminal 10 according to the present embodiment of the present invention. As shown in FIG. 5, the terminal 10 according to the present embodiment includes a program used to drive the
また、端末10は、CPU101の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ112、このカメラ112の駆動を制御する撮像素子I/F113、音声を入力する内蔵型のマイク114、音声を出力する内蔵型のスピーカ115、CPU101の制御に従ってマイク114及びスピーカ115との間で音声信号の入出力を処理する音声入出力I/F116、CPU101の制御に従って外付けのディスプレイ120に画像データを伝送するディスプレイI/F117、各種の外部機器を接続するための外部機器接続I/F118、端末10の各種機能の異常を知らせるアラームランプ119、及び上記各構成要素を図5に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン110を備えている。なお、端末10の機種によっては、カメラ112及び撮像素子I/F113を備えていないものがある。
The terminal 10 also has a built-in
ディスプレイ120は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示部である。また、ディスプレイ120は、ケーブル120cによってディスプレイI/F117に接続される。このケーブル120cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(High-Definition Multimedia Interface)やDVI(Digital Video Interactive)信号用のケーブルであってもよい。
The
カメラ112は、レンズや、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含み、固体撮像素子として、CMOS(Complementary Metal Oxide Semiconductor)や、CCD(Charge Coupled Device)等が用いられる。
The
外部機器接続I/F118には、USB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、CPU101の制御に従って、内蔵型のカメラ112に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、CPU101の制御に従って、それぞれが内蔵型のマイク114や内蔵型のスピーカ115に優先して、外付けマイクや外付けスピーカが駆動する。
An external device such as an external camera, an external microphone, and an external speaker can be connected to the external device connection I /
なお、記録メディア106は、端末10に対して着脱自在な構成となっている。また、CPU101の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ104に限らず、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。
The recording medium 106 is configured to be removable from the terminal 10. Further, as long as the nonvolatile memory performs reading or writing of data according to the control of the
更に、上記端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア106等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記端末用プログラムは、フラッシュメモリ104ではなくROM102に記憶させるようにしてもよい。
Furthermore, the terminal program may be recorded and distributed in a computer readable recording medium such as the recording medium 106 in the form of an installable or executable file. The terminal program may be stored in the
図6は、本発明の本実施形態に係る管理システムのハードウェア構成図である。管理システム50は、管理システム50全体の動作を制御するCPU201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、伝送管理用プログラム等の各種データを記憶するHD204、CPU201の制御にしたがってHD204に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)205、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ207、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ208、通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F209、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード211、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス212、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)213に対する各種データの読み出し又は書き込みを制御するCD−ROMドライブ214、及び、上記各構成要素を図6に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン210を備えている。
FIG. 6 is a hardware configuration diagram of a management system according to the present embodiment of the present invention. The
なお、上記伝送管理用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記伝送管理用プログラムは、HD204ではなくROM202に記憶されるようにしてもよい。
The transmission management program may be a file in an installable format or an executable format, and may be distributed by being recorded in a computer readable storage medium such as the
また、中継装置30は、上記管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、HD204には、中継装置30を制御するための中継装置用プログラムが記録されている。この場合も、中継装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記中継装置用プログラムは、HD204ではなくROM202に記憶されるようにしてもよい。
Further, since the
また、プログラム提供システム90及びメンテナンスシステム100は、上記管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、HD204には、プログラム提供システム90を制御するためのプログラム提供用プログラムが記録されている。この場合も、プログラム提供用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記プログラム提供システム用プログラムは、HD204ではなくROM202に記憶されるようにしてもよい。
Further, since the program providing system 90 and the
なお、上記着脱可能な記録媒体の他の例として、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。 In addition, as another example of the removable recording medium, it is configured to be provided by being recorded on a computer-readable recording medium such as a compact disc recordable (CD-R), a digital versatile disc (DVD), and a Blu-ray disc. You may
<<実施形態の機能構成>>
次に、本実施形態の機能構成について説明する。本実施形態では、宛先(中継先)としての端末10で画像データの受信に遅延が生じた場合に、中継装置30によって画像データの画像の解像度を変更してから、中継先としての端末10へ画像データを送信する場合について説明する。
<< Functional Configuration of Embodiment >>
Next, the functional configuration of the present embodiment will be described. In the present embodiment, when there is a delay in receiving image data at the terminal 10 as the destination (relay destination), the resolution of the image of the image data is changed by the
図7は、本実施形態の伝送システム1を構成する各端末、装置及びシステムの機能ブロック図である。図7では、端末10、中継装置30、及び管理システム50が、通信ネットワーク2を介してデータ通信することができるように接続されている。また、図1に示されているプログラム提供システム90は、テレビ会議の通信において直接関係ないため、図7では省略されている。
FIG. 7 is a functional block diagram of each terminal, apparatus and system that constitute the
<端末の機能構成>
端末10は、送受信部11、操作入力受付部12、ログイン要求部13、撮像部14、音声入力部15a、音声出力部15b、最終絞込部16、表示制御部17、遅延検出部18、記憶・読出処理部19、及びメッセージ作成部20を有している。これら各部は、図5に示されている各構成要素のいずれかが、フラッシュメモリ104からRAM103上に展開された端末用プログラムに従ったCPU101からの命令によって動作することで実現される機能、又は機能する手段である。また、端末10は、図5に示されているRAM103、及び図5に示されているフラッシュメモリ104によって構築される記憶部1000を有している。
<Functional configuration of terminal>
The terminal 10 includes a transmission / reception unit 11, an operation
(端末の各機能構成)
次に、図5及び図7を用いて、端末10の各機能構成について詳細に説明する。なお、以下では、端末10の各機能構成を説明するにあたって、図5に示されている各構成要素のうち、端末10の各機能構成を実現させるための主な構成要素との関係も説明する。
(Each functional configuration of the terminal)
Next, each functional configuration of the terminal 10 will be described in detail using FIGS. 5 and 7. In the following, in describing each functional configuration of the terminal 10, among the components shown in FIG. 5, the relationship with the main components for realizing each functional configuration of the terminal 10 will also be described. .
図7に示されている端末10の送受信部11は、図5に示されているCPU101からの命令、及び図5に示されているネットワークI/F111によって実現され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。この送受信部11は、所望の宛先端末と通話を開始する前から、管理システム50より、宛先候補としての各端末の状態を示す各状態情報の受信を開始する。なお、この状態情報は、各端末10の稼動状態(オンラインかオフラインかの状態)だけでなく、オンラインであっても更に通話可能であるか、通話中であるか、離席中であるか等の詳細な状態を示す。また、この状態情報は、各端末10の稼動状態だけでなく、端末10でケーブル120cが端末10から外れていたり、音声を出力するが画像は出力させなかったり、音声を出力さないようにする(MUTE)等、様々な状態を示す。以下では、一例として、状態情報が稼動状態を示す場合について説明する。
The transmission / reception unit 11 of the terminal 10 shown in FIG. 7 is realized by an instruction from the
操作入力受付部12は、図5に示されているCPU101からの命令、並びに図5に示されている操作ボタン108及び電源スイッチ109によって実現され、利用者による各種入力を受け付ける。例えば、利用者が、図5に示されている電源スイッチ109をONにすると、図7に示されている操作入力受付部12が電源ONを受け付けて、電源をONにする。
The operation
ログイン要求部13は、図5に示されているCPU101からの命令によって実現され、上記電源ONの受け付けを契機として、送受信部11から通信ネットワーク2を介して管理システム50に、ログインを要求する旨を示すログイン要求情報、及び要求元端末の現時点のIPアドレスを自動的に送信する。また、利用者が電源スイッチ109をONの状態からOFFにすると、送受信部11が管理システム50へ電源をOFFする旨の状態情報を送信した後に、操作入力受付部12が電源を完全にOFFにする。これにより、管理システム50側では、端末10が電源ONから電源OFFになったことを把握することができる。
The
撮像部14は、図5に示されているCPU101からの命令、並びに図5に示されているカメラ112及び撮像素子I/F113によって実現され、被写体を撮像して、この撮像して得た画像データを出力する。なお、端末10の機種によっては、撮像部14を備えていないものがある。
The
音声入力部15aは、図5に示されているCPU101からの命令、及び図5に示されている音声入出力I/F116によって実現され、マイク114によって利用者の音声が音声信号に変換された後、この音声信号に係る音声データを入力する。音声出力部15bは、図5に示されているCPU101からの命令、及び図5に示されている音声入出力I/F116によって実現され、音声データに係る音声信号をスピーカに出力し、スピーカ115から音声を出力させる。
The
最終絞込部16は、複数の中継装置30から最終的に1つの中継装置30に絞り込む最終絞り込み処理を行うため、図5に示されているCPU101からの命令によって、図8に示されるような計測部16a、算出部16b、及び最終選択部16cを実現する。
Since the
このうち、計測部16aは、送受信部11によって受信された後述の事前送信情報毎に、送受信部11によって事前送信情報が受信される際の受信日時を計測する。算出部16bは、計測部16aによって受信日時が計測された事前送信情報毎に、この計測された受信時間と、この事前送信情報に含まれている送信日時との差に基づいて、事前送信情報の送信から受信までの所要時間(T)を算出する。最終選択部16cは、算出部16bによって算出された所要時間のうち最短の所要時間を要した事前送信情報が中継された中継装置30を選択することで、最終的に1つの中継装置を選択する。
Among these, the measuring
表示制御部17は、図5に示されているCPU101からの命令、及び図5に示されているディスプレイI/F117によって実現され、後述のように、受信された解像度の異なる画像データを組み合わせ、この組み合わされた画像データをディスプレイ120に送信するための制御を行う。また、表示制御部17は、管理システム50から受信した宛先リストの情報をディスプレイ120に送信して、ディスプレイ120に宛先リストを表示させることができる。更に、表示制御部17は、図29乃至図32に示されているような画面をディスプレイ120に表示させる。図29乃至図32の画面については、後ほど説明する。
The
遅延検出部18は、図5に示されているCPU101からの命令によって実現され、他の端末10から中継装置30を介して送られて来る画像データ又は音声データの遅延時間(ms)を検出する。
The delay detection unit 18 is realized by an instruction from the
記憶・読出処理部19は、図5に示されているCPU101からの命令及び図5に示すSSD105によって実行され、又はCPU101からの命令によって実現され、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出す処理を行う。この記憶部1000には、端末10を識別するための端末ID(Identification)、及びパスワード等が記憶される。
Storage /
メッセージ作成部20は、図5に示されているCPU101からの命令によって実現され、記憶部1000から、予め記憶されている画像通信状態情報を読み出して、この画像通信状態情報を含んだ画像通信状態メッセージ(m)を作成する。この画像通信状態情報及び画像通信状態メッセージ(m)については、後ほど説明する。
The
また、記憶部1000には、後述の画像通信状態情報が記憶されている。更に、記憶部1000には、宛先端末との通話を行う際に受信される画像データ及び音声データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ120に画像が表示され、上書きされる前の音声データによってスピーカ115から音声が出力される。
Further, the
なお、本実施形態の端末ID及び後述の中継装置IDは、それぞれ端末10及び中継装置30を一意に識別するために使われる言語、文字、記号、又は各種のしるし等の識別情報を示す。また、端末ID及び中継装置IDは、上記言語、文字、記号、及び各種のしるしのうち、少なくとも2つが組み合わされた識別情報であってもよい。
The terminal ID of the present embodiment and a relay device ID described later indicate identification information such as a language, characters, symbols, or various marks used to uniquely identify the terminal 10 and the
<中継装置の機能構成>
中継装置30は、送受信部31、状態検知部32、データ品質確認部33、変更品質管理部34、データ品質変更部35、及び記憶・読出処理部39を有している。これら各部は、図6に示されている各構成要素のいずれかが、HD204からRAM203上に展開された中継装置用プログラムに従ったCPU201からの命令によって動作することで実現される機能又は機能する手段である。また、中継装置30は、図6に示されているRAM203、及び/又は図6に示されているHD204によって構築される記憶部3000を有している。なお、図10は、変更品質管理テーブルを示す概念図である。
<Functional configuration of relay device>
The
(変更品質管理テーブル)
記憶部3000には、図10に示されているような変更品質管理テーブルによって構成されている変更品質管理DB(Data Base)3001が構築される。変更品質管理テーブルでは、画像データの中継先(宛先)としての端末10のIPアドレス、及びこの中継先に中継装置30が中継する画像データの画質が関連付けられて管理される。
(Change Quality Management Table)
In the storage unit 3000, a change quality management DB (Data Base) 3001 configured of a change quality management table as shown in FIG. 10 is constructed. In the change quality management table, the IP address of the terminal 10 as a relay destination (destination) of the image data and the image quality of the image data relayed by the
(中継装置の各機能構成)
次に、中継装置30の各機能構成について詳細に説明する。なお、以下では、中継装置30の各機能構成を説明するにあたって、図6に示されている各構成要素のうち、中継装置30の各機能構成を実現させるための主な構成要素との関係も説明する。
(Each functional configuration of relay device)
Next, each functional configuration of the
図7に示されている中継装置30の送受信部31は、図6に示されているCPU201からの命令、及び図6に示されているネットワークI/F209によって実現され、通信ネットワーク2を介して他の端末、装置、又はシステムと各種データ(または情報)の送受信を行う。
The transmission /
状態検知部32は、図6に示されているCPU201からの命令によって実現され、この状態検知部32を有する中継装置30の稼動状態を検知する。稼動状態としては、「オンライン」、「オフライン」、「通話中」又は「一時中断」の状態がある。
The
データ品質確認部33は、図6に示されているCPU201からの命令によって実現され、宛先端末のIPアドレスを検索キーとして、変更品質管理DB3001(図10参照)を検索し、対応した中継される画像データの画質を抽出することで、中継される画像データの画質を確認する。
The data
変更品質管理部34は、図6に示されているCPU201からの命令によって実現され、管理システム50から送られて来る、後述の品質情報に基づいて、変更品質管理DB3001の内容を変更する。例えば、端末IDが「01aa」である要求元端末(端末10aa)と、端末IDが「01db」である宛先端末(端末10db)との間で高画質の画像データを送受信することによってテレビ会議を行っている最中に、他のテレビ会議を行う要求元端末(端末10bb)と宛先端末(端末10ca)が通信ネットワーク2を介してテレビ会議を開始すること等によって、宛先端末(端末10db)で画像データの受信の遅延が生じた場合には、中継装置30は今まで中継していた画像データの画質を、高画質から中画質に下げる。このような場合に、中画質を示す品質情報に基づいて、中継装置30が中継する画像データの画質を高画質から中画質に下げるように、変更品質管理DB3001の内容が変更される。
The change
データ品質変更部35は、図6に示されているCPU201からの命令によって実現され、送信元端末から送られて来た画像データの画質を、上記変更された変更品質管理DB3001の内容に基づいて変更する。
The data
記憶・読出処理部39は、図6に示されているCPU201からの命令、及び図6に示されているHDD205によって実現され、記憶部3000に各種データを記憶したり、記憶部3000に記憶された各種データを読み出す処理を行う。
Storage /
<管理システムの機能構成>
管理システム50は、送受信部51、端末認証部52、状態管理部53、端末抽出部54、端末状態抽出部55、一次絞込部56、セッション管理部57、品質決定部58、記憶・読出処理部59、遅延時間管理部60、及びメッセージ作成部61を有している。これら各部は、図6に示されている各構成要素のいずれかが、HD204からRAM203上に展開された管理システム用プログラムに従ったCPU201からの命令によって動作することで実現される機能又は機能する手段である。また、管理システム50は、図6に示されているHD204により構築される記憶部5000を有している。
<Functional configuration of management system>
The
なお、図8は、最終絞込部の機能構成図である。図9は、一次絞込部の機能構成図である。図11は、中継装置管理テーブルを示す概念図である。図12は、端末認証管理テーブルを示す概念図である。図13は、端末管理テーブルを示す概念図である。図14は、宛先リスト管理テーブルを示す概念図である。図15は、セッション管理テーブルを示す概念図である。図16は、アドレス優先度管理テーブルを示す概念図である。図17は、伝送速度優先度管理テーブルを示す概念図である。図18は、品質管理テーブルを示す概念図である。 FIG. 8 is a functional block diagram of the final narrowing unit. FIG. 9 is a functional configuration diagram of the primary narrowing unit. FIG. 11 is a conceptual diagram showing the relay device management table. FIG. 12 is a conceptual diagram showing a terminal authentication management table. FIG. 13 is a conceptual diagram showing a terminal management table. FIG. 14 is a conceptual diagram showing a destination list management table. FIG. 15 is a conceptual diagram showing a session management table. FIG. 16 is a conceptual diagram showing an address priority management table. FIG. 17 is a conceptual diagram showing a transmission speed priority management table. FIG. 18 is a conceptual diagram showing a quality management table.
(中継装置管理テーブル)
記憶部5000には、図11に示されているような中継装置管理テーブルによって構成されている中継装置管理DB5001が構築されている。この中継装置管理テーブルでは、各中継装置30の中継装置ID毎に、各中継装置30の稼動状態、稼動状態が示される状態情報が管理システム50で受信された受信日時、中継装置30のIPアドレス、及び中継装置30における最大データ伝送速度(Mbps)が関連付けられて管理される。例えば、図11に示されている中継装置管理テーブルにおいて、中継装置IDが「111a」の中継装置30aは、稼動状態が「オンライン」で、管理システム50で状態情報が受信された日時が「2009年11月10日の13時00分」で、この中継装置30aのIPアドレスが「1.2.1.2」で、この中継装置30aにおける最大データ伝送速度が100Mbpsであることが示されている。
(Relay device management table)
In the storage unit 5000, a relay device management DB 5001 configured by the relay device management table as shown in FIG. 11 is constructed. In this relay device management table, for each relay device ID of each
(端末認証管理テーブル)
更に、記憶部5000には、図12に示されているような端末認証管理テーブルによって構成されている端末認証管理DB5002が構築されている。この端末認証管理テーブルでは、管理システム50によって管理される全ての端末10の各端末IDに対して、各パスワードが関連付けられて管理される。例えば、図12に示されている端末認証管理テーブルにおいて、端末10aaの端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。
(Terminal authentication management table)
Further, in the storage unit 5000, a terminal authentication management DB 5002 configured of a terminal authentication management table as shown in FIG. 12 is constructed. In the terminal authentication management table, each password is associated with each terminal ID of all the
(端末管理テーブル)
また、記憶部5000には、図13に示されているような端末管理テーブルによって構成されている端末管理DB5003が構築されている。この端末管理テーブルでは、各端末10の端末ID毎に、各端末10を宛先とした場合の宛先名、各端末10の稼動状態、後述の画像通信状態、後述のログイン要求情報が管理システム50で受信された受信日時、及び端末10のIPアドレスが関連付けられて管理される。例えば、図13に示されている端末管理テーブルにおいて、端末IDが「01aa」の端末10aaは、端末名が「日本 東京事業所 AA端末」で、稼動状態が「オンライン(伝送中)」で、画像通信状態が「ON」管理システム50でログイン要求情報が受信された日時が「2009年11月10日の13時40分」で、この端末10aaのIPアドレスが「1.2.1.3」であることが示されている。
(Terminal management table)
Further, in the storage unit 5000, a terminal management DB 5003 configured by a terminal management table as shown in FIG. 13 is constructed. In this terminal management table, for each terminal ID of each terminal 10, a destination name when each terminal 10 is a destination, an operating state of each terminal 10, an image communication state described later, and login request information described later The received date and time received and the IP address of the terminal 10 are associated and managed. For example, in the terminal management table shown in FIG. 13, the terminal 10aa with the terminal ID "01aa" has the terminal name "Japan Tokyo Business Office AA terminal" and the operating status is "Online (during transmission)", The date and time when the login request information is received by the image communication state "ON"
ここで、画像通信状態情報について説明する。画像通信状態情報は、端末10の画像通信に関する状態を示しており、以下の4つのパターンが存在する。
ON:端末10が画像通信中である状態
OFF:端末10が画像通信停止中である状態(但し、端末10は、画像通信を行うための撮像部14である画像通信機能を備えている。)
NA:端末10が画像通信機能を有していない状態(端末10は、画像通信を行うための撮像部14である画像通信機能を備えていない。)
DC:画像通信状態が不明な状態(端末10がオフライン等により端末10から画像通信状態が送られて来ていない状態、又は初期状態である。)
このうち、記憶部1000には、当初、DCを示す画像通信状態情報が記憶されており、撮像部14が、DCからON又はOFFを示す画像通信状態情報に上書きする。NAを示す画像通信状態情報は、端末10の工場出荷時から予め記憶部1000に記憶される。
Here, the image communication state information will be described. The image communication state information indicates the state of image communication of the terminal 10, and the following four patterns exist.
ON: The state in which the terminal 10 is in image communication OFF: The state in which the terminal 10 is in suspension of image communication (However, the terminal 10 has an image communication function which is an
NA: A state in which the terminal 10 does not have an image communication function (the terminal 10 does not have an image communication function that is an
DC: A state in which the image communication state is unknown (the state in which the image communication state is not sent from the terminal 10 due to the terminal 10 being offline or the like, or in the initial state)
Among these, the
(宛先リスト管理テーブル)
更に、記憶部5000には、図14に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB5004が構築されている。この宛先リスト管理テーブルでは、テレビ会議における通話の開始を要求する要求元端末の端末IDに対して、宛先端末の候補として登録されている宛先端末の端末IDが全て関連付けられて管理される。例えば、図14に示されている宛先リスト管理テーブルにおいて、端末IDが「01aa」である要求元端末(端末10aa)からテレビ会議における通話の開始を要求することができる宛先端末(端末10db)の候補は、端末IDが「01ab」の端末10ab、端末IDが「01ba」の端末10ba、及び端末IDが「01bb」の端末10bb等であることが示されている。この宛先端末の候補は、任意の要求元端末から管理システム50に対する追加又は削除の要請により、追加又は削除されることで更新される。
(Destination list management table)
Further, in the storage unit 5000, a destination list management DB 5004 configured of a destination list management table as shown in FIG. 14 is constructed. In this destination list management table, all terminal IDs of destination terminals registered as candidates of destination terminals are managed in association with the terminal ID of a request source terminal that requests the start of a telephone call in a video conference. For example, in the destination list management table shown in FIG. 14, the destination terminal (terminal 10db) that can request the start of a call in a video conference from the request source terminal (terminal 10aa) whose terminal ID is "01aa" It is shown that the candidates are the terminal 10ab having the terminal ID "01ab", the terminal 10ba having the terminal ID "01ba", and the terminal 10bb having the terminal ID "01bb". The candidate of the destination terminal is updated by being added or deleted by a request for addition or deletion from any request source terminal to the
(セッション管理テーブル)
また、この記憶部5000には、図15に示されているようなセッション管理テーブルによって構成されているセッション管理DB5005が構築されている。このセッション管理テーブルでは、中継装置30を選択するためのセッションの実行に用いられる選択用セッションID毎に、画像データ及び音声データの中継に使用される中継装置30の中継装置ID、要求元端末の端末ID、宛先端末の端末ID、宛先端末において画像データが受信される際の受信の遅延時間(ms)、及びこの遅延時間が示されている遅延情報を宛先端末から送られて来て管理システム50で受信された受信日時が関連付けられて管理される。例えば、図15に示されているセッション管理テーブルにおいて、選択用セッションID「se1」を用いて実行されたセッションで選択された中継装置30a(中継装置ID「111a」)は、端末IDが「01aa」の要求元端末(端末10aa)と、端末IDが「01db」の宛先端末(端末10db)との間で、画像データ及び音声データを中継しており、宛先端末(端末10db)において「2009年11月10日の14時00分」時点における画像データの遅延時間が200(ms)であることが示されている。なお、2つの端末10の間でテレビ会議を行う場合には、上記宛先端末ではなく要求元端末から送信されてきた遅延情報に基づいて、遅延情報の受信日時を管理してもよい。但し、3つ以上の端末10の間でテレビ会議を行う場合には、画像データ及び音声データの受信側の端末10から送信されてきた遅延情報に基づいて、遅延情報の受信日時を管理する。
(Session management table)
Further, in the storage unit 5000, a session management DB 5005 configured of a session management table as shown in FIG. 15 is constructed. In this session management table, for each session ID for selection used to execute a session for selecting the
(アドレス優先度管理テーブル)
更に、記憶部5000には、図16に示されているようなアドレス優先度管理テーブルによって構成されている優先度管理DB5006が構築されている。このアドレス優先度管理テーブルでは、任意の端末10と任意の中継装置30において、一般的なIPv4におけるIPアドレスのうちの4組のドットアドレス(Dot Address)部分の「同」が多い程、アドレス優先度のポイントが高くなるように、ドットアドレスの同異とアドレス優先度とが関連付けられて管理される。この「同」は、ドットアドレス部分が同じであることを意味し、「異」は、ドットアドレス部分が異なることを意味する。例えば、図16に示されているアドレス優先度管理テーブルにおいて、ドットアドレスの上位から下位にかけて3つの値が同じIPアドレスの場合には、アドレス優先度のポイントが「5」である。ドットアドレスの上位から下位にかけて2つの値が同じIPアドレスの場合には、アドレス優先度のポイントが「3」である。この場合、最下位のドットアドレスの値が同じであるか否かは優先度に関係ない。ドットアドレスの最上位の値が同じで、上位から2番目の値が異なるIPアドレスの場合には、アドレス優先度のポイントが「1」である。この場合、上位から3番目及び最下位のドットアドレスの値が同じであるか否かは優先度には関係ない。ドットアドレスの最上位の値が異なるIPアドレスの場合には、アドレス優先度のポイントが「0」である。この場合、上位から2番目、3番目、及び最下位のドットアドレスの値が同じであるか否かは優先度には関係ない。
(Address priority management table)
Furthermore, in the storage unit 5000, a priority management DB 5006 configured by an address priority management table as shown in FIG. 16 is constructed. In this address priority management table, in the
(伝送速度優先度管理テーブル)
また、記憶部5000に構築されている優先度管理DB5006には、図17に示されているような伝送速度優先度管理テーブルも含まれている。この伝送速度優先度管理テーブルでは、中継装置30における最大データ伝送速度(Mbps)の値が大きくなる程、伝送速度優先度のポイントが高くなるように、最大テータ伝送速度と伝送速度優先度とが関連付けられて管理される。例えば、図17に示されている伝送速度優先度管理テーブルにおいて、中継装置30における最大データ伝送速度が1000Mbps以上の場合には、伝送速度優先度のポイントが「5」である。中継装置30における最大データ伝送速度が100Mbps以上1000Mbps未満の場合には、伝送速度優先度のポイントが「3」である。中継装置30における最大データ伝送速度が10Mbps以上100Mbps未満の場合には、伝送速度優先度のポイントが「1」である。中継装置30における最大データ伝送速度が10Mbps未満の場合には、伝送速度優先度のポイントが「0」である。
(Transmission speed priority management table)
The priority management DB 5006 built in the storage unit 5000 also includes a transmission speed priority management table as shown in FIG. In this transmission speed priority management table, the maximum data transmission speed and transmission speed priority are set so that the point of transmission speed priority becomes higher as the value of the maximum data transmission speed (Mbps) in the
(品質管理テーブル)
更に、記憶部5000には、図18に示されているような品質管理テーブルによって構成されている品質管理DB5007が構築されている。この品質管理テーブルでは、要求元端末又は宛先端末における画像データの遅延時間(ms)が長い程、中継装置30で中継させる画像データの画質を下げるように、画像データの遅延時間と画像データの画質(画像の品質)とが関連付けられて管理される。
(Quality control table)
Further, in the storage unit 5000, a quality management DB 5007 configured of a quality management table as shown in FIG. 18 is constructed. In this quality management table, the delay time of the image data and the image quality of the image data are reduced so that the image quality of the image data relayed by the
(管理システムの各機能構成)
次に、管理システム50の各機能構成について詳細に説明する。なお、以下では、管理システム50の各機能構成を説明するにあたって、図6に示されている各構成要素のうち、管理システム50の各機能構成を実現させるための主な構成要素との関係も説明する。
(Each functional configuration of management system)
Next, each functional configuration of the
送受信部51は、図6に示されているCPU201からの命令、及び図6に示されているネットワークI/F209によって実行され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。
The transmission /
端末認証部52は、図6に示されているCPU201からの命令によって実現され、送受信部51を介して受信されたログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、記憶部5000の端末認証管理DB5002を検索し、端末認証管理DB5002に同一の端末ID及びパスワードが管理されているかを判断することによって端末認証を行う。
The
状態管理部53は、図6に示されているCPU201からの命令によって実現され、ログイン要求してきた要求元端末の稼動状態を管理すべく、端末管理DB5003(図13参照)に、この要求元端末の端末ID、要求元端末の稼動状態、管理システム50でログイン要求情報が受信された受信日時、及び要求元端末のIPアドレスを関連付けて記憶して管理する。また、状態管理部53は、利用者が端末10の電源スイッチ109の状態をONからOFFにすることで、端末10から送られてきた、電源をOFFする旨の状態情報に基づいて、端末管理DB5003(図13参照)のオンラインを示す稼動状態をオフラインに変更する。
The
端末抽出部54は、図6に示されているCPU201からの命令によって実現され、ログイン要求した要求元端末の端末IDをキーとして、宛先リスト管理DB5004(図14参照)を検索し、要求元端末と通話することができる宛先端末の候補の端末IDを読み出すことで、端末IDを抽出する。また、端末抽出部54は、ログイン要求してきた要求元端末の端末IDをキーとして、宛先リスト管理DB5004(図14参照)を検索し、上記要求元端末の端末IDを宛先端末の候補として登録している他の要求元端末の端末IDも抽出する。
The
更に、端末抽出部54は、画像通信状態メッセージ(m)を送信した端末の端末IDを要求元端末の端末IDとして、宛先リスト管理DB5004を検索することにより、対応する宛先端末の端末IDを全て抽出する。
Furthermore, the
端末状態抽出部55は、図6に示されているCPU201からの命令によって実現され、上記端末抽出部54によって抽出された宛先端末の候補の端末IDを検索キーとして、端末管理DB5003(図13参照)を検索し、上記端末抽出部54によって抽出された端末ID毎に稼動状態を読み出す。これにより、端末状態抽出部55は、ログイン要求してきた要求元端末と通話することができる宛先端末の候補の稼動状態を取得することができる。また、端末状態抽出部55は、上記端末抽出部54によって抽出された端末IDを検索キーとして、端末管理DB5003を検索し、ログイン要求してきた要求元端末の稼動状態も取得する。
The terminal
更に、端末状態抽出部55は、宛先端末の端末IDを検索キーとして端末管理DB5003(図13参照)を検索することにより、対応する画像通信状態情報を抽出する。また、端末状態抽出部55は、端末管理DB5003(図13参照)を参照し、画像通信中の端末10、画像通信停止中の端末10、又は、画像通信機能を有している端末10のIPアドレスを抽出する。
Furthermore, the terminal
一次絞込部56は、図6に示されているCPU201からの命令によって実現され、複数の中継装置30から最終的に1つの中継装置30に絞り込む最終絞り込み処理を支援するため、この最終絞り込み処理前の一次絞り込み処理を行う。そのために、一次絞込部56は、図5に示されているCPU201からの命令によって、図9に示されているように、選択用セッションID生成部56a、端末IPアドレス抽出部56b、一次選択部56c、及び優先度決定部56dを実現する。
The primary narrowing-down
このうち、選択用セッションID生成部56aは、中継装置30を選択するためのセッションの実行に用いられる選択用セッションIDを生成する。端末IPアドレス抽出部56bは、要求元端末から送られてきた開始要求情報に含まれている要求元端末の端末ID、及宛先端末の端末IDに基づいて、端末管理DB5003(図13参照)を検索することにより、対応するそれぞれの端末10のIPアドレスを抽出する。一次選択部56cは、中継装置管理DB5001(図11参照)で管理されている中継装置30のうち、稼動状態が「オンライン」となっている中継装置30の中継装置IDを選択することにより、中継装置30の選択を行う。
Among these, the selection session ID generation unit 56 a generates a selection session ID used to execute a session for selecting the
また、一次選択部56cは、上記端末IPアドレス抽出部56bによって抽出された、要求元端末のIPアドレス、及び宛先端末のIPアドレスに基づいて、中継装置管理DB5001(図11参照)を検索することにより、上記選択された中継装置30のIPアドレスのドットアドレス毎に、上記要求元端末及び宛先端末の各IPアドレスにおける各ドットアドレスと同じであるか異なるかを調査する。更に、一次選択部56cは、中継装置毎に、アドレス優先度のポイントにおいて端末10に対する高い方のポイントと、伝送速度優先度のポイントを統合した統合ポイントのうち、ポイントが高い上位2つの中継装置30を選択することにより、中継装置30の更なる選択を行う。なお、本実施形態では、ポイントが高い上位2つの中継装置30を選択することにしているが、これに限られるものではなく、中継装置30を1つでも多く絞り込むことができれば、ポイントが高い上位3つ以上の中継装置30を選択するようにしてもよい。
Also, the
優先度決定部56dは、優先度管理DB5006(図16参照)を参照して、上記一次選択部56cによって調査された中継装置30毎に、アドレス優先度のポイントを決定する。また、優先度決定部56dは、中継装置管理DB5001(図11参照)で管理されている各中継装置30の最大データ伝送速度に基づいて、優先度管理DB5006(図17参照)を検索することにより、上記一次選択部56cによる第1次の絞り込み処理によって絞り込まれた中継装置30毎に伝送速度優先度のポイントを決定する。
The
続いて、セッション管理部57は、図6に示されているCPU201からの命令によって実現され、記憶部5000のセッション管理DB5005(図15参照)に、選択用セッションID生成部56aで生成された選択用セッションID、要求元端末の端末ID、及び宛先端末の端末IDを関連付けて記憶して管理する。また、セッション管理部57は、セッション管理DB5005(図15参照)に対して、選択用セッションID毎に、端末10の最終選択部16cで最終的に1つに選択された中継装置30の中継装置IDを記憶して管理する。
Subsequently, the
品質決定部58は、上記遅延時間を検索キーとして、品質管理DB5007(図18参照)を検索し、対応する画像データの画質を抽出することで、中継装置30に中継させる画像データの画質を決定する。
The
記憶・読出処理部59は、図6に示されているCPU201からの命令、及び図6に示されているHDD205によって実行され、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出す処理を行う。
Storage /
遅延時間管理部60は、図6に示されているCPU201からの命令によって実現され、上記宛先端末のIPアドレスを検索キーとして、端末管理DB5003(図13参照)を検索することで、対応する端末IDを抽出し、更に、セッション管理DB5005(図15参照)のセッション管理テーブルにおいて、上記抽出した端末IDが含まれるレコードにおける遅延時間のフィールド部分に、上記遅延情報で示されている遅延時間を記憶して管理する。
The delay
メッセージ作成部61は、各端末30の画像通信状態に応じた通信制御メッセージを作成する。この通信制御メッセージを作成する処理に関しては、後ほど図28を用いて詳細に説明する。また、メッセージ作成部61は、端末10から送られてきた画像通信状態メッセージ(m)から、送信元の端末10に係る画像通信状態情報、及び端末10のIPアドレスを取得する。更に、メッセージ作成部61は、端末管理DB5003(図13参照)において、画像通信状態メッセージ(m)から取得されたIPアドレスに対応する画像通信状態の属性部分に、画像通信状態メッセージ(m)から取得された画像通信状態情報を上書きして書き換える。
The
また、メッセージ作成部61は、端末管理DB5003(図13参照)から、画像通信状態メッセージ(m)から取得されたIPアドレスに対応した端末IDを抽出する。更に、メッセージ作成部61は、端末管理DB5003(図13参照)から抽出された画像通信状態情報を参照して、要求元端末と全ての宛先端末のそれぞれが画像通信機能を有しているかを判断する。
Further, the
<<実施形態の処理または動作>>
次に、図19乃至図33を用いて、本実施形態に係る伝送システム1における処理方法を説明する。なお、図19は、各中継装置30から管理システム50に送信された各中継装置30の状態を示す状態情報を管理する処理を示したシーケンス図である。図20は、複数の端末10の間で通話を開始する準備段階の処理を示したシーケンス図である。図21は、中継装置30を絞り込む処理を示したシーケンス図である。図22は、中継装置30を絞り込む処理を示した処理フロー図である。図23は、中継装置30の絞り込み処理を行う際の優先度のポイントの計算状態を示した図である。図24は、端末10が中継装置30を選択する処理を示したシーケンス図である。図25は、端末で中継装置30を選択する処理を示した処理フロー図である。図33は、端末間で画像データ及び音声データを送受信する処理を示したシーケンス図である。
<< Process or Operation of Embodiment >>
Next, a processing method in the
まず、図19を用いて、各中継装置30から管理システム50に送信された各中継装置30の状態を示す状態情報を管理する処理を説明する。まず、各中継装置30では、図7に示されている状態検知部32が、自装置である中継装置30の稼動状態を定期的に検知している(ステップS1−1〜4)。そして、管理システム50側で各中継装置30の稼動状態をリアルタイムで管理させるべく、各中継装置30の送受信部31は、定期的に通信ネットワーク2を介して管理システム50へ各状態情報を送信する(ステップS2−1〜4)。これら各状態情報には、中継装置30毎の中継装置IDと、これら各中継装置IDに係る中継装置30の状態検知部32で検知された稼動状態とが含まれている。なお、本実施形態では、中継装置(30a,30b,30d)は、正常に稼動して「オンライン」となっている一方で、中継装置30cは稼働中ではあるが、中継装置30cの中継動作を実行するためのプログラムに何らかの不具合が生じて、「オフライン」となっている場合が示されている。
First, processing for managing state information indicating the state of each
次に、管理システム50では、各中継装置30から送られて来た各状態情報を送受信部51が受信し、記憶・読出処理部59を介して記憶部5000の中継装置管理DB5001(図11参照)に、中継装置ID毎に状態情報を記憶して管理する(ステップS3−1〜4)。これにより、図11に示されるような中継装置管理テーブルに対して、中継装置ID毎に「オンライン」、「オフライン」、又は「故障中」のいずれかの稼動状態が記憶されて管理される。またこの際に、中継装置ID毎に、管理システム50で状態情報が受信された受信日時も記憶されて管理される。なお、中継装置30から状態情報が送られない場合には、図11に示されている中継装置管理テーブルの各レコードにおける稼動状態のフィールド部分及び受信日時のフィールド部分が空白になるか、又は、前回の受信時の稼動状態及び受信日時をそれぞれ示す。
Next, in the
次に、図20を用いて、端末10aaと端末10dbとの間で、通話を開始する前の準備段階における各管理情報の送受信処理について説明する。なお、図20では、全て図2に示されている管理情報用セッションseiによって、各種管理情報が送受信される。 Next, transmission / reception processing of each management information in the preparation stage before the start of a call between the terminal 10aa and the terminal 10db will be described using FIG. In FIG. 20, various management information is transmitted and received by the management information session sei shown in FIG.
まず、利用者が、図5に示されている電源スイッチ109をONにすると、図7に示されている操作入力受付部12が電源ONを受け付けて、電源をONにする(ステップS21)。そして、ログイン要求部13は、上記電源ONの受け付けを契機とし、送受信部11から通信ネットワーク2を介して管理システム50に、ログイン要求を示すログイン要求情報を自動的に送信する(ステップS22)。このログイン要求情報には、要求元としての自端末である端末10aaを識別するための端末ID及びパスワードが含まれている。これら端末ID及びパスワードは、記憶・読出処理部19を介して記憶部1000から読み出されて、送受信部11に送られたデータである。なお、端末10aaから管理システム50へログイン要求情報が送信される際は、受信側である管理システム50は、送信側である端末10abのIPアドレスを把握することができる。
First, when the user turns on the
次に、管理システム50の端末認証部52は、送受信部51を介して受信したログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、記憶部5000の端末認証管理DB5002(図12参照)を検索し、端末認証管理DB5002に同一の端末ID及びパスワードが管理されているかを判断することによって端末認証を行う(ステップS23)。この端末認証部52によって、同一の端末ID及びパスワードが管理されているため、正当な利用権限を有する端末10からのログイン要求であると判断された場合には、状態管理部53は、端末管理DB5003(図13参照)に、端末10aaの端末ID、稼動状態、上記ログイン要求情報が受信された受信日時、及び端末10aaのIPアドレスを関連付けて記憶する(ステップS24)。これにより、図13に示されている端末管理テーブルには、端末ID「01aa」に、稼動状態「オンライン」、受信日時「2009.11.10.13:40」及び端末10aaのIPアドレス「1.2.1.3」が関連付けて管理されることになる。
Next, the
そして、管理システム50の送受信部51は、上記端末認証部52によって得られた認証結果が示された認証結果情報を、通信ネットワーク2を介して、上記ログイン要求してきた要求元端末(端末10aa)に送信する(ステップS25)。本実施形態では、端末認証部52によって正当な利用権限を有する端末であると判断された場合につき、以下続けて説明する。
Then, the transmission /
管理システム50の端末抽出部54は、ログイン要求した要求元端末(端末10aa)の端末ID「01aa」を検索キーとして、宛先リスト管理DB5004(図14参照)を検索し、要求元端末(端末10aa)と通信することができる宛先端末の候補の端末IDを読み出すことによって抽出する(ステップS26)。ここでは、要求元端末(端末10aa)の端末ID「01aa」に対応する宛先端末(端末10ab,10ba,10db)のそれぞれの端末ID(「01ab」、「01ba」、「01db」)が抽出されることになる。
The
次に、端末状態抽出部55は、上記端末抽出部54によって抽出された宛先端末の候補の端末ID(「01ab」、「01ba」、「01db」)を検索キーとして、端末管理DB5003(図13参照)を検索し、上記端末抽出部54によって抽出された端末ID毎に稼動状態(「オフライン」、「オンライン」、「オンライン」)を読み出すことにより、端末(10ab,10ba,10db)の各稼動状態を取得する(ステップS27)。
Next, the terminal
次に、送受信部51は、上記ステップS27で使用された検索キーとしての端末ID(「01ab」、「01ba」、「01db」)と、それぞれに対応する宛先端末(端末10ab,10ba,10db)のそれぞれの稼動状態(「オフライン」、「オンライン」、「オンライン」)とが含まれた宛先状態情報を、通信ネットワーク2を介して要求元端末(端末10aa)に送信する(ステップS28)。これにより、要求元端末(端末10aa)は、この要求元端末(端末10aa)と通信することができる宛先端末の候補である端末(10ab,10ba,10db)の現時点のそれぞれの稼動状態(「オフライン」、「オンライン」、「オンライン」)を把握することができる。
Next, the transmitting / receiving
更に、管理システム50の端末抽出部54は、ログイン要求してきた要求元端末(端末10aa)の端末ID「01aa」を検索キーとして、宛先リスト管理DB5004(図14参照)を検索し、上記要求元端末(端末10aa)の端末ID「01aa」を宛先端末の候補として登録している他の要求元端末の端末IDを抽出する(ステップS29)。図14に示されている宛先リスト管理テーブルでは、抽出される他の要求元端末の端末IDは、「01ab」、「01ba」、及び「01db」である。
Furthermore, the
次に、管理システム50の端末状態抽出部55は、上記ログイン要求して来た要求元端末(端末10aa)の端末ID「01aa」を検索キーとして、端末管理DB5003(図13参照)を検索し、ログイン要求してきた要求元端末(端末10aa)の稼動状態を取得する(ステップS30)。
Next, the terminal
そして、送受信部51は、上記ステップS29で抽出された端末ID(「01ab」、「01ba」、「01db」)に係るそれぞれの端末(10ab,10ba,10db)のうち、端末管理DB5003(図13参照)で稼動状態が「オンライン」となっている端末(10ba,10db)に、上記ステップS30で取得された要求元端末(端末10aa)の端末ID「01aa」と稼動状態「オンライン」が含まれる宛先状態情報を送信する(ステップS31−1,2)。なお、送受信部51が端末(10ba,10db)に宛先状態情報を送信する際に、各端末ID(「01ba」、「01db」)に基づいて、図13に示されている端末管理テーブルで管理されている端末のIPアドレスを参照する。これにより、ログイン要求した要求元端末(端末10aa)を宛先として通信することができる他の宛先端末(端末10db,10ba)のぞれぞれに、上記ログイン要求した要求元端末(端末10aa)の端末ID「01aa」、及び稼動状態「オンライン」を伝えることができる。
Then, the transmission /
一方、他の端末10でも、上記ステップ21と同様に、利用者が図6に示されている電源スイッチ109をONにすると、図7に示されている操作入力受付部12が電源ONを受け付け、上記ステップS22〜S31−1,2の処理と同様の処理を行うため、その説明を省略する。
On the other hand, even in the
続いて、図21を用いて、中継装置30を絞り込む処理を説明する。なお、図21では、全て図21に示されている管理情報用セッションseiによって、各種管理情報が送受信される。また、本実施形態においては、要求元端末(端末10aa)は、宛先の候補としての端末10のうち、上記ステップS32によって受信した端末の状態情報により、稼動状態がオンラインである端末(10ba,10db)の少なくとも一方と通話を行うことができる。そこで、以下では、要求元端末(端末10aa)の利用者が、宛先端末(端末10db)と通話を開始することを選択した場合について説明する。
Subsequently, a process of narrowing down the
まず、利用者が図5に示されている操作ボタン108を押下して端末10dbを選択すると、図7に示されている操作入力受付部12は、宛先端末(端末10db)との通話を開始する要求を受け付ける(ステップS41)。そして、要求元端末(端末10aa)の送受信部11は、端末10aaの端末ID「01aa」、及び宛先端末(端末10db)の端末ID「01db」が含まれ、通話を開始したい旨を示す開始要求情報を、管理システム50へ送信する(ステップS42)。これにより、管理システム50の送受信部51は、上記開始要求情報を受信すると共に、送信元である要求元端末(端末10aa)のIPアドレス「1.2.1.3」を把握することができる。
First, when the user presses the
そして、状態管理部53は、開始要求情報に含まれる要求元端末(端末10aa)の端末ID「01aa」及び宛先端末(端末10db)の端末ID「01db」に基づき、端末管理DB5003(図13参照)の端末管理テーブルにおいて、上記端末ID「01aa」及び端末ID「01db」がそれぞれ含まれるレコードの稼動状態のフィールド部分を、ともに「通話中」に変更する(ステップS43)。なお、この状態では、要求元端末(端末10aa)と宛先端末(端末10db)は、通話を開始していないが、通話中状態となり、他の端末10が要求元端末(端末10aa)又は宛先端末(端末10db)と通話しようとすると、いわゆる通話中状態を示す旨の通知音又は表示が出力される。
Then, based on the terminal ID "01aa" of the request source terminal (terminal 10aa) and the terminal ID "01db" of the destination terminal (terminal 10db) included in the start request information, the
次に、中継装置30を選択するためのセッションを実行する処理を説明する。まず、図9に示されている選択用セッションID生成部56aは、中継装置30を選択するためのセッションの実行に用いられる選択用セッションIDを生成する(ステップS44)。そして、セッション管理部57は、記憶部5000のセッション管理DB5005(図15参照)に、上記ステップS44で生成された選択用セッションID「se1」、要求元端末(端末10aa)の端末ID「01aa」、及び宛先端末(端末10db)の端末ID「01db」を関連付けて記憶して管理する(ステップS45)。
Next, processing for executing a session for selecting the
次に、図7に示されている管理システム50の一次絞込部56は、中継装置管理DB5001、端末管理DB5003、及び優先度管理DB5006に基づいて、要求元端末(端末10aa)と、宛先端末(端末10db)との通話を中継するための中継装置30の一次絞り込みを行う(ステップS46)。
Next, the primary narrowing-down
ここで、図9及び図22を用いて、ステップS46における処理を更に詳細に説明する。まず、図9に示されている端末IPアドレス抽出部56bは、要求元端末(端末10aa)から送られてきた開始通信情報に含まれている要求元端末(端末10aa)の端末ID「01aa」、及宛先端末(端末10db)の端末ID「01db」に基づいて、端末管理DB5003(図13参照)を検索することにより、それぞれに対応する端末(10aa,10db)のIPアドレス(「1.2.1.3」,「1.3.2.4」)を抽出する(ステップS46−1)。
Here, the process in step S46 will be described in more detail using FIG. 9 and FIG. First, the terminal IP
次に、一次選択部56cは、中継装置管理DB5001(図11参照)で管理されている中継装置30の稼動状態のうち、「オンライン」になっている中継装置(30a,30b,30d)の各中継装置ID(111a,111b,111d)を選択する(ステップS46−2)。また、一次選択部56cは、上記ステップS46−1で抽出された、要求元端末(端末10aa)のIPアドレス「1.2.1.3」、及び宛先端末(端末10db)のIPアドレス「1.3.2.4」に基づいて、中継装置管理DB5001(図11参照)を検索することにより、上記ステップS46−2によって選択された中継装置(30a,30b,30d)の各IPアドレス(「1.2.1.2.」,「1.2.2.2」,「1.3.2.2」)のドットアドレス毎に、上記要求元端末(端末10aa)及び宛先端末(端末10db)の各IPアドレス(「1.2.1.3」,「1.3.2.4」)における各ドットアドレスと同じであるか異なるかを調査する(ステップS46−3)。
Next, among the operation states of the
次に、優先度決定部56dは、優先度管理DB5006(図16参照)を参照して、上記ステップ46−3によって調査された中継装置(30a,30b,30d)毎に、アドレス優先度のポイントを決定する(ステップS46−4)。この決定処理の結果を表に表すと、図23に示されているような状態になる。なお、図23は、中継装置30の絞り込み処理を行う際の優先度のポイントの計算状態を示した図である。この図23では、中継装置ID毎に、アドレス優先度のポイント、伝送速度優先度のポイント、及び統合ポイントが示されている。また、アドレス優先度のポイントは、更に、各中継装置30の要求元端末(端末10aa)に対するポイント及び宛先端末(端末10db)に対するポイントが示されている。統合ポイントは、アドレス優先度の2つのポイントのうちの高い方のポイントと、伝送速度優先度のポイントの合計である。
Next, the
本実施形態では、中継装置30aのIPアドレス「1.2.1.2」は要求元端末(端末10aa)のIPアドレス「1.2.1.3」に対して、「同.同.同.異」であるため、図23に示されているように、アドレス優先度のポイントは「5」になる。また、図1に示されているように、中継装置30aのIPアドレス「1.2.1.2」は宛先端末(端末10db)のIPアドレス「1.3.2.4」に対して、図16に示されているように、「同.異.異.異」であるため、図23に示されているように、アドレス優先度のポイントは「1」になる。また、中継装置30bのIPアドレス「1.2.2.2」は要求元端末(端末10aa)のIPアドレス「1.2.1.3」に対して、「同.同.異.異」であるため、アドレス優先度のポイントは「3」になる。また、中継装置30bのIPアドレス「1.2.2.2」は宛先端末(端末10db)のIPアドレス「1.3.2.4」に対して、「同.異.同.異」であるため、アドレス優先度のポイントは「1」になる。更に、中継装置30dのIPアドレス「1.3.2.2」は要求元端末(端末10aa)のIPアドレス「1.2.1.3」に対して、「同.異.異.異」であるため、アドレス優先度のポイントは「1」になる。また、中継装置30dのIPアドレス「1.3.2.2」は宛先端末(端末10db)のIPアドレス「1.3.2.4」に対して、「同.同.同.異」であるため、アドレス優先度のポイントは「5」になる。
In the present embodiment, the IP address "1.2.1.2" of the
次に、図22に戻って、優先度決定部56dは、中継装置管理DB5001(図11参照)で管理されている各中継装置30の最大データ伝送速度に基づいて、優先度管理DB5006(図17参照)を検索することにより、上記ステップS46−2によって第1次絞り込み処理によって絞り込まれた中継装置(30a,30b,30d)毎に伝送速度優先度のポイントを決定する(ステップS46−5)。本実施形態では、図11に示されているように、中継装置30aの最大データ伝送速度が100(Mbps)であるため、図17に示されている伝送速度優先度を参照すると、伝送速度優先度が3ポイントになる。また、同様に、中継装置30bの最大データ伝送速度について計算すると1000(Mbps)であるため、伝送速度優先度が5ポイントになる。また同様に、中継装置30dの最大データ伝送速度について計算すると10(Mbps)であるため、伝送速度優先度が1ポイントになる。
Next, referring back to FIG. 22, based on the maximum data transmission speed of each
次に、一次選択部56cは、中継装置(30a,30b,30d)毎に、アドレス優先度のポイントにおいて端末(10aa,10db)のうち高い方のポイントと、伝送速度優先度のポイントを統合した統合ポイントのうち、ポイントが高い上位2つの中継装置30を選択する(ステップ46−6)。本実施形態では、図23に示されているように、中継装置ID(111a,111b,111d)は、それぞれ統合ポイントが「8」、「8」、「6」であるため、中継装置ID「111a」に係る中継装置30a、及び中継装置ID「111b」に係る中継装置30bが選択されることになる。
Next, the
以上のステップS46における絞り込み処理が終了すると、図7に示されている送受信部51は、通信ネットワーク2を介して、宛先端末(端末10db)へ、上記絞り込まれた中継装置30の数を伝達するための中継装置絞込情報を送信する(ステップS47)。この中継装置絞込情報には、上記ステップ46によって絞り込まれた中継装置30の数「2」、要求元端末(端末10aa)の端末ID「01aa」、及び上記選択用セッションID「se1」が含まれている。これにより、端末10dbは、選択用セッションID「se1」におけるセッションの実行において、中継装置30の数がいくつで、どの端末10から通話を開始したいとの要求があったのかを把握することができると共に、中継装置絞込情報の送信元である管理システム50のIPアドレス「1.1.1.2」を把握することができる。
When the narrowing-down process in step S46 described above is completed, the transmitting / receiving
そして、端末10dbは、送受信部11から通信ネットワーク2を介して管理システム50へ、上記中継装置絞込情報の受信が完了した旨を示す受信完了情報を送信する(ステップS48)。この受信完了情報には、セッションID「se1」が含まれている。これにより、管理システム50は、セッションID「se1」で実行されている中継装置数の伝達が完了した旨と共に、送信元である宛先端末(端末10db)のIPアドレス「1.3.2.4」を把握することができる。
Then, the terminal 10 db transmits reception completion information indicating that the reception of the relay apparatus narrowing down information is completed from the transmission / reception unit 11 to the
次に、図24及び図25を用いて、宛先端末(端末10db)が中継装置30を選択する処理を説明する。なお、図24では、全て図2に示されている管理情報用セッションseiによって、各種管理情報が送受信される。
Next, a process in which the destination terminal (terminal 10db) selects the
まず、管理システム50は、テレビ会議の通話を開始する前に、上記ステップS46によって絞り込まれた中継装置(30a,30b)のそれぞれに対して、事前に中継を要求する旨の事前中継要求情報を送信する(ステップS61−1,2)。この事前中継要求情報には、セッションID「se1」、要求元端末(端末10aa)のIPアドレス「1.2.1.3」、及び宛先端末(端末10db)のIPアドレス「1.3.2.4」が含まれている。これにより、各中継装置(30a,30b)は、どの選択用セッションのものであるか、要求元端末が何であるか、及び宛先端末が何であるかを把握することができると共に、事前中継要求情報の送信元である管理システム50のIPアドレス「1.1.1.2」を把握することができる。
First, before starting a video conference call, the
次に、各中継装置(30a,30b)のそれぞれは、送受信部31から通信ネットワーク2を介して、上記ステップS61−1,2によって把握した要求元端末(端末10aa)へ、通話の開始前に自装置としての各中継装置(30a,30b)へ、後述のping(Packet Internet Groper)が含まれた事前送信情報を送信させる旨を示す事前送信要求情報を送信する(ステップS62−1,2)。この事前送信情報には、セッションID「se1」が含まれている。これにより、要求元端末(端末10aa)は、セッションID「se1」で実行されている中継装置30の選択処理において、各中継装置(30a,30b)に事前送信情報を送信することを把握すると共に、事前送信要求情報の送信元である中継装置(30a,30b)のそれぞれのIPアドレス(「1.2.1.2」,「1.2.2.2」)を把握することができる。
Next, each of the relay devices (30a, 30b) transmits the call from the transmission /
なお、管理システム50から直接、要求元端末に対して、宛先端末のIPアドレスを通知せずに、上記ステップS61−1のように中継装置30aに対して宛先端末のIPアドレスを通知し、上記ステップS61−2のように中継装置30aが要求元端末に対し、自装置(中継装置30a)に対して事前送信要求情報を送信するように要求するのは、各端末10には、他の端末10のIPアドレスを知らせないようにして、セキュリティーを確保するためである。
The
次に、要求元端末(端末10aa)は、送受信部11から通信ネットワーク2を介して各中継装置(30a,30b)へ事前送信情報を送信する(ステップS63−1,2)。この事前送信情報は、画像データ及び音声データの送信に先立って、これら画像データ及び音声データの代わりに各中継装置(30a,30b)を介して宛先端末(端末10db)へ送信されることで、要求元端末(端末10aa)の送信から宛先端末(端末10db)の受信までの所要時間を計測するために用いられる情報である。また、この事前送信情報には、要求元端末(端末10aa)、中継装置(30a,30b)、及び宛先端末(端末10db)が通信可能に接続されていることを確認するためのping、要求元端末(端末10aa)から事前送信情報が送信された送信日時、及びセッションID「se1」が含まれている。これにより、各中継装置(30a,30b)は、選択用セッションID「se1」におけるセッションの実行において、事前送信情報が送られて来たことを把握できると共に、この事前送信情報の送信元である要求元端末(端末10aa)のIPアドレス「1.2.1.3」を把握することができる。
Next, the request source terminal (terminal 10aa) transmits the prior transmission information from the transmission / reception unit 11 to each of the relay devices (30a, 30b) via the communication network 2 (steps S63-1 and 2). The prior transmission information is transmitted to the destination terminal (terminal 10db) via the relay devices (30a, 30b) instead of the image data and audio data prior to transmission of the image data and audio data. It is information used to measure the required time from the transmission of the request source terminal (terminal 10aa) to the reception of the destination terminal (terminal 10db). Further, in the prior transmission information, ping for confirming that the request source terminal (terminal 10 aa), the relay apparatuses (30 a, 30 b), and the destination terminal (
次に、各中継装置(30a,30b)は、上記ステップS61−1,2によって受信された事前中継要求情報に含まれている宛先端末(端末10db)のIPアドレス「1.3.2.4」に対して、上記事前送信情報を中継する(ステップS64−1,2)。これにより、宛先端末(端末10db)は、セッションID「se1」におけるセッションの実行において、事前送信情報が送られて来たことを把握できると共に、この事前送信情報の送信元(中継元)である中継装置(30a,30b)のIPアドレス(「1.2.1.2」,「1.2.2.2」)を把握することができる。 Next, each relay device (30a, 30b) transmits the IP address “1.3.2.4 of the destination terminal (terminal 10db) included in the prior relay request information received in step S61-1 and 2). , Relay the above-mentioned prior transmission information (step S64-1, 2). Thereby, the destination terminal (terminal 10db) can grasp that the preliminary transmission information has been sent in the execution of the session with the session ID "se1", and is the transmission source (relay source) of the preliminary transmission information. The IP addresses (“1.2.1.2”, “1.2.2.2”) of the relay devices (30a, 30b) can be grasped.
次に、宛先端末(端末10db)の最終絞込部16は、事前送信情報に基づいて、最終的にテレビ会議の通話で画像データ及び音声データを中継する1つの中継装置30に絞り込む(ステップS65)。
Next, the
ここで、図8及び図25を用いて、ステップS65における処理を更に詳細に説明する。まず、図8に示されている最終絞込部16の計測部16aは、各中継装置(30a,30b)によって中継された事前送信情報毎に、端末10dbの送受信部11で受信した際の受信日時を計測する(ステップS65−1)。次に、算出部16bは、上記受信時間が計測された事前送信情報毎に、上記受信日時と上記事前送信情報に含まれている送信日時との差に基づいて、各事前送信情報の送信から受信までの所要時間を算出する(ステップS65−2)。次に、最終選択部16cは、セッションID「se1」におけるセッションの実行において、中継予定の中継装置30の数「2」に相当する数の事前送信情報を全て受信したかを判断する(ステップS65−3)。そして、全て受信していない場合には(NO)、最終選択部16cは、端末10dbで事前送信情報を受信してから所定時間(ここでは1分間)経過したかを判断する(ステップS65−4)。更に、所定時間経過していない場合には(NO)、上記ステップS65−1に戻る。一方、上記ステップ65−3において、全て受信した場合(YES)、又は上記ステップS65−4において、所定時間経過した場合(YES)には、最終選択部16cは、これまでに算出部16bで算出された所要時間のうち最短の所要時間を要した事前送信情報を中継した中継装置30を1つ選択する(ステップS65−5)。本実施形態では、中継装置30aによって中継された事前送信情報が、中継装置30bによって中継された事前送信情報よりも送信から受信までの所要時間が短かったものとして、中継装置30aが選択される例を示している。
Here, the process in step S65 will be described in more detail using FIG. 8 and FIG. First, the measuring
次に、宛先端末(端末10db)は、送受信部11から通信ネットワーク2を介して管理システム50へ、中継装置30aを選択した旨を示す選択情報を送信する(ステップS66)。この選択情報には、セッションID「se1」、及び、選択された中継装置30aの中継装置ID「111a」が含まれている。これにより、管理システム50は、セッションID「se1」におけるセッションの実行において、中継装置30aが選択されたことを把握できると共に、選択情報の送信元である宛先端末(端末10db)のIPアドレス「1.3.2.4」を把握することができる。
Next, the destination terminal (terminal 10db) transmits selection information indicating that the
次に、管理システム50のセッション管理部57は、セッション管理DB5005(図15参照)のセッション管理テーブルにおいて、セッションID「se1」が含まれるレコードの中継装置IDのフィールド部分に、上記最終的に1つに選択された中継装置30aの中継装置ID「111a」を記憶して管理する(ステップS67)。そして、管理システム50の送受信部51は、通信ネットワーク2を介して中継装置30aへ、中継を開始する旨の要求が示された中継開始要求情報を送信する(ステップS68)。この中継開始要求情報には、中継される要求元端末(端末10aa)及び宛先端末(端末10db)の各IPアドレス(「1.2.1.3」,「1.3.2.4」)が含まれている。これにより、中継装置30aは、自装置である中継装置30aが選択されたことを把握できるため、端末(10aa,10db)の間で、低解像度、中解像度、及び高解像度の3つ画像データ、並びに、音声データを通話するためのセッションを確立する(ステップS69)。よって、端末(10aa,10db)は、テレビ会議の通話を開始することができる。
Next, in the session management table of the session management DB 5005 (see FIG. 15), the
なお、上記ステップS47において、管理システム50が宛先端末(端末10db)に中継装置絞込情報を送信することに伴い、ステップS48〜S64−1,2を経て、宛先端末(端末10db)側で中継装置の選択処理(ステップS65)を行ったが、これに限るものではなく、上記ステップS47において、管理システム50が要求元端末(端末10aa)に中継装置絞込情報を送信することで、その後ステップS64−1,2までは、各情報の送信元と受信元が、要求元端末(端末10aa)と宛先端末(端末10db)とで入れ替わるようにしてもよい。これにより、要求元端末(端末10aa)が上記ステップS65に替わって中継装置の選択処理を行うことができ、また、上記ステップS66に替わって選択情報の送信も行うことができる。
In step S47, as the
続いて、図26乃至図28を用いて、他拠点(複数の端末10)でテレビ会議を行う場合において、通信制御メッセージが作成されて各端末10に送信された後、各端末10で通信制御メッセージに基づく処理が行われるまでの処理を説明する。図26では、端末10aa、端末10ba、及び端末10dbの3つによってテレビ会議を行う場合が示されている。なお、図26は、通信制御メッセージの作成及び送受信する処理を示したシーケンス図である。図27は、主に通信制御メッセージを作成する処理を示したフロー図である。図28は、通信制御メッセージを作成する処理の一部を詳細に示したフロー図である。なお、本実施形態では、多拠点としての3つの端末(10aa,10ba,10db)が会議する場合について説明する。 Subsequently, when performing a video conference at another site (a plurality of terminals 10) using FIGS. 26 to 28, after a communication control message is created and transmitted to each terminal 10, communication control is performed in each terminal 10 A process until processing based on a message is described. FIG. 26 shows a case where a video conference is performed by three terminals 10aa, 10ba, and 10db. FIG. 26 is a sequence diagram showing a process of creating and transmitting and receiving a communication control message. FIG. 27 is a flow diagram mainly showing a process of creating a communication control message. FIG. 28 is a flowchart showing in detail a part of the process of creating a communication control message. In the present embodiment, a case will be described where three terminals (10 aa, 10 ba, 10 db) as multi-sites meet.
まず、図26に示されているように、各端末10(ここでは、端末10aa)のメッセージ作成部20は、記憶部1000から、予め記憶されている画像通信状態情報を読み出して、この画像通信状態情報を含んだ画像通信状態メッセージ(m)を作成する(ステップS71)。この画像通信状態メッセージ(m)には、この端末10aaのIPアドレス「1.2.1.3」が含まれている。なお、IPアドレスの代わりに、宛先名が含まれてもよい。この画像通信状態メッセージ(m)は、例えば,RFC3921のXMPP(eXtensible Messaging and Presence Protocol)に従うXML(eXtensible Markup Language)形式で作成することができる。なお、後述する通信制御メッセージや表示制御メッセージも同様の形式で作成される。
First, as shown in FIG. 26, the
次に、端末10aaの送受信部11は、通信ネットワーク2を介して管理システム50へ、上記ステップS71で作成された画像通信状態メッセージ(m)を送信する(ステップS72)。これにより、管理システム50の送受信部51は、画像通信状態メッセージ(m)を受信する。
Next, the transmission / reception unit 11 of the terminal 10aa transmits the image communication status message (m) created in step S71 to the
次に、管理システム50のメッセージ作成部61は、各端末30の画像通信状態に応じた通信制御メッセージを作成する(ステップS73)。このステップS73に関しては、図27を用いて詳細に説明する。
Next, the
まず、メッセージ作成部61は、送受信部51で受信された画像通信状態メッセージ(m)から、送信元の端末10aaに係る画像通信状態情報、及び端末10aaのIPアドレス「1.2.1.3」を取得する(ステップS73−1)。そして、メッセージ作成部61は、端末管理DB5003(図13参照)において、上記ステップS73−1によって取得されたIPアドレスに対応する画像通信状態の属性部分に、上記ステップS73−1によって取得された画像通信状態情報を上書きして書き換える(ステップS73−2)。
First, from the image communication status message (m) received by the transmission /
次に、メッセージ作成部61は、端末管理DB5003(図13参照)から、上記ステップS73−1によって取得されたIPアドレスに対応した端末IDを抽出する(ステップS73−3)。
Next, the
次に、端末抽出部54は、上記ステップS73−3によって抽出された端末IDを要求元端末の端末IDとして、宛先リスト管理DB5004を検索することにより、対応する宛先端末の端末IDを全て抽出する(ステップS73−4)。そして、端末状態抽出部55は、宛先端末の端末IDに基づいて端末管理DB5003(図13参照)を検索することにより、対応する画像通信状態情報を抽出する(ステップS73−5)。
Next, the
次に、メッセージ作成部61は、上記ステップS73−5によって抽出された画像通信状態情報を参照して、要求元端末と全ての宛先端末のそれぞれが画像通信機能を有しているかを判断する(ステップS73−6)。そして、要求元端末と全ての宛先端末のいずれにも画像通信機能がない場合には(NO)、ステップS73の処理は終了する。この場合、後述のステップS74によるメッセージ送信処理(図26、図27参照)は行われない。
Next, the
一方、要求元端末と全ての宛先端末の中のいずれかに画像通信機能がある場合には(YES)、メッセージ作成部61は、各端末10の画像通信状態に応じて、後述の通信制御メッセージを作成する(ステップS73−7)。
On the other hand, if one of the request source terminal and all the destination terminals has the image communication function (YES), the
続いて、図28を用い、上記ステップS73−7に関して更に詳細に説明する。まず、メッセージ作成部61は、上記ステップS73−5によって抽出された画像通信状態を参照して、多拠点による会話中の複数の端末(10aa,10ba,10db)のうち、2つ以上の複数の端末10が画像通信中であるかを判断する(ステップS101)。このステップS101によって、複数の端末10が画像通信中であると判断された場合には(YES)、更にメッセージ作成部61は、残りの端末10のうちで画像通信停止中の端末10があるかを判断する(ステップS102)。このステップS103によって、画像通信停止中の端末10があると判断された場合には(YES)、端末状態抽出部55は、端末管理DB5003(図13参照)を参照し、上記ステップS102によって、あると判断された画像通信停止中の端末10のIPアドレスを抽出する(ステップS103)。そして、メッセージ作成部61は、複数の端末が画像通信中である旨の通信制御メッセージ(M3)を作成する(ステップS104)。具体的には、通信制御メッセージ(M3)は、”MESSAGE_IMAGE_ON”のメッセージの他に、ステップS103で抽出された送信先のIPアドレスと、送信元である管理システム50のIPアドレスとを含む。
Subsequently, step S73-7 will be described in more detail with reference to FIG. First, the
一方、上記ステップS101によって、複数の端末10が画像通信中でないと判断された場合には(NO)、メッセージ作成部61は、上記ステップS73−5によって抽出された画像通信状態を参照して、単一の端末10のみが画像通信中であるかを判断する(ステップS105)。このステップS105によって、単一の端末10のみが画像通信中であると判断された場合には(YES)、更にメッセージ作成部61は、上記ステップS73−5によって抽出された画像通信状態を参照して、画像通信中の端末10以外の全ての端末10が画像通信機能を有していないかを判断する(ステップS106)。このステップS106によって、画像通信中の端末10以外の全ての端末10が画像通信機能を有していないと判断された場合には(YES)、端末状態抽出部55は、端末管理DB5003(図13参照)を参照し、上記ステップS105によって画像通信中であると判断された単一の端末10のIPアドレスを抽出する(ステップS107)。そして、メッセージ作成部61は、画像通信を強制的に停止させる旨の通信制御メッセージ(M4)を作成する(ステップS108)。具体的には、通信制御メッセージ(M4)は、”DATA_IMAGE_OFF”のメッセージの他に、ステップS107で抽出された送信先のIPアドレスと、送信元である管理システム50のIPアドレスとを含む。
On the other hand, when it is determined that the plurality of
一方、上記ステップS106によって、画像通信中の端末10以外の全ての端末10が画像通信機能を有していないと判断されなかった場合には(NO)、即ち、画像通信中の端末10以外の端末10のうち少なくとも1つが画像通信機能を有していると判断された場合には、更にメッセージ作成部61は、上記ステップS73−5によって抽出された画像通信状態を参照して、画像通信機能を有している端末10中に、画像通信停止中の端末10があるかを判断する(ステップS109)。このステップS109によって、画像通信停止中の端末10があると判断された場合には(YES)、端末状態抽出部55は、端末管理DB5003(図13参照)を参照し、上記ステップS105によって、あると判断された画像通信中の端末10のIPアドレスを抽出する(ステップS110)。そして、メッセージ作成部61は、他の複数の端末が画像通信停止中である旨の通信制御メッセージ(M1)を作成する(ステップS104)。具体的には、通信制御メッセージ(M1)は、”MESSAGE_IMAGE_OFF”のメッセージの他に、上記ステップS110で抽出された送信先のIPアドレスと、送信元である管理システム50のIPアドレスとを含む。
On the other hand, if it is not determined in step S106 that all the
更に、端末状態抽出部55は、端末管理DB5003(図13参照)を参照し、上記ステップS109によって、あると判断された画像通信停止中の端末10のIPアドレスを抽出する(ステップS112)。そして、メッセージ作成部61は、他の単一の端末が画像通信中である旨の通信制御メッセージ(M2)を作成する(ステップS113)。具体的には、通信制御メッセージ(M2)は、”MESSAGE_IMAGE_ON”のメッセージの他に、ステップS112で抽出された送信先のIPアドレスと、送信元である管理システム50のIPアドレスとを含む。
Furthermore, the terminal
一方、(1)上記ステップS102によって、残りの端末10のうちで画像通信停止中の端末10があると判断されなかった場合(NO)、(2)上記ステップS105によって、単一の端末10のみが画像通信中でないと判断された場合(NO)、即ち、画像通信中の端末10が全くない場合、又は、(3)上記ステップS109によって、画像通信停止中の端末10がないと判断された場合(NO)には、端末状態抽出部55は、端末管理DB5003(図13参照)を参照し、上記ステップS73−6によって画像通信機能を有していると判断された端末10のIPアドレスを抽出する(ステップS114)。そして、メッセージ作成部61は、複数の端末10の各ディスプレイ120で表示されている所定の表示メッセージを消去させる旨の表示制御メッセージ(M5)を作成する(ステップS115)。具体的には、表示制御メッセージ(M5)は、”MESSAGE_IMAGE_ON”のメッセージの他に、ステップS114で抽出された送信先のIPアドレスと、送信元である管理システム50のIPアドレスとを含む。
On the other hand, (1) when it is not determined that there is a terminal 10 whose image communication is suspended among the remaining
以上より、メッセージ作成部61によって通信制御メッセージ (M1、M2、M3、若しくはM4)、又は表示制御メッセージ(M5)が作成されることになる。
As described above, the communication control message (M1, M2, M3, or M4) or the display control message (M5) is generated by the
次に、管理システム50の送受信部51は、通信ネットワーク2を介して、多拠点による3つの端末(10aa,10ba,10db)に、これらの端末のそれぞれの画像通信状態及び会話相手の端末の画像通信状態に応じて作成された通信制御メッセージ (M1、M2、M3、若しくはM4)、又は表示制御メッセージ(M5)を送信する(ステップS74)。なお、図26では、ステップS74のうち、管理システム50から端末baへの送信がステップS74−1、管理システム50から端末dbへの送信がステップS74−2、管理システム50から端末aaへの送信がステップS74−3で表されている。
Next, the transmitting / receiving
具体的には、上記ステップS103が実行された場合には、管理システム50の送受信部51は、このステップS103で抽出されたIPアドレスに対して、上記ステップS104で作成された通信制御メッセージ(M3)を送信する。また、上記ステップS107が実行された場合には、送受信部51は、このステップS107で抽出されたIPアドレスに対して上記ステップS108で作成された通信制御メッセージ(M4)を送信する。また、上記ステップS110が実行された場合には、送受信部51は、この抽出されたIPアドレスに対して上記ステップS111で作成された通信制御メッセージ(M1)を送信する。また、上記ステップS112が実行された場合には、送受信部51は、このステップS112で抽出されたIPアドレスに対して上記ステップS113で作成された通信制御メッセージ(M2)を送信する。また、上記ステップS114が実行された場合には、送受信部51は、このステップS114で抽出されたIPアドレスに対して上記ステップS115で作成された通信制御メッセージ(M5)を送信する。
Specifically, when step S103 is executed, the transmission /
これにより、各端末(10aa,10ba,10db)は、通信制御メッセージ (M1、M2、M3、若しくはM4)、又は表示制御メッセージ(M5)の内容に基づく処理を行う(ステップS75−1〜3)。 Thereby, each terminal (10aa, 10ba, 10db) performs processing based on the contents of the communication control message (M1, M2, M3, or M4) or the display control message (M5) (steps S75-1 to S3). .
続いて、図7、及び図29乃至図32を用いて、ステップS75−1〜3で行われる処理について説明する。なお、図29乃至図32は、端末10側のディスプレイ120に表示されたテレビ会議用画面の一例を示した図である。このうち、ディスプレイ120に表示されたテレビ会議用画面P1には、メイン画面P2、サブ画面P3、及びサブ画面P4が含まれている。サブ画面P4の下の2つ、及び最下のサブ画面から左側に更に3つのサブ画面が含まれている。また、テレビ会議用画面P1の最下部には、表示メッセージを表示させるメッセージ表示領域P5、上記メイン画面とサブ画面で表示されている画像を切り換える際にマウスのポインタ等で押下される「画面切り換え」ボタンP6、及び、自端末のカメラ112の電源がオンされて自端末側から画像通信を行っているか又は自端末のカメラ112の電源がオフされて自端末側から画像通信を行っていないかを示すカメラアイコンP7が表示されている。なお、カメラアイコンP7に「×」が表示されている場合には、自端末のカメラ112の電源がオンになっている状態であり、利用者がこれから電源をオフにできることが表示されている。一方、カメラアイコンP7に「×」が表示されていない場合には、自端末のカメラ112の電源がオフになっている状態であり、利用者がこれから電源をオンにできることが表示されている。
Subsequently, the processes performed in steps S75-1 to S75-3 will be described with reference to FIG. 7 and FIGS. 29 to 32. FIGS. 29 to 32 are diagrams showing an example of a video conference screen displayed on the
まず、上記ステップS104において、他の複数の端末が画像通信停止中である旨の通信制御メッセージ(M3)が作成された場合、図29に示されているように、端末10の表示制御部17は、ディスプレイ120のメッセージ表示領域P5に、例えば、「他拠点からの画像は受信しています。自端末のカメラはオフです。」という内容の表示メッセージを表示させる。なお、メイン画面P2にはメインとなる相手側の画像が表示されており、サブ画面P3には本来、自端末側の画像が表示されるが、ここでは表示されておらず、更に、サブ画面P4にはサブとなる相手側の画像が表示されている。
First, in the case where a communication control message (M3) indicating that the other plural terminals are stopping image communication is created in the above-mentioned step S104, as shown in FIG. , Displays, for example, a display message of the content “an image from another base is received. The camera of the own terminal is off.” In the message display area P5 of the
これにより、利用者は、図29に示されているテレビ会議用画像P1を見ることで、自端末から画像データを送信していない状態であり、かつ、他端末から画像データが送られて来ている状態であると認識することができる。なお、利用者が、自端末から画像データを送信したい場合には、イコンP7を押下することによって、画像データの送信を開始することができる。このカメラアイコンP7が押下されると、カメラアイコンP7上に「×」が表示される。 Thus, the user sees the image P1 for a video conference shown in FIG. 29, and the image data is not transmitted from the own terminal, and the image data is transmitted from the other terminal. Can be recognized as being in the When the user wants to transmit the image data from the own terminal, the user can start transmitting the image data by pressing the icon P7. When the camera icon P7 is pressed, "x" is displayed on the camera icon P7.
また、上記ステップS108において、画像通信を強制的に停止させる旨の通信制御メッセージ(M4)が作成された場合、CPU101からの命令に従って、端末10の撮像部14は撮像を停止すると共に、送受信部11は画像データの送信を停止する(画像通信を停止する)。また、表示制御部17は、図30に示されているように、テレビ会議用画面P1の全ての画面P2,P3,P4等を非表示とすると共に、カメラアイコンP7から「×」を消去する。なお、撮像部14は、図5に示されているカメラ112だけでなく、外部機器接続I/Fに接続される外付けのカメラも含む。
When a communication control message (M4) for forcibly stopping image communication is created in step S108, the
これにより、利用者は、図30に示されているテレビ会議用画像P1を見ることで、自端末から画像データを送信していない状態であり、自端末のカメラ112は撮像を停止している状態であり、しかも、他端末から画像データが送られて来ていない状態であると認識することができる。
Thus, the user sees the video conference image P1 shown in FIG. 30 and is in a state in which the image data is not transmitted from the own terminal, and the
更に、上記ステップS111において、他の全ての端末が画像通信停止中である旨の通信制御メッセージ(M1)が作成された場合、端末10の表示制御部17は、図31に示されているように、ディスプレイ120のメッセージ表示領域P5に、例えば、「他拠点からの画像は受信していません。自端末のカメラはオンです。」という内容の表示メッセージを表示させる。なお、図31では、メイン画面P2及びサブ画面P4には何も表示されておらず、サブ画面P3には自端末側の画像が表示されている。
Furthermore, when the communication control message (M1) indicating that all the other terminals are in the image communication suspension state is generated in step S111, the
これにより、利用者は、図31に示されているテレビ会議用画面P1を見ることで、自端末のみが画像データを送信している状態であり、かつ、他端末の全てから画像データが送られて来ていない状態であると認識することができる。 Thereby, the user sees the screen P1 for a video conference shown in FIG. 31, and only the own terminal is transmitting image data, and the image data is transmitted from all the other terminals. It can be recognized that it has not been
更にまた、上記ステップS113において、他の単一の端末が画像通信中である旨の通信制御メッセージ(M2)が作成された場合、端末10の表示制御部17は、図32に示されているように、メッセージ表示領域P5に、例えば、「他の1箇所からの画像を受信しています。自端末のカメラはオフです。」という内容の表示メッセージを表示させる。なお、図32では、メイン画面P2には一箇所の相手側の画像が表示されており、サブ画面P3,P4には何も表示されていない。
Furthermore, when a communication control message (M2) indicating that another single terminal is in image communication is created in step S113, the
これにより、利用者は、図32に示されているテレビ会議用画面P1を見ることで、自端末から画像データを送信していない状態であり、かつ、複数の相手側の端末のうち、一箇所のみから画像データが送られて来ている状態であると認識することができる。 Thus, the user sees the teleconference screen P1 shown in FIG. 32 and is in a state of not transmitting image data from the own terminal, and one of the plurality of terminals on the other party side. It can be recognized that the image data is being sent from only the part.
このように、一方の端末10側で図31の画像が表示され、他方の端末10で図32の画像が表示されている場合には、各利用者は、両側の画像通信の状態を合わせることで、お互いに画像通信を行ったり、お互いに画像通信を行わなかったりすることを選択することができる。
Thus, when the image of FIG. 31 is displayed on one
また、上記ステップS115において、表示メッセージを消去する旨の表示制御メッセージ(M5)が作成された場合、端末10の表示制御部17は、メッセージ表示領域P5に表示されている表示メッセージを消去する。
When the display control message (M5) for deleting the display message is created in step S115, the
なお、画像通信機能を有している端末10は、図26のステップS72による処理だけでなく、テレビ会議中に、図29に示されているカメラアイコンP7が押下されることによっても、画像通信状態メッセージを送信することができる。具体的には、利用者によって図29に示されているように「×」が表示されるカメラアイコンP7となるように選択された場合には、端末10のメッセージ作成部20は、画像通信停止中である旨の画像通信状態メッセージを作成する。また、利用者によって図30に示されているように「×」が表示されていないカメラアイコンP7となるように選択された場合には、端末10のメッセージ作成部20は、画像通信中である旨の画像通信状態メッセージを作成する。
Note that the terminal 10 having the image communication function can perform image communication not only by the processing in step S72 of FIG. 26, but also by pressing the camera icon P7 shown in FIG. 29 during the video conference. Status messages can be sent. Specifically, when the user selects the camera icon P7 to be displayed as "x" as shown in FIG. 29, the
続いて、図7及び図33を用いて、要求元端末と宛先端末との間で、テレビ会議の通話を行うために、画像データ及び音声データを送受信する処理を説明する。なお、端末10aaから端末10dbに画像データ及び音声データを送信する一方向の処理と、端末10dbから端末10aaに画像データ及び音声データを送信する逆方向の処理とで、画像データ及び音声データの送受信や後述の遅延時間の検出等は同じ処理であるため、上記一方向の通信について説明し、上記逆方向の通信は省略する。 Subsequently, processing for transmitting and receiving image data and audio data to make a telephone conference call between the request source terminal and the destination terminal will be described with reference to FIGS. 7 and 33. In addition, transmission and reception of image data and audio data in one-way processing of transmitting image data and audio data from terminal 10aa to terminal 10db and processing in the reverse direction of transmitting image data and audio data from terminal 10db to terminal 10aa Since the detection of the delay time, which will be described later, is the same process, the one-way communication will be described, and the reverse communication will be omitted.
まず、要求元端末(端末10aa)は、図2に示されている画像・音声データ用セッションsedによって、撮像部14aで撮像された被写体の画像データ、及び音声入力部15aで入力された音声の音声データを、送受信部11から通信ネットワーク2を介して中継装置30aへ送信する(ステップS81)。なお、本実施形態では、図3に示されている低解像度、中解像度、及び高解像度の3つから成る高画質の画像データ、並びに、音声データを送信している。これにより、中継装置30aでは、送受信部31で上記3つの解像度の画像データ及び音声データを受信する。そして、データ品質確認部33が、宛先端末(端末10db)のIPアドレス「1.3.2.4」を検索キーとして、変更品質管理DB3001(図10参照)を検索し、対応した中継する画像データの画質を抽出することで、中継する画像データの画像の品質を確認する(ステップS82)。本実施形態では、確認された画像データの画質が「高画質」であり、送受信部31で受信した画像データの画質と同じであるため、中継装置30aは、画像・音声データ用セッションsedによって、そのままの画質の画像データ、及びそのままの音質の音声データで、宛先端末(端末10db)に転送する(ステップS83)。これにより、宛先端末(端末10db)は、送受信部11で、低解像度、中解像度、高解像度の3つから成る高画質の画像データ、及び音声データを受信する。そして、表示制御部17が、3つの画質の画像データを組み合わせて、ディスプレイ120に画像を表示させると共に、音声出力部15bが音声データに基づく音声を出力させることができる。
First, the request source terminal (terminal 10 aa) receives the image data of the subject captured by the imaging unit 14 a and the voice of the voice input by the
次に、端末10dbの遅延検出部18は、送受信部11で受信された画像データの受信の遅延時間を一定時間毎(例えば、1秒毎)に検出する(ステップS84)。なお、本実施形態では、遅延時間が200(ms)である場合について、以下説明を続ける。 Next, the delay detection unit 18 of the terminal 10 db detects the delay time of the reception of the image data received by the transmission / reception unit 11 every fixed time (for example, every one second) (step S 84). In the present embodiment, the description will be continued for the case where the delay time is 200 (ms).
宛先端末(端末10db)の送受信部11は、図2に示されている管理情報用セッションseiによって、通信ネットワーク2を介して管理システム50へ、遅延時間「200(ms)」を示す遅延情報を送信する(ステップS85)。これにより、管理システム50は、遅延時間を把握すると共に、遅延情報の送信元である端末10dbのIPアドレス「1.3.2.4」を把握することができる。
The transmission / reception unit 11 of the destination terminal (terminal 10db) transmits the delay information indicating the delay time "200 (ms)" to the
次に、管理システム50の遅延時間管理部60は、上記宛先端末(端末10db)のIPアドレス「1.3.2.4」を検索キーとして、端末管理DB5003(図13参照)を検索することで、対応する端末ID「01db」を抽出し、更に、セッション管理DB5005(図15参照)のセッション管理テーブルにおいて、上記端末ID「01db」のレコードにおける遅延時間のフィールド部分に、上記遅延情報で示されている遅延時間「200(ms)」を記憶して管理する(ステップS86)。
Next, the delay
次に、品質決定部58は、上記遅延時間「200(ms)」を検索キーとして、品質管理DB5007(図18参照)を検索し、対応する画像データの画質「中画質」を抽出することで、画質を「中画質」に決定する(ステップS87)。
Next, the
次に、送受信部51は、セッション管理DB(図15参照)のセッション管理テーブルにおいて、上記端末ID「01db」に関連付けられている中継装置ID「111a」を検索キーとして、中継装置管理DB5001(図11参照)を検索し、対応する中継装置30aのIPアドレス「1.2.1.2」を抽出する(ステップS88)。そして、送受信部51は、図2に示されている管理情報用セッションseiによって、通信ネットワーク2を介して中継装置30aへ、上記ステップ87によって決定された画像データの画質「中画質」を示す品質情報を送信する(ステップS89)。この品質情報には、上記ステップS86において検索キーとして用いた宛先端末(端末10db)のIPアドレス「1.3.2.4」が含まれている。これにより、中継装置30aでは、変更品質管理部34が、変更品質管理DB3001(図10参照)に、送信先の端末10(ここでは、端末10db)のIPアドレス「1.3.2.4」、及び中継される画像データの画質「中画質」を関連付けて記憶して管理する(ステップS90)。
Next, the transmitting / receiving
次に、端末10aaは、引き続き上記ステップS81と同様に、画像・音声データ用セッションsedによって、中継装置30aへ、低解像度、中解像度、高解像度の3つから成る高画質の画像データ、並びに、音声データを送信する(ステップS91)。これにより、中継装置30aでは、上記ステップS82と同様に、データ品質確認部33が、宛先端末(端末10db)のIPアドレス「1.3.2.4」を検索キーとして、変更品質管理DB3001(図10参照)を検索し、対応した中継する画像データの画質「中画質」を抽出することで、中継される画像データの画像の品質を確認する(ステップS92)。本実施形態では、確認された画像データの画質が「中画質」であり、送受信部31で受信された画像データの画質「高画質」よりも低くなるため、データ品質変更部35は、画像データの画質を「高画質」から「中画質」に抑制することで、画像データの画像の品質を変更する(ステップS93)。
Next, the terminal 10aa continues to the
そして、送受信部31は、画像・音声データ用セッションsedによって、通信ネットワーク2を介して端末10dbへ、上記画像データの画質が「中画質」に変更された画像データ、及び音声の音質が変更されていない音声データを送信する(ステップS94)。これにより、宛先端末(端末10db)は、送受信部11で、低解像度、中解像度の2つから成る中画質の画像データ、及び音声データを受信する。そして、表示制御部17が、2つの解像度の画像データを組み合わせて、ディスプレイ120に画像を表示させると共に、音声出力部15bが音声データに基づく音声を出力させることができる。
Then, the transmitting / receiving
このように、画像データを受信する宛先端末(端末10db)で、受信の遅延が生じた場合には、中継装置30aは画像の品質を変更し、テレビ会議に参加している人に違和感を与えないようにすることができる。
As described above, when a delay occurs in the reception at the destination terminal (terminal 10db) that receives the image data, the
<<本実施形態の主な効果>>
以上説明したように本実施形態によれば、管理システム50は、各端末10の画像通信状態を示す画像通信状態情報に基づいて、所定の端末10に画像通信を制御させるための所定の通信制御メッセージを作成し、画像通信を制御させる端末10に対して、通信制御メッセージを送信する。これにより、伝送管理システムは、所定の伝送端末に対して、相手側の端末10の画像通信状態に応じた画像通信を行わせることができるため、無駄な画像通信を防止することができるという効果を奏する。また、これにより、無駄な電力消費や通信費等を掛けずに済むという効果を奏する。
<< Main effects of this embodiment >>
As described above, according to the present embodiment, the
また、通信ネットワーク2のうち、中継装置30のIPアドレス等のLAN2の環境を把握することができたとしても、インターネット2i全体の環境まで把握することは困難であるため、まずは把握できる環境の情報から、画像データ及び音声データを中継する複数の中継装置の30うち2つ以上まで絞り込む。そして、次に複数の端末10の間で画像データ及び音声データを実際に送受信する前に、画像データ及び音声データに替えて、事前送信情報を送受信させてみることで、実際に最も早く事前送信情報を中継することができる1つの中継装置30に絞り込むことができるという効果を奏する。
In addition, even if the environment of the LAN 2 such as the IP address of the
即ち、端末10のIPアドレスの何れかに近い上位2つ以上のIPアドレスがそれぞれ割り当てられている中継装置30を選択することで、最終的に使用される中継装置30の候補を2つ以上残すことができる。これにより、その後、実際に候補としての各中継装置30を介して、要求元端末と宛先端末の間で事前送信情報を送受信することで、上記2つ以上の候補の中継装置30のうち、送受信に要した所要時間が最短の事前送信情報を中継した中継装置30に絞り込むことができる。よって、現状の通信ネットワーク2の環境下で最大限に高品質の画像データ又は音声データを送受信することを実現することができるという効果を奏する。
That is, by selecting the
また、本実施形態では、中継装置30を絞り込む際に、テレビ会議を行う端末10のIPアドレスに近いIPアドレスの中継装置30を優先的に選択するだけでなく、各中継装置30における最大データ伝送速度も考慮して、2つ以上の中継装置30が選択されている。これにより、現実の通信ネットワーク2の環境に即した中継装置30の候補を絞り込むことができるという効果を奏する。
Further, in the present embodiment, when narrowing down the
更に、本実施形態では、中継装置30を絞り込む際に、稼動状態がオンラインである中継装置30の中から絞り込むため、現実の通信ネットワーク2の環境に更に即した中継装置30の候補を絞り込むことができる。
Furthermore, in the present embodiment, when narrowing down the
〔実施形態の補足〕
上記実施形態における中継装置30、管理システム50、プログラム提供システム90、及びメンテナンスシステム100は、単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。また、プログラム提供システム90が単一のコンピュータによって構築されている場合には、プログラム提供システム90によって送信されるプログラムは、複数のモジュールに分けて送信されるようにしてもよいし、分けないで送信されるようにしてもよい。更に、プログラム提供システム90が複数のコンピュータによって構築されている場合には、複数のモジュールが分けられた状態で、各コンピュータから送信されるようにしてもよい。
[Supplement of Embodiment]
The
また、上記各実施形態の端末用プログラム、中継装置用プログラム、又は伝送管理用プログラムが記憶されたCD−ROM等の記録媒体、並びに、これらプログラムが記憶されたHD204、及びこのHD204を備えたプログラム提供システム90は、いずれもプログラム製品(Program Product)として、国内又は国外へ、上記端末用プログラム、中継装置用プログラム、及び伝送管理用プログラムが利用者等に提供される場合に用いられる。
In addition, a recording medium such as a CD-ROM storing the terminal program, relay apparatus program, or transmission management program according to each of the above embodiments, an
更に、上記実施形態では、図10に示されている変更品質管理テーブル、及び図18に示されている品質管理テーブルによって、中継装置30で中継される画像データの画像の品質の一例として、画像データの画像の解像度に着目して管理したが、これに限られるものではなく、品質の他の例として、画像データの画質の深度、音声データの音声におけるサンプリング周波数、音声データの音声におけるビット長などに着目して管理してもよい。また、音声データが3種類の解像度(高解像度、中解像度、低解像度)のデータに分かれて送受信されるようにしてもよい。
Furthermore, in the above embodiment, an image as an example of the image quality of the image data relayed by the
また、図11、図13、及び図15では、受信日時について管理しているが、これに限るものではなく、受信日時のうち少なくとも受信時間を管理すればよい。 Further, although the reception date and time is managed in FIGS. 11, 13, and 15, the present invention is not limited to this, and at least the reception time of the reception date and time may be managed.
更に、上記実施形態では、図11で中継装置のIPアドレス、図13で端末のIPアドレスを管理することとしたが、これに限るものではなく、通信ネットワーク2上で中継装置30を特定するための中継装置特定情報、又は通信ネットワーク2上で端末10を特定するための端末特定情報であれば、それぞれのFQDN(Fully Qualified Domain Name)を管理してもよい。この場合、周知のDNS(Domain Name System)サーバによって、FQDNに対応するIPアドレスが取得されることになる。なお、「通信ネットワーク2で中継装置30を特定するための中継装置特定情報」だけでなく、「通信ネットワーク2上における中継装置30への接続先を示した中継装置接続先情報」、又は「通信ネットワーク2上における中継装置30への宛先を示した中継装置宛先情報」と表現してもよい。同じく、「通信ネットワーク2で端末10を特定するための端末特定情報」だけでなく、「通信ネットワーク2上における端末10への接続先を示した端末接続先情報」、又は「通信ネットワーク2上における端末10への宛先を示した端末宛先情報」と表現してもよい。
Furthermore, in the above embodiment, although the IP address of the relay apparatus in FIG. 11 and the IP address of the terminal in FIG. 13 are managed, the present invention is not limited to this, and to specify the
また、上記実施形態では、伝送システム1の一例として、テレビ会議システムの場合について説明したが、これに限るものではなく、IP(Internet Protocol)電話や、インターネット電話等の電話システムであってもよい。また、伝送システム1は、カーナビゲーションシステムであってもよい。この場合、例えば、端末10の一方が自動車に搭載されたカーナビゲーション装置に相当し、端末10の他方が、カーナビゲーションを管理する管理センターの管理端末若しくは管理サーバ、又は他の自動車に搭載されているカーナビゲーション装置に相当する。また、伝送システム1は、携帯電話機の通信システムであってもよい。この場合、例えば、端末10は携帯電話機に相当する。
Further, in the above embodiment, the case of the video conference system has been described as an example of the
また、上記実施形態では、コンテンツデータの一例として、画像データ及び音声データについて説明したが、これに限るものではなく、触覚(touch)データであってもよい。この場合、一方の端末側でユーザが接触した感覚が、他方の端末側に伝達される。更に、コンテンツデータは、嗅覚(smell)データであってもよい。この場合、一方の端末側の匂い(臭い)が、他の端末側に伝達される。また、コンテンツデータは、画像データ、音声データ、触覚データ、及び嗅覚データのうち、少なくとも1つのデータであればよい。 Further, in the above embodiment, image data and audio data are described as an example of content data, but the present invention is not limited to this, and may be touch data. In this case, the sense that the user has touched on one of the terminals is transmitted to the other terminal. Furthermore, the content data may be smell data. In this case, the smell (odor) on one terminal side is transmitted to the other terminal side. The content data may be at least one of image data, audio data, tactile data, and olfactory data.
また、上記実施形態では、伝送システム1によってテレビ会議をする場合について説明したが、これに限るものではなく、打ち合わせ、家族間や友人間等の一般的な会話、又は、一方向での情報の提示に使用されても構わない。
In the above embodiment, although the case of performing a video conference by the
1 伝送システム
10 伝送端末
11 送受信部(受信手段の一例、通信停止手段の一例)
14 撮像部(撮像手段の一例)
16 最終絞込部
16a 計測部
16b 算出部
16c 最終選択部
17 表示制御部(表示制御手段の一例)
18 遅延検出部
20 メッセージ作成部(作成手段の一例)
30 中継装置
31 送受信部
32 状態検知部
33 データ品質確認部
34 変更品質管理部
35 データ品質変更部
50 伝送管理システム
51 送受信部(送信手段の一例)
52 端末認証部
53 状態管理部
54 端末抽出部
55 端末状態抽出部
56 一次絞込部
56a 選択用セッションID生成部
56b 端末IPアドレス抽出部
56c 一次選択部56c
56d 優先度決定部
57 セッション管理部
58 品質決定部
60 遅延時間管理部
61 メッセージ作成部(作成手段の一例)
70 ルータ
90 プログラム提供システム
100 メンテナンスシステム
101 CPU(制御手段の一例)
120 ディスプレイ(表示手段の一例)
1000 記憶部
3000 記憶部
3001 変更品質管理DB
5000 記憶部
5001 中継装置管理DB
5002 端末認証管理DB
5003 端末管理DB(端末管理手段の一例)
5004 宛先リスト管理DB(宛先リスト管理手段の一例)
5005 セッション管理DB
5006 優先度管理DB
5007 品質管理DB
DESCRIPTION OF
14 Imaging unit (an example of imaging means)
16
18
52
56d
70 router 90
120 Display (an example of display means)
1000 storage unit 3000 storage unit 3001 change quality management DB
5000 storage unit 5001 relay device management DB
5002 Terminal Authentication Management DB
5003 Terminal Management DB (an example of terminal management means)
5004 Destination list management DB (an example of destination list management means)
5005 Session Management DB
5006 Priority Management DB
5007 Quality Management DB
Claims (14)
前記管理システムは、
前記第一の伝送端末と前記第二の伝送端末の間で確立されるセッションを管理するセッション管理手段と、
前記第一の伝送端末と前記第二の伝送端末が前記セッションによって画像及び音声を送信している際に前記第二の伝送端末において画像の通信が停止された場合に、前記第二の伝送端末の画像の通信状態を示す情報を前記第一の伝送端末へ送信する第一の送信手段と、を備え、
前記第一の伝送端末は、
前記セッションによって画像及び音声を送信する第二の送信手段と、
前記第一の送信手段によって送信された前記第二の伝送端末の画像の通信状態を示す情報を受信する受信手段と、
前記第二の送信手段によって画像及び音声を送信中に、前記第一の伝送端末が画像を通信中であることを示す状態を表示画面に表示させる表示制御手段と、を有し、
前記表示制御手段は、前記受信した前記第二の伝送端末の画像の通信状態を示す情報に基づいて、前記第二の伝送端末からの画像の通信が停止中であることを示す状態を前記表示画面に表示させる
ことを特徴とする伝送システム。 A transmission system including: a first transmission terminal capable of voice communication; a plurality of transmission terminals including a second transmission terminal; and a management system that manages a session,
The management system
Session management means for managing a session established between the first transmission terminal and the second transmission terminal;
The second transmission terminal when communication of an image is stopped at the second transmission terminal when the first transmission terminal and the second transmission terminal are transmitting an image and voice by the session. A first transmission unit for transmitting information indicating the communication state of the image of the first transmission terminal to the first transmission terminal;
The first transmission terminal is
Second transmission means for transmitting images and sounds by the session;
Receiving means for receiving information indicating the communication state of the image of the second transmission terminal transmitted by the first transmission means;
Display control means for displaying on the display screen a state indicating that the first transmission terminal is communicating an image while transmitting the image and the sound by the second transmission means;
The display control means displays the state indicating that the communication of the image from the second transmission terminal is being stopped based on the information indicating the communication state of the image of the second transmission terminal received. A transmission system characterized by displaying on a screen.
前記セッション管理手段が管理する前記第一の伝送端末と前記第二の伝送端末の間で確立されるセッションは第一のセッションであり、
前記セッション管理手段はさらに、前記第一の伝送端末と音声通信が可能であって画像通信機能を有しない第三の伝送端末の間で確立される第二のセッションを管理し、
前記第一の送信手段はさらに、前記第一の伝送端末と前記第三の伝送端末が前記第二のセッションによって音声を通信中であって、前記第一の伝送端末が画像通信中の場合に、画像通信を停止させる旨を示す情報を前記第一の伝送端末へ送信し、
前記第一の伝送端末はさらに、
前記受信手段によって受信した前記第一の送信手段によって送信された画像通信を停止させる旨を示す情報に基づいて、自端末からの画像通信を停止させる通信停止手段を有することを特徴とする伝送システム。 The transmission system according to claim 1, wherein
The session established between the first transmission terminal managed by the session management means and the second transmission terminal is a first session,
The session management means further manages a second session established between a third transmission terminal capable of voice communication with the first transmission terminal and having no image communication function,
The first transmission means is further configured to transmit voices between the first transmission terminal and the third transmission terminal in the second session, and the first transmission terminal is in image communication. Transmitting information indicating that the image communication is to be stopped to the first transmission terminal,
The first transmission terminal is further
A transmission system characterized by comprising communication stop means for stopping image communication from the own terminal based on the information indicating that the image communication is to be stopped which is transmitted by the first transmission means received by the receiving means. .
前記第一の伝送端末は、
被写体を撮像して前記画像通信の対象となる画像データを得る撮像手段に対して、前記受信手段によって受信した画像通信を停止させる旨を示す情報に基づき、前記撮像を停止させる制御手段をさらに有することを特徴とする伝送システム。 The transmission system according to claim 2,
The first transmission terminal is
The image capturing unit for capturing an object and obtaining image data to be an object of the image communication further includes control means for stopping the image capturing based on the information indicating that the image communication received by the receiving unit is to be stopped. Transmission system characterized by
前記第一の伝送端末は、
前記第一の送信手段によって送信された表示メッセージを消去させる旨の情報を前記受信手段によって受信し、
前記表示制御手段は、前記表示メッセージを消去させる旨の情報に基づいて、前記表示画面に表示されている所定の表示メッセージを消去させることを特徴とする伝送システム。 The transmission system according to any one of claims 1 to 3, wherein
The first transmission terminal is
Receiving, by the receiving means, information indicating that the display message sent by the first sending means is to be deleted;
The transmission system, wherein the display control means is configured to delete the predetermined display message displayed on the display screen based on the information indicating that the display message is to be deleted.
前記表示制御手段は、前記第一の伝送端末が画像を通信中であることを示す状態をアイコンによって前記表示画面に表示させることを特徴とする伝送システム。 The transmission system according to any one of claims 1 to 4, wherein
The transmission system according to claim 1, wherein the display control means displays, by an icon, a state indicating that the first transmission terminal is communicating an image.
前記表示制御手段は、前記第一の伝送端末のカメラの電源がオンされて前記第一の伝送端末から画像を通信中であることを示す状態を第一のアイコンによって前記表示画面に表示させ、前記第一の伝送端末のカメラの電源がオフされて前記第一の伝送端末から画像を通信中でないことを示す状態を前記第一のアイコンと異なる第二のアイコンによって前記表示画面に表示させることを特徴とする伝送システム。 The transmission system according to claim 5, wherein
The display control means causes the first icon to display a state indicating that an image is being communicated from the first transmission terminal on the display screen by turning on the power of the camera of the first transmission terminal. Displaying on the display screen a second icon different from the first icon indicating that the camera of the first transmission terminal is turned off to indicate that an image is not being communicated from the first transmission terminal Transmission system characterized by
前記第一の伝送端末は、前記第二のアイコンの押下を受け付けることによって、前記画像の通信を開始し、前記第二のアイコンから前記第一のアイコンへ表示を変更することを特徴とする伝送システム。 The transmission system according to claim 6, wherein
The first transmission terminal starts communication of the image by accepting pressing of the second icon, and changes the display from the second icon to the first icon. system.
前記表示制御手段は、前記第二の伝送端末からの画像の通信が停止中であることを示す状態をメッセージ表示によって前記表示画面に表示させることを特徴とする伝送システム。 The transmission system according to any one of claims 1 to 7, wherein
The transmission system, wherein the display control means causes the display screen to display a state indicating that communication of an image from the second transmission terminal is stopped by displaying a message.
前記表示制御手段は、前記第一の伝送端末が画像を通信中であることを示す状態をメッセージ表示によって前記表示画面に表示させることを特徴とする伝送システム。 A transmission system according to any one of the preceding claims, wherein
The transmission system, wherein the display control means displays a state indicating that the first transmission terminal is communicating an image on the display screen by displaying a message.
前記セッションによって画像及び音声を送信する第二の送信手段と、
前記第一の送信手段によって送信された前記第二の伝送端末の画像の通信状態を示す情報を受信する受信手段と、
前記第二の送信手段によって画像及び音声を送信中に、前記第一の伝送端末が画像を通信中であることを示す状態を表示画面に表示させる表示制御手段と、を有し、
前記表示制御手段は、前記受信した前記第二の伝送端末の画像の通信状態を示す情報に基づいて、前記第二の伝送端末からの画像の通信が停止中であることを示す状態を前記表示画面に表示させることを特徴とする第一の伝送端末。 Session management means for managing a session established between a first transmission terminal capable of voice communication and a second transmission terminal; and the first transmission terminal and the second transmission terminal performing an image and The second transmission terminal transmits information indicating the communication state of the image of the second transmission terminal to the first transmission terminal when communication of the image is stopped in the second transmission terminal while transmitting voice A first transmission terminal connected via a network with a management system having one transmission means,
Second transmission means for transmitting images and sounds by the session;
Receiving means for receiving information indicating the communication state of the image of the second transmission terminal transmitted by the first transmission means;
Images and sound during transmission by said second transmitting means, a display control unit for displaying the table示画surface state indicating that said first transmission terminal is communicating an image,
The display control means displays the state indicating that the communication of the image from the second transmission terminal is being stopped based on the information indicating the communication state of the image of the second transmission terminal received. A first transmission terminal characterized by being displayed on a screen.
前記管理システムは、
前記第一の伝送端末と前記第二の伝送端末の間で確立されるセッションを管理するセッション管理手段を有し、
前記第一の伝送端末と前記第二の伝送端末が前記セッションによって画像及び音声を送信している際に前記第二の伝送端末において画像の通信が停止された場合に、前記第二の伝送端末の画像の通信状態を示す情報を前記第一の伝送端末へ送信する第一の送信ステップを実行し、
前記第一の伝送端末は、
前記セッションによって画像及び音声を送信する第二の送信ステップと、
前記第一の送信ステップによって送信された前記第二の伝送端末の画像の通信状態を示す情報を受信する受信ステップと、
前記第二の送信ステップによって画像及び音声を送信中に、前記第一の伝送端末が画像を通信中であることを示す状態を表示画面に表示させる表示制御ステップと、を実行し、
前記表示制御ステップは、前記受信した前記第二の伝送端末の画像の通信状態を示す情報に基づいて、前記第二の伝送端末からの画像の通信が停止中であることを示す状態を前記表示画面に表示させる処理を含むことを特徴とする伝送方法。 A transmission method executed by a transmission system including a plurality of transmission terminals including a first transmission terminal and a second transmission terminal capable of voice communication, and a management system managing a session,
The management system
A session management unit that manages a session established between the first transmission terminal and the second transmission terminal;
The second transmission terminal when communication of an image is stopped at the second transmission terminal when the first transmission terminal and the second transmission terminal are transmitting an image and voice by the session. Performing a first transmission step of transmitting, to the first transmission terminal, information indicating a communication state of the image of
The first transmission terminal is
A second transmitting step of transmitting images and sounds by the session;
Receiving information indicating the communication state of the image of the second transmission terminal transmitted by the first transmission step;
Performing a display control step of displaying a state indicating that the first transmission terminal is communicating an image on a display screen while transmitting the image and the sound by the second transmission step;
The display control step displays the state indicating that the communication of the image from the second transmission terminal is being stopped based on the information indicating the communication state of the image of the second transmission terminal received. A transmission method comprising processing for displaying on a screen.
前記セッションによって画像及び音声を送信する第二の送信ステップと、
前記第一の送信手段によって送信された前記第二の伝送端末の画像の通信状態を示す情報を受信する受信ステップと、
前記第二の送信ステップによって画像及び音声を送信中に、前記第一の伝送端末が画像を通信中であることを示す状態を表示画面に表示させる表示制御ステップと、を実行し、
前記表示制御ステップは、前記受信した前記第二の伝送端末の画像の通信状態を示す情報に基づいて、前記第二の伝送端末からの画像の通信が停止中であることを示す状態を前記表示画面に表示させる処理を含むことを特徴とする表示方法。 A session management means for managing a session established between a first transmission terminal and a second transmission terminal capable of voice communication; and the first transmission terminal and the second transmission terminal performing images and The second transmission terminal transmits information indicating the communication state of the image of the second transmission terminal to the first transmission terminal when communication of the image is stopped in the second transmission terminal while transmitting voice A display method executed by the first transmission terminal connected via a network to a management system having one transmission unit, the display method comprising:
A second transmitting step of transmitting images and sounds by the session;
Receiving the information indicating the communication state of the image of the second transmission terminal transmitted by the first transmission means;
While sending video and audio by said second transmission step, the first transmission terminal is running, the display control step of displaying the table示画surface state indicating that is communicating the image,
The display control step displays the state indicating that the communication of the image from the second transmission terminal is being stopped based on the information indicating the communication state of the image of the second transmission terminal received. A display method characterized by including processing to be displayed on a screen.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011079569 | 2011-03-31 | ||
JP2011079569 | 2011-03-31 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016104965A Division JP6347274B2 (en) | 2011-03-31 | 2016-05-26 | Transmission system and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019106152A Division JP7017155B2 (en) | 2011-03-31 | 2019-06-06 | Transmission system, first transmission terminal, transmission method, display method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018170769A JP2018170769A (en) | 2018-11-01 |
JP2018170769A5 JP2018170769A5 (en) | 2019-02-21 |
JP6536716B2 true JP6536716B2 (en) | 2019-07-03 |
Family
ID=57240065
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016104965A Active JP6347274B2 (en) | 2011-03-31 | 2016-05-26 | Transmission system and program |
JP2018104441A Active JP6536716B2 (en) | 2011-03-31 | 2018-05-31 | Transmission system, first transmission terminal, transmission method, display method and program |
JP2019106152A Active JP7017155B2 (en) | 2011-03-31 | 2019-06-06 | Transmission system, first transmission terminal, transmission method, display method, and program |
JP2021185631A Active JP7264205B2 (en) | 2011-03-31 | 2021-11-15 | Transmission system, first transmission terminal, transmission method, display method, and program |
JP2023064660A Pending JP2023109747A (en) | 2011-03-31 | 2023-04-12 | Transmission system, first transmission terminal, transmission method, display method, and program |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016104965A Active JP6347274B2 (en) | 2011-03-31 | 2016-05-26 | Transmission system and program |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019106152A Active JP7017155B2 (en) | 2011-03-31 | 2019-06-06 | Transmission system, first transmission terminal, transmission method, display method, and program |
JP2021185631A Active JP7264205B2 (en) | 2011-03-31 | 2021-11-15 | Transmission system, first transmission terminal, transmission method, display method, and program |
JP2023064660A Pending JP2023109747A (en) | 2011-03-31 | 2023-04-12 | Transmission system, first transmission terminal, transmission method, display method, and program |
Country Status (1)
Country | Link |
---|---|
JP (5) | JP6347274B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6347274B2 (en) * | 2011-03-31 | 2018-06-27 | 株式会社リコー | Transmission system and program |
JP7099808B2 (en) | 2017-07-05 | 2022-07-12 | Jfeスチール株式会社 | Cable reel rotation abnormality detection device |
JP7059151B2 (en) | 2018-09-12 | 2022-04-25 | 株式会社日立製作所 | Time series data analyzer, time series data analysis method, and time series data analysis program |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07154764A (en) * | 1993-11-26 | 1995-06-16 | Ricoh Co Ltd | Control method for video conference communication equipment |
JP3869989B2 (en) | 1999-12-27 | 2007-01-17 | キヤノン株式会社 | Distributed system, display method thereof, and storage medium |
JP2003150526A (en) * | 2001-11-16 | 2003-05-23 | Nippon Telegr & Teleph Corp <Ntt> | State inputting and presenting method in image and voice communication system, image and voice communication device, image and voice communication program, and recording medium therefor |
CN100484230C (en) * | 2004-01-16 | 2009-04-29 | 华为技术有限公司 | Method for controlling meeting-place in meeting television system |
JP2006287647A (en) | 2005-03-31 | 2006-10-19 | Toshiba Corp | Image communication method and communications equipment |
JP2008252177A (en) | 2007-03-29 | 2008-10-16 | Toshiba Corp | Electronic conference system, information processor, and program |
JP2009272716A (en) | 2008-04-30 | 2009-11-19 | Nippon Telegr & Teleph Corp <Ntt> | Voip communication system |
JP5732771B2 (en) * | 2009-08-11 | 2015-06-10 | 株式会社リコー | Video output device, video output system, video output method and program |
JP6347274B2 (en) * | 2011-03-31 | 2018-06-27 | 株式会社リコー | Transmission system and program |
-
2016
- 2016-05-26 JP JP2016104965A patent/JP6347274B2/en active Active
-
2018
- 2018-05-31 JP JP2018104441A patent/JP6536716B2/en active Active
-
2019
- 2019-06-06 JP JP2019106152A patent/JP7017155B2/en active Active
-
2021
- 2021-11-15 JP JP2021185631A patent/JP7264205B2/en active Active
-
2023
- 2023-04-12 JP JP2023064660A patent/JP2023109747A/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2022028798A (en) | 2022-02-16 |
JP2023109747A (en) | 2023-08-08 |
JP2016189594A (en) | 2016-11-04 |
JP7264205B2 (en) | 2023-04-25 |
JP7017155B2 (en) | 2022-02-08 |
JP6347274B2 (en) | 2018-06-27 |
JP2018170769A (en) | 2018-11-01 |
JP2019193279A (en) | 2019-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5962098B2 (en) | Transmission terminal, transmission system, display control method, and program | |
JP5953689B2 (en) | Transmission management system, transmission system, and program for transmission management system | |
JP5811334B2 (en) | Transmission management system, transmission management method, program, and transmission system | |
JP5793869B2 (en) | Transmission management system, transmission management method, and transmission management program | |
JP5655499B2 (en) | Transmission management system, transmission system, transmission management program, program providing system, and maintenance system | |
JP5870558B2 (en) | Transmission management system, transmission management method, and program | |
JP5884964B2 (en) | Transmission system and transmission method | |
JP5821433B2 (en) | Transmission management system, transmission system, and program for transmission management system | |
JP5942364B2 (en) | Transmission management system, transmission system, and program | |
JP6171303B2 (en) | Transmission terminal, transmission method, and program | |
JP5983792B2 (en) | Transmission system and transmission method | |
JP5397563B1 (en) | Transmission management system, transmission system, program for transmission management system, and control method | |
JP7264205B2 (en) | Transmission system, first transmission terminal, transmission method, display method, and program | |
JP2013197934A (en) | Transmission management system, transmission system, and program for transmission management system | |
JP5870557B2 (en) | Transmission management system and transmission management program | |
JP2014072703A (en) | Transmission management system, transmission system, transmission management method, and program | |
JP5831050B2 (en) | Transmission terminal, transmission terminal program, program providing system, and maintenance system | |
JP5853502B2 (en) | Transmission system | |
JP5884965B2 (en) | Transmission management system, transmission system, and selection method | |
JP5899710B2 (en) | Transmission system | |
JP2012134939A (en) | Communication terminal, communication method, and program for communication terminal | |
JP6593392B2 (en) | Transmission method, relay device, and program | |
JP2016181899A (en) | Control system and control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190219 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190416 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190520 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6536716 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |