JP2014011704A - Teleconference system and teleconference method - Google Patents
Teleconference system and teleconference method Download PDFInfo
- Publication number
- JP2014011704A JP2014011704A JP2012148174A JP2012148174A JP2014011704A JP 2014011704 A JP2014011704 A JP 2014011704A JP 2012148174 A JP2012148174 A JP 2012148174A JP 2012148174 A JP2012148174 A JP 2012148174A JP 2014011704 A JP2014011704 A JP 2014011704A
- Authority
- JP
- Japan
- Prior art keywords
- terminal
- conference
- video data
- server device
- ring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、テレビ会議システム及びテレビ会議方法に関し、特に３地点以上の多地点に配置された複数の端末間を接続してテレビ会議を行うテレビ会議システム及びテレビ会議方法に適用して好適なものである。 The present invention relates to a video conference system and a video conference method, and in particular, is suitable for application to a video conference system and a video conference method for performing a video conference by connecting a plurality of terminals arranged at three or more locations. It is.
従来、３地点以上の多地点に配置された複数の端末と、サーバ装置との間を接続して構成される多地点テレビ会議システムがある。なお多地点テレビ会議システムにおけるサーバ装置は、特に多地点制御装置（MCU：Multipoint Control Unit）と呼ばれる。 2. Description of the Related Art Conventionally, there is a multipoint video conference system configured by connecting a plurality of terminals arranged at multipoints of three or more points and a server device. The server device in the multipoint video conference system is particularly called a multipoint control unit (MCU).
この多地点テレビ会議システムにおいて、サーバ装置は各端末により生成された自端末映像データを受信し、受信した自端末映像データに対して多重、分離及び合成等の各種処理を実行して会議用映像データを生成し、生成した会議用映像データを各端末に送信する。各端末はサーバ装置から受信した会議用映像データを表示画面に表示するとともに、自端末において新たに生成した自端末映像データをサーバ装置に送信する。 In this multipoint video conference system, the server device receives the self-terminal video data generated by each terminal, executes various processes such as multiplexing, separation, and composition on the received self-terminal video data, and the conference video. Data is generated, and the generated conference video data is transmitted to each terminal. Each terminal displays the conference video data received from the server device on the display screen, and transmits the self-terminal video data newly generated in the own terminal to the server device.
このように従来の多地点テレビ会議システムによれば、サーバ装置と各端末との間で自端末映像データ及び会議用映像データを送受信することにより、多地点に配置された複数の端末に会議用映像データを配信してテレビ会議を行うことができる。 As described above, according to the conventional multipoint video conference system, by transmitting and receiving own terminal video data and conference video data between the server device and each terminal, a plurality of terminals arranged at multipoints are used for the conference. Video data can be distributed for video conferencing.
また特許文献１には、多地点にそれぞれ配置された複数の端末間をリング状に接続して構成される多地点テレビ会議システムが開示されている。
Further,
この特許文献１の多地点テレビ会議システムにおいて、各端末は自端末において生成した自端末映像データに対し、多重、分離及び合成等の各種処理を実行して会議用映像データを生成し、生成した会議用映像データをリング状に接続されている次端末に順次送信する。
In the multi-point video conference system of
この特許文献１の多地点テレビ会議システムによれば、各端末間で会議用映像データを送受信することにより、サーバ装置を備えることなく、端末のみで多地点に配置された複数の端末に会議用映像データを配信してテレビ会議を行うことができる。
According to the multipoint video conference system of
しかし、サーバ装置を備えて構成される従来の多地点テレビ会議システムでは、テレビ会議に参加する端末の台数が増加すると、サーバ装置は各端末からの膨大な自端末映像データに対して各種処理を実行することになり、サーバ装置に高負荷がかかることになる。そして高負荷がかかる場合であってもテレビ会議を円滑に行うためには、高性能かつ高価なサーバ装置を導入する必要がある。この場合、テレビ会議システム全体のコストが増加するという問題が生じる。 However, in a conventional multi-point video conference system configured with a server device, when the number of terminals participating in the video conference increases, the server device performs various processes on a huge amount of video data from each terminal. As a result, the server apparatus is subjected to a high load. In order to perform a video conference smoothly even when a high load is applied, it is necessary to introduce a high-performance and expensive server device. In this case, there arises a problem that the cost of the entire video conference system increases.
また特許文献１の多地点テレビ会議システムでは、テレビ会議に参加する各端末がリング状に接続されて構成されるため、例えばリング状に接続されている複数の端末のうちの何れか一の端末に異常が発生した場合、リング状に接続されている他の端末全てに影響が及ぶことになる。よって特許文献１の多地点テレビ会議システムでは、障害時のリスクが増加するという問題がある。
Moreover, in the multipoint video conference system of
また特許文献１の多地点テレビ会議システムでは、テレビ会議に参加する端末の台数が増加すると、増加した台数分だけ各端末が実行する各種処理の処理回数も増加する。例えばリング状に接続された複数の端末のうちの最後段に接続されている端末は、複数の端末を経由した後に各種処理を実行し、その後映像を表示することになる。この場合、最後段の端末の表示画面に表示される映像は、最前段の端末の表示画面に表示される映像と比較して大きく遅延してしまうことになる。よって特許文献１の多地点テレビ会議システムでは、ユーザに映像遅延による違和感を与えてしまうという問題がある。
Further, in the multipoint video conference system of
本発明は以上の点を考慮してなされたもので、障害時のリスクを分散させるとともに映像遅延を解消し得る安価なテレビ会議システム及びテレビ会議方法を提案しようとするものである。 The present invention has been made in view of the above points, and intends to propose an inexpensive video conference system and video conference method that can disperse the risk at the time of failure and eliminate the video delay.
かかる課題を解決するために、本発明においては、サーバ装置及び複数の端末が同一ネットワーク上に接続され、サーバ装置及び前記複数の端末により形成された複数のリング状通信経路により会議用映像データを配信するテレビ会議システムにおいて、サーバ装置は、リング状通信経路内の最後段の端末から会議用映像データを受信すると、受信した会議用映像データを合成して１つの会議用映像データを生成する合成処理を行い、合成処理した後の会議用映像データをリング状通信経路内の最前段の端末に送信し、端末は、会議用映像データを受信すると、受信した会議用映像データを自端末の表示画面に表示するとともに、受信した会議用映像データの所定の位置に自端末が入力した自端末映像データを埋め込んで合成処理を行い、合成処理した後の会議用映像データをリング状通信経路内の次接続先の端末又は前記サーバ装置に送信することを特徴とする。 In order to solve such a problem, in the present invention, a server device and a plurality of terminals are connected to the same network, and video data for conference is obtained by a plurality of ring communication paths formed by the server device and the plurality of terminals. In the video conference system to be distributed, when the server device receives the conference video data from the terminal at the last stage in the ring-shaped communication path, the server device combines the received conference video data to generate one conference video data. The video data for the conference after the processing is performed and the composite processing is transmitted to the terminal at the front stage in the ring communication path. When the terminal receives the video data for the conference, the terminal displays the received video data for the conference In addition to being displayed on the screen, the terminal video data input by the terminal itself is embedded at a predetermined position in the received video data for the conference, and a composite process is performed. The conference video data after processing and transmits the next connection destination of the terminal or the server apparatus in the ring communication path.
本発明によれば、テレビ会議システム全体のコストが増加することを抑制しつつ、障害時のリスクを分散させるとともに映像遅延を解消することができる。 ADVANTAGE OF THE INVENTION According to this invention, while suppressing the increase in the cost of the whole video conference system, the risk at the time of a failure can be disperse | distributed and video delay can be eliminated.
以下図面について、本発明の一実施の形態を詳述する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
（１）第１の実施の形態
（１−１）テレビ会議システムの構成
図１は、本実施の形態による多地点テレビ会議システム１の全体構成を示す。多地点テレビ会議システム１は、端末１Ａ，１Ｂ，１Ｃ，端末２Ａ，２Ｂ，２Ｃ，端末３Ａ及びサーバ装置４を備えて構成される。またこれら端末１Ａ，１Ｂ，１Ｃ，端末２Ａ，２Ｂ，２Ｃ，端末３Ａ及びサーバ装置４は、それぞれ同一のネットワークＮ上に接続される。ネットワークＮは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。
(1) First Embodiment (1-1) Configuration of Video Conference System FIG. 1 shows the overall configuration of a multipoint
端末１Ａは、端末１Ｂ、１Ｃ及びサーバ装置４とともにリング状の通信経路（以下、リング状通信経路と呼ぶ）Ｇ１を形成し、多地点テレビ会議を行う際は、自端末が生成した自端末映像データの合成処理を行う。なお端末１Ｂ及び１Ｃも同様に、自端末が生成した自端末映像データの合成処理を行う。このように本実施の形態においては、リング状通信経路Ｇ１において各端末１Ａ，１Ｂ及び１Ｃがそれぞれ分担して合成処理を行うことにより、各端末１Ａ，１Ｂ及び１Ｃにおける負荷を分散させることができる。自端末映像データの合成処理については後述する（図１０参照）。
When the
端末２Ａは、端末２Ｂ、２Ｃ及びサーバ装置４とともにリング状通信経路Ｇ２を形成する。また端末３Ａは、サーバ装置４とともにリング状通信経路Ｇ３を形成する。端末２Ａ，２Ｂ，２Ｃ及び端末３Ａについても、端末１Ａ，１Ｂ及び１Ｃと同様に、多地点テレビ会議を行う際は、自端末映像データの合成処理を他の端末と分担して行うことにより、各端末における負荷を分散させることができる。
The
サーバ装置４は、上述したように端末１Ａ，１Ｂ及び１Ｃとリング状通信経路Ｇ１を形成し、端末２Ａ，２Ｂ及び２Ｃと第２のリング状通信経路Ｇ２を形成し、端末３と第３のリング状通信経路Ｇ３を形成する。そしてサーバ装置４は、これらリング状通信経路Ｇ１、Ｇ２及びＧ３における映像データの合成処理を行い、会議用映像データをリング状通信経路Ｇ１、Ｇ２及びＧ３上に配信する。会議用映像データの合成処理については後述する（図１０参照）。
As described above, the
なお以下の説明において、端末１Ａ，１Ｂ，１Ｃ，端末２Ａ，２Ｂ，２Ｃ及び端末３Ａのそれぞれを特に区別しない場合には、端末又は各端末と呼ぶ。
In the following description, the
（１−２）端末及びサーバ装置の構成
図２は、端末１Ａ及びサーバ装置４の機能構成を示す。
(1-2) Configuration of Terminal and Server Device FIG. 2 shows a functional configuration of the terminal 1A and the
端末１Ａは、図示しないＣＰＵ（Central Processor Unit）、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等を備えて構成される。ＣＰＵは、ＲＯＭに格納されている各種プログラムをＲＡＭに展開し、ＲＡＭに展開した各種プログラムとの協働により各種の機能を実現する。各種の機能として、端末１Ａは、送受信部１１、映像データ合成中継部１２、映像データ出力部１３、映像データ入力部１４、端末情報テーブル１５及び端末制御部１６を備えて構成される。
The
送受信部１１は、ネットワークＮに接続され、ネットワークＮを介して受信したサーバ装置４からの会議用映像データを映像データ合成中継部１２に出力する。また送受信部１１は、映像データ合成中継部１２からの会議用映像データを入力し、入力した会議用映像データをリング状通信経路Ｇ１内の次接続先の端末（例えば端末１Ｂ）に送信する。
The transmission /
映像データ合成中継部１２は、送受信部１１からの会議用映像データを入力し、入力した会議用映像データを映像データ出力部１３に出力する。また映像データ合成中継部１２は、映像データ入力部１４からの自端末映像データを入力し、入力した自端末映像データを会議用映像データに埋め込んで合成処理を行い（図１０参照）、合成処理した後の会議用映像データを送受信部１１に出力する。
The video data
映像データ出力部１３は、ネットワークＮ、送受信部１１及び映像データ合成中継部１２を介して入力した会議用映像データを表示画面に出力して表示する。
The video
映像データ入力部１４は、例えばカメラ等であり、外部の映像を自端末映像データとして入力及び生成し、生成した自端末映像データを映像データ合成中継部１２に出力する。
The video
端末情報テーブル１５には、端末制御部１６により実行される各種処理に用いられる端末１Ａの情報が格納される。
The terminal information table 15 stores information of the terminal 1A used for various processes executed by the
端末制御部１６は、テレビ会議に参加する場合の参加要求又はテレビ会議から退出する場合の切断要求をサーバ装置４に送信し（図１１参照）、またサーバ装置４からの制御パケット及び遅延測定パケットを受信した場合には各種処理（図１２参照）を実行する。また端末制御部１６は、受信した制御パケットに含まれる情報を端末情報テーブル１５に格納する。
The
他の端末１Ｂ，１Ｃ，２Ａ，２Ｂ，２Ｃ及び３Ａについては、上述した端末１Ａと同様の機能及び構成であるため、ここでの説明は省略する。
The
サーバ装置４は、図示しないＣＰＵ（Central Processor Unit）、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等を備えて構成される。ＣＰＵは、ＲＯＭに格納されている各種プログラムをＲＡＭに展開し、ＲＡＭに展開した各種プログラムとの協働により各種の機能を実現する。各種の機能として、サーバ装置４は、送受信部２１、映像データ合成中継部２２、会議制御部２３、映像データ遅延演算部２４及び会議情報テーブル２５を備えて構成される。
The
送受信部２１は、ネットワークＮに接続され、ネットワークＮを介して受信した各端末（例えば端末１Ａ）からの会議用映像データを映像データ合成中継部２２に出力する。また送受信部２１は、映像データ合成中継部２２からの会議用映像データを入力し、入力した会議用映像データを会議情報テーブル２５に格納された次端末（例えば端末１Ａ及び２Ａ）に送信する。
The transmission /
映像データ合成中継部２２は、送受信部２１からの会議用映像データを入力し、入力した会議用映像データの合成処理を行い、合成処理した後の会議用映像データを送受信部２１に出力する。
The video data
会議制御部２３は、各端末（例えば端末１Ａ）がテレビ会議に参加する場合の参加要求又はテレビ会議から退出する場合の切断要求を受信し（図１１参照）、各端末において異常が発生していないかどうか又は映像遅延が生じていないかどうかを監視する（図１２参照）。また会議制御部２３は、各端末のうちの何れかの端末に異常が発生した場合又は映像遅延が生じた場合にはリング状通信経路を再構築する（図１３〜図１５参照）。また会議制御部２３は、テレビ会議に参加している各端末の端末情報を会議情報テーブル２５に格納する。
The
映像データ遅延演算部２４は、リング状通信経路において伝送される会議用映像データの遅延時間の平均値を定期的に算出し、算出した遅延時間の平均値を会議制御部２３に通知する。
The video data delay
会議情報テーブル２５には、テレビ会議に参加している端末の個別情報が格納される。 The conference information table 25 stores individual information of terminals participating in the video conference.
（１−３）テーブル構成
図３は、会議情報テーブル２５の概念図を示す。会議情報テーブル２５は、テレビ会議に参加する端末を管理するために用いられるテーブルであり、グループ番号欄２５１、ユーザ名欄２５２、ＩＰアドレス欄２５３、映像表示位置欄２５４及び画面分割数欄２５５から構成される。
(1-3) Table Configuration FIG. 3 shows a conceptual diagram of the conference information table 25. The conference information table 25 is a table used for managing terminals participating in the video conference. From the
グループ番号欄２５１には、テレビ会議システム１を構成する複数のリング状通信経路Ｇ１、Ｇ２及びＧ３のグループ番号が格納される。またユーザ名欄２５２には、テレビ会議システム１を構成する複数の端末の端末名が格納される。
The
またＩＰアドレス欄２５３には、端末のＩＰアドレスが格納される。また映像表示位置欄２５４には、各端末の表示画面において自端末映像データが表示される表示位置が格納される。また画面分割数欄２５５には、各端末の表示画面の分割数が格納される。
The
またこの会議情報テーブル２５は、サーバ装置４にテレビ会議への参加要求を行った端末順に降順に作成される。
The conference information table 25 is created in descending order in the order of the terminals that have requested the
従って図３の場合、例えばグループ番号が「１」のリング状通信経路には、端末１Ａが所属しており、この端末１ＡのＩＰアドレスは、「１９２．１６８．１．１０」であることが示されている。またこの端末１Ａにより生成された自端末映像データは、各端末の表示画面において映像表示位置が「１」の領域に表示され、端末１Ａの表示画面の分割数は「６」であることが示されている。また端末１Ａの直下に端末１Ｂの情報が会議情報テーブル２５に格納されていることから、端末１Ａの次に端末１Ｂがサーバ装置４にテレビ会議への参加要求を行ったことが示されている。またこのテレビ会議には合計６台の端末がテレビ会議に参加していることが示されている。
Therefore, in the case of FIG. 3, for example, the
図４は、会議情報テーブル２５の更新イメージを示す。会議情報テーブル２５は、例えばリング状通信経路Ｇ１に所属する端末１Ｃに映像遅延が生じた場合、端末１Ｃをリング状通信経路Ｇ１から分離させて他のリング状通信経路Ｇ２に接続しようとする場合に会議制御部２３により更新される。
FIG. 4 shows an update image of the conference information table 25. In the conference information table 25, for example, when a video delay occurs in the terminal 1C belonging to the ring communication path G1, the
図４の場合、上段の会議情報テーブル２５は更新前の会議情報テーブルであり、下段の会議情報テーブル２５ａは更新後の会議情報テーブルであることが示されている。また更新後の会議情報テーブル２５ａは、端末１Ｃが所属するグループ番号が「１」から「２」に更新されている点で、更新前の会議情報テーブル２５と異なることが示されている。
In the case of FIG. 4, the upper conference information table 25 is a pre-update conference information table, and the lower conference information table 25a is an updated conference information table. The updated conference information table 25a is different from the pre-update conference information table 25 in that the group number to which the
（１−４）パケット構成
図５は、制御パケットＣＰのフォーマットを示す。制御パケットＣＰは、サーバ装置４から送信されるパケットであり、サーバ装置４がテレビ会議に参加する端末とともにリング状通信経路（例えばリング状通信経路Ｇ１）を形成し、またリング状通信経路内の端末（例えば端末１Ｃ）に異常が発生したか否かを検知するために用いられる。
(1-4) Packet Configuration FIG. 5 shows the format of the control packet CP. The control packet CP is a packet transmitted from the
制御パケットＣＰは、ＴＣＰヘッダ領域ＣＰ１、会議情報領域ＣＰ２及び端末情報領域ＣＰ３から構成される。 The control packet CP includes a TCP header area CP1, a conference information area CP2, and a terminal information area CP3.
ＴＣＰヘッダ領域ＣＰ１には、ＴＣＰパケットのヘッダ情報が格納される。 The TCP header area CP1 stores TCP packet header information.
会議情報領域ＣＰ２は、テレビ会議の情報を格納するための複数の領域から構成され、具体的には、経路変更フラグ領域ＣＰ２１、会議ＩＤ領域ＣＰ２２及び表示画面分割数領域ＣＰ２３から構成される。 The conference information area CP2 is composed of a plurality of areas for storing video conference information. Specifically, the conference information area CP2 is composed of a route change flag area CP21, a conference ID area CP22, and a display screen division number area CP23.
経路変更フラグ領域ＣＰ２１には、経路変更の有無を示すフラグが格納される。また会議ＩＤ領域ＣＰ２２には、テレビ会議を識別するための識別情報が格納される。また表示画面分割数領域ＣＰ２３には、各端末の表示画面の分割数が格納される。 In the route change flag area CP21, a flag indicating whether or not there is a route change is stored. In the conference ID area CP22, identification information for identifying the video conference is stored. The display screen division number area CP23 stores the number of display screen divisions of each terminal.
端末情報領域ＣＰ３は、リング状通信経路に所属する端末からの接続要求を受け付けた順に端末単位で降順に作成される領域であり、テレビ会議に参加している端末の個別情報を格納するための複数の領域から構成される。具体的には、端末情報領域ＣＰ３ａは、ＩＰアドレス領域ＣＰ３１ａ、ＥＮＤフラグ領域ＣＰ３２ａ及び映像表示位置領域ＣＰ３３ａから構成される。 The terminal information area CP3 is an area created in descending order for each terminal in the order in which connection requests from terminals belonging to the ring communication path are received, and is used for storing individual information of terminals participating in a video conference. It consists of multiple areas. Specifically, the terminal information area CP3a includes an IP address area CP31a, an END flag area CP32a, and a video display position area CP33a.
ＩＰアドレス領域ＣＰ３１ａには、端末１ＡのＩＰアドレスが格納される。またＥＮＤフラグ領域ＣＰ３２ａには、リング状通信経路Ｇ１に所属する端末１Ａ，１Ｂ及び１Ｃのうち最後段の端末であるか否かを示すフラグが格納される。また映像表示位置領域ＣＰ３３ａには、各端末の表示画面に表示される会議用映像データの表示位置が格納される。
The IP address area CP31a stores the IP address of the terminal 1A. The END flag area CP32a stores a flag indicating whether the terminal is the last terminal among the
端末情報領域ＣＰ３ｂ及びＣＰ３ｃについては、上述した端末情報領域ＣＰ３ａと同様の構成であるためここでの説明は省略する。 Since the terminal information areas CP3b and CP3c have the same configuration as the terminal information area CP3a described above, the description thereof is omitted here.
従って図５の場合、例えば端末１Ａは、この制御パケットＣＰを受信すると、経路変更フラグ領域ＣＰ２１を確認し、経路変更がある場合には経路変更を行う。また端末１Ａは、経路変更がない場合には端末情報領域ＣＰ３ａの直下に格納されている端末情報領域ＣＰ３ｂに基づいて、この制御パケットＣＰを他の端末（ここでは端末１Ｂ）に転送することが示されている。
Therefore, in the case of FIG. 5, for example, when the
ここではＥＮＤフラグ領域ＣＰ３２ａに格納されているＥＮＤフラグが「０」であることから、端末１Ａは端末１Ｂにこの制御パケットＣＰ及び会議用映像データを転送することが示されている。 Here, since the END flag stored in the END flag area CP32a is “0”, it is indicated that the terminal 1A transfers the control packet CP and conference video data to the terminal 1B.
なお端末１Ａは、ＥＮＤフラグが１の場合には、この制御パケット及び会議用映像データを端末１Ｂではなくサーバ装置４に転送する。また端末１Ａは、この制御パケットＣＰを受信すると、映像表示位置領域ＣＰ３３ａに格納されている映像表示位置を端末情報テーブル１５に格納する。
If the END flag is 1, the terminal 1A transfers this control packet and conference video data to the
図６は、制御パケットＣＰのフォーマットの変更イメージを示す。制御パケットＣＰは、例えばリング状通信経路Ｇ１に所属する端末１Ｃに異常が発生した場合、端末１Ｃをリング状通信経路Ｇ１から分離させる場合に会議制御部２３により変更される。
FIG. 6 shows a change image of the format of the control packet CP. The control packet CP is changed by the
図６の場合、左側の制御パケットＣＰは変更前の制御パケットＣＰであり、右側の制御パケットＣＰａは変更後の制御パケットであることが示されている。また変更後の制御パケットＣＰａは、経路変更フラグ領域ＣＰ２１に格納されているフラグが無効から有効に変更されている点、表示画面分割数領域ＣＰ２３に格納されている表示画面の分割数が４から２に変更されている点及び端末１Ｃに関する端末情報領域ＣＰ３ｃが削除されている点で、変更前の制御パケットＣＰと異なることが示されている。
In the case of FIG. 6, the left control packet CP is the control packet CP before the change, and the right control packet CPa is the control packet after the change. In the control packet CPa after the change, the flag stored in the route change flag area CP21 is changed from invalid to valid, and the display screen division number stored in the display screen division number area CP23 is four. It is shown that it is different from the control packet CP before the change in that it is changed to 2 and the terminal information area CP3c related to the
また図６の場合、端末１Ｂはこの制御パケットＣＰａを受信すると、経路変更フラグ領域ＣＰ２１に格納されている経路変更フラグが「有効」であり、かつ、自端末に関するＥＮＤフラグ領域ＣＰ３２ｂに格納されているＥＮＤフラグが「１」であることを確認すると、次接続先が端末１Ｃからサーバ装置４に変更されたものと判断して、制御パケットＣＰａをサーバ装置４に送信する。端末１Ｃがリング状通信経路Ｇ１から分離されることにより、リング状通信経路Ｇ１における会議用映像データの通信を回復させることができる。またこの端末１Ｃの障害処理は、リング状通信経路Ｇ１内で行われるため、他のリング状通信経路（例えばリング状通信経路Ｇ２）に影響を与えないようにすることができる。
In the case of FIG. 6, when the terminal 1B receives this control packet CPa, the route change flag stored in the route change flag region CP21 is “valid” and is stored in the END flag region CP32b related to its own terminal. When it is confirmed that the END flag is “1”, it is determined that the next connection destination is changed from the
図７は、制御パケットＣＰのフォーマットの分割イメージを示す。制御パケットＣＰは、例えばリング状通信経路Ｇ１に所属する端末１Ｃに映像遅延が発生した場合、端末１Ｃをリング状通信経路Ｇ１から分離させ、他のリング状通信経路（例えばリング状通信経路Ｇ２）に接続する場合に会議制御部２３により分割される。
FIG. 7 shows a divided image of the format of the control packet CP. For example, when a video delay occurs in the terminal 1C belonging to the ring communication path G1, the control packet CP separates the terminal 1C from the ring communication path G1, and another ring communication path (for example, the ring communication path G2). Is divided by the
図７の場合、分割前の制御パケットＣＰは端末１Ａ，１Ｂ及び１Ｃの端末情報領域ＣＰ３ａ、ＣＰ３ｂ及びＣＰ３ｃを含んで構成されていたところ（図５参照）、端末１Ａ及び１Ｂの端末情報領域ＣＰ３ａ及びＣＰ３ｂから構成される制御パケットＣＰ１１と、端末１Ｃの端末情報領域ＣＰ３ｃのみから構成される制御パケットＣＰ１２とに分割されたことが示されている。また分割される際、端末情報領域ＣＰ３ｂは最後段の端末情報領域となるため、ＥＮＤフラグ領域ＣＰ３２ｂに格納されるＥＮＤフラグは「１」に変更されていることが示されている。
In the case of FIG. 7, the control packet CP before division includes terminal information areas CP3a, CP3b, and CP3c of
図８は、遅延測定パケットＤＰのフォーマットを示す。遅延測定パケットＤＰは、サーバ装置４から送信されるパケットであり、サーバ装置４がリング状通信経路内の端末（例えば端末１Ｃ）に映像遅延が発生したか否かを検知するために用いられる。
FIG. 8 shows the format of the delay measurement packet DP. The delay measurement packet DP is a packet transmitted from the
遅延測定パケットＤＰは、ＵＤＰヘッダ領域ＤＰ１、会議情報領域ＤＰ２及び端末情報領域ＤＰ３から構成される。 The delay measurement packet DP includes a UDP header area DP1, a conference information area DP2, and a terminal information area DP3.
ＵＤＰヘッダ領域ＤＰ１には、ＵＤＰパケットのヘッダ情報が格納される。 In the UDP header area DP1, the header information of the UDP packet is stored.
会議情報領域ＤＰ２は、テレビ会議の情報を格納するための複数の領域から構成され、具体的には、会議ＩＤ領域ＤＰ２１及びタイムスタンプ領域ＤＰ２２から構成される。 The conference information area DP2 includes a plurality of areas for storing video conference information, and specifically includes a conference ID area DP21 and a time stamp area DP22.
会議ＩＤ領域ＤＰ２１には、テレビ会議を識別するための識別情報が格納される。またタイムスタンプ領域ＤＰ２２には、サーバ装置４がこの遅延測定パケットＤＰを送信する送信時に付与するタイムスタンプが格納される。
In the conference ID area DP21, identification information for identifying the video conference is stored. The time stamp area DP22 stores a time stamp that is given when the
端末情報領域ＤＰ３は、リング状通信経路に属する端末からの応答を受け付けた順に端末単位で降順に作成される領域であり、テレビ会議に参加している端末の個別情報を格納するための複数の領域から構成される。具体的には、端末情報領域ＤＰ３ａは、ＩＰアドレス領域ＤＰ３１ａ、ＥＮＤフラグ領域ＤＰ３２ａ及び映像合成オーバヘッド時間領域ＤＰ３３ａから構成される。 The terminal information area DP3 is an area created in descending order for each terminal in the order in which responses from terminals belonging to the ring communication path are received, and includes a plurality of pieces of information for storing individual information of terminals participating in the video conference Consists of regions. Specifically, the terminal information area DP3a includes an IP address area DP31a, an END flag area DP32a, and a video composition overhead time area DP33a.
ＩＰアドレス領域ＤＰ３１ａには、端末のＩＰアドレスが格納される。またＥＮＤフラグ領域ＤＰ３２ａには、リング状通信経路に所属する端末のうち最後段であるか否かを示すフラグが格納される。また映像合成オーバヘッド時間領域ＤＰ３３ａには、会議用映像データの所定の位置に自端末映像データを埋め込んで合成する合成処理に費やした合成処理時間が格納される。この映像合成オーバヘッド時間は、各端末のメンテナンスに用いられる場合がある。 The IP address area DP31a stores the IP address of the terminal. In the END flag area DP32a, a flag indicating whether or not the terminal belongs to the ring communication path is the last stage is stored. The video composition overhead time region DP33a stores a composite processing time spent for the composite processing for embedding and synthesizing the terminal video data at a predetermined position of the conference video data. This video composition overhead time may be used for maintenance of each terminal.
端末情報領域ＤＰ３ｂ及びＤＰ３ｃについては、上述した端末情報領域ＤＰ３ａと同様の構成であるためここでの説明は省略する。 Since the terminal information areas DP3b and DP3c have the same configuration as the terminal information area DP3a described above, the description thereof is omitted here.
なおこの遅延測定パケットＤＰは、例えばサーバ装置４から端末１Ａに送信され、端末１Ａにより映像合成オーバヘッド時間領域ＤＰ３３ａに合成処理時間が格納された後、端末１Ｂに転送される。遅延測定パケットＤＰは、端末１Ｂ及び１Ｃにおいても同様に映像合成オーバヘッド時間が格納され、その後端末１Ｃによりサーバ装置４に転送される。
The delay measurement packet DP is transmitted from the
（１−５）遅延時間の算出
図９は、遅延時間算出方法の概念図を示す。サーバ装置４は、図示しないＲＯＭ等の記憶部にこの図９に示す遅延測定情報ＤＩを保持しており、この遅延測定情報ＤＩに基づいて、遅延時間の平均値を算出する。ここで算出された遅延時間の平均値は、例えば予め定められた規定値よりも大きい場合にはテレビ会議に参加している何れかの端末を現在のリング状通信経路（例えばリング状通信経路Ｇ１）から分離させ、他のリング状通信経路（例えばリング状通信経路Ｇ２）に接続することにより、映像遅延が拡大することを防止するために用いられる。
(1-5) Calculation of Delay Time FIG. 9 is a conceptual diagram of a delay time calculation method. The
遅延測定情報ＤＩは、サンプル数情報ＤＩ１及び遅延時間情報ＤＩ２を含んで構成される。サンプル数情報ＤＩ１には、サンプル番号が含まれる。また遅延時間情報ＤＩ２には、サーバ装置４が遅延測定パケットＤＰを送信した際に付与したタイムスタンプと、遅延測定パケットＤＰを受信した受信時の時刻とを比較して算出した遅延時間が含まれる。
The delay measurement information DI includes sample number information DI1 and delay time information DI2. The sample number information DI1 includes a sample number. The delay time information DI2 includes a delay time calculated by comparing the time stamp given when the
従って図９の場合、サンプル番号（１〜ｎ）ごとに遅延時間（Ａ（１）〜Ａ（ｎ））が算出され、遅延時間の平均値は、遅延時間（Ａ（１）〜Ａ（ｎ））の総和をサンプル番号の総和（１〜ｎ）で割ることにより算出されることが示されている。 Accordingly, in the case of FIG. 9, the delay time (A (1) to A (n)) is calculated for each sample number (1 to n), and the average value of the delay time is the delay time (A (1) to A (n). )) Is calculated by dividing the sum of the sample numbers by the sum (1 to n) of the sample numbers.
（１−６）映像合成処理の概要
図１０は、テレビ会議システム１における一連の映像配信処理の概要を示す。前提として、テレビ会議に参加する端末台数は合計６台であり、端末１Ａ，１Ｂ及び１Ｃは、グループ１のリング状通信経路Ｇ１に所属しており、端末２Ａ，２Ｂ及び２Ｃは、グループ２のリング状通信経路Ｇ２に所属している。
(1-6) Outline of Video Composition Process FIG. 10 shows an outline of a series of video distribution processes in the
この状況下において、端末１Ａは、サーバ装置４からの会議用映像データを受信すると、受信した会議用映像データの所定の位置に自端末映像データを埋め込んで合成処理を行い、合成処理した後の会議用映像データＤ１を端末１Ｂに送信する。
In this situation, when the
端末１Ｂは、端末１Ａからの会議用映像データＤ１を受信すると、受信した会議用映像データＤ１の所定の位置に自端末映像データを埋め込んで合成処理を行い、合成処理した後の会議用映像データＤ２を端末１Ｃに送信する。
When the terminal 1B receives the conference video data D1 from the
端末１Ｃは、端末１Ｂからの会議用映像データＤ２を受信すると、受信した会議用映像データＤ２の所定の位置に自端末映像データを埋め込んで合成処理を行い、合成処理した後の会議用映像データＤ３をサーバ装置４に送信する。
Upon receiving the conference video data D2 from the terminal 1B, the terminal 1C embeds its own video data in a predetermined position of the received conference video data D2, performs a synthesis process, and then conference video data after the synthesis process D3 is transmitted to the
端末２Ａ，２Ｂ及び２Ｃについても同様に、それぞれ受信した会議用映像データの所定の位置に自端末映像データを埋め込んで順次合成処理する。そしてグループ２の最後段の端末２Ｃは、端末２Ａ，２Ｂ及び２Ｃにおいて合成処理した後の会議用映像データＤ６をサーバ装置４に送信する。
Similarly, for the
サーバ装置４は、会議用映像データＤ３及びＤ６を受信すると、会議用映像データＤ３及びＤ６を合成して１つ会議用映像データＤ１０を生成する。そしてサーバ装置４は、合成処理した後の会議用映像データＤ１０をグループ１の最前段の端末１Ａ及びグループ２の最前段の端末２Ａに送信する。
Upon receiving the conference video data D3 and D6, the
端末１Ａ及び２Ａは、サーバ装置４からの会議用映像データＤ１０を表示画面に表示する。これ以降、端末１Ａ，１Ｂ，１Ｃ，２Ａ，２Ｂ，２Ｃ及びサーバ装置４は、上述してきた処理を繰り返す。
The
（１−７）フローチャート
図１１は、テレビ会議参加処理の処理手順を示す。このテレビ会議参加処理は、サーバ装置４が端末１Ａ及び１Ｂからの会議参加要求を受け付けたことを契機として実行される。
(1-7) Flowchart FIG. 11 shows the processing procedure of the video conference participation process. This video conference participation process is executed when the
まず端末１Ａは、会議参加要求をサーバ装置４に送信する（ＳＰ１）。 First, the terminal 1A transmits a conference participation request to the server device 4 (SP1).
サーバ装置４は、端末１Ａからの会議参加要求を受信すると、端末１Ａを会議情報テーブル２５に登録する。例えばサーバ装置４は、会議情報テーブル２５におけるグループ番号を「１」、ユーザ名を「端末１Ａ」、ＩＰアドレスを「１９２．１６８．１．１０」、映像表示位置を「１」、画面分割数を「１」に設定することにより、端末１Ａを会議情報テーブル２５に登録する。その後サーバ装置４は、参加許可通知を端末１Ａに送信する（ＳＰ２）。
When the
次いでサーバ装置４は、制御パケットＣＰを生成する。例えばサーバ装置４は、制御パケットＣＰにおける経路変更フラグを「有効」、会議ＩＤを「１」、表示画面分割数を「１」に設定し、端末１ＡのＩＰアドレスを「１９２．１６８．１．１０」、ＥＮＤフラグを「１」及び端末１Ａの映像表示位置を「１」に設定することにより、制御パケットＣＰを生成する。その後サーバ装置４は、生成した制御パケットＣＰを端末１Ａに送信する（ＳＰ３）。
Next, the
端末１Ａは、サーバ装置４からの制御パケットＣＰを受信すると、映像データ転送用のセッションを確立させるための接続要求をサーバ装置４に送信する（ＳＰ４）。なお映像データ転送用のセッションには、例えばＲＴＰ（Real-time Transport Protocol）が用いられる。サーバ装置４は、端末１Ａからの接続要求を受信すると、接続応答を端末１Ａに送信する（ＳＰ５）。
When the terminal 1A receives the control packet CP from the
ステップＳＰ４及びＳＰ５の処理により、端末１Ａとサーバ装置４との間の映像データ転送用のセッションが確立される。
Through the processing of steps SP4 and SP5, a video data transfer session between the terminal 1A and the
端末１Ａは、サーバ装置４からの接続応答を受信すると、制御パケットＣＰをサーバ装置４に送信する（ＳＰ６）。サーバ装置４は、端末１Ａからの制御パケットＣＰを受信すると、会議用映像データを端末１Ａに送信する（ＳＰ７）。
When the terminal 1A receives the connection response from the
端末１Ａは、サーバ装置４からの会議用映像データを受信すると、受信した会議用映像データを表示画面に表示するとともに、受信した会議用映像データの所定の位置に新たに入力及び生成した自端末映像データを埋め込んで合成処理を行い、合成処理した後の会議用映像データをサーバ装置４に送信する（ＳＰ８）。
When the terminal 1A receives the conference video data from the
端末１Ａ及びサーバ装置４は、上述したステップＳＰ７及びＳＰ８の処理を繰り返すことにより、両者間におけるテレビ会議を実現する。
The
次いで端末１Ｂは、端末１Ａ及びサーバ装置４の間でテレビ会議が行われている状況下において、参加要求をサーバ装置４に送信する（ＳＰ９）。
Next, the terminal 1B transmits a participation request to the
サーバ装置４は、端末１Ｂからの参加要求を受信すると、端末１Ｂを会議情報テーブル２５に登録する。例えばサーバ装置４は、会議情報テーブル２５の端末１Ａの情報の直下に、グループ番号を「１」、ユーザ名を「端末１Ｂ」、ＩＰアドレスを「１９２．１６８．１．２０」、映像表示位置を「２」、画面分割数を「２」に設定することにより、端末１Ｂを会議情報テーブル２５に登録する。またこのときサーバ装置４は、会議情報テーブル２５の端末１Ａの登録情報のうちの画面分割数を「１」から「２」に更新する。その後サーバ装置４は、参加許可通知を端末１Ｂに送信する（ＳＰ１０）。
When the
次いでサーバ装置４は、制御パケットＣＰを生成する。例えばサーバ装置４は、制御パケットＣＰにおける経路変更フラグを「有効」、会議ＩＤを「１」、表示画面分割数を「２」に設定し、端末１ＡのＩＰアドレスを「１９２．１６８．１．１０」、ＥＮＤフラグを「０」、端末１Ａの映像表示位置を「１」に設定し、端末１ＢのＩＰアドレスを「１９２．１６８．１．２０」、ＥＮＤフラグを「１」、端末１Ｂの映像表示位置を「２」に設定することにより、制御パケットＣＰを生成する。その後サーバ装置４は、生成した制御パケットＣＰを端末１Ａに送信する（ＳＰ１１）。
Next, the
端末１Ａは、サーバ装置４からの制御パケットＣＰを受信すると、映像データ転送用のセッションを中止するための切断要求をサーバ装置４に送信する（ＳＰ１２）。サーバ装置４は、端末１Ａからの切断要求を受信すると、切断応答を端末１Ａに送信する（ＳＰ１３）。
When the terminal 1A receives the control packet CP from the
ステップＳＰ１２及びＳＰ１３の処理により、端末１Ａとサーバ装置４との間の会議用映像データの転送が中止される。
The transfer of the conference video data between the terminal 1A and the
次いで端末１Ａは、接続要求を端末１Ｂに送信する（ＳＰ１４）。端末１Ｂは、端末１Ａからの接続要求を受信すると、接続応答を端末１Ａに送信する（ＳＰ１５）。
Next, the terminal 1A transmits a connection request to the
ステップＳＰ１４及びＳＰ１５の処理により、端末１Ａと端末１Ｂとの間の映像データ転送用のセッションが確立される。 Through the processing in steps SP14 and SP15, a video data transfer session between the terminal 1A and the terminal 1B is established.
端末１Ａは、端末１Ｂからの接続応答を受信すると、制御パケットＣＰを端末１Ｂに送信する（ＳＰ１６）。端末１Ｂは、端末１Ａからの制御パケットＣＰを受信すると、接続要求をサーバ装置４に送信する（ＳＰ１７）。サーバ装置４は、端末１Ｂからの接続要求を受信すると、接続応答を端末１Ｂに送信する（ＳＰ１８）。
Upon receiving the connection response from the terminal 1B, the terminal 1A transmits a control packet CP to the
ステップＳＰ１７及びＳＰ１８の処理により、端末１Ｂとサーバ装置４との間の映像データ転送用のセッションが確立される。
A session for transferring video data between the terminal 1B and the
その後端末１Ｂは、ステップＳＰ１７において受信した制御パケットＣＰをサーバ装置４に送信する（ＳＰ１９）。 Thereafter, the terminal 1B transmits the control packet CP received in step SP17 to the server device 4 (SP19).
ステップＳＰ１９の処理により、端末１Ａ，１Ｂ及びサーバ装置４によるリング状通信経路Ｇ１が形成される。
By the process of step SP19, the ring-shaped communication path G1 by the
サーバ装置４は、端末１Ｂからの制御パケットＣＰを受信すると、会議用映像データを端末１Ａに送信する（ＳＰ２０）。端末１Ａは、受信した会議用映像データを表示画面に表示するとともに、受信した会議用映像データの所定の位置に新たに入力及び生成した自端末映像データを埋め込んで合成処理を行い、合成処理した後の会議用映像データを端末１Ｂに送信する（ＳＰ２１）。
Upon receiving the control packet CP from the terminal 1B, the
端末１Ｂは、端末１Ａからの会議用映像データを受信すると、受信した会議用映像データを表示画面に表示するとともに、受信した会議用映像データの所定の位置に新たに入力及び生成した自端末映像データを埋め込んで合成処理を行い、合成処理した後の会議用映像データをサーバ装置４に送信する（ＳＰ２２）。
When the terminal 1B receives the conference video data from the
ステップＳＰ２０〜ＳＰ２２の処理により、端末１Ａ，１Ｂ及びサーバ装置４により形成されるリング状通信経路Ｇ１において会議用映像データが配信される。
Through the processing of steps SP20 to SP22, the conference video data is distributed on the ring-shaped communication path G1 formed by the
図１２は、監視処理の処理手順を示す。この監視処理は、サーバ装置４が各端末１Ａ，１Ｂ及び１Ｃとの間でテレビ会議を行っている場合に定期的に実行される。
FIG. 12 shows the procedure of the monitoring process. This monitoring process is periodically executed when the
まずサーバ装置４は、端末１Ａ，１Ｂ及び１Ｃがテレビ会議を行っている場合、予め定められた周期ａごとに制御パケットＣＰ及び遅延測定パケットＤＰを端末１Ａに送信する（ＳＰ３１）。
First, when the
端末１Ａは、制御パケットＣＰを受信すると、受信した制御パケットＣＰに基づいて、リング状通信経路Ｇ１の確認や経路変更の有無の確認を行う。また端末１Ａは、受信した制御パケットＣＰに基づいて、会議用映像データの所定の位置に自端末映像データを埋め込む合成処理を行う。また端末１Ａは、遅延測定パケットＤＰを受信すると、受信した遅延測定パケットＤＰに合成処理時間を格納する。
When the terminal 1A receives the control packet CP, the
そして端末１Ａは、制御パケットＣＰ及び遅延測定パケットＤＰを次端末１Ｂに送信する（ＳＰ３２）。
Then, the
端末１Ｂは、制御パケットＣＰ及び遅延測定パケットＤＰを受信すると、上述した端末１Ａにおける処理と同様の処理を行う。すなわち端末１Ｂは、制御パケットＣＰを受信すると、会議用映像データの所定の位置に自端末映像データを埋め込む合成処理を行う。また端末１Ｂは、遅延測定パケットＤＰを受信すると、受信した遅延測定パケットＤＰに合成処理時間を格納する。
When the terminal 1B receives the control packet CP and the delay measurement packet DP, the
そして端末１Ｂは、制御パケットＣＰ及び遅延測定パケットＤＰを端末１Ｃに送信する（ＳＰ３３）。 Then, the terminal 1B transmits the control packet CP and the delay measurement packet DP to the terminal 1C (SP33).
端末１Ｃは、制御パケットＣＰ及び遅延測定パケットＤＰを受信すると、上述した端末１Ａにおける処理と同様の処理を行う。すなわち端末１Ｃは、制御パケットＣＰを受信すると、会議用映像データの所定の位置に自端末映像データを埋め込む合成処理を行う。また端末１Ｃは、遅延測定パケットＤＰを受信すると、受信した遅延測定パケットＤＰに合成処理時間を格納する。
When the terminal 1C receives the control packet CP and the delay measurement packet DP, the
そして端末１Ｃは、制御パケットＣＰ及び遅延測定パケットＤＰをサーバ装置４に送信する（ＳＰ３４）。 Then, the terminal 1C transmits the control packet CP and the delay measurement packet DP to the server device 4 (SP34).
サーバ装置４は、制御パケットＣＰ及び遅延測定パケットＤＰを受信すると、受信した制御パケットＣＰに基づいて、各端末の何れかに異常が発生しているか否かを判断する。ここでは端末１Ａ，１Ｂ及び１Ｃの全ての端末から制御パケットＣＰを受信していることから、サーバ装置４は何れの端末にも異常が発生していないものと判断する。
When the
またサーバ装置４は、受信した遅延測定パケットＤＰに基づいて、遅延時間を測定し、遅延時間が予め定められた規定値よりも大きいか否かを判断するとともに、測定した遅延時間をＲＯＭ等の記憶部に格納して保持する。ここでは遅延時間が予め定められた規定値以下であったものとする。
Further, the
サーバ装置４は、何れの端末にも異常がないものと判断し、かつ、遅延時間が予め定められた規定値よりも大きくないと判断すると、会議用映像データを端末１Ａに送信する（ＳＰ３５）。
If the
端末１Ａは、サーバ装置４からの会議用映像データを受信すると、会議用映像データを表示画面に表示するとともに、受信した会議用映像データに新たに入力及び生成した自端末映像データを埋め込んで合成処理を行い、合成処理した後の会議用映像データを端末１Ｂに送信する（ＳＰ３６）。
When the terminal 1A receives the conference video data from the
端末１Ｂは、上述したステップＳＰ３６における端末１Ａの処理と同様の処理を行い、合成処理した後の会議用映像データを端末１Ｃに送信する（ＳＰ３７）。 The terminal 1B performs the same process as the process of the terminal 1A in step SP36 described above, and transmits the conference video data after the synthesis process to the terminal 1C (SP37).
端末１Ｃは、上述したステップＳＰ３６における端末１Ａの処理と同様の処理を行い、合成処理した後の会議用映像データをサーバ装置４に送信する（ＳＰ３８）。 The terminal 1C performs the same process as the process of the terminal 1A in step SP36 described above, and transmits the conference video data after the synthesis process to the server apparatus 4 (SP38).
サーバ装置４は、周期ａが経過したことを検知すると、制御パケットＣＰ及び遅延測定パケットＤＰを端末１Ａに再度送信する（ＳＰ３９）。
When detecting that the period a has elapsed, the
端末１Ａは、再度送信されてきた制御パケットＣＰ及び遅延測定パケットＤＰを受信すると、上述したステップＳＰ３２と同様の処理を実行する（ＳＰ４０）。また端末１Ｂ及び１Ｃについても同様に、上述したステップＳＰ３３及びＳＰ３４と同様の処理を実行する（ＳＰ４１及びＳＰ４２）。
When the terminal 1A receives the control packet CP and the delay measurement packet DP transmitted again, the
サーバ装置４は、再度受信した遅延測定パケットＤＰに基づいて、遅延時間が予め定められた規定値よりも大きいか否かを判断する。ここでは遅延時間が予め定められた規定値よりも大きかったものとする。この場合、サーバ装置４は、図１５において後述するように、リング状通信経路Ｇ１の最後段の端末１Ｃをリング状通信経路Ｇ１から分離させて、他のリング状通信経路（例えばリング状通信経路Ｇ２）に所属するように接続する（ＳＰ４３）。
The
サーバ装置４は、通信経路分割処理を実行した後、会議用映像データを端末１Ａに送信する（ＳＰ４４）。
After executing the communication path dividing process, the
端末１Ａは、サーバ装置４からの会議用映像データを受信すると、会議用映像データを表示画面に表示するとともに、受信した会議用映像データの所定の位置に新たに入力及び生成した自端末映像データを埋め込んで合成処理を行い、合成処理した後の会議用映像データを端末１Ｂに送信する（ＳＰ４５）。
When the terminal 1A receives the conference video data from the
端末１Ｂは、ステップＳＰ４５における端末１Ｂの処理と同様の処理を行い、合成処理した後の会議用映像データをサーバ装置４に送信する（ＳＰ４６）。 The terminal 1B performs the same process as the process of the terminal 1B in step SP45, and transmits the conference video data after the synthesis process to the server device 4 (SP46).
サーバ装置４は、周期ａが経過したことを検知すると、制御パケットＣＰ及び遅延測定パケットＤＰを端末１Ａに再度送信する（ＳＰ４７）。
When detecting that the period a has elapsed, the
端末１Ａは、再度送信されてきた制御パケットＣＰ及び遅延測定パケットＤＰを受信すると、ステップＳＰ３２と同様の処理を実行する（ＳＰ４８）。
When the terminal 1A receives the control packet CP and the delay measurement packet DP transmitted again, the
一方、端末１Ｂは、ステップＳＰ３３と同様の処理を実行するが、リング状通信経路Ｇ１が分割された後のリング状通信経路Ｇ１は端末１Ａ，１Ｂ及びサーバ装置４により形成されているため、端末１Ｂは制御パケットＣＰ及び遅延測定パケットＤＰをサーバ装置４に送信する（ＳＰ４９）。
On the other hand, the
一方でサーバ装置４は、リング状通信経路Ｇ１を分割した後、会議用映像データ端末１Ｃに送信する（ＳＰ５０）。
On the other hand, the
端末１Ｃは、サーバ装置４からの会議用映像データを受信すると、会議用映像データを表示画面に表示するとともに、受信した会議用映像データの所定の位置に新たに入力及び生成した自端末映像データを埋め込んで合成処理を行い、合成処理した後の会議用映像データをサーバ装置４に送信する（ＳＰ５１）。
Upon receiving the conference video data from the
またサーバ装置４は、予め定められた周期ｂが経過したことを検知すると、制御パケットＣＰ及び遅延測定パケットＤＰを端末１Ｃに再度送信する（ＳＰ５２）。
Further, when detecting that the predetermined period b has elapsed, the
以上のように、テレビ会議を行っている間に監視処理を実行することにより、リング状通信経路を構成する何れかの端末に異常が発生した場合又は何れかの端末において遅延が発生したことを迅速に検知することができる。 As described above, when a monitoring process is executed during a video conference, an abnormality occurs in any of the terminals constituting the ring communication path, or a delay occurs in any of the terminals. It can be detected quickly.
図１３は、異常端末削除処理の処理手順を示す。この異常端末削除処理は、サーバ装置４がテレビ会議に参加している何れかの端末（例えば端末１Ｃ）の異常を検知したことを契機として実行される。またこのリング状通信経路削除処理により、例えば図６に示したように制御パケットＣＰが制御パケットＣＰａに変更される。
FIG. 13 shows a processing procedure for abnormal terminal deletion processing. This abnormal terminal deletion process is executed when the
図１３に示す異常端末削除処理の前提として、端末１Ａ，１Ｂ及び１Ｃはリング状通信経路Ｇ１に所属し、これら端末１Ａ，１Ｂ，１Ｃ及びサーバ装置４は、会議用映像データを順に送受信し（ＳＰ６１〜ＳＰ６４）、また制御パケットＣＰを順に送受信している（ＳＰ６５〜ＳＰ６８）。
As a premise of the abnormal terminal deletion process shown in FIG. 13, the
なおステップＳＰ６５〜ＳＰ６８の処理において、送受信される制御パケットＣＰの経路変更フラグは無効に設定されている。 In the processing of steps SP65 to SP68, the path change flag of the transmitted / received control packet CP is set to invalid.
この状況下において、サーバ装置４は、制御パケットＣＰを端末１Ａに送信する（ＳＰ６９）。また端末１Ａは、制御パケットＣＰを受信すると、制御パケットＣＰに含まれる各種情報に基づいて、リング状通信経路Ｇ１の確認及び経路変更の有無の確認等を行う。その後端末１Ａは、この制御パケットＣＰを端末１Ｂに送信する（ＳＰ７０）。
Under this situation, the
端末１Ｂは、制御パケットＣＰを受信すると、制御パケットＣＰに含まれる各種情報に基づいて、リング状通信経路Ｇ１の確認及び経路変更の有無の確認等を行う。その後端末１Ｂは、この制御パケットＣＰを端末１Ｃに送信する（ＳＰ７１）。 When the terminal 1B receives the control packet CP, the terminal 1B checks the ring-shaped communication path G1 and the presence / absence of path change based on various information included in the control packet CP. Thereafter, the terminal 1B transmits this control packet CP to the terminal 1C (SP71).
ここで、制御パケットＣＰは例えばＴＣＰプロトコルを想定しており、例えば端末１Ｃが正常に動作している場合、端末１Ｂは制御パケットＣＰを端末１Ｃに送信した後に端末１Ｃからの受信確認通知を受信する。端末１Ｂは、この端末１Ｃからの受信確認通知を受信することにより、端末１Ｃが制御パケットＣＰを正常に受信できたものと判断することができる。
Here, the control packet CP assumes, for example, the TCP protocol. For example, when the terminal 1C is operating normally, the
これに対し、端末１Ｃに異常が発生している場合、端末１Ｂは制御パケットＣＰを端末１Ｃに送信した後に端末１Ｃからの受信確認通知を受信しない。この場合、端末１Ｂは端末１Ｃに異常が発生したものと判断することができる。以下、端末１Ｃに異常が発生し、端末１Ｂが端末１Ｃからの受信確認通知を受信することができなかった場合について説明する。
On the other hand, when an abnormality has occurred in the
端末１Ｂは、端末１Ｃからの受信確認通知が受信できなかったことにより端末１Ｃに異常が発生しているものと判断し、端末１Ｃに異常が発生していることを示す端末異常報告をサーバ装置４に送信する（ＳＰ７２）。
The terminal 1B determines that an abnormality has occurred in the
サーバ装置４は、端末異常報告を受信すると、端末１Ｃを削除した制御パケットＣＰａを生成する（図６参照）。例えばサーバ装置４は、制御パケットＣＰにおける経路変更フラグを「有効」、会議ＩＤを「１」、表示画面分割数を「２」に設定し、端末１ＡのＩＰアドレスを「１９２．１６８．１．１０」、ＥＮＤフラグを「０」、端末１Ａの映像表示位置を「１」に設定し、端末１ＢのＩＰアドレスを「１９２．１６８．１．２０」、ＥＮＤフラグを「１」、端末１Ｂの映像表示位置を「２」に設定し、端末１Ｃに関する情報を削除することにより、制御パケットＣＰａを生成する。その後サーバ装置４は、生成した制御パケットＣＰａを端末１Ａに送信する（ＳＰ７３）。
When receiving the terminal abnormality report, the
端末１Ａは、制御パケットＣＰａを受信すると、受信した制御パケットＣＰａに基づいて、リング状通信経路Ｇ１の確認及び経路変更の有無の確認を行う。その後端末１Ａは、制御パケットＣＰａを端末１Ｂに送信する（ＳＰ７４）。
When the terminal 1A receives the control packet CPa, the
端末１Ｂは、制御パケットＣＰａを受信すると、受信した制御パケットＣＰａに基づいて、リング状通信経路Ｇ１の確認及び経路変更の有無の確認を行う。このとき端末１Ｂは、次接続先が端末１Ｃからサーバ装置４に変更されたことを確認する。その後端末１Ｂは、接続要求をサーバ装置４に送信する（ＳＰ７５）。
When the terminal 1B receives the control packet CPa, the
サーバ装置４は、接続要求を受信すると接続応答を端末１Ｂに送信する（ＳＰ７６）。
When receiving the connection request, the
ステップＳＰ７５及びＳＰ７６の処理により、端末１Ｂとサーバ装置４との間の映像データ転送用のセッションが確立される。
Through the processing of steps SP75 and SP76, a video data transfer session between the terminal 1B and the
端末１Ｂは、サーバ装置４からの接続応答を受信すると、制御パケットＣＰａをサーバ装置４に送信する（ＳＰ７７）。
Upon receiving the connection response from the
これ以降、端末１Ａ，１Ｂ及びサーバ装置４は、端末１Ａ，１Ｂ及びサーバ装置４により形成されたリング状通信経路Ｇ１において会議用映像データが配信される（ＳＰ７８〜ＳＰ８０）。
Thereafter, the
以上のように、この異常端末削除処理により、リング状通信経路Ｇ１内の端末１Ｃに異常が発生したことを速やかに検知することができる。また他のリング状通信経路（例えばリング状通信経路Ｇ２）に影響を及ぼすことなくテレビ会議を継続することができる。 As described above, this abnormal terminal deletion process can quickly detect that an abnormality has occurred in the terminal 1C in the ring-shaped communication path G1. In addition, the video conference can be continued without affecting other ring communication paths (for example, ring communication path G2).
図１４は、遅延測定処理の処理手順を示す。この遅延測定処理は、サーバ装置４が端末１Ａ，１Ｂ及び１Ｃとの間でテレビ会議を行っている場合に定期的に実行される。またこの遅延測定処理により、例えば図７に示したように制御パケットＣＰが制御パケットＣＰ１１とＣＰ１２とに分割される。
FIG. 14 shows the procedure of the delay measurement process. This delay measurement process is periodically executed when the
図１４に示す遅延測定処理の前提として、端末１Ａ，１Ｂ及び１Ｃはリング状通信経路Ｇ１に所属しており、これら端末１Ａ，１Ｂ，１Ｃ及びサーバ装置４は、遅延測定パケットＤＰを順に送受信している（ＳＰ９１〜９７）。
As a premise of the delay measurement processing shown in FIG. 14, the
また端末１Ａ，１Ｂ及び１Ｃは、ステップＳＰ９２、ＳＰ９４及びＳＰ９６の処理において、それぞれ合成処理時間と同等の時間を予めタイマに設定し、タイマが満了したか否かを判断する。タイマに設定される時間は、事前に測定した値が用いられるとしてもよいし、リアルタイムに測定したときの値が用いられるとしてもよい。端末１Ａ，１Ｂ及び１Ｃは、タイマ満了後に次端末又はサーバ装置４に遅延測定パケットＤＰを送信する。
Also, the
サーバ装置４は、合成処理時間を含む遅延測定パケットＤＰを予め定められた規定回数だけ受信したか否かを判断する（ＳＰ９８）。
The
サーバ装置４は、この判断で否定結果を得ると、ステップＳＰ９１に戻り、遅延測定パケットＤＰを端末１Ａに再度送信する。これに対し、サーバ装置４はステップＳＰ９８の判断で肯定結果を得ると、図９に示した遅延測定情報ＤＩに基づいて、遅延時間の平均値を算出する（ＳＰ９９）。
If the
サーバ装置４は、遅延時間の平均値を算出すると、算出した平均値は予め定められた規定値よりも大きいか否かを判断する（ＳＰ１００）。
After calculating the average value of the delay time, the
サーバ装置４は、この判断で否定結果を得ると、ステップＳＰ９１に戻り、遅延測定パケットＤＰを端末１Ａに再度送信する。
If the
これに対し、サーバ装置４はステップＳＰ１００の判断で肯定結果を得ると、図４に示したように端末１Ｃのグループを「１」から「２」に変更して、会議情報テーブル２５を会議情報テーブル２５ａに変更する（ＳＰ１０１）。
On the other hand, when the
またサーバ装置４は、これまで端末１Ａに送信していたここでは図示しない制御パケットＣＰを図７に示すように端末１Ａ及び１Ｂに送信するための制御パケットＣＰ１１と、端末１Ｃに送信するための制御用パケットＣＰ１２とに分割する（ＳＰ１０２）。
In addition, the
なおこのステップＳＰ１０２のリング状通信経路を分割するリング状通信経路分割処理の詳細については後述する（図１５参照）。 Details of the ring-shaped communication path dividing process for dividing the ring-shaped communication path in step SP102 will be described later (see FIG. 15).
これ以降、サーバ装置４は、制御パケットＣＰ１１を端末１Ａに送信して、端末１Ａ及び１Ｂとはグループ１のリング状通信経路Ｇ１により会議用映像データを送受信する。一方で、サーバ装置４は、制御パケットＣＰ１２を端末１Ｃに送信して、端末１Ｃとはグループ２のリング状通信経路Ｇ２により会議用映像データを送受信する（ＳＰ１０３）。
Thereafter, the
なおサーバ装置４は、新規の端末からの会議参加要求を受信した場合、新規の端末を端末１Ｃが所属するグループ２のリング状通信経路Ｇ２に割り当てる。
When the
以上のように、この遅延測定処理により、映像に遅延が生じている端末１Ｃを他のグループのリング状通信経路Ｇ２に割り当てることができる。よってテレビ会議に参加している端末１Ａ，１Ｂ及び１Ｃは、ユーザに映像遅延を感じさせずにテレビ会議を継続することができる。
As described above, by this delay measurement process, the terminal 1C in which the video is delayed can be assigned to the ring communication path G2 of another group. Therefore, the
図１５は、リング状通信経路分割処理の処理手順を示す。このリング状通信経路分割処理は、サーバ装置４が遅延時間の平均値が予め定められた規定値よりも大きいと判断したことを契機として実行される。またこのリング状通信経路分割処理により、サーバ装置４からの制御パケットＣＰは、例えば図７に示す制御パケットＣＰ１１とＣＰ１２とに分割され、遅延が生じている端末が他のリング状通信経路に割り当てられる。
FIG. 15 shows a processing procedure for ring-shaped communication path division processing. This ring-shaped communication path division process is executed when the
図１５に示すリング状通信経路分割処理の前提として、端末１Ａ，１Ｂ及び１Ｃは、リング状通信経路Ｇ１に所属しており、これら端末１Ａ，１Ｂ，１Ｃ及びサーバ装置４は、会議用映像データを順に送受信している（ＳＰ１１１〜ＳＰ１１４）。
As a premise of the ring-shaped communication path dividing process shown in FIG. 15, the
サーバ装置４は、遅延時間の平均値が予め定められた規定値よりも大きいと判断した場合、図１４のステップＳＰ１０１で述べたように、会議情報テーブル２５を会議情報テーブル２５ａに更新する（図４参照）。次いでサーバ装置４は、図１４のステップＳＰ１０２で述べたように、制御パケットＣＰを端末１Ａ及び１Ｂに送信するための制御パケットＣＰ１１と端末１Ｃに送信するための制御パケットＣＰ１２とに分割する（図７参照）。
When the
次いでサーバ装置４は、制御パケットＣＰ１１を端末１Ａに送信する（ＳＰ１１５）。端末１Ａは、サーバ装置４からの制御パケットＣＰ１１を受信すると、受信した制御パケットＣＰ１１に基づいてリング状通信経路Ｇ１及び経路変更の有無を確認し、この制御パケットＣＰ１１を端末１Ｂに送信する（ＳＰ１１６）。
Next, the
端末１Ｂは、端末１Ａからの制御パケットＣＰ１１を受信すると、受信した制御パケットに基づいてリング状通信経路Ｇ１の確認及び経路変更の有無の確認を行う。端末１Ｂは、次接続先が端末１Ｃからサーバ装置４に変更されたことを確認すると、接続要求をサーバ装置４に送信する（ＳＰ１１７）。サーバ装置４は、端末１Ｂからの接続要求を受信すると、接続応答を端末１Ｂに送信する（ＳＰ１１８）。
When the terminal 1B receives the control packet CP11 from the
ステップＳＰ１１７及びＳＰ１１８の処理により、端末１Ｂとサーバ装置４との間の映像データ転送用のセッションが確立される。その後端末１Ｂは、サーバ装置４からの接続応答を受信すると、制御パケットＣＰ１１をサーバ装置４に送信する（ＳＰ１１９）。
Through the processing in steps SP117 and SP118, a video data transfer session between the terminal 1B and the
一方、サーバ装置４は、制御パケットＣＰ１２を端末１Ｃに送信する（ＳＰ１２０）。端末１Ｃは、サーバ装置４からの制御パケットＣＰ１２を受信すると、受信した制御パケットＣＰ１２に基づいてリング状通信経路Ｇ２及び経路変更の有無を確認する。そして端末１Ｃは、次接続先がサーバ装置４であることを確認すると、接続要求をサーバ装置４に送信する（ＳＰ１２１）。サーバ装置４は、端末１Ｃからの接続要求を受信すると、接続応答を端末１Ｃに送信する（ＳＰ１２２）。
On the other hand, the
ステップＳＰ１２１及びＳＰ１２２の処理により、端末１Ｃとサーバ装置４との間の映像データ転送用のセッションが確立される。
Through the processing of steps SP121 and SP122, a video data transfer session between the terminal 1C and the
その後端末１Ｃは、制御パケットＣＰ１２をサーバ装置４に送信する（ＳＰ１２３）。 Thereafter, the terminal 1C transmits the control packet CP12 to the server device 4 (SP123).
これ以降、サーバ装置４は、制御パケットＣＰ１１を端末１Ａに送信して、端末１Ａ及び１Ｂとはグループ１のリング状通信経路Ｇ１により会議用映像データを送受信する（ＳＰ１２４〜ＳＰ１２６）。一方で、サーバ装置４は、制御パケットＣＰ１２を端末１Ｃに送信して、端末１Ｃとはグループ２のリング状通信経路Ｇ２により会議用映像データを送受信する（ＳＰ１２７及びＳＰ１２８）。
Thereafter, the
なおサーバ装置４は、新規の端末からの会議参加要求を受信した場合、新規の端末を端末１Ｃが属するグループ２のリング状通信経路Ｇ２に割り当てる。
When the
以上のように、このリング状通信経路分割処理により、映像に遅延が生じている端末１Ｃを他のグループのリング状通信経路Ｇ２に割り当てることができる。よってテレビ会議に参加している端末１Ａ，１Ｂ及び１Ｃは、ユーザに映像遅延を感じさせずにテレビ会議を継続することができる。
As described above, by this ring-shaped communication path dividing process, the terminal 1C in which the video is delayed can be assigned to the ring-shaped communication path G2 of another group. Therefore, the
（１−８）第１の実施の形態による効果
以上のように、本実施の形態によるテレビ会議システム１によれば、複数のリング状通信経路Ｇ１、Ｇ２及びＧ３により構成されているため、例えばリング状通信経路Ｇ１に所属する端末１Ｃに異常が発生した場合であっても、異常が発生していない端末２Ａが所属する他のリング状通信経路Ｇ２においては継続してテレビ会議を行うことができる。よって障害発生時の影響範囲を最小限に留めることができる。
(1-8) Effects of First Embodiment As described above, according to the
また本実施の形態によるテレビ会議システム１によれば、例えばリング状通信経路Ｇ１に所属する端末１Ｃに映像遅延が発生している場合、映像遅延が発生している端末１Ｃをリング状通信経路Ｇ１から分離させて他のリング状通信経路Ｇ２に接続し、それぞれのリング状通信経路Ｇ１及びＧ２において継続してテレビ会議を行うことができる。よって各端末における映像遅延を防止することができる。
Further, according to the
そしてこのようにテレビ会議システム１が構成されることにより、障害時のリスクを分散させるとともに、映像遅延を解消し得る安価なテレビ会議システムを実現することができる。
By configuring the
（２）第２の実施の形態
第２の実施の形態におけるテレビ会議システムは、リング状通信経路のグループに応じて異なる会議用映像データを送信する点を除いて、第１の実施の形態におけるテレビ会議システム１と同様に構成される。以下、第１の実施の形態と同様の構成については同様の符号を付してその説明を省略し、異なる構成について説明する。
(2) Second Embodiment The video conference system in the second embodiment is the same as that in the first embodiment except that video data for conferences that differ depending on the group of ring communication paths is transmitted. The configuration is the same as the
（２−１）テーブル構成
図１６は、第２の実施の形態における会議情報テーブル２５の概念図を示す。この第２の実施の形態における会議情報テーブル２５は、端末３Ａの情報が格納されている点を除いて、第１の実施の形態における会議情報テーブル２５と同様に構成される。
(2-1) Table Configuration FIG. 16 shows a conceptual diagram of the conference information table 25 in the second embodiment. The conference information table 25 in the second embodiment is configured in the same manner as the conference information table 25 in the first embodiment except that the information of the terminal 3A is stored.
図１６の場合、端末３Ａはグループ「３」のリング状通信経路Ｇ３に所属しており、ＩＰアドレスは「１９２．１６８．１．７０」であることが示されている。また端末３Ａにおいては、画面表示位置が「１」であり、画面分割数が「１」であることから、会議映像が表示画面全体に表示されることが示されている。これに対し、端末１Ａ，１Ｂ，１Ｃ，２Ａ，２Ｂ及び２Ｃにおいては、画面表示位置が「６」であり、画面分割数が「６」であることから、端末１Ｃとは異なる会議映像が６分割された表示画面に表示されることが示されている。
In the case of FIG. 16, the
（２−２）映像合成処理の概要
図１７は、第２の実施の形態におけるテレビ会議システム１００（図１参照）の一連の映像配信処理の概要を示す。このテレビ会議システム１００は、例えば教育講座の配信を想定したものである。前提として、端末３Ａは講師用の端末であり、端末１Ａ，１Ｂ，１Ｃ，２Ａ，２Ｂ及び２Ｃは受講者用の端末である。また端末１Ａ，１Ｂ及び１Ｃはグループ１のリング状通信経路Ｇ１に所属しており、端末２Ａ，２Ｂ及び２Ｃはグループ２のリング状通信経路Ｇ２に所属しており、端末３Ａはグループ３のリング状通信経路Ｇ３に所属している。
(2-2) Overview of Video Composition Processing FIG. 17 shows an overview of a series of video distribution processing of the video conference system 100 (see FIG. 1) in the second embodiment. This
この状況下において、端末１Ａ，１Ｂ及び１Ｃは、それぞれ毎回空の会議用映像データの所定の位置に自端末の映像データを埋め込んで順次合成処理する。そしてグループ１の最後段の端末１Ｃは、端末１Ａ，１Ｂ及び１Ｃにおいて合成処理した後の会議用映像データＤ３をサーバ装置４に送信する。
Under this situation, each of the
端末２Ａ，２Ｂ及び２Ｃについても同様に、それぞれ毎回空の会議用映像データの所定の位置に自端末の映像データを埋め込んで順次合成処理する。そしてグループ２の最後段の端末２Ｃは、端末２Ａ，２Ｂ及び２Ｃにおいて合成処理した後の会議用映像データＤ６をサーバ装置４に送信する。
Similarly, for the
サーバ装置４は、会議用映像データＤ３及びＤ６を受信すると、会議用映像データＤ３及びＤ６を合成処理する。そしてサーバ装置４は、合成処理した後の会議用映像データＤ１０をグループ３に属する端末１Ｃに送信する。
When the
端末１Ｃは、サーバ装置４からの会議用映像データＤ１０を表示画面において表示するとともに、会議用映像データの所定の位置に自端末の映像データを埋め込んで合成処理する。なおここでは端末１Ｃは自端末の映像データを会議用映像データＤ７としてもよい。そして端末１Ｃは、合成処理した後の会議用映像データＤ７をサーバ装置４に送信する。
The terminal 1C displays the conference video data D10 from the
サーバ装置４は、端末１Ｃからの会議用映像データＤ７を受信すると、この会議用映像データＤ７をマルチキャストにより端末１Ａ，１Ｂ，１Ｃ，２Ａ，２Ｂ及び２Ｃの各端末に配信する。
Upon receiving the conference video data D7 from the
端末１Ａ，１Ｂ，１Ｃ，２Ａ，２Ｂ及び２Ｃの各端末は、サーバ装置４からの会議用映像データＤ７を表示画面に表示する。これ以降、端末１Ａ，１Ｂ，１Ｃ，２Ａ，２Ｂ，２Ｃ，３Ａ及びサーバ装置４は、上述してきた処理を繰り返す。なお制御パケットＣＰ及び遅延測定パケットＤＰについては、第１の実施の形態における制御処理と同様、サーバ装置４から端末１Ａ及び２Ａに送信される。
Each of the
（２−３）第２の実施の形態による効果
以上のように、本実施の形態によるテレビ会議システム１００によれば、リング状通信経路Ｇ１、Ｇ２及びＧ３の各グループに応じて異なる会議用映像データを配信することができる。
(2-3) Effects of Second Embodiment As described above, according to the
１ テレビ会議システム
１Ａ，１Ｂ，１Ｃ 端末
２Ａ，２Ｂ，２Ｃ 端末
３Ａ 端末
４ サーバ装置
２５ 会議情報テーブル
ＣＰ 制御パケット
ＤＰ 遅延測定パケット
1
Claims (5)
前記サーバ装置は、
前記リング状通信経路内の最後段の端末から会議用映像データを受信すると、受信した会議用映像データを合成して１つの会議用映像データを生成する合成処理を行い、合成処理した後の会議用映像データを前記リング状通信経路内の最前段の端末に送信し、
前記端末は、
前記会議用映像データを受信すると、受信した会議用映像データを自端末の表示画面に表示するとともに、前記受信した会議用映像データの所定の位置に自端末が入力した自端末映像データを埋め込んで合成処理を行い、合成処理した後の会議用映像データを前記リング状通信経路内の次接続先の端末又は前記サーバ装置に送信する
ことを特徴とするテレビ会議システム。 A television in which a server device and a plurality of terminals are connected on the same network, a plurality of ring communication paths are formed by the server device and the plurality of terminals, and video data for conference is distributed for each of the plurality of ring communication paths In the conference system,
The server device
When conference video data is received from the last terminal in the ring communication path, the conference video data is synthesized by synthesizing the received conference video data to generate one conference video data. Video data to the terminal in the front stage in the ring communication path,
The terminal
When the conference video data is received, the received conference video data is displayed on the display screen of the own terminal, and the own terminal video data input by the own terminal is embedded in a predetermined position of the received conference video data. A video conference system, comprising: performing a composition process, and transmitting the conference video data after the composition process to the next connection destination terminal or the server device in the ring communication path.
前記複数の端末とともに前記複数のリング状通信経路を形成し、前記複数のリング状通信経路ごとに前記会議用映像データを配信するための制御パケットを生成し、生成した制御パケットを前記リング状通信経路内の最前段の端末に所定の周期ごとに送信し、
前記複数の端末のうちの何れか一の端末を前記複数のリング状通信経路のうちの何れか一のリング状通信経路に新たに接続させる場合又は前記複数の端末のうちの何れか一の端末を前記複数のリング状通信経路のうちの何れか一のリング状通信経路から分離させる場合、前記一の端末を接続又は分離させるように制御する制御パケットを新たに生成し、生成した制御パケットを前記リング状通信経路内の最前段の端末に送信し、
前記端末は、
前記制御パケットを受信すると、受信した制御パケットに基づいて、前記受信した会議用映像データを自端末の表示画面に表示するとともに、前記受信した会議用映像データの所定の位置に自端末が入力した自端末映像データを埋め込んで合成処理を行い、合成処理した後の会議用映像データ及び前記制御パケットを前記リング状通信経路内の次接続先の端末又は前記サーバ装置に送信する
ことを特徴とする請求項１に記載のテレビ会議システム。 The server device
Forming the plurality of ring communication paths together with the plurality of terminals, generating a control packet for distributing the conference video data for each of the plurality of ring communication paths, and generating the generated control packet in the ring communication Send to the terminal on the front line in the route at a predetermined interval,
When any one of the plurality of terminals is newly connected to any one of the plurality of ring communication paths, or any one of the plurality of terminals Is separated from any one of the plurality of ring-shaped communication paths, a new control packet for controlling the one terminal to be connected or separated is generated, and the generated control packet is Send to the terminal in the forefront in the ring communication path,
The terminal
Upon receiving the control packet, based on the received control packet, the received conference video data is displayed on the display screen of the own terminal, and the own terminal inputs the predetermined position of the received conference video data. The video data for conference and the control packet after the synthesis processing are embedded by embedding the own terminal video data and transmitted to the next connection destination terminal in the ring communication path or the server device. The video conference system according to claim 1.
前記制御パケットを前記次接続先の端末に送信した後、前記次接続先の端末からの受信確認通知を受信しない場合、前記次接続先の端末に異常が発生していることを示す端末異常報告を前記サーバ装置に送信し、
前記サーバ装置は、
前記端末異常報告を受信すると、受信した端末異常報告に基づいて、異常が発生している端末を前記リング状通信経路から分離させるように制御する制御パケットを生成し、生成した制御パケットを前記リング状通信経路内の最前段の端末に送信する
ことを特徴とする請求項２に記載のテレビ会議システム。 The terminal
After transmitting the control packet to the next connection destination terminal, if the reception confirmation notification from the next connection destination terminal is not received, a terminal abnormality report indicating that an abnormality has occurred in the next connection destination terminal To the server device,
The server device
When the terminal abnormality report is received, a control packet is generated based on the received terminal abnormality report to control the terminal in which the abnormality has occurred to be separated from the ring communication path, and the generated control packet is transmitted to the ring The video conference system according to claim 2, wherein the video conference system is transmitted to a terminal in the forefront stage in a state communication path.
前記会議用映像データの伝送遅延時間を測定するための遅延測定パケットを生成し、生成した遅延測定パケットを前記リング状通信経路内の最前段の端末に送信するとともに、前記リング状通信経路内の最後段の端末からの前記遅延測定パケットを受信し、前記遅延測定パケットの送信時と受信時との間の時間に基づいて、前記会議用映像データの伝送遅延を算出し、算出した伝送遅延が予め定められた規定値よりも大きい場合、前記リング状通信経路内の少なくとも最後段の端末に映像遅延が発生しているものと判断し、前記最後段の端末を分離して他のリング状通信経路に接続するように制御する制御パケットを生成し、生成した制御パケットを前記リング状通信経路内の最前段の端末に送信し、
前記端末は、
前記遅延測定パケットを受信すると、前記合成処理にかかる時間の満了時に、前記受信した遅延測定パケットを前記リング状通信経路内の次接続先の端末又は前記サーバ装置に送信する
ことを特徴とする請求項３に記載のテレビ会議システム。 The server device
A delay measurement packet for measuring the transmission delay time of the conference video data is generated, and the generated delay measurement packet is transmitted to the terminal in the forefront stage in the ring communication path, and in the ring communication path The delay measurement packet is received from the terminal at the last stage, and based on the time between the transmission and reception of the delay measurement packet, the transmission delay of the conference video data is calculated, and the calculated transmission delay is If it is larger than a predetermined value, it is determined that a video delay has occurred at least at the last terminal in the ring communication path, and the last terminal is separated to obtain another ring communication. A control packet for controlling to connect to the path is generated, and the generated control packet is transmitted to the terminal in the forefront stage in the ring communication path,
The terminal
When the delay measurement packet is received, the received delay measurement packet is transmitted to the next connection destination terminal or the server device in the ring communication path when the time required for the combining process expires. Item 4. The video conference system according to Item 3.
前記サーバ装置が、前記リング状通信経路内の最後段の端末から会議用映像データを受信すると、受信した会議用映像データを合成して１つの会議用映像データを生成する合成処理を行い、合成処理した後の会議用映像データを前記リング状通信経路内の最前段の端末に送信する第１のステップと、
前記端末が、前記会議用映像データを受信すると、受信した会議用映像データを自端末の表示画面に表示するとともに、前記受信した会議用映像データの所定の位置に自端末が入力した自端末映像データを埋め込んで合成処理を行い、合成処理した後の会議用映像データを前記リング状通信経路内の次接続先の端末又は前記サーバ装置に送信する第２のステップと
を備えることを特徴とするテレビ会議方法。
A television in which a server device and a plurality of terminals are connected on the same network, a plurality of ring communication paths are formed by the server device and the plurality of terminals, and video data for conference is distributed for each of the plurality of ring communication paths In the video conference method in the conference system,
When the server device receives the conference video data from the last stage terminal in the ring-shaped communication path, the server device performs synthesis processing to generate one conference video data by synthesizing the received conference video data. A first step of transmitting the processed conference video data to the terminal in the forefront stage in the ring-shaped communication path;
When the terminal receives the conference video data, the terminal displays the received conference video data on the display screen of the own terminal, and the own terminal video input by the own terminal at a predetermined position of the received conference video data A second step of performing synthesis processing by embedding data, and transmitting the video data for conference after the synthesis processing to the next connection destination terminal or the server device in the ring-shaped communication path. Video conferencing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012148174A JP2014011704A (en) | 2012-07-02 | 2012-07-02 | Teleconference system and teleconference method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012148174A JP2014011704A (en) | 2012-07-02 | 2012-07-02 | Teleconference system and teleconference method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014011704A true JP2014011704A (en) | 2014-01-20 |
Family
ID=50108002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012148174A Pending JP2014011704A (en) | 2012-07-02 | 2012-07-02 | Teleconference system and teleconference method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014011704A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018012191A1 (en) * | 2016-07-12 | 2018-01-18 | Ｎｅｃプラットフォームズ株式会社 | Video conference system, application server, device, video conference method, and non-transitory computer readable medium storing video conference program |
-
2012
- 2012-07-02 JP JP2012148174A patent/JP2014011704A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018012191A1 (en) * | 2016-07-12 | 2018-01-18 | Ｎｅｃプラットフォームズ株式会社 | Video conference system, application server, device, video conference method, and non-transitory computer readable medium storing video conference program |
| JP2018011142A (en) * | 2016-07-12 | 2018-01-18 | Ｎｅｃプラットフォームズ株式会社 | Video conference system, device, video conference method, and video conference program |
| EP3451657A4 (en) * | 2016-07-12 | 2019-06-26 | NEC Platforms, Ltd. | Video conference system, application server, device, video conference method, and non-transitory computer readable medium storing video conference program |
| US10440326B2 (en) | 2016-07-12 | 2019-10-08 | Nec Platforms, Ltd. | Video conference system and video conference method |
| AU2017296487B2 (en) * | 2016-07-12 | 2021-09-09 | Nec Platforms, Ltd. | Video conference system and video conference method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8411129B2 (en) | Video conference system and method using multicast and unicast transmissions | |
| US9417921B2 (en) | Method and system for a graph based video streaming platform | |
| US9912707B2 (en) | Method and system for ensuring reliability of unicast video streaming at a video streaming platform | |
| US20160036886A1 (en) | Method and system for coordinating stream processing at a video streaming platform | |
| EP2241067B1 (en) | Multiway peer-to-peer media streaming | |
| US20140139614A1 (en) | Methods, systems and program products for managing resource distribution among a plurality of server applications | |
| US20160132280A1 (en) | Image transmission system and image transmission method | |
| JP2016091358A (en) | Information processing device, information processing system, program, and recording medium | |
| JP2019022181A (en) | Conference system, display method and changeover device for sharing display device | |
| JP2014011704A (en) | Teleconference system and teleconference method | |
| US20160105709A1 (en) | Signal processing device, signal processing method, computer program, and image transmission system | |
| CN111131757A (en) | Video conference display method, device and storage medium | |
| WO2021110167A1 (en) | Ad hoc cascade method, audio collection device, conference system, and storage medium | |
| JP6029805B2 (en) | Distribution apparatus, distribution program, and distribution method | |
| JP2008034900A (en) | Inter-multipoint conference system | |
| WO2010137245A1 (en) | Path setting device and path setting method | |
| JP3663151B2 (en) | Data transfer method, data transfer system, and receiver | |
| JP5370184B2 (en) | Data distribution method | |
| CN104754282A (en) | IP (Internet Protocol)-based video conference control system and method | |
| KR102398654B1 (en) | Broadcasting service method and broadcasting service system | |
| JP6753480B2 (en) | Terminal and display method | |
| JP4974929B2 (en) | Communication device | |
| JP6733417B2 (en) | Information processing apparatus, information processing system, information processing method, and information processing program | |
| EP3202083B1 (en) | Content delivery metadata exchange in wireless communication systems | |
| CN114422863A (en) | Video interactive live broadcast method and system |