JP2009033348A - Video conference application server, and video conference method, and program - Google Patents
Video conference application server, and video conference method, and program Download PDFInfo
- Publication number
- JP2009033348A JP2009033348A JP2007193659A JP2007193659A JP2009033348A JP 2009033348 A JP2009033348 A JP 2009033348A JP 2007193659 A JP2007193659 A JP 2007193659A JP 2007193659 A JP2007193659 A JP 2007193659A JP 2009033348 A JP2009033348 A JP 2009033348A
- Authority
- JP
- Japan
- Prior art keywords
- video stream
- display terminal
- video
- gui
- video conference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、例えばＩＰ（Internet Protocol）ネットワークを介して表示端末およびネットワークカメラと接続されるビデオ会議アプリケーションサーバ、ビデオ会議方法およびプログラムに関連する。 The present invention relates to a video conference application server, a video conference method, and a program connected to a display terminal and a network camera via, for example, an IP (Internet Protocol) network.
ネットワークを介して接続されたビデオ会議端末間でビデオ会議を行うビデオ会議システムがある。このビデオ会議システムでは、一方のビデオ会議端末で自らのカメラが撮影する映像をエンコードして相手側のビデオ会議端末に送信するとともに、相手ビデオ会議端末より映像ストリームを受信しデコードし表示する。このようなシステムでは、自分の顔がカメラのフレームに収まっているかどうかを確認するために自映像表示機能を備えたビデオ会議端末の存在が一般に知られている。 There is a video conference system that performs a video conference between video conference terminals connected via a network. In this video conference system, one video conference terminal encodes video captured by its own camera and transmits it to the other video conference terminal, and also receives, decodes and displays a video stream from the other video conference terminal. In such a system, it is generally known that there is a video conference terminal having a self-image display function in order to check whether or not his / her face is within the frame of the camera.
ビデオ会議にて扱われるデータを単一のビデオ会議端末で処理する場合には、GUI（Graphical User Interface）の処理、相手映像の受信とデコードと表示の処理、自映像のエンコードと送信と表示の処理を行う必要があるために、処理負荷が重くなり、映像の品質を高めることが難しい。 When processing data handled in a video conference with a single video conference terminal, the GUI (Graphical User Interface) processing, the other video reception and decoding and display processing, the self video encoding and transmission and display processing Since it is necessary to perform processing, the processing load becomes heavy and it is difficult to improve the quality of video.
そこで、ビデオ会議アプリケーションサーバを用意し、別に用意する表示端末では相手映像ストリームの受信とデコードと表示の処理のみを行い、その他の処理を上記サーバで行うようにしたビデオ会議システムがある。このビデオ会議システムでは、表示端末の処理負荷が軽くなり、ビデオ会議の映像の品質を高めることが可能である。 Therefore, there is a video conference system in which a video conference application server is prepared, and a separate display terminal performs only the process of receiving, decoding and displaying the partner video stream, and the other server performs other processes. In this video conference system, the processing load on the display terminal is reduced, and the video quality of the video conference can be improved.
このようなビデオ会議システムでは、ユーザに提供するGUIとして、ビデオ会議アプリケーションサーバは、表示端末の映像処理能力に応じた適切なGUIを提供する必要がある。 In such a video conference system, the video conference application server needs to provide an appropriate GUI corresponding to the video processing capability of the display terminal as a GUI provided to the user.
ここでGUIの生成に関連して、特許文献１に記載の方法がある。この方法によれば、携帯電話端末に接続される複合機に、画像フォーマット変換機能の実現を目的とする制御ユニットが搭載され、この制御ユニットが、携帯電話端末が表示処理することのできる複数の画像フォーマットリストを取得する。そして、複合機が所有する画像をあるフォーマットへと変換する際には、この制御ユニットが、この取得したリストに従い、変換後のフォーマットを携帯電話端末にてユーザが選択するためのGUIを自動生成してユーザに提供する。
上記特許文献１の手法を上述のビデオ会議システムに適用した場合、たとえば初期設定のために表示端末が表示可能な映像ストリームのコーデックのリストをビデオ会議アプリケーションサーバへ伝達するためのGUIを提供することはできるが、表示端末の映像処理能力に応じた適切なGUIを提供することはできない。
When the method of
本発明は、表示端末の映像処理能力に応じた適切なGUIを提供することを可能としたビデオ会議アプリケーションサーバ、ビデオ会議方法およびプログラムを提供する。 The present invention provides a video conference application server, a video conference method, and a program capable of providing an appropriate GUI corresponding to the video processing capability of a display terminal.
本発明の一態様としてのビデオ会議アプリケーションサーバは、
ネットワークを介して接続された、映像を撮像するカメラおよび映像を表示する表示端末を用いて、複数のビデオ会議端末と前記ネットワークを介してビデオ会議を行うビデオ会議アプリケーションサーバであって、
前記カメラおよび前記複数のビデオ会議端末から前記ネットワークを介して送られてくる映像ストリームを受信する映像ストリーム受信手段と、
前記表示端末により処理可能な映像ストリームの数を表す映像ストリーム数情報を前記表示端末から取得する映像ストリーム数取得手段と、
前記映像ストリーム数情報に示される前記映像ストリーム数以下の映像ストリームを、前記映像ストリーム受信手段によって受信された映像ストリームから選択する映像ストリーム選択手段と、
前記映像ストリーム選択手段により選択された映像ストリームを前記表示端末に転送し、また前記映像ストリーム受信手段によって前記カメラから受信された映像ストリームを前記複数のビデオ会議端末に転送する映像ストリーム転送手段と、
前記映像ストリーム数情報に示される前記映像ストリーム数にしたがって、前記表示端末において表示される映像ストリームを制御するためのGUI（Graphical User Interface）画像を生成するGUI画像生成手段と、
前記GUI画像生成手段により生成されたGUI画像を前記表示端末に送信するGUI画像送信手段と、
を備える。
The video conference application server as one aspect of the present invention includes:
A video conferencing application server that performs video conferencing with a plurality of video conferencing terminals via the network using a camera that captures video and a display terminal that displays video connected via a network,
Video stream receiving means for receiving video streams sent from the camera and the plurality of video conference terminals via the network;
Video stream number acquisition means for acquiring video stream number information representing the number of video streams that can be processed by the display terminal from the display terminal;
Video stream selection means for selecting a video stream equal to or less than the number of video streams indicated in the video stream number information from the video stream received by the video stream reception means;
Video stream transfer means for transferring the video stream selected by the video stream selection means to the display terminal, and transferring the video stream received from the camera by the video stream reception means to the plurality of video conference terminals;
GUI image generating means for generating a GUI (Graphical User Interface) image for controlling the video stream displayed on the display terminal according to the video stream number indicated in the video stream number information;
GUI image transmitting means for transmitting the GUI image generated by the GUI image generating means to the display terminal;
Is provided.
本発明の一態様としてのビデオ会議方法は、
ネットワーク上に存在する映像を撮像するカメラおよび映像を表示する表示端末を用いて、複数のビデオ会議端末と前記ネットワークを介してビデオ会議を行うビデオ会議方法であって、
前記カメラおよび前記複数のビデオ会議端末から前記ネットワークを介して送られてくる映像ストリームを受信する映像ストリーム受信ステップと、
前記表示端末により処理可能な映像ストリームの数を表す映像ストリーム数情報を前記表示端末から取得する映像ストリーム数取得ステップと、
前記映像ストリーム数情報に示される前記映像ストリーム数以下の映像ストリームを、前記映像ストリーム受信ステップにより受信された映像ストリームから選択する映像ストリーム選択ステップと、
前記映像ストリーム選択ステップにより選択された映像ストリームを前記表示端末に転送し、前記映像ストリーム受信ステップにおいて前記カメラから受信された映像ストリームを前記複数のビデオ会議端末に転送する映像ストリーム転送ステップと、
前記映像ストリーム数情報に示される前記映像ストリーム数にしたがって、前記表示端末において表示される映像ストリームを制御するためのGUI（Graphical User Interface）画像を生成するGUI画像生成ステップと、
前記GUI画像生成ステップにより生成されたGUI画像を前記表示端末に送信するGUI画像送信ステップと、
を備える。
A video conference method according to an aspect of the present invention includes:
A video conferencing method for performing video conferencing with a plurality of video conferencing terminals via the network using a camera that captures images existing on a network and a display terminal that displays images,
A video stream receiving step of receiving a video stream sent from the camera and the plurality of video conference terminals via the network;
Video stream number acquisition step for acquiring video stream number information representing the number of video streams that can be processed by the display terminal from the display terminal;
A video stream selection step of selecting video streams equal to or less than the number of video streams indicated in the video stream number information from the video streams received by the video stream reception step;
Transferring the video stream selected in the video stream selecting step to the display terminal, and transferring the video stream received from the camera in the video stream receiving step to the plurality of video conference terminals;
A GUI image generating step for generating a GUI (Graphical User Interface) image for controlling the video stream displayed on the display terminal according to the video stream number indicated in the video stream number information;
A GUI image transmission step of transmitting the GUI image generated by the GUI image generation step to the display terminal;
Is provided.
本発明の一態様としてプログラムは、
ネットワーク上に存在する映像を撮像するカメラおよび映像を表示する表示端末を用いて、複数のビデオ会議端末と前記ネットワークを介してビデオ会議を行うコンピュータに、
前記カメラおよび前記複数のビデオ会議端末から前記ネットワークを介して送られてくる映像ストリームを受信する映像ストリーム受信ステップと、
前記表示端末により処理可能な映像ストリームの数を表す映像ストリーム数情報を前記表示端末から取得する映像ストリーム数取得ステップと、
前記映像ストリーム数情報に示される映像ストリーム数以下の映像ストリームを、前記映像ストリーム受信ステップにより受信された映像ストリームから選択する映像ストリーム選択ステップと、
前記映像ストリーム選択ステップにより選択された映像ストリームを前記表示端末に転送し、また前記映像ストリーム受信ステップにおいて前記カメラから受信された映像ストリームを前記複数のビデオ会議端末に転送する映像ストリーム転送ステップと、
前記映像ストリーム数情報に示される前記映像ストリーム数にしたがって、前記表示端末において表示される映像ストリームを制御するためのGUI（Graphical User Interface）画像を生成するGUI画像生成ステップと、
前記GUI画像生成ステップにより生成されたGUI画像を前記表示端末に送信するGUI画像送信ステップと、
を実行させる。
As one aspect of the present invention, a program
Using a camera that captures an image on a network and a display terminal that displays the image, a computer that performs a video conference via the network with a plurality of video conference terminals,
A video stream receiving step of receiving a video stream sent from the camera and the plurality of video conference terminals via the network;
Video stream number acquisition step for acquiring video stream number information representing the number of video streams that can be processed by the display terminal from the display terminal;
A video stream selection step of selecting a video stream equal to or less than the number of video streams indicated in the video stream number information from the video stream received by the video stream reception step;
Transferring the video stream selected in the video stream selection step to the display terminal, and transferring the video stream received from the camera in the video stream receiving step to the plurality of video conference terminals;
A GUI image generating step for generating a GUI (Graphical User Interface) image for controlling the video stream displayed on the display terminal according to the video stream number indicated in the video stream number information;
A GUI image transmission step of transmitting the GUI image generated by the GUI image generation step to the display terminal;
Is executed.
本発明により、表示端末の映像処理能力に応じた適切なGUIを提供することが可能となる。 According to the present invention, it is possible to provide an appropriate GUI corresponding to the video processing capability of the display terminal.
以下、図面を参照しながら本発明の実施の形態について詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
＜実施形態１＞
図１は、本発明の実施形態に係るビデオ会議論理端末を示している。このビデオ会議論理端末は、ビデオ会議アプリケーションサーバ１１とネットワークカメラ１２と表示端末１３とから成る。各々はIP(Internet Protocol)ネットワーク１４により接続されているが、データのやりとりが可能であればATM(Asynchronous Transfer Mode)ネットワークなど、他の接続方式によって接続されても良い。ネットワークカメラ１２は、ＩＰネットワーク１４を介して接続された機器（本実施形態ではビデオ会議アプリケーションサーバ１１を想定する）とデータ交換を行う機能を備える。ネットワークカメラ１２は例えばUPnP(Universal Plug and Play)に対応するものであってもよい。なお、同図には1台のビデオ会議アプリケーションサーバと1台のネットワークカメラと1台の表示端末が示されているが、ネットワークカメラと表示端末は複数であってもよい。
<
FIG. 1 shows a video conference logical terminal according to an embodiment of the present invention. This video conference logical terminal includes a video conference application server 11, a network camera 12, and a display terminal 13. Each is connected by an IP (Internet Protocol)
図２は、図１のビデオ会議アプリケーションサーバ１１の詳細構成を示すブロック図である。 FIG. 2 is a block diagram showing a detailed configuration of the video conference application server 11 of FIG.
通信部２１は、ビデオ会議を行う相手側の端末（以下、相手ビデオ会議端末と称する）、ネットワークカメラ１２および表示端末１３とＩＰネットワーク１４を介してデータの交換を行う。たとえば通信部２１は相手ビデオ会議端末から送られてくる映像ストリームを受信し、またネットワークカメラ１２から送られてくる映像ストリームを受信する。通信部２１はたとえば映像ストリーム受信手段、GUI画像送信手段を有している。相手ビデオ会議端末は、本発明にかかわるビデオ会議倫理端末でもよいし、既知のビデオ会議端末でもよい。既知のビデオ会議端末である場合、この既知のビデオ会議端末は、たとえば、カメラと、表示手段（表示端末）と、ビデオ会議アプリケーションとを搭載している。
The
セッション制御部２２は、相手ビデオ会議端末とのビデオ会議セッションを管理する。たとえばビデオ会議セッションの開始および終了を制御する。
The
セッション情報記憶部２３は、ビデオ会議セッションの状態（たとえば現在ビデオ会議を行っている相手ビデオ会議端末のリスト、セッションＩＤなどのセッション情報）を記憶する。またセッション情報記憶部２３は、ビデオ会議セッションを開始する際にユーザに提供する、接続相手となる相手ビデオ会議端末候補の情報を記憶してもよい。
The session
機器情報記憶部２４は、IPネットワーク１４に接続されている使用可能な表示端末と該表示端末の処理能力情報とを含む表示端末リストと、IPネットワーク１４に接続されている使用可能なネットワークカメラと該ネットワークカメラの処理能力情報とを含むカメラリストと、表示端末とネットワークカメラとのマッピング情報とを記憶する。
The device
機器情報管理部２５は、IPネットワーク１４上の各機器（ネットワークカメラ、表示端末）を、機器情報記憶部２４内の情報に基づき管理する。機器情報管理部２５はたとえばIPネットワーク１４上に存在する表示端末（たとえば表示端末１３、および表示端末１３と異なる他の表示端末）を検出する表示端末検出手段を有している。
The device
GUI管理部２６は、表示端末１３が操作し得るビデオ会議アプリケーションの機能を適切に選定してGUI（Graphical User Interface）画像（あるいは単にGUIと称することもある）をGUI生成部２７を用いて生成して表示端末１３に提供し、またGUIに対して行われた表示端末１３の指示に応じて実行すべき処理の制御を行う。GUI管理部２６はたとえば映像ストリーム数取得手段、映像ストリーム選択手段を有している。
The
GUI生成部２７は、表示端末１３に提供するGUIをGUI管理部２６の指示により生成する。GUI生成部２７はたとえばGUI画像生成手段に相当する。
The
GUI情報記憶部２８は、表示端末１３に提供中のGUI画像上の各座標領域と、各座標領域に対応してビデオ会議アプリケーションサーバ１１にて行う処理との対応付けを保持する。
The GUI
受信映像ストリーム転送部２９は、相手ビデオ会議端末およびネットワークカメラ１２から送信される映像ストリームを表示端末１３に転送し、またネットワークカメラ１２から送信される映像ストリームを相手ビデオ会議端末に転送する。受信映像ストリーム転送部２９はたとえば映像ストリーム転送手段に相当する。
The received video
図３は、図１の表示端末１３の構成を示すブロック図である。 FIG. 3 is a block diagram showing a configuration of the display terminal 13 of FIG.
通信部３１は、IPネットワーク１４を介して接続された機器（本実施形態ではビデオ会議アプリケーションサーバを想定する）とデータ交換を行う。
The
画面表示部３２は、例えば液晶表示装置により構成される画面表示部であり、画像表示を行う。
The
映像ストリームデコード部３３は、映像ストリームをデコードし、デコードした映像ストリームを画面表示部３２の適切な位置に表示する。
The video
GUI画像デコード部３４は、ビデオ会議アプリケーションサーバ１１より受信したGUI画像をデコードし、デコードしたGUI画像を画面表示部３２に表示する。
The GUI
ユーザ入力部３５は、画面表示部３２に表示されるGUI画像上のある領域をユーザが指示した際、その指示した領域を表す座標情報を取得する。ユーザの指示は、例えばタッチペン入力により行うことができる。
When the user designates a certain region on the GUI image displayed on the
処理能力記憶部３６は、表示端末１３の処理能力を保持する。処理能力としては、たとえば映像ストリームデコード部３３がデコード可能な映像ストリームの本数、および画面表示部３２の画面サイズなどがある。
The processing
処理能力管理部３７は、ビデオ会議アプリケーションサーバ１１へ表示端末１３の処理能力を表す情報を伝達する。たとえば映像ストリームデコード部３３が同時にデコード可能な映像ストリームの本数を表す映像ストリーム数情報を伝達する。
The processing
以下では、まず図１に示される、ビデオ会議アプリケーションサーバ１１と表示端末１３とネットワークカメラ１２とによってビデオ会議論理端末が構成される過程を示し、次に、構成されたビデオ会議相手が相手ビデオ会議端末とビデオ会議のセッションを構築する手順を説明し、最後に、本実施形態の大きな特徴の１つである、ビデオ会議論理端末のユーザに提供するGUIの生成方法について説明する。 In the following, first, a process of configuring a video conference logical terminal by the video conference application server 11, the display terminal 13, and the network camera 12 shown in FIG. 1 will be described. Next, the configured video conference partner is the partner video conference. A procedure for constructing a video conference session with a terminal will be described. Finally, a method for generating a GUI provided to a user of a video conference logical terminal, which is one of the major features of this embodiment, will be described.
以下、図４〜図７を用いてビデオ会議論理端末が構成される過程について説明する。 Hereinafter, a process of configuring a video conference logical terminal will be described with reference to FIGS.
図４は、ビデオ会議アプリケーションサーバ１１がネットワークカメラ１２の情報を取得し、そのカメラを使用可能である場合に機器情報記憶部２４のリストに加える手順の一例を示す。例えばUPnPに対応したネットワークカメラはその存在を定期的にＩＰネットワーク１４上にマルチキャストを用いて通知する（S101）。ビデオ会議アプリケーションサーバ１１はネットワークカメラが送信する情報を受信し（S102）、該ネットワークカメラのＩＰアドレスおよび処理可能な映像フォーマットを含む情報を機器情報管理部２５により適切なフォーマットに変換して機器情報記憶部２４に保持する（S103）。これにより使用可能なネットワークカメラのリストが構築される。ここで、ビデオ会議アプリケーションサーバ１１がネットワークカメラを探す手順において能動的な働きをしても良い。
FIG. 4 shows an example of a procedure in which the video conference application server 11 acquires information of the network camera 12 and adds the information to the list in the device
図５は、表示端末１３がビデオ会議アプリケーションサーバ１１とデータの交換をして、該ビデオ会議アプリケーションサーバ１１とネットワークカメラ１２とともに、ビデオ会議論理端末を構築する手順を示す。表示端末１３はあらかじめＤＨＣＰ(Dynamic Host Configuration Protocol)などのプロトコルを用いることでビデオ会議アプリケーションサーバ１１とＩＰネットワーク１４を介して通信可能である。表示端末１３はビデオ会議アプリケーションサーバ１１を使用するため、自端末１３のＩＰアドレス、処理可能な映像フォーマット、デコード可能な映像ストリームの本数および自端末１３の画面サイズ（例えばピクセル単位）を含む処理能力情報を処理能力記憶部３６から取り出して、ビデオ会議アプリケーションサーバ１１へ送信する（S111）。なお、この処理能力情報の送信はビデオ会議アプリケーションサーバ１１から表示端末１３へのリクエストにより行われても良い。ビデオ会議アプリケーションサーバ１１は表示端末１３からの処理能力情報を通信部２１において受信し（S112）、機器情報管理部２５がこの処理能力情報を機器情報記憶部２４に保持することで表示端末のリストを構築する。続いてGUI管理部２６は、表示端末１３が使用可能なネットワークカメラのリストを機器情報管理部２５より取得し、そのリストを元にGUI生成部２７に表示端末１３の処理能力に応じた適切なGUIを生成させ、生成させたGUI画像を表示端末１３に送信する（S114）。表示端末１３はGUI画像を受信し（S115）、GUI画像デコード部３４を介して画面表示部３２に表示し、表示端末１３を使用するユーザにGUIを提供する。ここではGUIとして、ユーザには、ビデオ会議を行う際に相手ビデオ会議端末に自映像を送信するために使用が可能であるカメラのリストを含む図６のGUIが示される（なお図１には１台のネットワークカメラのみが表示されているが、ここでは少なくとも表示端末１３によって使用可能な４台のネットワークカメラがIPネットワークに接続されている）（S116）。ユーザは示されたリストから、使用するカメラをペン入力などにより指示し、表示端末１３におけるユーザ入力部３５はユーザにより指示された指示領域を表す座標情報をビデオ会議アプリケーションサーバ１１へ送信する(S117)。ビデオ会議アプリケーションサーバ１１におけるGUI管理部２６は、表示端末１３より受信した指示領域をもとにユーザが指定したネットワークカメラを特定して機器情報管理部２５に通知し（S118）、機器情報管理部２５は、GUI管理部２６から通知されたネットワークカメラを表示端末１３とマッピング（関連付け）し、ビデオ会議を行う際に両者が連動して動作するようにマッピング情報を機器情報記憶部２４に保持する（S119）。このマッピング情報は例えばSIP URIなどのIDの下で管理される。以上の手順により、ＩＰネットワーク上に散在していた各機器（ネットワークカメラ、表示端末、ビデオ会議アプリケーションサーバ）を用いて、１つのビデオ会議論理端末が構築される。
FIG. 5 shows a procedure in which the display terminal 13 exchanges data with the video conference application server 11 to construct a video conference logical terminal together with the video conference application server 11 and the network camera 12. The display terminal 13 can communicate with the video conference application server 11 via the
上記図５の手順においては、ビデオ会議アプリケーションサーバ１１の機器情報記憶部２４に表示端末のリストを保持した後にネットワークカメラとのマッピングを行ってビデオ会議論理端末を構築したが、使用可能な表示端末１３を単に把握する場合は、ビデオ会議論理端末を構築せず、表示端末のリストを保持する処理のみを行ってもよい。
In the procedure of FIG. 5 described above, a list of display terminals is held in the device
ここで、上記S118ではユーザにより指示された領域をもとにユーザが指定したネットワークカメラを特定することを説明したが、このように、ビデオ会議アプリケーションサーバのGUI管理部２６が、表示端末においてユーザが行った指示をどのように理解するか、その手順を説明する。GUI管理部２６はGUIを表示端末１３に提供する前に、表示端末１３の画面サイズ情報を機器情報管理部２５を介して機器情報記憶部２４より取得する。そして、GUI管理部２６は、GUI生成部２７にて生成させたGUI画像上の特定の座標領域と、ビデオ会議アプリケーションサーバ１１にて行う処理との対応付けを、GUI情報記憶部２８に保持する。表示端末１３におけるユーザの指示はユーザ入力部３５において、表示端末１３上の座標情報に変換され、ビデオ会議アプリケーションサーバ１１へ送信される。GUI管理部２６は表示端末１３より受信した座標情報と、あらかじめ保持している上記対応付けとにより、ビデオ会議アプリケーションサーバ１１が行う処理を決定する。
Here, in S118, it has been described that the network camera specified by the user is specified based on the area designated by the user. In this way, the
上述のGUI管理部２６の処理を、図６のネットワークカメラ選択画面を例に取り、図７を用いて解説する。図６にて示したGUIの各ボタンを図７に示すように領域Ａ〜領域Ｅと名づける。ユーザがネットワークカメラＢを指示する場合、表示端末１３からビデオ会議アプリケーションサーバ１１へは、表示端末１３上でのペン入力がユーザ入力部３５にて領域Ｂの座標情報に変換され、送信される。座標情報を受信したビデオ会議アプリケーションサーバ１１はGUI管理部２６がGUI情報記憶部２８にてあらかじめ保持してある対応付けに基づき、処理を行う。いま、図７の右側に示す対応付けが保持されていれば、ネットワークカメラＢを候補として特定し、領域ＢがハイライトされたGUIを生成するようにGUI生成部２７に指示し、そのGUIを表示端末１３に送信することで表示端末１３はGUIを更新する。この後に、ユーザは表示端末１３上で「決定」ボタン領域を指示すると、同様に「決定」ボタンの座標情報が、表示端末１３よりビデオ会議アプリケーションサーバ１１へ送信され、GUI情報記憶部２８の情報に基づき、対応するビデオ会議アプリケーションサーバ１１の処理である「指定されたネットワークカメラと表示端末をマッピング」をGUI管理部２６の指示により機器情報管理部２５が行う。
The processing of the
次に、構築されたビデオ会議論理端末が相手ビデオ会議端末とビデオ会議セッションを構築する手順を説明する。 Next, a procedure in which the constructed video conference logical terminal constructs a video conference session with the other video conference terminal will be described.
ビデオ会議アプリケーションサーバ１１において、機器情報管理部２５は表示端末１３とネットワークカメラとのマッピングが完了するとただちに、完了した旨を表す情報をGUI管理部２６に送り、GUI管理部２６はGUI生成部２７にマッピングの完了を示すGUIを生成させ、ユーザは表示端末１３に表示されるそのGUIにより、マッピングの完了を確認する。
In the video conference application server 11, as soon as the mapping between the display terminal 13 and the network camera is completed, the device
続いて、GUI管理部２６はビデオ会議セッションを開始するためのGUIをGUI生成部２７に生成させ、生成させたGUIを表示端末１３に送信する。このGUIにはビデオ会議セッションの開始にあたり必要となる、接続相手先の情報を入力するようなフォームまたはあらかじめ登録された接続相手先候補が含まれても良い。入力フォームが提供される場合には、ビデオ会議アプリケーションサーバ１１が表示端末１３上に擬似的に提供するソフトウェアキーボード等により、ユーザは入力を行ってもよい。
Subsequently, the
ユーザはGUIを介してビデオ会議セッションの接続先相手情報を入力または指示した後にセッションの開始を指示する。表示端末１３はユーザ入力部３５を介してユーザの指示をビデオ会議アプリケーションサーバ１１へ送信する。ビデオ会議アプリケーションサーバ１１はGUI管理部２６を介してセッション制御部２２にビデオ会議セッションの開始を指示し、セッション制御部２２は指定された相手先ビデオ会議端末とビデオ会議セッションを張るとともに、セッションの状態をセッション情報記憶部２３に保持する。
The user instructs the start of the session after inputting or instructing the destination information of the video conference session via the GUI. The display terminal 13 transmits a user instruction to the video conference application server 11 via the user input unit 35. The video conference application server 11 instructs the
ここで、ビデオ会議セッションを張るためにはＳＩＰ(Session Initiation Protocol)またはＨ．３２３が用いられる場合が多いが、他の手段を用いてもよい。セッション制御部２２は機器情報記憶部２４にて保持される各機器（ネットワークカメラ、表示端末）の情報とビデオ会議セッションとを直接関連付けて管理することはなく、例えばSIP URIなどのIDと関連付けてビデオ会議セッションを管理する。ビデオ会議セッションにおいて交換される映像コーデックおよびそのパラメータを含む情報は、例えばＳＤＰ(Session Description Protocol)を用いて決定される。上記パラメータを含む情報は、あらかじめ機器情報記憶部２４に保持された情報を、機器情報管理部２５を介してセッション制御部２２に渡すことで作成される。
Here, in order to establish a video conference session, SIP (Session Initiation Protocol) or H.264 is used. Although H.323 is often used, other means may be used. The
ビデオ会議セッションが張られた後は、相手ビデオ会議端末は前述のSDPで得た情報により、ビデオ会議アプリケーションサーバ１１へ適切な方式で映像ストリームを送信し、ビデオ会議アプリケーションサーバ１１は受信した映像ストリームを受信映像ストリーム転送部２９により、デコードすることなく表示端末１３へ転送する。
After the video conference session is established, the partner video conference terminal transmits a video stream to the video conference application server 11 in an appropriate manner based on the information obtained by the SDP, and the video conference application server 11 receives the received video stream. Is transferred to the display terminal 13 by the received video
また、ビデオ会議アプリケーションサーバ１１は、セッションが開始されるとただちに、表示端末１３とマッピングされているネットワークカメラに、映像ストリームをビデオ会議アプリケーションサーバ１１へ送信するよう指示し、ビデオ会議アプリケーションサーバ１１はネットワークカメラより受信した映像ストリームをデコードすることなく、相手ビデオ会議端末へと転送する。 Further, as soon as the session is started, the video conference application server 11 instructs the network camera mapped with the display terminal 13 to transmit the video stream to the video conference application server 11, and the video conference application server 11 The video stream received from the network camera is transferred to the partner video conference terminal without being decoded.
これらの映像ストリームは一般にRTP(Realtime Transport Protocol)により送信されることが多いが、必ずしもRTPを用いる必要はない。 In general, these video streams are often transmitted by RTP (Realtime Transport Protocol), but it is not always necessary to use RTP.
以上により、ビデオ会議論理端末と相手ビデオ会議端末との間でビデオ会議が実現され、図９に示されるようなデータの流れができる。図９ではビデオ会議論理端末が相手ビデオ会議端末Ａ、Ｂ、Ｃとビデオ会議を行っている様子が示されている。各相手ビデオ会議端末Ａ、Ｂ、Ｃはそれぞれカメラ４１Ａ、４１Ｂ、４１Ｃと、表示手段（表示端末）と、ビデオ会議アプリケーションとを有している。
As described above, the video conference is realized between the video conference logical terminal and the partner video conference terminal, and the data flow as shown in FIG. 9 can be performed. FIG. 9 shows a state in which the video conference logical terminal has a video conference with the partner video conference terminals A, B, and C. Each partner video conference terminal A, B, C has
ここで、ビデオ会議アプリケーションサーバ１１の受信映像ストリーム転送部２９について説明を加える。本実施形態によるビデオ会議論理端末とビデオ会議セッションを共にする相手ビデオ会議端末が映像ストリームをビデオ会議アプリケーションサーバ１１へ送信すると、全ての映像ストリームは受信映像ストリーム転送部２９が受信する(S121)。受信映像ストリーム転送部２９は、GUI管理部２６により指定された映像ストリームに、その映像が表示端末１３の画面表示部内のどの領域に配置されるかを指定する映像ストリーム表示領域指定情報を付加して（S122のYES、S123）、表示端末１３へ転送する（S124）。受信映像ストリーム転送部２９は、転送するよう指定されていない映像ストリームについては破棄する（S122のNO、S125）。GUI管理部２６が受信映像ストリーム転送部２９へ指示する映像ストリームの転送先は当該ビデオ会議セッションに関わるSIP URIなどのIDの下で管理された表示端末１３のIPアドレスを、機器情報管理部２５を介して機器情報記憶部２４から得ることにより、決定される。
Here, the received video
以上により、ビデオ会議論理端末と他のビデオ会議端末との間にビデオ会議セッションが構築される。次に図９のようにビデオ会議論理端末が相手ビデオ会議端末Ａ、ＢおよびＣとビデオ会議セッションを構築している場合において、表示端末１３の映像処理能力と表示端末１３に提供している（表示されている）GUIの状況とに応じて、ビデオ会議アプリケーションサーバが次に表示端末に提供するGUIを決定する方法について説明する。 As described above, a video conference session is established between the video conference logical terminal and another video conference terminal. Next, when the video conference logical terminal constructs a video conference session with the other video conference terminals A, B and C as shown in FIG. 9, the video processing capability of the display terminal 13 and the display terminal 13 are provided ( A method of determining the GUI that the video conference application server next provides to the display terminal in accordance with the GUI status (displayed) will be described.
より詳しくは、ビデオ会議セッション中に表示端末１３にビデオ会議アプリケーションサーバ１１が転送する映像ストリームをユーザが選択するために、表示端末１３に提供するGUIを決定する方法について説明する。表示端末１３の映像処理能力により場合分けを行い、まず、１本の映像ストリームのみデコード可能な表示端末に提供するGUIについて説明し、次に複数の映像ストリームをデコード可能な表示端末に提供するGUIについて説明する。なお、表示端末に提供されるGUIは、あらかじめ表示端末を操作するユーザが決定するのではなく、表示端末が持つ処理能力（デコード可能な映像ストリーム本数等）をビデオ会議アプリケーションサーバ１１が判断することで決定される。 More specifically, a method for determining a GUI to be provided to the display terminal 13 so that the user can select a video stream to be transferred by the video conference application server 11 to the display terminal 13 during the video conference session. The GUI for providing a display terminal capable of decoding only one video stream will be described according to the video processing capability of the display terminal 13. First, a GUI for providing a display terminal capable of decoding a plurality of video streams will be described. Will be described. Note that the GUI provided to the display terminal is not determined by the user operating the display terminal in advance, but the video conference application server 11 determines the processing capability of the display terminal (such as the number of video streams that can be decoded). Determined by
１本の映像ストリームのみをデコード可能な表示端末の場合に、ビデオ会議アプリケーションサーバ１１が提供するGUIの一例を、図１０に示す。ビデオ会議セッションが開始された直後に表示端末１３には、ネットワークカメラ１２より送られてきた自映像またはある相手ビデオ会議端末より送られてきた相手映像が表示されている。この状態において表示される映像の送信元は、セッション開始時にユーザが選択するための機能をビデオ会議アプリケーションサーバ１１が提供しても良い。 FIG. 10 shows an example of a GUI provided by the video conference application server 11 in the case of a display terminal capable of decoding only one video stream. Immediately after the start of the video conference session, the display terminal 13 displays a self-video sent from the network camera 12 or a partner video sent from a partner video conference terminal. The video conference application server 11 may provide a function for the user to select the transmission source of the video displayed in this state at the start of the session.
セッション開始直後にビデオ会議アプリケーションサーバ１１より提供されるGUIは、たとえば図１０(a)に示されるように、相手ビデオ会議端末Ａより送信される映像ストリームをデコードした映像が表示される領域と、ビデオ会議アプリケーションサーバ１１より転送される映像ストリームを変更する機能を実現するための「映像切替」ボタン（GUI）とを含む。 The GUI provided from the video conference application server 11 immediately after the start of the session is, for example, as shown in FIG. 10 (a), an area for displaying a video obtained by decoding a video stream transmitted from the partner video conference terminal A, And a “video switching” button (GUI) for realizing a function of changing a video stream transferred from the video conference application server 11.
ユーザが他の映像ストリームを表示端末１３に表示させたいと望み、「映像切替」ボタン領域を指示すると、表示端末１３のユーザ入力部３５がその指示を検知し、ビデオ会議アプリケーションサーバ１１へ「映像切替」ボタンの座標情報を送信する。ビデオ会議アプリケーションサーバ１１にておいて、GUI管理部２６は、表示端末１３より受信した座標情報から、転送する映像ストリームを変更する処理を実行する。すなわち、GUI管理部２６は受信映像ストリーム転送部２９へ、表示端末１３に転送する映像ストリームを、例えばビデオ会議端末Aより受信したものからビデオ会議端末Bより受信したものへと変更するよう指示を送る。受信映像ストリーム転送部２９は表示端末１３に転送する映像ストリームをビデオ会議端末Bより受信したものへと切り替える。GUI管理部２６はGUI情報記憶部２８へ、ユーザに提供しているビデオ会議アプリケーション１１の状態の変更を記録する。ユーザに提供されるGUIは図１０(b)に示されるように、相手ビデオ会議端末Ｂより受信する映像ストリームをデコードした映像が表示される領域と、表示させる映像を切り替える機能を実現するための「映像切替」ボタンを含む。
When the user desires to display another video stream on the display terminal 13 and designates the “video switching” button area, the user input unit 35 of the display terminal 13 detects the instruction and sends it to the video conference application server 11. The coordinate information of the “Switch” button is transmitted. In the video conference application server 11, the
表示端末１３にて確認されるこれら一連の切り替えは、「ビデオ会議端末Aより送信される映像が表示された状態」と「ビデオ会議端末B（や、その他の端末）より送信される映像が表示された状態」が、ビデオ会議アプリケーションサーバ１１において対等な処理関係（転送する映像ストリームの切り替え）にあることから、図１０(b)に示される状態から図１０(c)および図１０(d)に示される状態へと切り替えが起こる場合も、前述と同様の手順が踏まれる。以後、「映像切替」ボタン領域をユーザが指示する度に、ビデオ会議アプリケーションサーバ１１が表示端末１３に転送する映像ストリームが所定の順序で切り替わり、ネットワークカメラ１２より受信した自映像である映像ストリームもこの中に含まれる。なお、図１０では、明示されていないが、表示端末１３を使用するユーザが表示端末１３上に表示されている相手先を認識できるようなテキストメッセージまたはアイコンを含むGUIがビデオ会議アプリケーションサーバ１１より適時、提供されても良い。また、前述の「映像切替」ボタンではなく、図１１に示されるような、ユーザが表示させる映像を選択的に決定できるようなボタンを含むGUIが用いられてもよい。 These series of switchings confirmed on the display terminal 13 are “displaying the video transmitted from the video conference terminal A” and “displaying the video transmitted from the video conference terminal B (and other terminals). 10 (c) and FIG. 10 (d) from the state shown in FIG. 10 (b), since the “combined state” is in an equal processing relationship (switching of the video stream to be transferred) in the video conference application server 11. The same procedure as described above is also performed when switching to the state shown in FIG. Thereafter, every time the user designates the “video switching” button area, the video stream transferred from the video conference application server 11 to the display terminal 13 is switched in a predetermined order, and the video stream that is the own video received from the network camera 12 is also displayed. Included in this. Although not explicitly shown in FIG. 10, a GUI including a text message or an icon that allows the user using the display terminal 13 to recognize the other party displayed on the display terminal 13 is displayed from the video conference application server 11. May be provided in a timely manner. Further, instead of the above-described “video switching” button, a GUI including a button for selectively determining a video to be displayed by the user as shown in FIG. 11 may be used.
複数の映像ストリームをデコード可能な表示端末の場合、ビデオ会議アプリケーションサーバ１１が提供するGUIは、たとえば図１２のようになる。ここでは、ビデオ会議論理端末は、相手ビデオ会議端末として、ビデオ会議端末A、BおよびCの3台とビデオ会議セッションを構築する。ビデオ会議論理端末が複数のビデオ会議端末とビデオ会議セッションを持つ場合には、表示端末１３においてユーザが映像表示のオン（ON）とオフ（OFF）を決定するボタン領域を指示する度に、ビデオ会議アプリケーションサーバ１１では、GUI管理部２６が表示端末１３によって選択された映像ストリームの転送のONとOFFを受信映像ストリーム転送部２９へ指示し、切り替えを実現する。
In the case of a display terminal capable of decoding a plurality of video streams, a GUI provided by the video conference application server 11 is, for example, as shown in FIG. Here, the video conference logical terminal constructs a video conference session with the three video conference terminals A, B, and C as counterpart video conference terminals. When the video conferencing logical terminal has a video conferencing session with a plurality of video conferencing terminals, the video is displayed every time the user designates a button area for determining whether video display is on (ON) or off (OFF) on the display terminal 13. In the conference application server 11, the
図１２(a)に示すように表示端末１３にビデオ会議端末Aの映像、ビデオ会議端末Bの映像、ビデオ会議端末Cの映像およびネットワークカメラより得る自映像が表示されている。ここで、ユーザがビデオ会議端末Cの映像を表示させないよう望むとする。表示端末１３上の「ビデオ会議端末C映像OFF」ボタン領域をユーザが指示すると、ビデオ会議アプリケーションサーバ１１のGUI管理部２６が受信映像ストリーム転送部２９へビデオ会議端末Cから受信した映像ストリームの表示端末１３への転送を中断するよう指示する。GUI生成部２７は図１２(a)の「ビデオ会議端末C映像OFF」ボタンに該当する部分を「ビデオ会議端末C映像ON」ボタンに変更したGUIを生成し、GUI管理部２６が表示端末１３へこれを送信する。表示端末１３はビデオ会議アプリケーションサーバ１１より受信したGUI画像を用い、GUIを更新する。表示端末１３ではビデオ会議端末Cの映像ストリームの提供が停止し、たとえば図１２(b)に示す画面が表示される。
As shown in FIG. 12A, the video of the video conference terminal A, the video of the video conference terminal B, the video of the video conference terminal C, and the own video obtained from the network camera are displayed on the display terminal 13. Here, it is assumed that the user does not want to display the video of the video conference terminal C. When the user instructs the “video conference terminal C video OFF” button area on the display terminal 13, the
図１２(b)では、ビデオ会議端末Cの映像が表示されていた領域が黒画像になっているが、必ずしも黒画像でなくてもよく、ビデオ会議端末Cの映像ストリームの最後の１フレーム（つまり、静止画像）が表示されてもよいし、ビデオ会議端末Cを代表するアイコンや文字列または意味のある画像が表示されてもよい。 In FIG. 12 (b), the area where the video of the video conference terminal C was displayed is a black image, but it is not necessarily a black image, and the last frame of the video stream of the video conference terminal C ( That is, a still image) may be displayed, or an icon, a character string, or a meaningful image representing the video conference terminal C may be displayed.
また、GUIのレイアウトを変更し、「ビデオ会議端末C映像ON」ボタンのみを残した図１３に示すような形式で新たにGUIが提供されても良い。この際に、GUI管理部２６は受信映像ストリーム転送部２９により転送される映像ストリームに付加される、表示端末１３に指定する映像表示領域情報も適切に変更する。図示の例では、自映像の映像ストリームに付加される映像表示領域情報が変更されている。
Further, the GUI layout may be changed and a new GUI may be provided in the format shown in FIG. 13 in which only the “video conference terminal C video ON” button is left. At this time, the
また図１２のGUIと図１１のGUIとを組み合わせたGUIを生成してもよい。すなわち表示端末１３が複数の映像ストリームを同時にデコードし表示可能な場合、映像ストリームの表示領域ごとに、それぞれ表示すべき映像ストリームを選択するためのGUIを生成してもよい。これによれば、たとえば映像ストリーム数が４本あり、表示端末１３が２本の映像ストリームを同時にデコードし表示可能な場合は、４本のうち２本の映像ストリームを選択して同時に表示可能である。 Moreover, you may produce | generate GUI which combined GUI of FIG. 12, and GUI of FIG. That is, when the display terminal 13 can simultaneously decode and display a plurality of video streams, a GUI for selecting a video stream to be displayed may be generated for each display area of the video stream. According to this, for example, when there are four video streams and the display terminal 13 can decode and display two video streams simultaneously, two video streams out of the four video streams can be selected and displayed simultaneously. is there.
以上のように、本実施形態によれば、ビデオ会議アプリケーションサーバが表示端末がデコード可能な映像ストリームの本数に応じたGUIを生成し表示端末に提供することにより、ユーザが特別な設定をすることなく、表示端末ごとに適切な操作を行うことが可能になる。 As described above, according to the present embodiment, the video conference application server generates a GUI according to the number of video streams that can be decoded by the display terminal, and provides the display terminal with the GUI, so that the user makes a special setting. Therefore, it is possible to perform an appropriate operation for each display terminal.
＜実施形態２＞
本実施形態に係わるビデオ会議アプリケーションサーバ１１は、ビデオ会議アプリケーションサーバ１１と表示端末１３との間の使用可能帯域幅がユーザの希望するビデオ会議の映像品質を保つために十分でない場合に、ユーザの使用感を高めるため、相手ビデオ会議端末またはネットワークカメラ１２より受信した映像ストリームの表示端末１３への転送の制御を行うデータ調整手段をGUI管理部２６において備えることを特徴とする。
<
When the available bandwidth between the video conference application server 11 and the display terminal 13 is not sufficient to maintain the video quality of the video conference desired by the user, the video conference application server 11 according to the present embodiment In order to enhance the usability, the
ビデオ会議アプリケーションサーバ１１が、表示端末１３との間における、ＩＰネットワーク１４の使用可能帯域幅を測定する使用帯域幅測定手段を持つ場合、上記データ調整手段は、表示端末１３を使用してビデオ会議を行うユーザに不快感を与えない目的で、転送する映像ストリームの使用帯域幅を使用可能帯域幅内に収まるように変化させる。ここで、使用可能帯域幅測定手段としては、例えば表示端末１３とビデオ会議アプリケーションサーバ１１がＲＴＣＰ（RTP Control Protocol）を実装することにより測定する手段や、ユーザに直接品質の指定を行わせる手段、その他の独自実装による測定手段が考えられるが、どのような手段を用いても良い。
When the video conference application server 11 has a usable bandwidth measuring unit that measures the usable bandwidth of the
表示端末１３を操作するユーザが、転送される複数の各映像ストリームに対して、使用帯域の優先度を決定する場合を考える。本実施形態において、ビデオ会議アプリケーションサーバ１１が表示端末１３に提供するGUIは、たとえば図１４に示す品質優先映像選択欄５１を含む。複数の映像ストリームを同一のIPネットワークにて送信すると、帯域幅が不足し、映像にノイズが生じることもあり得るが、上記データ調整手段を備えるビデオ会議アプリケーションサーバ１１では、限られたIPネットワークの帯域幅内でユーザにとって利用品質の高いサービスを提供することができる。図１４に示したGUIにおいて、ユーザが品質優先映像選択欄５１内より、ビデオ会議端末Bの映像を優先させるために該当ボタン領域５１Ｂを指示し、表示端末１３のユーザ入力部３５がこの領域５１Ｂを表す座標情報をビデオ会議アプリケーションサーバ１１へ送信する。ビデオ会議アプリケーションサーバ１１のGUI管理部２６はビデオ会議端末Bの映像を優先する指示を受信すると、上記データ調整手段により、受信映像ストリーム転送部２９へビデオ会議端末Bの映像品質を優先させるよう指示を送るとともに、GUI生成部２７に、ビデオ会議端末Bの映像を優先して転送することを受け付けたことを示す図１５のGUIの生成を指示する。GUI管理部２６は生成されたGUIを表示端末１３に送信し、表示端末１３はGUIを更新する。
Consider a case where the user operating the display terminal 13 determines the priority of the bandwidth to be used for each of a plurality of transferred video streams. In the present embodiment, the GUI provided by the video conference application server 11 to the display terminal 13 includes, for example, a quality priority
上記データ調整手段によりビデオ会議端末Bの映像品質を優先させた場合における各ビデオ会議端末の映像ストリームに対する扱いを図１６と図１７を用いて説明する。ビデオ会議アプリケーションサーバ１１が受信する映像ストリームは全て同じ帯域幅を使用するものとするが、この前提は本実施形態の機能を制限するものではない。ユーザが図１５で示されるようにビデオ会議端末Ｂの映像を優先するようビデオ会議アプリケーションサーバ１１へGUIを介して指示したとする。ビデオ会議アプリケーションサーバ１１と表示端末１３との間の使用可能帯域幅が映像ストリーム２本分である場合、GUI管理部２６のデータ調整手段は図１６のように端末Ｂの映像ストリームに１本分の帯域を使用し、ビデオ会議端末Ａ、ビデオ会議端末Ｃおよびネットワークカメラ１２より受信する映像ストリームを時分割により表示端末１３へ提供するよう、受信映像ストリーム転送部２９へ随時、転送する映像ストリームの切り替え指示を行う。また、使用可能帯域幅が映像ストリーム３本分である場合では、図１７のように、時分割でビデオ会議端末Ｂ以外からの映像ストリームを表示端末１３に転送するよう切り替え指示を行う。上述の例では使用可能帯域幅が映像ストリーム２本分以上であったが、１本以下であっても類似の実装により、ビデオ会議アプリケーションサーバ１１はその状況においてユーザが快適にビデオ会議を行えるよう機能を提供可能である。
The handling of the video stream of each video conference terminal when priority is given to the video quality of the video conference terminal B by the data adjusting means will be described with reference to FIGS. The video streams received by the video conference application server 11 all use the same bandwidth, but this premise does not limit the functions of this embodiment. Assume that the user instructs the video conference application server 11 via the GUI to give priority to the video of the video conference terminal B as shown in FIG. When the usable bandwidth between the video conference application server 11 and the display terminal 13 is two video streams, the data adjustment means of the
図１５においては、ユーザはビデオ会議端末Bの映像のみを優先させる指示をしたが、ビデオ会議アプリケーションサーバ１１はユーザに複数の映像を優先させる機能を提供しても良く、この場合にGUI管理部２６はデータ調整手段により受信映像ストリーム転送部２９に最適な映像ストリームの切り替え指示を行えば良い。また、ユーザに優先する映像ストリームの順位付けを決定する機能を提供しても良いし、例えば自映像のような特定の映像を優先させない機能を提供してもよい。
In FIG. 15, the user gives an instruction to prioritize only the video of the video conference terminal B. However, the video conference application server 11 may provide a function of prioritizing a plurality of videos to the user. 26, the data adjustment means may instruct the received video
＜実施形態３＞
本実施形態は、ビデオ会議セッション中にユーザが使用する表示端末を切り替えることを可能にしたことを特徴とする。以下本実施形態について詳細に説明する。
<
The present embodiment is characterized in that the display terminal used by the user can be switched during the video conference session. Hereinafter, this embodiment will be described in detail.
図１８は、ビデオ会議セッション中にユーザが使用する表示端末を切り替える様子を示す。ユーザは既に開始されたビデオ会議を表示端末Ａを用いて行っている。ユーザが表示端末Ａの代わりに、表示端末Aより映像処理能力が高い表示端末Ｂを使用したいと望むとする。この場合、たとえばユーザは一度ビデオ会議セッションを終了し、表示端末Ｂを用いて、再び＜実施形態１＞にて示した手順を行えば同一の相手ビデオ会議端末とビデオ会議セッションを張ることができる。しかし、ユーザの手間が増える上、相手ビデオ会議端末に再びビデオ会議セッションを構築するよう依頼する必要がある。そこで、本実施形態にかかわるビデオ会議アプリケーションサーバ１１は、ビデオ会議セッションを維持したままユーザが使用する表示端末を表示端末Ａより表示端末Ｂへと変更する機能を提供する。
FIG. 18 shows how the display terminal used by the user is switched during the video conference session. The user has already started a video conference using the display terminal A. Assume that the user wants to use display terminal B having higher video processing capability than display terminal A instead of display terminal A. In this case, for example, the user once ends the video conference session, and can perform a video conference session with the same partner video conference terminal by using the display terminal B and performing the procedure described in <
図２３は、本実施形態にかかわるビデオ会議アプリケーションサーバ１１により、使用する表示端末を変更する処理を行う際のGUI管理部の手順フローを示すフローチャートである。 FIG. 23 is a flowchart illustrating a procedure flow of the GUI management unit when the video conference application server 11 according to the present embodiment performs a process of changing the display terminal to be used.
ビデオ会議アプリケーションサーバ１１は、ユーザが使用する表示端末１３をビデオ会議セッション中に変更することを可能にする機能を提供するため、図１９に示す「使用表示端末変更」ボタン６１を含むGUIを提供する。ユーザが「使用表示端末変更」ボタン６１の領域を指示すると、指示された領域の座標情報が表示端末Aよりビデオ会議アプリケーションサーバ１１へ送信され、ビデオ会議アプリケーションサーバ１１のGUI管理部２６は、機器情報管理部２５が保持する表示端末リストに基づきGUI生成部２７に、ユーザが切り替え先として使用可能な表示端末のリストを含む図２０に示すGUI（第２のGUI画像）を生成させ、生成させたGUIを表示端末Ａに提供する。ここで例えば、切り替え先として使用可能な表示端末が、表示端末Ｂ、CおよびＤであり、ユーザが切り替え先として表示端末Ｂを選択する場合、その選択を表す情報をビデオ会議アプリケーションサーバ１１は受信する（S131）。ここで図２０のGUIにおいては、同時に処理可能な映像ストリーム数が高い表示端末ほど上位（たとえば上側）に、同時に処理可能な映像ストリーム数が低い表示端末ほど下位（たとえば下側）に位置するようなGUIを生成し、表示端末Aに表示するようにしてもよい。また、図２０のGUIにおいて、各表示端末を選択するボタンに加えて、各表示端末の同時に処理可能な映像ストリーム数を表す情報を併記したGUIを生成し、表示端末Aに表示するようにしてもよい。
The video conference application server 11 provides a GUI including a “use display terminal change”
ビデオ会議アプリケーションサーバ１１は既述した手順により、該当部分（「表示端末B」ボタン）がハイライトされた図２０に示すGUIを表示端末Aに提供するとともに、GUI管理部２６がセッション制御部２２へ、表示端末Bが使用可能であるかの問い合わせを再度行い、返答を得る（S132）。表示端末Bが使用不可能である場合に（S132のNO）、GUI管理部２６は、図２１に示すエラーメッセージを含むGUIを表示端末Aに提供して（S133）、ビデオ会議セッションを継続させる（S134）。表示端末Bが使用可能である場合に（S132のYES）GUI管理部２６は、図２２に示す表示端末の変更をユーザに確認させるためのGUIを変更先表示端末である表示端末Bへ提供する（S135）。
The video conference application server 11 provides the GUI shown in FIG. 20 with the corresponding portion (“display terminal B” button) highlighted to the display terminal A according to the procedure described above, and the
図２２においてユーザが「キャンセル」ボタン領域を表示端末Bに対して指示すると（S136のNO）、GUI管理部２６は上述の表示端末Bが使用不可能である場合と同様に図２１に示すエラーメッセージを含むGUIを表示端末Aに提供し（S133）、表示端末Aを用いたビデオ会議セッションを継続させる（S134）。
In FIG. 22, when the user instructs the “cancel” button area to the display terminal B (NO in S136), the
図２２においてユーザが「OK」ボタン領域を指示すると(S136のYES)、GUI管理部２６は機器情報記憶部２４が保持するマッピング情報の更新を機器情報管理部２５に指示するとともに、機器情報管理部２５を介して、表示端末Ｂがデコード可能な映像ストリームの本数を含む処理能力の情報を取得する（S137）。表示端末Ｂがデコード可能な映像ストリームの本数が１本のときは（S137のNO）、GUI管理部２６は表示端末Bの画面サイズと転送する映像ストリームの本数（１本）に応じて生成されたGUIを端末Bに提供し（S138）、さらに表示端末Aへの映像ストリームの転送を停止するとともにビデオ会議アプリケーションサーバ１１が受信する映像ストリームのうちのある1本のストリームを表示端末Bに転送するように受信映像ストリーム転送部２９に指示する（S139）。そしてビデオ会議セッションを表示端末Bにて継続する（S140）。
In FIG. 22, when the user designates the “OK” button area (YES in S136), the
一方、表示端末Ｂがデコード可能な映像ストリームの本数が複数本のときは（S137のYES）、GUI管理部２６は表示端末Bの画面サイズと転送する映像ストリームの本数（複数本）に応じて生成されたGUIを端末Bに提供し（S141）、さらに表示端末Aへの映像ストリームの転送を停止するとともにビデオ会議アプリケーションサーバ１１が受信する映像ストリームのうち全て若しくは複数の映像ストリームを表示端末Bに転送するように受信映像ストリーム転送部２９に指示する（S139）。そしてビデオ会議セッションを表示端末Bにて継続する（S143）。
On the other hand, when the number of video streams that can be decoded by the display terminal B is plural (YES in S137), the
なお、上記では、表示端末を変更する際に、表示端末Bにてユーザの確認を行ったが、表示端末Ｂが使用可能な状態であればこの確認手順は省略することもある。 In the above description, when the display terminal is changed, the user is confirmed on the display terminal B. However, if the display terminal B is usable, this confirmation procedure may be omitted.
また、上記では、説明の便宜上、変更元の表示端末Aよりも変更先の表示端末Bの方が映像処理能力が高いとしたが、変更する際にこのような制限は必要なく、ユーザはビデオ会議アプリケーションサーバ１１の機器情報記憶部２４にて使用可能であるとされていれば任意の表示端末を変更先の表示端末として選択することができる。
Further, in the above, for convenience of explanation, it is assumed that the display terminal B as the change destination has higher video processing capability than the display terminal A as the change source. If it can be used in the device
以上のように本実施形態によれば、ビデオ会議の最中にビデオ会議セッションを再構築することなく、かつユーザが特別な設定をすることなく、複数の処理能力が異なる表示端末間で、使用する表示端末を変更することが可能となる。 As described above, according to the present embodiment, a video conference session is not reconstructed during a video conference, and a user does not make any special settings between display terminals having different processing capabilities. The display terminal to be changed can be changed.
＜実施形態４＞
図２４は、１つのビデオ会議アプリケーションサーバ７１と、１つのネットワークカメラ１２と、複数台の表示端末M、S1、S2より構成されたビデオ会議論理端末が、複数の相手ビデオ会議端末（相手ビデオ会議端末Ａ、ＢおよびＣ）とビデオ会議を行っている様子を示す。本実施形態では、このように、複数台の表示端末を使用してビデオ会議論理端末を構築することにより、それぞれの表示端末が1本の映像ストリームのみをデコード可能である場合も、表示端末の数が十分であれば、相手ビデオ会議端末が複数の場合に「映像切替」ボタン等を用いることなく全ての相手ビデオ会議端末の映像をユーザが確認することができる。また、表示端末が複数の映像ストリームをデコード可能である場合も、１つの表示端末のみで複数の映像ストリームを表示させる場合に比べ、各映像が大きく表示され、ユーザに提供するビデオ会議の使用感を高めることができる。
<Embodiment 4>
FIG. 24 shows a video conference logical terminal composed of one video conference application server 71, one network camera 12, and a plurality of display terminals M, S1, and S2. A state in which a video conference is performed with the terminals A, B, and C) is shown. In this embodiment, by constructing a video conference logical terminal using a plurality of display terminals as described above, even when each display terminal can decode only one video stream, If the number is sufficient, when there are a plurality of partner video conference terminals, the user can check the videos of all the partner video conference terminals without using the “video switching” button or the like. Also, when the display terminal can decode a plurality of video streams, each video is displayed larger than when only a single display terminal displays a plurality of video streams, and the usability of the video conference provided to the user is displayed. Can be increased.
以下、本実施形態について詳細に説明する。ただし本実施形態にかかわるビデオ会議アプリケーションサーバ７１の説明においては図２に示したビデオ会議アプリケーションサーバ１１のブロック図を利用する。 Hereinafter, this embodiment will be described in detail. However, in the description of the video conference application server 71 according to this embodiment, the block diagram of the video conference application server 11 shown in FIG. 2 is used.
まず、＜実施形態１＞に示された手順により、ビデオ会議アプリケーションサーバ７１と、ネットワークカメラ１２と、表示端末Ｍとによりビデオ会議論理端末を構成し、構成したビデオ会議論理端末と複数の相手ビデオ会議端末（相手ビデオ会議端末Ａ、ＢおよびＣ）との間にビデオ会議セッションを張る。複数の表示端末を用いて１つのビデオ会議論理端末を構築する機能を持つビデオ会議アプリケーションサーバ７１は、図２５に示す、ユーザが同じセッションにて使用する表示端末を追加するための「使用表示端末追加」ボタン７２を含むGUIを表示端末Ｍに提供する。ユーザが「使用表示端末追加」ボタン７２の領域を指示すると、指示された領域を示す座標情報が表示端末Ｍよりビデオ会議アプリケーションサーバ７１へ送信され、ビデオ会議アプリケーションサーバ７１のGUI管理部２６は、機器情報管理部２５が保持する表示端末リストに基づきGUI生成部２７に対して、ユーザが切り替え先として使用可能な表示端末のリストを含むGUI（第３のGUI画像）を生成させ、生成させたGUIを表示端末Ｍに提供する。表示端末Mに表示されるGUIの一例を図２６に示す。図２６においてユーザが、追加して使用する表示端末として、GUI７３における表示端末Ｓ１を選択すると、ユーザが選択した表示端末を表す情報がビデオ会議アプリケーションサーバ７１へ送信される。該当部分（「表示端末Ｓ１」ボタン）がハイライトされたGUIが提供されるとともに、図２９のフローチャートに示す動作がビデオ会議アプリケーションサーバ７１において行われる。
First, according to the procedure shown in <
ビデオ会議アプリケーションサーバ７１が表示端末Ｍよりユーザの選択情報を受信すると（S151）、選択されたボタンをハイライトしたGUIを返すとともに、GUI管理部２６が機器情報管理部２５へ、表示端末Ｓ１が使用可能であるかの問い合わせを行い、返答を得る（S152）。表示端末Ｓ１が使用不可能である場合に（S152のNO）GUI管理部２６は、例えば図２７に示すようなエラーメッセージを含むGUIを表示端末Ｍに提供し（S153）、表示端末Ｍのみを用いたビデオ会議セッションを継続させる（S154）。
When the video conference application server 71 receives the user selection information from the display terminal M (S151), the GUI that highlights the selected button is returned, the
表示端末Ｓ１が使用可能である場合に（S152のYES）GUI管理部２６は、図２８に示す、表示端末の追加をユーザに確認させるためのGUIを追加先表示端末である表示端末Ｓ１へ提供する（S155）。図２８においてユーザが「キャンセル」ボタン領域を指示すると（S156のNO）、GUI管理部２６は上述の表示端末Ｓ１が使用不可能な場合と同様の手順を踏み、表示端末Ｍのみを用いたビデオ会議セッションを継続させる（S153、S154）。
When the display terminal S1 is usable (YES in S152), the
図２８においてユーザが「OK」ボタン領域を指示すると（S156のYES）、GUI管理部２６は機器情報記憶部２４が保持するマッピング情報の更新を機器情報管理部２５に指示するとともに、あらかじめ機器情報記憶部２４が記憶する、表示端末Ｓ１がデコード可能な映像ストリームの本数を含む処理能力情報を取得する（S157）。
In FIG. 28, when the user designates the “OK” button area (YES in S156), the
表示端末S1が1本の映像ストリームのみをデコード可能な場合には（S157のNO）、表示端末S1の画面サイズと転送する映像ストリームの本数（１本）に応じたGUIを生成して表示端末S1に提供するとともに（S158）、ビデオ会議アプリケーションサーバが受信する映像ストリームのうちのある1本のストリームを表示端末S1に転送するよう受信映像ストリーム転送部２９に指示する（S159）。つまりGUI管理部２６は受信映像ストリーム転送部２９へ表示端末Mのみでなく表示端末S1にも映像ストリームを転送するよう指示する。そしてビデオ会議セッションを表示端末Mと表示端末S1にて継続する（S160）。
When the display terminal S1 can decode only one video stream (NO in S157), a GUI is generated and displayed according to the screen size of the display terminal S1 and the number of video streams to be transferred (one). In addition to providing to S1 (S158), the received video
一方、表示端末S1が複数の映像ストリームをデコード可能な場合には（S157のYES）、表示端末S1の画面サイズと転送する映像ストリームの本数（複数本）に応じたGUIを生成して表示端末S1に提供するとともに（S161）、ビデオ会議アプリケーションサーバが受信する映像ストリームのうちの全て若しくは複数の映像ストリームを表示端末S1へ転送するよう受信映像ストリーム転送部２９に指示する（S162）。つまりGUI管理部２６は受信映像ストリーム転送部２９へ表示端末Mのみでなく表示端末S1にも映像ストリームを転送するよう指示する。そして、ビデオ会議セッションを表示端末Mと表示端末S1にて継続する（S163）。
On the other hand, if the display terminal S1 can decode a plurality of video streams (YES in S157), the display terminal S1 generates a GUI corresponding to the screen size of the display terminal S1 and the number of video streams to be transferred (multiple). In addition to providing to S1 (S161), the received video
前述の手順を表示端末S2に対しても実施することにより、表示端末S２が追加され、表示端末S2は表示端末S1と同様にビデオ会議アプリケーションサーバ７１より映像ストリームを受信して表示することができる。 By performing the above-described procedure for the display terminal S2, the display terminal S2 is added, and the display terminal S2 can receive and display the video stream from the video conference application server 71 in the same manner as the display terminal S1. .
上記説明では、説明の便宜上、表示端末Mより上述の手順をすべて行う例を示したが、たとえばユーザが使用中の表示端末が2台（表示端末MおよびS1）のときに表示端末S2を追加する機能を、表示端末M上でなく表示端末S1上から用いても良い。また表示端末S1上からはこの追加する機能を使用できないようにする実装も考えられる。 In the above description, for the sake of convenience of explanation, an example in which the above-described procedure is all performed from the display terminal M has been shown. However, for example, when there are two display terminals (display terminals M and S1) in use by the user, a display terminal S2 is added. The function to be used may be used not from the display terminal M but from the display terminal S1. In addition, it is possible to implement such that the added function cannot be used from the display terminal S1.
また上記説明では、使用する表示端末の数を増加させる例を示したが、表示端末の数を減少させる機能をビデオ会議アプリケーションサーバに備えさせることも当然可能であり、これは表示端末を増加させる手順と類似の手順で実現できる。例えば、「使用表示端末削除」ボタンを含むGUIを提供し、ユーザがある表示端末をビデオ会議論理端末より削除するよう指示する場合、ビデオ会議アプリケーションサーバ７１のGUI管理部２６は該表示端末への、映像ストリームの転送を停止するよう受信映像ストリーム転送部２９に指示し、受信映像ストリーム転送部２９は該表示端末への映像ストリームの転送を停止する。同時にGUI管理部２６は該表示端末へのGUIの提供を停止するとともに、機器情報記憶部２４が記憶するマッピング情報から該表示端末を削除するよう機器情報管理部２５に指示する。
In the above description, the example of increasing the number of display terminals to be used has been shown. However, it is naturally possible to provide the video conference application server with a function of decreasing the number of display terminals, which increases the number of display terminals. It can be realized by a procedure similar to the procedure. For example, when a GUI including a “use display terminal deletion” button is provided and the user instructs to delete a certain display terminal from the video conference logical terminal, the
以上のように本実施形態によれば、ビデオ会議の最中にビデオ会議セッションを再構築することなく、かつユーザが特別な設定をすることなく、使用する表示端末の増加および減少が可能となる。 As described above, according to the present embodiment, it is possible to increase and decrease the number of display terminals to be used without reconstructing the video conference session during the video conference and without the user performing special settings. .
ここで、上記ビデオ会議アプリケーションサーバ７１は、受信した映像ストリームの転送先を表示端末ごとに選定する機能も有していてもよい。たとえば図３２に示すようにビデオ会議アプリケーションサーバ７１は、前述した表示端末を追加する機能に加えて、各表示端末に転送するべき映像ストリームを、表示端末ごとに個別に決定する機能をも有していてもよい。以下この機能について詳細に説明する。 Here, the video conference application server 71 may also have a function of selecting a transfer destination of the received video stream for each display terminal. For example, as shown in FIG. 32, the video conference application server 71 has a function of individually determining a video stream to be transferred to each display terminal in addition to the above-described function of adding a display terminal. It may be. This function will be described in detail below.
図３０はビデオ会議アプリケーション７１が表示端末Mに提供するGUIの例を示す。このGUIは前述した「使用表示端末追加」ボタン７２に加えて、映像ストリームの転送先を表示端末ごとに配分する機能を提供するための「映像ストリーム配分設定」ボタン８２を含む。ユーザが「映像ストリーム配分設定」ボタン８２の領域を指示すると、指示された領域を表す座標情報が表示端末Mよりビデオ会議アプリケーションサーバ７１へ送信され、ビデオ会議アプリケーションサーバ７１のGUI管理部２６が、GUI生成部２７に図３１に示すような形式をもつGUI（第４のGUI画像）の生成を指示し、生成されたGUIを表示端末Mに提供する。このGUIを介して、ユーザが各表示端末に転送される映像ストリームの配分を指定する。
FIG. 30 shows an example of a GUI provided to the display terminal M by the video conference application 71. The GUI includes a “video stream distribution setting”
ユーザは、このGUIを介して、表示端末Ｍ、Ｓ１およびＳ２に対して転送する映像ストリームを個別に選択することが可能であり、図３１では転送される映像ストリームがハイライトされる。本例では、表示端末Ｍには相手ビデオ会議端末Ａの映像が、表示端末Ｓ１には相手ビデオ会議端末Ｂの映像とネットワークカメラより得られる自映像が、表示端末Ｓ２には相手ビデオ会議端末Ｃの映像とネットワークカメラより得られる自映像が表示されるよう選択されている。ただし、ここで表示端末Mが１本の映像ストリームのみをデコード可能な表示端末であり、表示端末S1、S2が複数の映像ストリームをデコード可能な表示端末であるとする。 The user can individually select a video stream to be transferred to the display terminals M, S1, and S2 via the GUI, and the transferred video stream is highlighted in FIG. In this example, the video of the partner video conference terminal A is displayed on the display terminal M, the video of the partner video conference terminal B and the own video obtained from the network camera are displayed on the display terminal S1, and the partner video conference terminal C is displayed on the display terminal S2. And the self-image obtained from the network camera are selected to be displayed. Here, it is assumed that the display terminal M is a display terminal that can decode only one video stream, and the display terminals S1 and S2 are display terminals that can decode a plurality of video streams.
図３１の状態からユーザが、表示端末Mに相手ビデオ会議端末Bの映像ストリームを配分するよう指示すると、その指示を受けたビデオ会議アプリケーションサーバ７１のGUI管理部２６は機器情報管理部２５より取得した表示端末Ｍの処理能力情報から表示端末Mが映像ストリームを１本のみ表示できることを判断し、「相手ビデオ会議端末A」ボタンのハイライトを停止し、「相手ビデオ会議端末B」ボタンがハイライトされたGUIを表示端末Mに提供する。
When the user instructs the display terminal M to distribute the video stream of the partner video conference terminal B from the state of FIG. 31, the
一方、図３１の状態からユーザが、表示端末S1に相手ビデオ会議端末Aの映像ストリームを配分するよう指示すると、指示を受けたビデオ会議アプリケーションサーバ７１のGUI管理部２６は同様に表示端末Ｓ１の処理能力情報から表示端末S1が新たな映像ストリームを追加的に表示できることを判断し、「相手ビデオ会議端末A」ボタンが新たにハイライトされたGUIを表示端末Mに提供する。
On the other hand, when the user instructs the display terminal S1 to distribute the video stream of the partner video conference terminal A from the state of FIG. 31, the
ここでは図３１に示すハイライトの状態で、ユーザが「決定」ボタン領域を指示したとする。この場合、指示された「決定」ボタンの領域を表す座標情報が表示端末Mよりビデオ会議アプリケーションサーバ７１へ送信され、ビデオ会議アプリケーションサーバ７１のGUI管理部２６が、図３２に示すように、受信した映像ストリームを各表示端末に転送するよう、受信映像ストリーム転送部２９へ指示し、受信映像ストリーム転送部２９は指示された転送を行う。
Here, it is assumed that the user has designated the “OK” button area in the highlighted state shown in FIG. In this case, coordinate information indicating the area of the designated “decision” button is transmitted from the display terminal M to the video conference application server 71, and the
なお、前述した各実施形態にかかわるビデオ会議アプリケーションサーバは、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、通信部、セッション制御部、機器情報管理部、GUI管理部、GUI生成部、受信映像ストリーム転送部は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、ビデオ会議アプリケーションサーバは、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、機器情報記憶部、セッション情報記憶部、GUI情報記憶部は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。 Note that the video conference application server according to each embodiment described above can also be realized by using, for example, a general-purpose computer device as basic hardware. That is, the communication unit, the session control unit, the device information management unit, the GUI management unit, the GUI generation unit, and the received video stream transfer unit can be realized by causing the processor mounted on the computer device to execute the program. . At this time, the video conference application server may be realized by installing the above-described program in a computer device in advance, or may be stored in a storage medium such as a CD-ROM or distributed through the network. Then, this program may be realized by appropriately installing it in a computer device. In addition, the device information storage unit, session information storage unit, GUI information storage unit includes a memory, a hard disk or a CD-R, a CD-RW, a DVD-RAM, a DVD-R, etc. incorporated in or external to the computer device. It can be realized by appropriately using a storage medium or the like.
本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
１１、７１：ビデオ会議アプリケーションサーバ
１２：ネットワークカメラ
１３：表示端末
１４：IPネットワーク
２１：通信部
２２：セッション制御部
２３：セッション情報記憶部
２４：機器情報記憶部
２５：機器情報管理部
２６：GUI管理部
２７：GUI生成部
２８：GUI情報記憶部
２９：受信映像ストリーム転送部
３１：通信部
３２：画面表示部
３３：映像ストリームデコード部
３４：GUI画像デコード部
３５：ユーザ入力部
３６：処理能力記憶部
３７：処理能力管理部
11, 71: Video conference application server 12: Network camera 13: Display terminal 14: IP network 21: Communication unit 22: Session control unit 23: Session information storage unit 24: Device information storage unit 25: Device information management unit 26: GUI Management unit 27: GUI generation unit 28: GUI information storage unit 29: Received video stream transfer unit 31: Communication unit 32: Screen display unit 33: Video stream decoding unit 34: GUI image decoding unit 35: User input unit 36: Processing capability Storage unit 37: processing capacity management unit
Claims (10)
前記カメラおよび前記複数のビデオ会議端末から前記ネットワークを介して送られてくる映像ストリームを受信する映像ストリーム受信手段と、
前記表示端末により処理可能な映像ストリームの数を表す映像ストリーム数情報を前記表示端末から取得する映像ストリーム数取得手段と、
前記映像ストリーム数情報に示される前記映像ストリーム数以下の映像ストリームを、前記映像ストリーム受信手段によって受信された映像ストリームから選択する映像ストリーム選択手段と、
前記映像ストリーム選択手段により選択された映像ストリームを前記表示端末に転送し、また前記映像ストリーム受信手段によって前記カメラから受信された映像ストリームを前記複数のビデオ会議端末に転送する映像ストリーム転送手段と、
前記映像ストリーム数情報に示される前記映像ストリーム数にしたがって、前記表示端末において表示される映像ストリームを制御するためのGUI（Graphical User Interface）画像を生成するGUI画像生成手段と、
前記GUI画像生成手段により生成されたGUI画像を前記表示端末に送信するGUI画像送信手段と、
を備えたビデオ会議アプリケーションサーバ。 A video conferencing application server that performs video conferencing with a plurality of video conferencing terminals via the network using a camera that captures video and a display terminal that displays video connected via a network,
Video stream receiving means for receiving video streams sent from the camera and the plurality of video conference terminals via the network;
Video stream number acquisition means for acquiring video stream number information representing the number of video streams that can be processed by the display terminal from the display terminal;
Video stream selection means for selecting a video stream equal to or less than the number of video streams indicated in the video stream number information from the video stream received by the video stream reception means;
Video stream transfer means for transferring the video stream selected by the video stream selection means to the display terminal, and transferring the video stream received from the camera by the video stream reception means to the plurality of video conference terminals;
GUI image generating means for generating a GUI (Graphical User Interface) image for controlling the video stream displayed on the display terminal according to the video stream number indicated in the video stream number information;
GUI image transmitting means for transmitting the GUI image generated by the GUI image generating means to the display terminal;
Video conferencing application server with
前記映像ストリーム選択手段は、前記表示端末において選択された映像ストリームを特定する特定情報を前記表示端末から取得し、取得した特定情報に示される映像ストリームを前記映像ストリーム受信手段によって受信された映像ストリームから選択する、
ことを特徴とする請求項１に記載のビデオ会議アプリケーションサーバ。 The GUI image generation means generates a GUI image for selecting in the display terminal a video stream to be transferred to the display terminal by the video stream transfer means within a range equal to or less than the number indicated in the video stream number information,
The video stream selection means acquires specific information for specifying the video stream selected on the display terminal from the display terminal, and the video stream indicated by the acquired specific information is received by the video stream reception means. Select from
The video conference application server according to claim 1.
前記映像ストリーム選択手段は、前記表示端末において前記他の映像ストリームへの切り替えが指示されことを示す切り替え情報を前記表示端末から取得し、取得した切り替え情報によって指示される映像ストリームに前記表示端末に転送する映像ストリームを切り替えることを前記映像ストリーム転送手段に指示し、
前記映像ストリーム転送手段は、前記表示端末に転送する映像ストリームを前記映像ストリーム選択手段により指示された映像ストリームに切り替える、
ことを特徴とする請求項１に記載のビデオ会議アプリケーションサーバ。 The GUI image generation means generates a GUI image for instructing the display terminal to switch the video stream transferred to the display terminal by the video stream transfer means to another video stream,
The video stream selection unit acquires switching information indicating that switching to the other video stream is instructed in the display terminal from the display terminal, and adds the video stream indicated by the acquired switching information to the display terminal. Instructing the video stream transfer means to switch the video stream to be transferred,
The video stream transfer means switches the video stream to be transferred to the display terminal to the video stream instructed by the video stream selection means.
The video conference application server according to claim 1.
前記映像ストリーム選択手段は、前記各映像ストリームに対応する転送のオンおよびオフを指示する指示情報を前記表示端末から取得し、取得した指示情報に基づいて前記表示端末への各映像ストリームの転送のオンおよびオフを前記映像ストリーム転送手段に指示し、
前記映像ストリーム転送手段は、前記映像ストリーム選択手段により転送をオンおよびオフにすることを指示された映像ストリームの転送を開始または中止する、
ことを特徴とする請求項１に記載のビデオ会議アプリケーションサーバ。 The GUI image generation means generates a GUI image for instructing the display terminal to turn on and off the transfer for each of the video streams transferred by the video stream transfer means,
The video stream selection means acquires instruction information for instructing on and off of transfer corresponding to each video stream from the display terminal, and transfers each video stream to the display terminal based on the acquired instruction information. Instructing the video stream transfer means to turn on and off;
The video stream transfer means starts or stops the transfer of the video stream instructed to turn on and off the transfer by the video stream selection means;
The video conference application server according to claim 1.
前記映像ストリーム選択手段は、前記表示端末において高い品質で表示するように選択された映像ストリームを特定する情報を前記表示端末から取得し、前記表示端末から取得した情報により特定される映像ストリームを高い帯域幅を用いて転送することを前記映像ストリーム転送手段に指示し、
前記映像ストリーム転送手段は、前記映像ストリーム選択手段から指示された映像ストリームを前記高い帯域幅を用いて転送する、
ことを特徴とする請求項１に記載のビデオ会議アプリケーションサーバ。 The GUI image generation means generates a GUI image for selecting a video stream to be displayed with high quality among the video streams transferred by the video stream transfer means on the display terminal,
The video stream selection means acquires information specifying the video stream selected to be displayed with high quality on the display terminal from the display terminal, and the video stream specified by the information acquired from the display terminal is high. Instructing the video stream transfer means to transfer using bandwidth,
The video stream transfer means transfers the video stream instructed from the video stream selection means using the high bandwidth.
The video conference application server according to claim 1.
前記GUI画像生成手段は、前記表示端末検出手段により検出された前記他の表示端末のうちのいずれか１つを前記表示端末において選択するための第２のGUI画像を生成し、
前記GUI画像送信手段は、前記GUI画像生成手段により生成された第２のGUI画像を前記表示端末に送信し、
前記映像ストリーム選択手段は、前記表示端末において選択された他の表示端末を特定する端末特定情報を前記表示端末から取得し、
前記映像ストリーム数取得手段は、前記端末特定情報により特定される特定表示端末により処理可能な映像ストリームの数を表す映像ストリーム数情報を前記特定表示端末から取得し、
前記映像ストリーム選択手段は、前記表示端末へ転送されていた前記映像ストリームの転送の停止を前記映像ストリーム転送手段に指示し、また、前記特定表示端末から取得された映像ストリーム数情報に示される映像ストリーム数以下の映像ストリームを前記映像ストリーム受信手段によって受信される映像ストリームから選択し、
前記映像ストリーム転送手段は、前記表示端末へ転送していた前記映像ストリームの転送を停止し、前記映像ストリーム選択手段により前記特定表示端末に対して選択された映像ストリームを前記特定表示端末に転送する、
ことを特徴とする請求項１ないし５のいずれか一項に記載のビデオ会議アプリケーションサーバ。 A display terminal detecting means for detecting another display terminal different from the display terminal present on the network;
The GUI image generation means generates a second GUI image for selecting any one of the other display terminals detected by the display terminal detection means on the display terminal,
The GUI image transmitting means transmits the second GUI image generated by the GUI image generating means to the display terminal,
The video stream selection means acquires terminal specifying information for specifying another display terminal selected in the display terminal from the display terminal,
The video stream number acquisition means acquires, from the specific display terminal, video stream number information representing the number of video streams that can be processed by the specific display terminal specified by the terminal specifying information,
The video stream selection unit instructs the video stream transfer unit to stop the transfer of the video stream that has been transferred to the display terminal, and the video stream number information acquired from the specific display terminal A video stream equal to or less than the number of streams is selected from the video streams received by the video stream receiving means;
The video stream transfer unit stops the transfer of the video stream transferred to the display terminal, and transfers the video stream selected for the specific display terminal by the video stream selection unit to the specific display terminal. ,
The video conference application server according to any one of claims 1 to 5, wherein
前記GUI画像生成手段は、前記表示端末検出手段により検出された前記他の表示端末のうち少なくとも１つを前記表示端末において選択するための第３のGUI画像を生成し、
前記GUI画像送信手段は、前記GUI画像生成手段により生成された第３のGUI画像を前記表示端末に送信し、
前記映像ストリーム選択手段は、前記表示端末において選択された他の表示端末を特定する端末特定情報を前記表示端末から取得し、
前記映像ストリーム数取得手段は、前記端末特定情報によって特定される特定表示端末により処理可能な映像ストリームの数を表す映像ストリーム数情報を前記特定表示端末から取得し、
前記映像ストリーム選択手段は、前記特定表示端末から取得された映像ストリーム数情報に示される映像ストリーム数以下の映像ストリームを、前記映像ストリーム受信手段によって受信される映像ストリームから選択し、
前記映像ストリーム転送手段は、前記映像ストリーム選択手段によって前記特定表示端末に対して選択された映像ストリームを前記特定表示端末に転送する、
ことを特徴とする請求項１ないし５のいずれか一項に記載のビデオ会議アプリケーションサーバ。 A display terminal detecting means for detecting another display terminal different from the display terminal present on the network;
The GUI image generation means generates a third GUI image for selecting at least one of the other display terminals detected by the display terminal detection means on the display terminal,
The GUI image transmitting means transmits a third GUI image generated by the GUI image generating means to the display terminal,
The video stream selection means acquires terminal specifying information for specifying another display terminal selected in the display terminal from the display terminal,
The video stream number acquisition means acquires, from the specific display terminal, video stream number information representing the number of video streams that can be processed by the specific display terminal specified by the terminal specifying information,
The video stream selection means selects a video stream equal to or less than the number of video streams indicated in the video stream number information acquired from the specific display terminal from the video streams received by the video stream reception means,
The video stream transfer means transfers the video stream selected for the specific display terminal by the video stream selection means to the specific display terminal;
The video conference application server according to any one of claims 1 to 5, wherein
前記GUI画像送信手段は、前記GUI画像生成手段により生成された第４のGUI画像を、前記表示端末または前記特定表示端末のうちの１つの端末に送信し、
前記映像ストリーム選択手段は、前記１つの端末において、前記表示端末および前記特定表示端末にそれぞれ転送するよう選択された映像ストリームを表す端末別ストリーム情報を前記１つの端末から取得し、取得した端末別ストリーム情報に基づいて前記表示端末および前記特定表示端末にそれぞれ転送する映像ストリームを選択する、
ことを特徴とする請求項７に記載のビデオ会議アプリケーションサーバ。 The GUI image generation means has a video stream to be transferred to the display terminal and the specific display terminal, which is equal to or less than the number of video streams indicated in the video stream number information acquired from each of the display terminal and the specific display terminal. Generate a fourth GUI image to select within the range,
The GUI image transmitting unit transmits the fourth GUI image generated by the GUI image generating unit to one of the display terminal and the specific display terminal,
The video stream selection unit acquires, from the one terminal, terminal-specific stream information representing a video stream selected to be transferred to the display terminal and the specific display terminal, respectively. Selecting video streams to be respectively transferred to the display terminal and the specific display terminal based on stream information;
The video conferencing application server according to claim 7.
前記カメラおよび前記複数のビデオ会議端末から前記ネットワークを介して送られてくる映像ストリームを受信する映像ストリーム受信ステップと、
前記表示端末により処理可能な映像ストリームの数を表す映像ストリーム数情報を前記表示端末から取得する映像ストリーム数取得ステップと、
前記映像ストリーム数情報に示される前記映像ストリーム数以下の映像ストリームを、前記映像ストリーム受信ステップにより受信された映像ストリームから選択する映像ストリーム選択ステップと、
前記映像ストリーム選択ステップにより選択された映像ストリームを前記表示端末に転送し、前記映像ストリーム受信ステップにおいて前記カメラから受信された映像ストリームを前記複数のビデオ会議端末に転送する映像ストリーム転送ステップと、
前記映像ストリーム数情報に示される前記映像ストリーム数にしたがって、前記表示端末において表示される映像ストリームを制御するためのGUI（Graphical User Interface）画像を生成するGUI画像生成ステップと、
前記GUI画像生成ステップにより生成されたGUI画像を前記表示端末に送信するGUI画像送信ステップと、
を備えたビデオ会議方法。 A video conferencing method for performing a video conference via a network with a plurality of video conferencing terminals using a camera that captures images existing on a network and a display terminal that displays the images,
A video stream receiving step of receiving a video stream sent from the camera and the plurality of video conference terminals via the network;
Video stream number acquisition step for acquiring video stream number information representing the number of video streams that can be processed by the display terminal from the display terminal;
A video stream selection step of selecting video streams equal to or less than the number of video streams indicated in the video stream number information from the video streams received by the video stream reception step;
Transferring the video stream selected in the video stream selecting step to the display terminal, and transferring the video stream received from the camera in the video stream receiving step to the plurality of video conference terminals;
A GUI image generating step for generating a GUI (Graphical User Interface) image for controlling the video stream displayed on the display terminal according to the video stream number indicated in the video stream number information;
A GUI image transmission step of transmitting the GUI image generated by the GUI image generation step to the display terminal;
Video conferencing method.
前記カメラおよび前記複数のビデオ会議端末から前記ネットワークを介して送られてくる映像ストリームを受信する映像ストリーム受信ステップと、
前記表示端末により処理可能な映像ストリームの数を表す映像ストリーム数情報を前記表示端末から取得する映像ストリーム数取得ステップと、
前記映像ストリーム数情報に示される映像ストリーム数以下の映像ストリームを、前記映像ストリーム受信ステップにより受信された映像ストリームから選択する映像ストリーム選択ステップと、
前記映像ストリーム選択ステップにより選択された映像ストリームを前記表示端末に転送し、また前記映像ストリーム受信ステップにおいて前記カメラから受信された映像ストリームを前記複数のビデオ会議端末に転送する映像ストリーム転送ステップと、
前記映像ストリーム数情報に示される前記映像ストリーム数にしたがって、前記表示端末において表示される映像ストリームを制御するためのGUI（Graphical User Interface）画像を生成するGUI画像生成ステップと、
前記GUI画像生成ステップにより生成されたGUI画像を前記表示端末に送信するGUI画像送信ステップと、
を実行させるためのプログラム。 Using a camera that captures an image on a network and a display terminal that displays the image, a computer that performs a video conference via the network with a plurality of video conference terminals,
A video stream receiving step of receiving a video stream sent from the camera and the plurality of video conference terminals via the network;
Video stream number acquisition step for acquiring video stream number information representing the number of video streams that can be processed by the display terminal from the display terminal;
A video stream selection step of selecting a video stream equal to or less than the number of video streams indicated in the video stream number information from the video stream received by the video stream reception step;
Transferring the video stream selected in the video stream selection step to the display terminal, and transferring the video stream received from the camera in the video stream receiving step to the plurality of video conference terminals;
A GUI image generating step for generating a GUI (Graphical User Interface) image for controlling the video stream displayed on the display terminal according to the video stream number indicated in the video stream number information;
A GUI image transmission step of transmitting the GUI image generated by the GUI image generation step to the display terminal;
A program for running
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007193659A JP2009033348A (en) | 2007-07-25 | 2007-07-25 | Video conference application server, and video conference method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007193659A JP2009033348A (en) | 2007-07-25 | 2007-07-25 | Video conference application server, and video conference method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009033348A true JP2009033348A (en) | 2009-02-12 |
Family
ID=40403381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007193659A Pending JP2009033348A (en) | 2007-07-25 | 2007-07-25 | Video conference application server, and video conference method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009033348A (en) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101933337B (en) * | 2009-02-19 | 2012-10-31 | 松下电器产业株式会社 | Reproduction device and recording method |
| JP2014503877A (en) * | 2010-11-19 | 2014-02-13 | クアルコム，インコーポレイテッド | Selective formatting of media during group communication sessions |
| JP2014508995A (en) * | 2011-01-21 | 2014-04-10 | クゥアルコム・インコーポレイテッド | User input back channel for wireless display |
| US8964783B2 (en) | 2011-01-21 | 2015-02-24 | Qualcomm Incorporated | User input back channel for wireless displays |
| US9065876B2 (en) | 2011-01-21 | 2015-06-23 | Qualcomm Incorporated | User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays |
| US9198084B2 (en) | 2006-05-26 | 2015-11-24 | Qualcomm Incorporated | Wireless architecture for a traditional wire-based protocol |
| US9264248B2 (en) | 2009-07-02 | 2016-02-16 | Qualcomm Incorporated | System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment |
| JP2016057714A (en) * | 2014-09-05 | 2016-04-21 | 村田機械株式会社 | Electronic conference system |
| US9398089B2 (en) | 2008-12-11 | 2016-07-19 | Qualcomm Incorporated | Dynamic resource sharing among multiple wireless devices |
| JP2016134902A (en) * | 2015-01-22 | 2016-07-25 | 株式会社リコー | Transmission management system, communication method, and program |
| US9413803B2 (en) | 2011-01-21 | 2016-08-09 | Qualcomm Incorporated | User input back channel for wireless displays |
| US9503771B2 (en) | 2011-02-04 | 2016-11-22 | Qualcomm Incorporated | Low latency wireless display for graphics |
| US9525998B2 (en) | 2012-01-06 | 2016-12-20 | Qualcomm Incorporated | Wireless display with multiscreen service |
| US9582238B2 (en) | 2009-12-14 | 2017-02-28 | Qualcomm Incorporated | Decomposed multi-stream (DMS) techniques for video display systems |
| US9582239B2 (en) | 2011-01-21 | 2017-02-28 | Qualcomm Incorporated | User input back channel for wireless displays |
| WO2017163513A1 (en) * | 2016-03-23 | 2017-09-28 | 日本電気株式会社 | Information processing terminal, wristwatch terminal, and control method and control program for said information processing terminal and said wristwatch terminal |
| US9787725B2 (en) | 2011-01-21 | 2017-10-10 | Qualcomm Incorporated | User input back channel for wireless displays |
| JP2017228843A (en) * | 2016-06-20 | 2017-12-28 | 株式会社リコー | Communication terminal, communication system, communication control method, and program |
| US10108386B2 (en) | 2011-02-04 | 2018-10-23 | Qualcomm Incorporated | Content provisioning for wireless back channel |
| US10135900B2 (en) | 2011-01-21 | 2018-11-20 | Qualcomm Incorporated | User input back channel for wireless displays |
| JP2019110603A (en) * | 2014-03-31 | 2019-07-04 | 株式会社リコー | Transmission terminal, program, transmission method, and transmission system |
| WO2023011408A1 (en) * | 2021-08-03 | 2023-02-09 | 华为技术有限公司 | Multi-window video communication method, device and system |
-
2007
- 2007-07-25 JP JP2007193659A patent/JP2009033348A/en active Pending
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9198084B2 (en) | 2006-05-26 | 2015-11-24 | Qualcomm Incorporated | Wireless architecture for a traditional wire-based protocol |
| US9398089B2 (en) | 2008-12-11 | 2016-07-19 | Qualcomm Incorporated | Dynamic resource sharing among multiple wireless devices |
| CN101933337B (en) * | 2009-02-19 | 2012-10-31 | 松下电器产业株式会社 | Reproduction device and recording method |
| US9264248B2 (en) | 2009-07-02 | 2016-02-16 | Qualcomm Incorporated | System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment |
| US9582238B2 (en) | 2009-12-14 | 2017-02-28 | Qualcomm Incorporated | Decomposed multi-stream (DMS) techniques for video display systems |
| JP2014503877A (en) * | 2010-11-19 | 2014-02-13 | クアルコム，インコーポレイテッド | Selective formatting of media during group communication sessions |
| US9084079B2 (en) | 2010-11-19 | 2015-07-14 | Qualcomm Incorporated | Selectively formatting media during a group communication session |
| US9787725B2 (en) | 2011-01-21 | 2017-10-10 | Qualcomm Incorporated | User input back channel for wireless displays |
| JP2014508995A (en) * | 2011-01-21 | 2014-04-10 | クゥアルコム・インコーポレイテッド | User input back channel for wireless display |
| US9065876B2 (en) | 2011-01-21 | 2015-06-23 | Qualcomm Incorporated | User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays |
| US10911498B2 (en) | 2011-01-21 | 2021-02-02 | Qualcomm Incorporated | User input back channel for wireless displays |
| US9413803B2 (en) | 2011-01-21 | 2016-08-09 | Qualcomm Incorporated | User input back channel for wireless displays |
| US10382494B2 (en) | 2011-01-21 | 2019-08-13 | Qualcomm Incorporated | User input back channel for wireless displays |
| US10135900B2 (en) | 2011-01-21 | 2018-11-20 | Qualcomm Incorporated | User input back channel for wireless displays |
| US8964783B2 (en) | 2011-01-21 | 2015-02-24 | Qualcomm Incorporated | User input back channel for wireless displays |
| US9582239B2 (en) | 2011-01-21 | 2017-02-28 | Qualcomm Incorporated | User input back channel for wireless displays |
| US9723359B2 (en) | 2011-02-04 | 2017-08-01 | Qualcomm Incorporated | Low latency wireless display for graphics |
| US10108386B2 (en) | 2011-02-04 | 2018-10-23 | Qualcomm Incorporated | Content provisioning for wireless back channel |
| US9503771B2 (en) | 2011-02-04 | 2016-11-22 | Qualcomm Incorporated | Low latency wireless display for graphics |
| US9525998B2 (en) | 2012-01-06 | 2016-12-20 | Qualcomm Incorporated | Wireless display with multiscreen service |
| JP2019110603A (en) * | 2014-03-31 | 2019-07-04 | 株式会社リコー | Transmission terminal, program, transmission method, and transmission system |
| JP2016057714A (en) * | 2014-09-05 | 2016-04-21 | 村田機械株式会社 | Electronic conference system |
| JP2016134902A (en) * | 2015-01-22 | 2016-07-25 | 株式会社リコー | Transmission management system, communication method, and program |
| WO2017163513A1 (en) * | 2016-03-23 | 2017-09-28 | 日本電気株式会社 | Information processing terminal, wristwatch terminal, and control method and control program for said information processing terminal and said wristwatch terminal |
| JP2017228843A (en) * | 2016-06-20 | 2017-12-28 | 株式会社リコー | Communication terminal, communication system, communication control method, and program |
| WO2023011408A1 (en) * | 2021-08-03 | 2023-02-09 | 华为技术有限公司 | Multi-window video communication method, device and system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2009033348A (en) | Video conference application server, and video conference method, and program | |
| TWI536855B (en) | Content sharing method and device | |
| JP5903835B2 (en) | Transmission terminal, image display control method, image display control program, recording medium, and transmission system | |
| JP5887756B2 (en) | External input device, communication terminal, display data sharing system, program | |
| US9596431B2 (en) | Transmission system and program | |
| JP6111753B2 (en) | Information processing device, transmission system, program | |
| US8717399B2 (en) | Processing video communication data | |
| JP2014179878A (en) | Transmitter, receiver, communication system and program | |
| EP3253066B1 (en) | Information processing device | |
| WO2018084033A1 (en) | Shared device, operation control program, and operation control method | |
| JP4807927B2 (en) | Communication relay device | |
| JP2015095686A (en) | Imaging apparatus, imaging system, control method of imaging apparatus, control method of imaging system and program | |
| JP2016167657A (en) | Transmission management system, transmission system, transmission management method and program | |
| JP2010056966A (en) | Server for transmitting image content, image display device, method of transmitting image content, and method of displaying image | |
| EP3038391B1 (en) | Communication management system, communication terminal, communication system, communication control method, and carrier means | |
| JP6515436B2 (en) | Transmission system, transmission terminal, and program | |
| JP4628305B2 (en) | Display device selection method, display device selection system, and display device selection program | |
| JP2012194703A (en) | Output control system, terminal device, output control method, and output control program | |
| JP2005277593A (en) | Radio terminal unit, and service search method | |
| JP2016143954A (en) | Radio communication device and radio communication method | |
| JP2011077583A (en) | Communication apparatus, communication method, and communication program | |
| JP4814637B2 (en) | Network system and communication destination distribution device | |
| JP2004318207A (en) | Information processor, information processing program, and recording medium | |
| JP6269781B2 (en) | Transmission system | |
| JP2017038251A (en) | Transmission management system, transmission system, relay device determination method, and program |