JP6248492B2 - Distribution management device, distribution management system, and distribution management method - Google Patents
Distribution management device, distribution management system, and distribution management method Download PDFInfo
- Publication number
- JP6248492B2 JP6248492B2 JP2013192039A JP2013192039A JP6248492B2 JP 6248492 B2 JP6248492 B2 JP 6248492B2 JP 2013192039 A JP2013192039 A JP 2013192039A JP 2013192039 A JP2013192039 A JP 2013192039A JP 6248492 B2 JP6248492 B2 JP 6248492B2
- Authority
- JP
- Japan
- Prior art keywords
- communication terminal
- data
- unit
- terminal
- shared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Digital Computer Display Output (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、パソコンや電子黒板等の通信端末に、通信ネットワークを介して映像データ又は音データを配信する配信管理装置、配信管理システム、及び配信管理方法に関する。 The present invention is a communication terminal such as a personal computer or an electronic blackboard, delivery management apparatus distributes video data or sound data via a communication network, the distribution management system, and a distribution management method.
近年、インターネットの普及に伴い、様々な分野でクラウドコンピューティングが利用されてきている。クラウドコンピューティングは、ユーザが、インターネットに接続した通信端末を用いてインターネット上のサーバが提供するサービス（クラウドサービス）を利用し、その対価を支払うサービス利用形態である（例えば、特許文献１参照）。
特許文献１に記載の発明は、「コンテンツ分配配信システム」に関する発明である。特許文献１に記載の発明は、クライアント端末からの分割要求に応答してウエッブ頁を分割処理し、分割した各コンテンツを複数の端末機器に送信することで、端末機器の機能に対応した表示を行うための発明である。
In recent years, with the spread of the Internet, cloud computing has been used in various fields. Cloud computing is a service usage form in which a user uses a service (cloud service) provided by a server on the Internet using a communication terminal connected to the Internet and pays the price (see, for example, Patent Document 1). .
The invention described in Patent Document 1 is an invention related to a “content distribution / distribution system”. In the invention described in Patent Document 1, a web page is divided in response to a division request from a client terminal, and each divided content is transmitted to a plurality of terminal devices, thereby displaying a display corresponding to the function of the terminal device. It is an invention for carrying out.
しかしながら、特許文献１に記載の発明は、複数の通信端末が画面を共有する際に、その解像度が異なる場合には通信端末に対応して表示することができない。 However, in the invention described in Patent Document 1, when a plurality of communication terminals share a screen, if the resolutions are different, display cannot be performed corresponding to the communication terminal.
上記課題を解決するため、請求項１に記載の発明は、複数の通信端末とクラウド上に存在するウェブサーバと通信ネットワークを介して通信可能であり、該通信端末の内の一の通信端末に配信される映像データを他の通信端末に配信する配信管理装置であって、前記ウェブサーバからＷｅｂコンテンツを取得する前記配信管理装置で動作するウェブブラウザと、前記通信端末の表示手段における解像度を記憶する端末情報記憶手段と、前記他の通信端末の表示手段に表示される画面のうち、前記端末情報記憶手段に記憶された、前記一の通信端末の表示手段における解像度の縦横比を有する映像が前記他の通信端末の表示手段において最大表示される領域を共有範囲とし、前記共有範囲以外の領域をローカル範囲とする分割手段と、前記映像データを前記Ｗｅｂコンテンツを用いて前記共有範囲に表示可能なＨ．２６４又はＭＰＥＧ−４の映像に変換し、変換された前記映像データを前記他の通信端末に送信する変換送信手段と、を備えたことを特徴とする。
In order to solve the above-described problem, the invention according to claim 1 is capable of communicating with a plurality of communication terminals and a web server existing on the cloud via a communication network, and one communication terminal among the communication terminals. the distributed that movies image data to a distribution management device for delivery to another communication terminal, and a web browser operating the distribution management device that acquires Web contents from the web server, the resolution of the display unit of the communication terminal Of the screens displayed on the terminal information storage means for storing and the display means of the other communication terminal, the video having the aspect ratio of the resolution in the display means of the one communication terminal stored in the terminal information storage means Is a dividing unit in which a region displayed at maximum in the display unit of the other communication terminal is a shared range, and a region other than the shared range is a local range, and the video Displayable H. on the shared range over data using the Web content Conversion transmission means for converting the video data into H.264 or MPEG-4 video and transmitting the converted video data to the other communication terminal.
本発明によれば、複数の通信端末が画面を共有する際に、その解像度が異なる場合であっても通信端末に対応して表示することができる。 According to the present invention, when a plurality of communication terminals share a screen, even if the resolutions are different, it is possible to display corresponding to the communication terminals.
以下に図面を用いて、本実施形態に係る配信システム１を詳細に説明する。なお、以下に示す実施形態は、クラウドコンピューティングを利用してウェブコンテンツを映像データ、音データ、又は映像データ及び音データに変換してパソコンや電子黒板等の通信端末に配信する配信システムとしての適用例である。なお、以下、映像及び音のうち少なくとも一方を示す場合には、「映像（音）」と示す。 Hereinafter, the distribution system 1 according to the present embodiment will be described in detail with reference to the drawings. The embodiment shown below is a distribution system that uses cloud computing to convert web content into video data, sound data, or video data and sound data, and distribute them to a communication terminal such as a personal computer or an electronic blackboard. This is an application example. Hereinafter, when at least one of video and sound is indicated, it is indicated as “video (sound)”.
［実施形態の概略］
まずは、図１を用いて、本発明の一実施形態の概略を説明する。なお、図１は、本実施形態に係る配信システムの概略図である。
図１に示されているように、本実施形態の配信システム１は、配信管理装置２、複数の通信端末（５ａ〜５ｆ）、端末管理システム７、及びウェブサーバ８によって構築されている。なお、以下では、複数の通信端末（５ａ〜５ｆ）である通信端末群のうち、任意の通信端末を「通信端末５」として表す。また、配信管理装置２、端末管理システム７、及びウェブサーバ８は、いずれもサーバコンピュータによって構築されている。
[Outline of Embodiment]
First, an outline of an embodiment of the present invention will be described with reference to FIG. FIG. 1 is a schematic diagram of a distribution system according to the present embodiment.
As shown in FIG. 1, the distribution system 1 of this embodiment is constructed by a
通信端末５は、配信システム１のサービスを受けるユーザが使用する端末である。このうち、通信端末５ａは、ノートPC(Personal Computer)である。通信端末５ｂは、スマートフォンやタブレット端末等のモバイル端末である。通信端末５ｃは、コピー、スキャン、プリント、及びファックスの各機能が複合されたMFP(Multifunction Peripheral/Printer/Product)である。通信端末５ｄは、プロジェクタである。通信端末５ｅは、カメラ、マイク及びスピーカを備えたテレビもしくはビデオ会議端末である。通信端末５ｆは、ユーザ等によって描かれた内容を電子的に変換することが可能な電子黒板としてのホワイトボードである。
The
なお、通信端末５は、図１に示されているような端末だけでなく、腕時計、自動販売機、ガスメータ、カーナビゲーション装置、ゲーム機、エアコン、照明器具、カメラ単体、マイク単体、スピーカ単体等であってもよい。
また、配信管理装置２、通信端末５、端末管理システム７、及びウェブサーバ８は、インターネットやLAN(Local Area Network)等の通信ネットワーク９によって通信することができる。この通信ネットワーク９には、3G(3rd Generation)、WiMAX(Worldwide Interoperability for Microwave Access)、LTE(Long Term Evolution)等の無線通信によるネットワークも含まれる。
なお、通信端末５によっては、通信端末５ｄ等のように、通信ネットワーク９を介して他の端末やシステムと通信する機能を有していないものがある。
The
The
Some
更に、配信管理装置２は、クラウド上に存在するウェブブラウザとしての、いわゆるクラウドブラウザ（以下、「ブラウザ」と示す）を有することで、クラウド上でウェブコンテンツをレンダリングする。これにより得られたH.264やMPEG-4等の映像（音）データを通信端末５に配信する。
Furthermore, the
一方、端末管理システム７は、管理サーバとしての機能を有し、通信端末５のログイン認証を行ったり、通信端末５の契約情報等の管理を行ったりする。また、端末管理システム７は、電子メールを送信するためのSMTP(Simple Mail Transfer Protocol)サーバの機能を有している。端末管理システム７は、例えば、クラウドのサービス(IaaS:Infrastructure as a Service)上に展開される仮想マシンとして実現することができる。端末管理システム７は、不測の事態に対応して継続的なサービス提供を行うために、多重化して運用することが望ましい。
また、ブラウザ20は、リアルタイムコミュニケーション（RTC：Real-time communication/collaboration）を可能にしている。更に、後述のエンコード部19は、ブラウザ20によって生成された映像（音）のデータに対して、リアルタイムのエンコードを行うことができる。そのため、配信管理装置２の処理は、DVDプレーヤによって、DVDに記録されているリアルタイム性のない映像（音）のデータを読み出して配信する場合等とは異なる。
On the other hand, the
Moreover, the
図２は、基本的な配信処理を示した概念図である。配信システム１では、図２に示されているように、配信管理装置２のブラウザ20がウェブサーバ８からウェブコンテンツデータ〔Ａ〕を取得し、レンダリングすることにより、映像（音）データ〔Ａ〕を生成する。そして、エンコーダブリッジ部30が、映像（音）データ〔Ａ〕をエンコード等して、通信端末５に配信する。これにより、たとえHTML(Hyper Text Markup Language)やCSS(Cascading Style Sheets)等により作成されたウェブコンテンツがリッチであっても、H.264やMPEG-4等の映像（音）のデータとして配信される。このため、低スペックの通信端末５であってもスムーズに映像（音）を再生することが可能になる。
FIG. 2 is a conceptual diagram showing basic distribution processing. In the distribution system 1, as shown in FIG. 2, the
また、本実施形態の配信管理装置２では、ブラウザ20を最新化しておくことで、ローカルとしての通信端末５のブラウザを最新化しなくても、最新のリッチなウェブコンテンツをスムーズに再生することが可能となる。
Also, in the
また、配信システム１は、上述の配信方法を応用し、図３乃至図５に示されているように、複数のウェブコンテンツを連動させ、複数の拠点に映像（音）のデータとして配信することも可能である。ここで、図３乃至図５に示されている配信方法について説明する。
図３は、マルチキャストの概念図である。図４に示されているように、配信管理装置２の単一のブラウザ20は、ウェブサーバ８からウェブコンテンツデータ〔A〕を取得してレンダリングすることで、映像（音）データ〔A〕を生成する。そして、エンコーダブリッジ部30が、映像（音）のデータ〔A〕をエンコードする。その後、配信管理装置２は、映像や音のデータ〔A〕を複数の通信端末（5f1，5f2，5f3）に配信する。これにより、複数の拠点では、同じ映像や音が出力される。なお、この場合、通信端末（5f1，5f2，5f3）が同じ表示再生能力、すなわち解像度が同じ等の条件を有する必要がある。このような配信方法は、例えば「マルチキャスト」と呼ぶ。
In addition, the distribution system 1 applies the above-described distribution method to link a plurality of web contents and distribute to a plurality of locations as video (sound) data as shown in FIGS. 3 to 5. Is also possible. Here, the distribution method shown in FIGS. 3 to 5 will be described.
FIG. 3 is a conceptual diagram of multicast. As shown in FIG. 4, the
図４は、マルチディスプレイの概念図である。図４に示されているように、配信管理装置２の単一のブラウザ20は、ウェブサーバ８からウェブコンテンツデータ〔XYZ〕を取得してレンダリングすることで、単一の映像（音）データ〔XYZ〕を生成する。そして、エンコーダブリッジ部30が、単一の映像（音）データ〔XYZ〕を、複数の映像（音）データ（〔X〕，〔Y〕，〔Z〕）に分割した後にエンコードする。その後、配信管理装置２は、分割後の映像（音）データ〔X〕を通信端末5f1に配信する。また、同じように、配信管理装置２は、分割後の映像（音）データ〔Y〕を通信端末5f2に配信し、分割後の映像（音）データ〔Z〕を通信端末5f3に配信する。これにより、例えば、横長のウェブコンテンツデータ〔XYZ〕であっても、複数の通信端末５で分割して映像が表示される。このため、通信端末（5f1，5f2，5f3）を一列に並べて設置すれば、１つの大きな映像を表示させることと同様の効果を得ることができる。なお、この場合、通信端末（５ｆ１，５ｆ２，５ｆ３）が同じ表示再生能力（解像度が同じ等）を有する必要がある。このような配信方法は、例えば「マルチディスプレイ」と呼ぶ。
FIG. 4 is a conceptual diagram of a multi-display. As shown in FIG. 4, the
図５は、配信管理装置を介して複数の通信端末を使った通信の概念図である。図５に示すように、第１の拠点（図５の右側）では、電子黒板としての通信端末5f1及びテレビ会議端末としての通信端末5e1が利用されている。第２の拠点（図５の左側）では、同じく電子黒板としての通信端末5f2、及びテレビ会議端末としての通信端末5e2が利用されている。また、第１の拠点では、通信端末5f1にストロークによる文字等の操作データを表示させるための電子ペンP1が利用され、第２の拠点では、通信端末5f2にストロークによる文字等の操作データを表示させるための電子ペンP2が利用されている。
そして、第１の拠点において、通信端末5e1によって取得された映像（音）データは、エンコード部60でエンコードされた後に、配信管理装置２に送信される。その後、配信管理装置２のデコード部40でデコードされて、ブラウザ20に入力される。また、電子ペンP1によって通信端末5f1に描かれたストローク等を示す操作データは、配信管理装置２に送信され、ブラウザ20に入力される。一方、第２の拠点においても、通信端末5e2によって取得された映像（音）データは、エンコード部60でエンコードされた後に、配信管理装置２に送信される。その後、配信管理装置２のデコード部40でデコードされて、ブラウザ20に入力される。また、電子ペンP2によって通信端末5f2に描かれたストローク等の操作データは、配信管理装置２に送信され、ブラウザ20に入力される。
FIG. 5 is a conceptual diagram of communication using a plurality of communication terminals via the distribution management device. As shown in FIG. 5, at the first base (right side in FIG. 5), a communication terminal 5f1 as an electronic blackboard and a communication terminal 5e1 as a video conference terminal are used. At the second base (left side in FIG. 5), a communication terminal 5f2 as an electronic blackboard and a communication terminal 5e2 as a video conference terminal are used. At the first site, the electronic pen P1 is used to display operation data such as stroke characters on the communication terminal 5f1, and at the second site, operation data such as stroke characters is displayed on the communication terminal 5f2. The electronic pen P2 is used to make it happen.
Then, the video (sound) data acquired by the communication terminal 5e1 at the first base is encoded by the
一方、ブラウザ20は、例えば、ウェブサーバ８から通信端末（5f1，5f2）のぞれぞれのディスプレイに表示される背景画像のウェブコンテンツデータ〔A〕を取得する。ブラウザ20は、ウェブコンテンツデータ〔A〕、操作データ（〔p1〕，〔p2〕）及び映像（音）コンテンツデータ（〔E1〕，〔E2〕）を結合してレンダリングすることで、所望のレイアウトに配置した映像（音）データを生成する。エンコーダブリッジ部30は、映像（音）データをエンコードし、配信管理装置２が各拠点に同じ映像（音）データを配信する。これにより、第１の拠点では、通信端末5f1のディスプレイ上に、映像（〔A〕、〔p1〕、〔p2〕、〔E1（映像部分）〕及び〔E2（映像部分）〕）が表示されると共に、通信端末5e1のスピーカから音〔E2（音部分）〕が出力される。
On the other hand, the
一方、第２の拠点でも、通信端末5f2のディスプレイ上に、映像（〔A〕、〔p1〕、〔p2〕、〔E1（映像部分）〕及び〔E2（映像部分）〕）が表示されると共に、通信端末5e2のスピーカから音〔E1（音部分）〕が出力される。なお、第１の拠点では、通信端末5f1のエコーキャンセル機能により、自拠点の音〔E1（音部分）〕は出力されない。 On the other hand, at the second site, the video ([A], [p1], [p2], [E1 (video part)] and [E2 (video part)]) is displayed on the display of the communication terminal 5f2. At the same time, sound [E1 (sound part)] is output from the speaker of the communication terminal 5e2. At the first site, the sound [E1 (sound part)] of the site is not output due to the echo cancellation function of the communication terminal 5f1.
他方、第２の拠点では、通信端末5f2のエコーキャンセル機能により、自拠点の音〔E2（音部分）〕は出力されない。
以上により、第１の拠点と第２の拠点とでは、遠隔地間においてリアルタイムで同じ情報を共有する遠隔共有処理を行うことができるため、本実施形態の配信システム１は遠隔会議等に有効である。
On the other hand, at the second site, the sound [E2 (sound part)] of the site is not output by the echo cancellation function of the communication terminal 5f2.
As described above, since the first base and the second base can perform remote sharing processing for sharing the same information in real time between remote locations, the distribution system 1 of the present embodiment is effective for remote conferences and the like. is there.
［本発明の前提となった実施形態の詳細な説明］
続いて、図６乃至図22を用いて、実施形態の詳細な説明を行う。
＜本発明の前提となった実施形態のハードウェア構成＞
まずは、図６用いて、本実施形態のハードウェア構成を説明する。なお、図６は、配信管理装置、通信端末、端末管理システム、及びウェブサーバのハードウェア構成図である。なお、通信端末の通信に関与するハードウェア構成は、通信端末のハードウェア構成の一部と同じであるため、説明を省略する。
[Detailed Description of Embodiments Assumption of the Present Invention]
Subsequently, the embodiment will be described in detail with reference to FIGS. 6 to 22.
<Hardware Configuration of Embodiment as a Premise of the Present Invention>
First, the hardware configuration of this embodiment will be described with reference to FIG. FIG. 6 is a hardware configuration diagram of the distribution management device, the communication terminal, the terminal management system, and the web server. Note that the hardware configuration involved in the communication of the communication terminal is the same as part of the hardware configuration of the communication terminal, and thus the description thereof is omitted.
図６に示すように配信管理装置２は、配信管理装置２全体の動作を制御するCPU201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203を有する。配信管理装置２は、プログラム等の各種データを記憶するHDD204、CPU201の制御にしたがってHDD204に対する各種データの読み出し又は書き込みを制御するHDC(Hard Disk Controller)205を有する。配信管理装置２は、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ207、各種情報を表示するディスプレイ208を有する。配信管理装置２は、通信ネットワーク９を利用してデータ送信したりドングル99を接続したりするためのI/F209、キーボード211、マウス212、マイク213、スピーカ214を有する。配信管理装置２は、GPU(Graphics Processing Unit)215、上記各構成要素を図６に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン220を有する。
As shown in FIG. 6, the
なお、各通信端末、各システム又は各サーバ用のプログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
The program for each communication terminal, each system, or each server is a file in an installable or executable format, and is recorded on a computer-readable recording medium such as the
＜本発明の前提となった実施形態の機能構成＞
次に、図７乃至図14を用い、本実施形態の機能構成について説明する。図７は、主に配信管理装置の各機能を示す機能ブロック図である。図７では、配信管理装置２が通信端末5f1に対して映像（音）データを配信する場合の機能構成が示されているが、配信先が通信端末5f1以外の場合も、同じ機能構成を有する。なお、配信管理装置２は、複数の配信エンジンサーバを備えているが、説明を簡単にするために、以下では、単一の配信エンジンサーバを備えている場合について説明する。
<Functional Configuration of the Embodiment as a Premise of the Present Invention>
Next, the functional configuration of the present embodiment will be described with reference to FIGS. FIG. 7 is a functional block diagram mainly showing each function of the distribution management apparatus. Although FIG. 7 shows a functional configuration when the
（配信管理装置の機能構成）
図７に示されているように、配信管理装置２は、図６に示されているハードウェア構成及びプログラムによって、図７に示されている各機能構成を有する。配信管理装置２は、ブラウザ20、送受信部21、ブラウザ管理部22、送信用FIFOバッファ(以下、FIFO)24、時刻管理部25、及び時刻取得部26を有する。配信管理装置２は、回線適応制御部27、エンコーダブリッジ部30、送受信部31、受信用FIFO34、認識部35、遅延情報取得部37a、回線適応制御部37b、及びデコード部40を有する。更に、配信管理装置２は、図６に示されているHDD204によって構築される記憶部2000を有する。この記憶部2000には、認識部35から出力された後述の認識情報が記憶される。なお、ブラウザ20が取得したコンテンツデータは、キャッシュとして、記憶部2000に一時的に記憶しておくこともできる。
(Functional configuration of distribution management device)
As illustrated in FIG. 7, the
上述の各機能構成のうち、ブラウザ20は、配信管理装置２内で動作するウェブブラウザである。ブラウザ20は、ウェブコンテンツデータ等のコンテンツデータをレンダリングすることにより、RGBデータ（又はPCM(Pulse Code Modulation)データ）としての映像（音）データを生成する。ブラウザ20は、ウェブコンテンツのリッチ化に対応させて常に最新化されている。
また、本実施形態の配信システム１では、配信管理装置２内に複数のブラウザ20を用意しており、これら複数のブラウザ20の中からユーザセッションに使用するクラウドブラウザが選択される。なお、ここでは、説明を簡略化するため、単一のブラウザ20が用意されている場合について、以下続けて説明する。
ブラウザ20は、例えば、Media Player、Flash Player、JavaScript（登録商標）、CSS(Cascading Style Sheet)及びHTML(HyperText Markup Language)レンダラを有する。なお、JavaScriptには、標準規格のものと配信システム１独自のものが含まれる。
Among the above-described functional configurations, the
In the distribution system 1 of the present embodiment, a plurality of
The
ここで、Media Playerは、映像（音）ファイルなどのマルチメディアファイルをブラウザ20内で再生するためのブラウザプラグインである。Flash Playerは、Flashコンテンツをブラウザ20内で再生するためのブラウザプラグインである。独自のJavaScriptは、配信システム１に固有のサービスのAPI(Application Programming Interface)を提供するJavaScript群である。CSSは、HTMLで記述されたウェブページの見栄えやスタイルを効率的に定義するための技術である。HTMLレンダラは、ウェブキットベースのHTMLレンダリングエンジンである。
Here, Media Player is a browser plug-in for reproducing multimedia files such as video (sound) files within the
次に、送受信部21は、端末管理システム７やウェブサーバ８との間で、各種データや要求等の送受信を行う。例えば、送受信部21は、ウェブサーバ８のコンテンツサイトからウェブコンテンツデータを取得する。
ブラウザ管理部22は、ブラウザ20やエンコーダブリッジ部30の管理を行う。例えば、ブラウザ管理部22は、ブラウザ20やエンコーダブリッジ部30に、起動又は終了を指示したり、起動又は終了時にエンコーダIDを採番したりする。ここで、エンコーダIDは、ブラウザ管理部22がエンコーダブリッジ30のプロセスを管理するために採番する識別情報である。また、ブラウザ管理部22は、ブラウザ20が起動されるたびに、ブラウザIDを採番して管理する。ここで、ブラウザIDは、ブラウザ管理部22がブラウザ20のプロセスを管理するために採番し、ブラウザ20を識別するための識別情報である。
Next, the transmission / reception unit 21 transmits / receives various data and requests to / from the
The browser management unit 22 manages the
なお、ブラウザ管理部22は、送受信部31を介して通信端末５から、各種操作データを取得し、ブラウザ20に出力する。また、操作データは、通信端末５での操作イベントとしてのキーボード211やマウス212等による操作や電子ペンＰによるストローク等である。通信端末５に、温度センサ、湿度センサ、及び加速度センサ等の各種センサが設けられている場合には、ブラウザ管理部22は、通信端末５から各センサの出力信号であるセンサ情報を取得し、ブラウザ20に出力する。
送信用FIFO24は、ブラウザ20で生成された映像（音）データを格納するバッファである。
時刻管理部25は、配信管理装置２独自の時刻Ｔを管理している。
時刻取得部26は、後述の通信端末５における時刻制御部56と連携して、時刻調整の処理を行う。具体的には、時刻取得部26は、時刻管理部25から配信管理装置２における時刻Ｔを示す時刻情報（Ｔ）を取得したり、送受信部31及び送受信部51を介して後述の時刻制御部56から通信端末５における時刻ｔを示す時刻情報（ｔ）を受信したりする。また、時刻取得部26は、時刻制御部56に時刻情報（ｔ）及び時刻情報（Ｔ）を送信したりする。
回線適応制御部27は、送信遅延時間情報（Ｄ）に基づいて、再生遅延情報Ｕを計算したり、エンコーダブリッジ部30における変換部10のフレームレートやデータの解像度等の動作条件を計算したりする。
The browser management unit 22 acquires various operation data from the
The transmission FIFO 24 is a buffer for storing video (sound) data generated by the
The time management unit 25 manages the time T unique to the
The time acquisition unit 26 performs time adjustment processing in cooperation with a time control unit 56 in the
The line adaptation control unit 27 calculates reproduction delay information U based on the transmission delay time information (D), and calculates operating conditions such as the frame rate and data resolution of the
エンコーダブリッジ部30は、ブラウザ20が生成した映像（音）データを、エンコーダブリッジ部30における後述の変換部10に出力する。エンコーダブリッジ部30については、図13及び図14を用いて、更に詳細に説明する。図13は、エンコーダブリッジ部の詳細図である。また、図14は、変換部の各機能を示す機能ブロック図である。
The
図13に示されているように、エンコーダブリッジ部30は、作成・選択部310、及び選択部320と、これらの間に複数の変換部（10a，10b，10c）が構築されている。ここでは、３つの変換部（10a，10b，10c）を示したが、いくつであってもよい。なお、以下、任意の変換部を「変換部10」として表す。
As shown in FIG. 13, the
更に、変換部10は、図14に示されているように、トリミング部11、リサイズ部12、分割部13、及びエンコード部19を有する。トリミング部11、リサイズ部12、及び分割部13は、音データの場合は、処理を行わない。
このうち、トリミング部11は、映像（画像）の一部だけを切り出す処理を行う。リサイズ部12は、映像（画像）の縮尺を変更する。分割部13は、図３乃至図５に示されているように、ウェブサーバ８から取得したウェブコンテンツを分割する。
また、エンコード部19は、ブラウザ20で生成された画像（音）データをエンコードすることにより、通信ネットワーク９を介して通信端末５に画像（音）データを配信できるように変換する。また、エンコード部19は、映像が動かなければ（フレーム間で変化がなければ）、以降、映像が動くまでスキップフレームを挿入することで帯域をセーブする。なお、音の場合には、エンコードだけが行われる。
Further, the
Among these, the trimming unit 11 performs a process of cutting out only a part of the video (image). The resizing unit 12 changes the scale of the video (image). As shown in FIGS. 3 to 5, the dividing unit 13 divides the web content acquired from the web server 8.
Further, the encoding unit 19 converts the image (sound) data generated by the
また、作成・選択部310は、新たに変換部10を作成したり、既に作成されている変換部10に対して入力させる映像（音）データを選択したりする。作成する場合としては、例えば、作成・選択部310は、通信端末５における映像（音）データの再生能力に応じた変換が可能な変換部10を作成することが挙げられる。映像（音）データを選択する場合、例えば通信端末5a、5bへの配信を開始する際、通信端末5aへ配信しているデータと同じデータを通信端末5bへ配信し、通信端末5bが通信端末5aにおけるデータの再生能力と同じ能力を有する場合は次のようになる。すなわち、作成・選択部310は通信端末5b用に新たな変換部10bを作成せずに、通信端末5a用に既に作成している変換部10aを利用する。
In addition, the creation / selection unit 310 creates a
一方、選択部320は、既に作成されている変換部10から所望のものを選択する。これら作成・選択部310と選択部320による選択によって、図５に示したような様々なパターンの配信を行うことができる。
On the other hand, the
送受信部31は、通信端末５との間で、各種データや要求等の送受信を行う。例えば、送受信部31は、通信端末５のログイン処理において、通信端末５の送受信部51に対し、認証画面データ（図10参照）を送信する。その他、送受信部31は、HTTPS(Hypertext Transfer Protocol over Secure Socket Layer)サーバを介して配信システム１独自のプロトコルにより、通信端末５のユーザアプリや通信端末５のデバイスアプリへのデータ送信及びデータ受信を行う。この独自のプロトコルは、配信管理装置２と通信端末との間でリアルタイムに途切れることなくデータを送受信するためのHTTPSベースのアプリケーション層プロトコルである。また、送受信部31は、送信レスポンス制御、リアルタイムのデータ作成、コマンド送信、受信レスポンス制御、受信データ分析、及びジェスチャ変換を行う。
このうち、送信レスポンス制御は、配信管理装置２から通信端末５にデータを送信するために、通信端末５からリクエスト（要求）されたダウンロード用のHTTPSセッションを管理する処理である。このダウンロード用のHTTPSセッションのレスポンスはすぐに終了せず、一定時間、例えば１〜数分保持する。送受信部31は、通信端末に送るデータを動的にレスポンスのBody部に書き込む。また、再接続のコストをなくすため、通信端末からは前のセッションが終了しないうちに別のリクエストが届くようにする。送受信部31を、前のリクエストが完了するまで待機させておくようにすることで、再接続を行っても、オーバヘッドを削除することができる。
The transmission / reception unit 31 transmits / receives various data and requests to / from the
Among these, the transmission response control is a process for managing a download HTTPS session requested (requested) from the
リアルタイムデータの作成は、図16におけるエンコード部19で生成された圧縮映像（および圧縮音）のデータ(RTPデータ)に独自のヘッダを付与して、通信端末への下り用のHTTPSのBody部に書き込む処理である。
コマンド送信は、通信端末５に送信するコマンドデータを生成し、通信端末５へのHTTPSのBody部に書き込む処理である。
受信レスポンス制御は、配信管理装置２が通信端末５からデータを受信するために、通信端末５からリクエストされた送信用（上り用）のHTTPSセッションを管理する処理である。このHTTPSセッションのレスポンスはすぐに終了せず、一定時間としての１〜数分保持される。通信端末５は、配信管理装置２の送受信部31に送るデータを動的にリクエストのBody部に書き込む。
受信データ分析は、通信端末５から送られてきたデータを種別ごとに分析し、必要なプロセスにデータを渡す処理である。
The real-time data is created by adding a unique header to the compressed video (and compressed sound) data (RTP data) generated by the encoding unit 19 in FIG. Write process.
The command transmission is a process for generating command data to be transmitted to the
The reception response control is processing for managing a transmission (upstream) HTTPS session requested from the
The received data analysis is a process of analyzing data sent from the
ジェスチャ変換は、ユーザが電子黒板としての通信端末5fに電子ペンや手書きにより入力したジェスチャイベントを、ブラウザ20が受け取れる形式に変換する処理である。
また、受信用FIFO34は、デコード部40でデコードされた映像（音）データを格納するバッファである。
The gesture conversion is a process of converting a gesture event input by the user into the communication terminal 5f as an electronic blackboard by an electronic pen or handwriting into a format that the
The reception FIFO 34 is a buffer that stores video (sound) data decoded by the decoding unit 40.
認識部35は、通信端末５から受信する映像（音）データに対しての処理を行う。具体的には、認識部35は、例えば、サイネージ向けにカメラ62で撮影された映像から人や動物の顔、年齢、及び性別などを認識する。また、認識部35は、オフィス向けに、カメラ62で撮影された映像から顔認識による名前タグ付けや背景映像の差し替え処理などを行う。認識部35は、認識した内容を示す認識情報を記憶部2000に記憶させる。この認識部35は、認識拡張ボードで処理を行うことで高速化が実現される。
The recognition unit 35 performs processing on video (sound) data received from the
遅延情報取得部37aは、上り用の回線適応制御の処理に用いられる遅延情報取得部57に対応して、下り用の回線適応制御の処理に用いられる。具体的には、遅延情報取得部37aは、デコード部40から送信遅延時間d1を示す送信遅延時間情報（d1）を取得して一定時間保持しておく。次に遅延情報取得部37aは、複数の送信遅延時間情報（d1）を取得したところで、回線適応制御部37bに、複数の送信遅延時間d1による度数分布情報を示す送信遅延時間情報（ｄ）を出力する。 The delay information acquisition unit 37a is used for downlink channel adaptive control processing corresponding to the delay information acquisition unit 57 used for uplink channel adaptive control processing. Specifically, the delay information acquisition unit 37a acquires the transmission delay time information (d1) indicating the transmission delay time d1 from the decoding unit 40 and holds it for a certain time. Next, when the delay information acquisition unit 37a acquires a plurality of transmission delay time information (d1), the delay information acquisition unit 37a transmits transmission delay time information (d) indicating frequency distribution information based on the plurality of transmission delay times d1 to the line adaptive control unit 37b. Output.
回線適応制御部37bは、上り用の回線適応制御の処理に用いられる回線適応制御部27に対応して、下り用の回線適応制御の処理に用いられる。具体的には、回線適応制御部37bは、送信遅延時間情報（ｄ）に基づいて、エンコード部60の動作条件を計算する。また、回線適応制御部37bは、送受信部31及び送受信部51を介して通信端末５のエンコード部60に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する。
デコード部40は、通信端末５から送信されて来た映像（音）データをデコードする。
The channel adaptation control unit 37b is used for the downlink channel adaptation control process corresponding to the channel adaptation control unit 27 used for the uplink channel adaptation control process. Specifically, the line adaptive control unit 37b calculates the operating condition of the
The decoding unit 40 decodes video (sound) data transmitted from the
（通信端末の機能構成）
続いて、図８を用いて、通信端末５の機能構成について説明する。通信端末５は、ユーザが配信システム１へのログインや映像（音）データの配信の開始又は停止などを行うためのインターフェースとなる端末である。
図８に示されているように、通信端末５は、デコード部50、送受信部51、操作部52、再生制御部53、レンダリング部55、時刻制御部56、遅延情報取得部57、表示部58、及びエンコード部60を有している。更に、通信端末５は、図６に示されているRAM203によって構築される記憶部5000を有している。この記憶部5000には、後述の時刻差Δを示す時刻差情報（Δ）、及び通信端末５における時刻ｔを示す時刻情報（ｔ）が記憶される。
このうち、デコード部50は、配信管理装置２から配信され、再生制御部53から出力された映像（音）データをデコードする。
(Functional configuration of communication terminal)
Next, the functional configuration of the
As shown in FIG. 8, the
Among these, the decoding unit 50 decodes the video (sound) data distributed from the
送受信部51は、配信管理装置２の送受信部31、及び後述の端末管理システム７の送受信部71aとの間で、各種データや要求等の送受信を行う。例えば、送受信部51は、通信端末５のログイン処理において、操作部52による通信端末５の起動に基づき、端末管理システム７の送受信部71にログイン要求を行う。
操作部52は、ユーザの操作を受け付ける処理を行い、例えば、電源スイッチ、キーボード、マウス等による入力や選択等を受け付け、操作データとして配信管理装置２のブラウザ管理部22に送信する。
再生制御部53は、送受信部51から受けた映像（音）データ(リアルタイムデータのパケット)をバッファリングし、再生遅延時間Ｕを考慮してデコード部50に出力する。
レンダリング部55は、デコード部によってデコードされたデータをレンダリングする。
時刻制御部56は、配信管理装置２の時刻取得部26と連携して、時刻調整の処理を行う。具体的には、時刻制御部56は、記憶部5000から通信端末５における時刻ｔを示す時刻情報（ｔ）を取得する。また、時刻制御部56は、送受信部51及び送受信部31を介して、配信管理装置２の時刻取得部26に、配信管理装置２における時刻Ｔを示す時刻情報（Ｔ）を要求する。この場合、時刻情報（Ｔ）の要求と共に、時刻情報（ｔ）が送信される。
The transmission / reception unit 51 transmits / receives various data and requests between the transmission / reception unit 31 of the
The operation unit 52 performs a process of accepting a user operation. For example, the operation unit 52 accepts input or selection using a power switch, a keyboard, a mouse, or the like, and transmits it as operation data to the browser management unit 22 of the
The
The rendering unit 55 renders the data decoded by the decoding unit.
The time control unit 56 performs time adjustment processing in cooperation with the time acquisition unit 26 of the
遅延情報取得部57は、再生制御部53から送信遅延時間D1を示す送信遅延時間情報（D1）を取得後一定時間保持する。遅延情報取得部57は、複数の送信遅延時間情報（D1）を取得すると、送受信部51及び送受信部31を介して回線適応制御部27に、複数の送信遅延時間D1による度数分布情報を示す送信遅延時間情報（Ｄ）を送信する。なお、送信遅延時間情報（Ｄ）は、例えば、100フレームに１回送信される。
表示部58は、レンダリング部55によってレンダリングされたデータを再生する。
エンコード部60は、映像（音）データ〔Ｅ〕と、時刻情報（ｔ0）と、時間差情報（Δ）とを、送受信部51及び送受信部31を介して、配信管理装置２のデコード部40に送信する。
映像（音）データ〔Ｅ〕は、内蔵マイク213、外付けカメラ62及びマイク63から取得してエンコードしたデータである。時刻情報（ｔ0）は、記憶部5000から取得した現時点の通信端末５における時刻ｔ0を示すデータである。時間差情報（Δ）は、記憶部5000から取得した時間差Δを示すデータである。
The delay information acquisition unit 57 holds the transmission delay time information (D1) indicating the transmission delay time D1 from the
The display unit 58 reproduces the data rendered by the rendering unit 55.
The
Video (sound) data [E] is data acquired from the built-in
また、エンコード部60は、回線適応制御部37bから受信した回線適応制御信号で示される動作条件に基づいて、エンコード部60の動作条件を変更する。エンコード部60は、新たな動作条件に従って、映像（音）データ〔Ｅ〕と、時刻情報（ｔ0）と、時間差情報（Δ）とを、送受信部51及び送受信部31を介して、配信管理装置２のデコード部40に送信する。
In addition, the
映像（音）データ〔Ｅ〕は、カメラ62及びマイク63から取得してエンコードしたデータである。時刻情報（ｔ0）は、記憶部5000から取得した現時点の通信端末５における時刻ｔ0を示すデータである。時間差情報（Δ）は、記憶部5000から取得した時間差Δを示すデータである。
なお、内蔵されたマイク213や、外付けのカメラ62及びマイク63等は、入力手段の一例であり、エンコードやデコードが必要な各種デバイスである。入力手段は、映像（音）データの他に、触覚(touch)データや嗅覚（smell）データを出力することができてもよい。
入力手段には、温度センサ、方位センサ、加速度センサ等の各種センサも含まれる。
Video (sound) data [E] is data acquired from the camera 62 and the
The built-in
The input means includes various sensors such as a temperature sensor, a direction sensor, and an acceleration sensor.
（端末管理システムの機能構成）
続いて、図９を用いて、端末管理システム７の機能構成について説明する。図９は、端末管理システムの各機能を示す機能ブロック図である。
図９に示されているように、端末管理システム７は、送受信部71a、送受信部71b、及び認証部75を有している。更に、端末管理システム７は、図６に示されているHDD204によって構築される記憶部7000を有している。この記憶部7000には、配信先選択メニューデータ、端末管理テーブル7010、及び利用可能端末管理テーブル7020が記憶される。
このうち、配信先選択メニューは、図10に示されているような配信先選択メニュー画面を示すデータである。
(Functional configuration of terminal management system)
Next, the functional configuration of the
As shown in FIG. 9, the
Among these, the delivery destination selection menu is data indicating a delivery destination selection menu screen as shown in FIG.
端末管理テーブル7010では、図11に示すように、通信端末５の端末ID、ユーザ証明書、ユーザが配信システム１のサービスを利用する際の契約情報、通信端末５の端末種別が関連づけて管理されている。また、各通信端末５のホームURL(Uniform Resource Locator)を示す設定情報、各通信端末５の実行環境情報、共有ID、設置位置情報、及び表示名情報が関連付けて管理されている。
このうち、実行環境情報には、各通信端末５の「お気に入り」、「前回のCookie情報」、及び「キャッシュファイル」が含まれている。また、実行情報は、各通信端末５のログイン後に、設定情報と共に配信管理装置２に送信され、各通信端末５に対して個別のサービスを行うために利用される。
In the terminal management table 7010, as shown in FIG. 11, the terminal ID of the
Among these, the execution environment information includes “favorite”, “previous cookie information”, and “cache file” of each
共有IDは、各ユーザが、自己の通信端末５に配信されている映像（音）データと同じ内容の映像（音）データを他の通信端末５にも配信させることで、遠隔共有処理を行う場合に利用されるIDであり、他の通信端末又は他の通信端末群を識別する識別情報である。例えば、端末ID「t006」の共有IDは「v006」であり、端末ID「t007」の共有IDは「v006」であり、また、端末ID「t008」の共有IDは「v006」である。更に、端末ID「t001」の通信端末5aから共有ID「v006」の通信端末（5f1，5f2，5f3）との遠隔共有処理要求があった場合には、配信管理装置２は通信端末（5f1，5f2，5f3）に対して、通信端末5aに配信中の映像(音)データと同じ映像（音）データを配信する。但し、通信端末5aと通信端末（5f1，5f2，5f3）の表示部58の解像度が異なる場合には、これに応じて、配信管理装置２が映像(音)データを配信する。
The shared ID allows each user to perform remote sharing processing by distributing video (sound) data having the same content as the video (sound) data distributed to his / her
更に、設置位置情報は、例えば、図４に示されているように、通信端末（5f1，5f2，5f3）が並んで設置される場合の設置位置を示している。表示名情報は、図10に示されている配信先選択メニュー画面の表示名の内容を表す情報である。 Furthermore, the installation position information indicates the installation position when the communication terminals (5f1, 5f2, 5f3) are installed side by side, for example, as shown in FIG. The display name information is information representing the contents of the display name on the distribution destination selection menu screen shown in FIG.
一方、利用可能端末管理テーブル7020では、端末ID毎に、この端末IDによって示される通信端末５が遠隔共有処理することが可能な通信端末又は通信端末群を示す共有IDが関連付けて管理されている。
On the other hand, in the available terminal management table 7020, for each terminal ID, a shared ID indicating a communication terminal or a group of communication terminals that can be remotely shared by the
次に、各機能構成について説明する。
送受信部71aは、通信端末５との間で、各種データや要求等の送受信を行う。例えば、送受信部71aは、通信端末５の送受信部51からログイン要求を受信したり、送受信部51に対してログイン要求の認証結果を送信したりする。
送受信部71bは、配信管理装置２との間で、各種データや要求等の送受信を行う。例えば、送受信部71bは、配信管理装置２の送受信部21から配信先選択メニューのデータの要求を受信したり、送受信部21に対して、配信先選択メニューのデータを送信したりする。
認証部75は、受信した端末ID及びユーザ証明書に基づいて、端末管理テーブル7010を検索することにより、同じ組み合わせの端末ID及びユーザ証明書があるか否かを判断することで、通信端末5aの認証を行う。
Next, each functional configuration will be described.
The transmission /
The transmission / reception unit 71b transmits / receives various data and requests to / from the
The authentication unit 75 searches the terminal management table 7010 based on the received terminal ID and user certificate, and determines whether there is a terminal ID and user certificate of the same combination, thereby determining the communication terminal 5a. Authenticate.
［本発明の前提となった実施形態の動作及び処理］
続いて、図15乃至図22を用いて、本実施形態の動作または処理について説明する。
＜基本的な配信処理＞
まず、図15を用いて、配信管理装置２の基本的な配信処理を説明する。なお、図15は、配信管理装置の基本的な配信処理を示したシーケンス図である。ここでは、図２に示されている基本的な配信のパターンについて具体的な処理を説明する。図15に示されているように、通信端末5aにおいてユーザが電源オンにすると、通信端末5aの送受信部51は、端末管理システム７の送受信部71aを介して認証部75に、ログイン要求を行う（ステップS21）。このログイン要求には、通信端末5aの端末ID及びユーザ証明書が含まれている。
[Operation and Processing of the Embodiment as a Premise of the Present Invention]
Subsequently, the operation or processing of the present embodiment will be described with reference to FIGS.
<Basic delivery processing>
First, a basic distribution process of the
次に、認証部75は、受信した端末ID及びユーザ証明書に基づいて、端末管理テーブル7010を検索することにより、同じ組み合わせの端末ID及びユーザ証明書があるか否かを判断することで、通信端末5aの認証を行う(ステップS22)。ここでは、同じ組み合わせの端末ID及びユーザ証明書がある、即ち、通信端末5aが配信システム１における正当な端末であると認証された場合について、以下に続けて説明する。
端末管理システム７の認証部75は、送受信部71aを介して、通信端末5aの送受信部51bに、配信管理装置２のIPアドレスを送信する（ステップS23）。更に、端末管理システム７の送受信部71bは、配信管理装置２の送受信部21を介して、ブラウザ管理部22に、ブラウザ20の起動要求を行う（ステップS24）。これにより、ブラウザ管理部22は、ブラウザ20を起動させる（ステップS25）。
Next, the authentication unit 75 searches the terminal management table 7010 based on the received terminal ID and user certificate to determine whether there is a terminal ID and user certificate of the same combination, Authentication of the communication terminal 5a is performed (step S22). Here, a case where there is a terminal ID and a user certificate of the same combination, that is, a case where the communication terminal 5a is authenticated as a valid terminal in the distribution system 1 will be described below.
The authentication unit 75 of the
次に、エンコーダブリッジ部30の作成・選択部310は、通信端末5aの再生能力としてのディスプレイの解像度等及びコンテンツの種類に従って変換部10を作成する（ステップS26）。
次に、ブラウザ20は、ウェブサーバ８に対して、コンテンツデータ〔Ａ〕を要求する（ステップS27）。これに対して、ウェブサーバ８は、要求されたコンテンツデータ〔Ａ〕を自己の記憶部（不図示）から読み出す（ステップS28）。そして、ウェブサーバ８は、配信管理装置２の送受信部21を介して、要求元であるブラウザ20にコンテンツデータ〔Ａ〕を送信する（ステップS29）。
次に、ブラウザ20が、コンテンツデータ〔Ａ〕をレンダリングして画像（音）データを生成し、送信用FIFO24に出力する（ステップS30）。そして、変換部10が、送信用FIFO24に格納された画像（音）データをエンコードすることで、通信端末5aに配信すべき映像（音）データ〔Ａ〕に変換する（ステップＳ３１）。
次に、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、再生制御部53に映像（音）データ〔Ａ〕を送信する（ステップS32）。これにより、通信端末5aでは、再生制御部53からデコード部50に、映像（音）データ〔Ａ〕が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される（ステップS33）。
Next, the creation / selection unit 310 of the
Next, the
Next, the
Next, the
＜複数の通信端末を使った通信の処理＞
続いて、図16を用いて、配信管理装置を介して複数の通信端末を使った通信の処理を説明する。なお、図16は、配信管理装置を介して複数の通信端末を使った通信の処理を示すシーケンス図である。ここでは、複数の通信端末５として、図５に示されているパターンについて具体的な処理を説明する。なお、ここでも、上述のステップS21〜S29と同様のログイン処理及びブラウザ起動等の処理を行うため、上述のステップS29に対応する処理から説明する。
図16に示されているように、配信管理装置２のブラウザ20は、ウェブサーバ８から送受信部21を介してコンテンツデータ〔Ａ〕を受信する（ステップS41）。そして、ブラウザ20は、コンテンツデータ〔Ａ〕をレンダリングすることにより、画像（音）データを生成して、送信用FIFO24に出力する（ステップS42）。
<Communication processing using multiple communication terminals>
Next, communication processing using a plurality of communication terminals via the distribution management device will be described with reference to FIG. FIG. 16 is a sequence diagram illustrating processing of communication using a plurality of communication terminals via the distribution management device. Here, a specific process is demonstrated about the pattern shown by FIG. In this case as well, since processing such as login processing and browser activation similar to steps S21 to S29 described above is performed, processing corresponding to step S29 described above will be described.
As shown in FIG. 16, the
通信端末5f1のエンコード部60がカメラ62及びマイク63からコンテンツデータ〔Ｅ〕を入力すると(ステップS43)、エンコード部60はエンコード後送受信部31,51 1を介してデコード部40にコンテンツデータ〔Ｅ〕を送信する(ステップS44)。これにより、コンテンツデータ〔Ｅ〕は、デコード部40でデコードされた後、受信用FIFO34を介して、ブラウザ20に入力される。そして、ブラウザ20は、コンテンツデータ〔Ｅ〕をレンダリングすることにより、画像（音）データ〔Ｅ〕を生成して、送信用FIFO24に出力する（ステップS44）。この場合、ブラウザ20は、既に取得しているコンテンツデータ〔Ａ〕に対して、コンテンツデータ〔Ｅ〕を結合して出力する。
When the
更に、通信端末5f1の操作部52が、電子ペンP1によるストローク操作の入力を受け付けると（ステップS46）、操作部52は、送受信部51及び送受信部31を介して、ブラウザ管理部22に操作データ〔ｐ〕を送信する（ステップS47）。これにより、操作データ〔ｐ〕は、ブラウザ管理部22からブラウザ20に入力される。そして、ブラウザ20は、操作データ〔ｐ〕をレンダリングすることにより、画像データ〔ｐ〕を生成して、送信用FIFO24に出力する（ステップS48）。この場合、ブラウザ20は、既に取得しているコンテンツデータ（〔Ａ〕，〔Ｅ〕）に対して、操作データ〔ｐ〕を結合して出力する。
Furthermore, when the operation unit 52 of the communication terminal 5f1 receives an input of a stroke operation with the electronic pen P1 (step S46), the operation unit 52 sends operation data to the browser management unit 22 via the transmission / reception unit 51 and the transmission / reception unit 31. [P] is transmitted (step S47). As a result, the operation data [p] is input from the browser management unit 22 to the
次に、変換部10が、送信用FIFO24に格納された画像（音）データ（〔Ａ〕，〔Ｅ〕，〔ｐ〕）をエンコードすることで、通信端末5aに配信すべき映像（音）データ（〔Ａ〕，〔Ｅ〕，〔ｐ〕）に変換する（ステップS49）。そして、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して再生制御部53に映像（音）データ（〔Ａ〕，〔Ｅ〕，〔ｐ〕）を送信する（ステップS50-1）。その後、映像（音）データ（〔Ａ〕，〔Ｅ〕，〔ｐ〕）は、デコード部50でデコードされてスピーカ61に音が出力されると共に、デコード部50でデコードされてレンダリング部55でレンダリングされて表示部58に映像が出力される（ステップS51-1）。
Next, the
また、通信端末5f2に対しても。ステップS50-2と同様に、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して再生制御部53に映像（音）データ（〔Ａ〕，〔Ｅ〕，〔ｐ〕）を送信する（ステップS50-2）。その後、映像（音）データ（〔Ａ〕，〔Ｅ〕，〔ｐ〕）は、デコード部50でデコードされてスピーカ61に音が出力されると共に、デコード部50でデコードされてレンダリング部55でレンダリングされて表示部58に映像が出力される（ステップS51-2）。これにより、通信端末5f1で出力される映像（音）と同じ映像（音）が、通信端末5f2でも出力されることになる。
Also for the communication terminal 5f2. Similarly to step S50-2, the
＜時刻調整の処理＞
続いて、図17を用いて、時刻調整の処理について説明する。なお、図17は、時刻調整の処理を示したシーケンス図である。
まず、通信端末５の時刻制御部56は、送受信部51が配信管理装置２に時刻情報（Ｔ）を要求する時刻を取得するために、記憶部5000から通信端末５における時刻情報（ｔs）を取得する（ステップS81）。そして、送受信部51は送受信部31に、配信管理装置２における時刻情報（Ｔ）を要求する（ステップS82）。この場合、時刻情報（Ｔ）の要求と共に、上記時刻情報（ｔs）が送信される。
次に、時刻取得部26は、送受信部31が上記ステップS82の要求を受信した時刻を取得するために、時刻管理部25から配信管理装置２における時刻情報（Ｔr）を取得する（ステップS83）。更に、時刻取得部26は、送受信部31が上記ステップS82の要求に応答する時刻を取得するために、時刻管理部25から配信管理装置２における時刻情報（Ｔs）を取得する（ステップS84）。そして、送受信部31は送受信部51に、時刻情報（ｔs, Ｔr，Ｔs）を送信する（ステップS85）。
次に、通信端末５の時刻制御部56は、送受信部51が上記ステップS85の応答を受信した時刻を取得するために、記憶部5000から通信端末５における時刻情報（ｔr）を取得する（ステップS86）。
そして、通信端末５の時刻制御部56は、配信管理装置２と通信端末５との間の時刻差Δを計算する（ステップS87）。この時刻差Δは、以下の式１によって表される。
Δ＝（（Ｔr＋Ｔs）／２）−（（ｔr＋ｔs）／２）・・・（式１）
そして、時刻制御部56は、記憶部5000に時刻差データΔを記憶する（ステップS88）。この時刻調整の一連の処理は、例えば、毎分定期的に行われる。
<Time adjustment processing>
Next, the time adjustment process will be described with reference to FIG. FIG. 17 is a sequence diagram showing time adjustment processing.
First, the time control unit 56 of the
Next, the time acquisition unit 26 acquires time information (T r ) in the
Next, the time control unit 56 of the
Then, the time control unit 56 of the
Δ = ((T r + T s ) / 2) − ((t r + t s ) / 2) (Expression 1)
Then, the time control unit 56 stores the time difference data Δ in the storage unit 5000 (step S88). This series of time adjustment processes is performed periodically, for example, every minute.
＜下り用の回線適応制御の処理＞
続いて、図18を用いて、配信管理装置２から通信端末５に送信する（下り）データの回線適応制御の処理を説明する。なお、図18は、配信管理装置から通信端末に送信するデータの回線適応制御の処理を示したシーケンス図である。
まず、配信管理装置２のエンコーダブリッジ部30は、送受信部31及び送受信部51を介して再生制御部53に、再生までにバッファリングして再生を遅延させるための再生遅延時間情報（Ｕ）を送信する（ステップS101）。また、エンコーダブリッジ部30は、送信用FIFO24から取得してエンコード等を行った映像（音）データ〔Ａ〕に対して、時刻管理部25から取得した現時点の時刻Toをタイムスタンプとして付加する。付加後エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、再生制御部53に送信する（ステップS102）。
<Process of downlink adaptive control>
Next, a description will be given of the process of line adaptive control of (downstream) data transmitted from the
First, the
一方、通信端末５では、再生制御部53が、通信端末５における時刻（Ｔ0＋Ｕ−Δ）になるまで待ってから、映像（音）データをデコード部50に出力することで、スピーカ61から音を再生させ、レンダリング部55を介して表示部58から映像を再生させる（ステップＳ１０３）。即ち、以下の式１に示される再生遅延時間Ｕの範囲内に通信端末５が受信した映像（音）データだけが再生されることになり、範囲外の映像（音）データは再生されずに消去される。
Ｕ≧（ｔ0＋Δ）−Ｔ0・・・（式２）
On the other hand, in the
U ≧ (t 0 + Δ) −T 0 (Equation 2)
また、再生制御部53は、記憶部5000から、通信端末５における現時点の時刻ｔ0を読み出す（ステップS104）。この時刻ｔ0は、通信端末５が配信管理装置２から映像（音）データを受信した時点の通信端末５における時刻を示す。更に、再生制御部53は、記憶部5000から、上記ステップS86によって記憶されている時刻差Δを示す時刻差情報（Δ）を読み出す（ステップS105）。そして、再生制御部53は、映像（音）データが配信管理装置２から送信されて通信端末５で受信されるまでの時間を示す送信遅延時間D1を計算する（ステップS106）。この計算は、以下の式３によって行われ、通信ネットワーク９が混雑している場合には、送信遅延時間D1が長くなる。
Ｄ１＝（ｔ0＋Δ）−Ｔ0・・・（式３）
Further, the
D1 = (t 0 + Δ) −T 0 (Equation 3)
次に、遅延情報取得部57は、再生制御部53から送信遅延時間D1を示す送信遅延時間情報（D1）を取得して一定時間保持しておく。遅延情報取得部57は、複数の送信遅延時間情報（D1）を取得したところで、送受信部51及び送受信部31を介して回線適応制御部27に、複数の送信遅延時間D1による度数分布情報を示す送信遅延時間情報（Ｄ）を送信する（ステップS107）。
次に、配信管理装置２の回線適応制御部27は、送信遅延時間情報（Ｄ）に基づいて、新たに再生遅延情報Ｕ´を計算したり、変換部10のフレームレートやデータの解像度等の動作条件を計算したりする（ステップS108）。
Next, the delay information acquisition unit 57 acquires the transmission delay time information (D1) indicating the transmission delay time D1 from the
Next, the line adaptation control unit 27 of the
次に、配信管理装置２のエンコーダブリッジ部30は、送受信部31及び送受信部51を介して再生制御部53に、上記ステップS108によって計算された新たな再生遅延時間Ｕ´を示す再生遅延時間情報（Ｕ´）を送信する（ステップS109）。
更に、変換部10は、動作条件を示す回線適応制御信号に基づいて、変換部10の動作条件を変更する（ステップS110）。例えば、送信遅延時間D1が長すぎる場合、送信遅延時間D1に応じて再生遅延時間Ｕを長くすると、スピーカ61や表示部58での再生時間が遅くなり過ぎるため、再生遅延時間Ｕを長くすることには限界がある。
そこで、回線適応制御部27は、エンコーダブリッジ部30に対して、再生遅延時間Ｕを変更させて再生遅延時間Ｕ´とし、変換部10に対して、映像（音）データのフレームレートを下げさせたり、映像（音）データの解像度を下げさせたりする。これにより、通信ネットワーク９の混雑に対応することができる。これにより、エンコーダブリッジ部30は、変更後の動作条件に従って、上記ステップS102のように、現時点の時刻Toをタイムスタンプとして付加した映像（音）データを通信端末５の再生制御部53に送信する(ステップS111)。
Next, the
Furthermore, the
Therefore, the line adaptation control unit 27 causes the
次に、通信端末５では、再生制御部53が、通信端末５における時刻（Ｔ0＋Ｕ’−Δ）になるまで待ってから、映像（音）データをデコード部50に出力する。これにより、上記ステップS103のように、スピーカ61から音を再生させ、レンダリング部55を介して表示部58から映像を再生させる（ステップS112）。その後、上記ステップS104以降の処理が続けて行われる。このようにして、下り用の回線適応制御の処理が継続して行われる。
Next, in the
＜上り用の回線適応制御の処理＞
続いて、図19を用いて、通信端末５から配信管理装置２に送信する（上り）データの回線適応制御の処理を説明する。なお、図18は、通信端末から配信管理装置に送信するデータの回線適応制御の処理を示したシーケンス図である。
まず、通信端末５のエンコード部60は、映像（音）データ〔Ｅ〕と、時刻情報（ｔ0）と、時間差情報（Δ）とを、送受信部51及び送受信部31を介して、配信管理装置２のデコード部40に送信する（ステップS121）。
映像（音）データ〔Ｅ〕は、カメラ62及びマイク63から取得してエンコードしたデータである。時刻情報（ｔ0）は、記憶部5000から取得した現時点の通信端末５における時刻ｔ0を示すデータである。時間差情報（Δ）は、記憶部5000から取得した時間差Δを示すデータである。
<Processing of uplink adaptive control>
Next, the processing of line adaptation control of (uplink) data transmitted from the
First, the
Video (sound) data [E] is data acquired from the camera 62 and the
次に、配信管理装置２では、デコード部40が上記ステップS121によって映像（音）データ〔Ｅ〕等を受信した時点の時刻toを時刻管理部25から読み出す(ステップS122)。そして、デコード部40は、映像（音）データが通信端末５から送信されて配信管理装置２で受信されるまでの時間を示す送信遅延時間d1を計算する（ステップS123）。この計算は、以下の式４によって行われ、通信ネットワーク９が混雑している場合には、送信遅延時間D2が長くなる。
ｄ１＝Ｔ0−（ｔ0＋Δ）・・・（式４）
Next, in the
d1 = T 0 − (t 0 + Δ) (Formula 4)
次に、配信管理装置２の遅延情報取得部37aは、遅延情報取得部57と同様に、デコード部40から送信遅延時間d1を示す送信遅延時間情報（d1）を取得して一定時間保持しておく。複数の送信遅延時間情報（d1）を取得したところで、回線適応制御部37bに、複数の送信遅延時間d1による度数分布情報を示す送信遅延時間情報（ｄ）を出力する（ステップS124）。
Next, similarly to the delay information acquisition unit 57, the delay information acquisition unit 37a of the
次に、回線適応制御部37bは、送信遅延時間情報（ｄ）に基づいて、エンコード部60の動作条件を計算する（ステップS108）。そして、回線適応制御部37bは、送受信部31及び送受信部51を介して通信端末５のエンコード部60に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する（ステップS126）。即ち、下りの場合の回線適応制御部27は、同じ配信管理装置２内でエンコーダブリッジ部30に回線適応制御信号を出力するのに対して、上りの場合の回線適応制御部37bは、配信管理装置２から通信ネットワーク９を介して、通信端末５に回線適応制御信号を送信する。
Next, the line adaptation control unit 37b calculates the operating condition of the
次に、エンコード部60は、受信した回線適応制御信号で示される動作条件に基づいて、エンコード部60の動作条件を変更する（ステップS127）。エンコード部60は、新たな動作条件によって、上記ステップS121のように、映像（音）データ〔Ｅ〕と、時刻情報（to）と、時間差情報（Δ）とを、送受信部51及び送受信部31を介して、配信管理装置２のデコード部40に送信する（ステップS128）。映像（音）データ〔Ｅ〕は、カメラ62及びマイク63から取得してエンコードしたデータである。時刻情報（to）は、記憶部5000から取得した現時点の通信端末５における時刻toを示すデータである。時間差情報（Δ）は、記憶部5000から取得した時間差Δを示すデータである。その後、上記ステップS122以降の処理が続けて行われる。このようにして、上り用の回線適応制御の処理が継続して行われる。
Next, the
＜マルチディスプレイの処理＞
続いて、図20乃至図22を用いて、マルチディスプレイの処理について説明する。なお、図20乃至図22は、図５に示されているマルチディスプレイの処理を示したシーケンス図である。また、ここでは、ウェブコンテンツを表示させるためのブラウザ20を「ブラウザ20a」と示し、ユーザへの設定画面を表示させるためのブラウザ20を「ブラウザ20b」と示す。更に、ここでは、図15のステップS30に相当する処理から説明する。
まず、配信管理装置２のブラウザ20aは、ウェブサーバ８から取得したウェブコンテンツデータ〔XYZ〕をレンダリングして画像（音）データを生成し、送信用FIFO24に出力する（ステップS201）。そして、変換部10が、送信用FIFO24に格納された画像（音）データをエンコードすることで、通信端末5aに配信すべき映像（音）データ〔XYZ〕に変換する（ステップS202）。
<Multi-display processing>
Next, multi-display processing will be described with reference to FIGS. 20 to 22 are sequence diagrams showing the processing of the multi-display shown in FIG. Further, here, the
First, the browser 20a of the
次に、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5aの再生制御部53に映像（音）データ〔XYZ〕を送信する（ステップS203）。これにより、通信端末5aでは、再生制御部53からデコード部50に、映像（音）データ〔XYZ〕が出力され、レンダリング部55を介して、表示部58にて映像（音）が再生される（ステップS204）。
次に、通信端末5aのユーザによって、表示部58上に表示されている画面を、メニュー要求画面に切り替えられると（ステップS205）、送受信部51が、端末管理システム７の送受信部71aに、共有端末選択メニューを要求する（ステップS206）。これに対して、送受信部71bは、送受信部21を介して配信管理装置２のブラウザ管理部22に対し、ブラウザ20bの起動要求を行う（ステップS208）。
Next, the
Next, when the screen displayed on the display unit 58 is switched to the menu request screen by the user of the communication terminal 5a (step S205), the transmission / reception unit 51 is shared with the transmission /
次に、エンコーダブリッジ部30の作成・選択部310は、ブラウザ20aから変化部10（例えば、変換部10a）への出力を、ブラウザ20bから変換部10（例えば、変換部10b）への出力に切り替える（ステップS209）。但し、通信端末5aが他の通信端末５（例えば、通信端末5b）と変換部10（例えば、変換部10a）を共有して上記ステップS203による映像（音）データを受信していた場合には、他の通信端末５（例えば、通信端末5b）はブラウザ20a用に変換部10（例えば、変換部10a）を利用中であるため、エンコーダブリッジ部30の作成・選択部310は、新たに変換部10（例えば、変換部10b）を作成する。
そして、ブラウザ20bは、送受信部21及び送受信部71bを介して、端末管理システム７の記憶部7000に、配信先選択メニューを要求する（ステップS210）。この際に、通信端末5aの端末IDも送信される。これに対して、端末管理システム７の記憶部7000では、この端末IDに基づいて記憶部7000に記憶されている利用可能端末管理テーブル7020を検索することにより、対応する共有IDを抽出する（ステップS211）。この共有IDは、通信端末5aが遠隔共通処理をするために利用可能な通信端末５を示している。ここでは、通信端末5aの端末IDが「t001」であるため、抽出される共有IDは「v003」、「v006」である。
Next, the creation / selection unit 310 of the
Then, the browser 20b requests a delivery destination selection menu from the storage unit 7000 of the
更に、記憶部7000は、抽出した共有IDに基づいて端末管理テーブル7010を検索することにより、対応する表示名を示す表示名情報を抽出する（ステップS212）。ここでは、図１３に示されているように、抽出された共有ID「v003」、「v006」に対応する表示名は、それぞれ「東京本社１０Ｆ ＭＦＰ」、「大阪展示場１Ｆ マルチディスプレイ」である。
そして、記憶部7000は、送受信部71b及び送受信部21を介して、ブラウザ20bにコンテンツデータとして配信先選択メニューのデータを送信する（ステップS213）。この配信先選択メニューは、図10に示されているように、チェックボックス、共有ID、及び表示名が含まれている。
Further, the storage unit 7000 searches the terminal management table 7010 based on the extracted shared ID, thereby extracting display name information indicating the corresponding display name (step S212). Here, as shown in FIG. 13, the display names corresponding to the extracted shared IDs “v003” and “v006” are “Tokyo head office 10F MFP” and “Osaka Exhibition Hall 1F multi-display”, respectively. .
Then, the storage unit 7000 transmits the data of the distribution destination selection menu as content data to the browser 20b via the transmission / reception unit 71b and the transmission / reception unit 21 (step S213). As shown in FIG. 10, the distribution destination selection menu includes a check box, a shared ID, and a display name.
次に、図21に示されているように、ブラウザ20bが、端末管理システム７から取得した配信先選択メニュー〔Ｍ〕を示すコンテンツデータをレンダリングして画像（音）データを生成し、送信用FIFO24に出力する（ステップS221）。そして、変換部10が、送信用FIFO24に格納された画像（音）データ〔Ｍ〕をエンコードすることで、通信端末5aに配信すべき映像（音）データ〔Ｍ〕に変換する（ステップS222）。
次に、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5aの再生制御部53に映像（音）データ〔Ｍ〕を送信する（ステップS223）。これにより、通信端末5aでは、再生制御部53からデコード部50に、映像（音）データ〔Ｍ〕が出力され、レンダリング部55を介して、表示部58にて、図10に示されているような映像（音）が再生される（ステップS224）。
ユーザによって共有ID「v006」のチェックボックスにチェックが入れられ、「OK」ボタンが押下されると、操作部52が、送受信部51及び送受信部31を介してブラウザ管理部22に、操作データとしてチェック結果を送信する（ステップS226）。
Next, as shown in FIG. 21, the browser 20b renders the content data indicating the distribution destination selection menu [M] acquired from the
Next, the
When the check box of the shared ID “v006” is checked by the user and the “OK” button is pressed, the operation unit 52 is sent to the browser management unit 22 via the transmission / reception unit 51 and the transmission / reception unit 31 as operation data. The check result is transmitted (step S226).
次に、ブラウザ20bは、チェック結果から共有IDを選択する（ステップS227）。そして、ブラウザ20bは、送受信部21及び送受信部71bを介して、端末管理システム７の記憶部7000に配信先追加要求を行う（ステップS228）。この配信先追加要求には、上記ステップS227によって選択された共有IDが含まれている。そして、ブラウザ20bは、役目を終えて終了する（ステップS229）。これにより、エンコーダブリッジ部30の作成・選択部310は、ブラウザ20bから変換部10への出力を、ブラウザ20aから変換部10への出力に戻すよう切り替える（ステップS230）。
Next, the browser 20b selects a shared ID from the check result (step S227). Then, the browser 20b makes a distribution destination addition request to the storage unit 7000 of the
図22に示すように、端末管理システム７の記憶部7000では、上記ステップS228によって送られて来た共有IDに基づいて、端末管理テーブル7010を検索することにより、対応する端末ID及び設置位置情報を抽出する（ステップS241）。そして、記憶部7000は、送受信部71b及び送受信部21を介してブラウザ管理部22に、配信先の追加指示を行う(ステップS242)。この配信先の追加指示には、上記ステップS241によって抽出された端末ID及び設置位置情報が含まれている。ここでは、端末ID及び設置位置情報が「t006」、「左」と、端末ID及び設置位置情報が「t007」、「中」と、端末ID及び設置位置情報が「t008」、「右」との３組の端末ID及び配置位置情報が含まれている。
次に、エンコーダブリッジ部30の作成・選択部310は、マルチディスプレイ用の変換部10を作成する（ステップS243）。なお、この場合、エンコーダブリッジ部30の作成・選択部310は、ブラウザ管理部22から、端末ID及び設置位置情報を取得する。
そして、上記ステップS243によって作成された変換部10の分割部13が、送信用FIFO24に格納されている画像（音）データ〔XYZ〕を分割し、エンコード部19が、分割された各データをエンコードする（ステップS244）。
そして、エンコーダブリッジ部30は、端末ID(「t006」)及び設置位置情報(「左」)に基づいて、送受信部31及び通信端末5f1の送受信部51を介して、通信端末5f1の再生制御部53に映像（音）データ〔Ｘ〕を送信する（ステップS245-1）。これにより、通信端末5f1では、再生制御部53からデコード部50に、映像（音）データ〔Ｘ〕が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される（ステップS246-1）。
また、同様にして、エンコーダブリッジ部30は、端末ID(「t007」)及び設置位置情報(「中」)に基づいて、送受信部31及び通信端末5f2の送受信部51を介して、通信端末5f2の再生制御部53に映像（音）データ〔Ｙ〕を送信する（ステップS245-2）。これにより、通信端末5f2は、再生制御部53からデコード部50に、映像（音）データ〔Ｙ〕が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される（ステップS246-2）。
更に、同様にして、エンコーダブリッジ部30は、端末ID(「t008」)及び設置位置情報(「右」)に基づいて、送受信部31及び通信端末5f3の送受信部51を介して、通信端末5f3の再生制御部53に映像（音）データ〔Ｚ〕を送信する（ステップS245-3）。これにより、通信端末5f3は、再生制御部53からデコード部50に、映像（音）データ〔Ｚ〕が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される（ステップS246-3）。
As shown in FIG. 22, the storage unit 7000 of the
Next, the creation / selection unit 310 of the
Then, the dividing unit 13 of the converting
Then, based on the terminal ID (“t006”) and the installation position information (“left”), the
Similarly, the
Further, similarly, the
［本発明の前提となった実施形態の主な効果］
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の配信システム１では、クラウド上で配信管理装置２がブラウザ20及びエンコード等を行うエンコーダブリッジ部30を有する。これにより、ブラウザ20が所定の記述言語で示されたコンテンツデータから映像データ又は音データを生成し、エンコーダブリッジ部30が通信ネットワーク９を介して配信することができるようにデータ形式を変換してから通信端末５に配信する。よって、通信端末５では、所定の記述言語で示されたコンテンツデータを受信する負荷、及び受信後に映像データ又は音データに変換する負荷が低減されるため、コンテンツのリッチ化に対応させるための負荷が高いという問題を解消することができる。
特に、ブラウザ20は、リアルタイムコミュニケーションを可能にし、変換部10は、ブラウザ20によって生成された映像（音）データに対してリアルタイムのエンコードを行う。よって、例えば、映像（音）データのオンデマンド配信のように、DVDプレーヤがリアルタイム性のない（つまり、予めエンコードされている）映像（音）データを選択して配信する場合とは異なり、配信管理装置２は、配信する直前に取得したコンテンツをレンダリングすることで映像（音）データを生成してからエンコードするため、配信管理装置２は、リアルタイム性に優れた映像（音）データの配信を行うことができる。
[Main effects of the embodiment on which the present invention is based]
As described above in detail with specific examples, in the distribution system 1 of the present embodiment, the
In particular, the
［補足説明］
本実施形態の配信システム１では、端末管理システム７と配信管理装置２とを互いに別個の装置として構成しているが、本発明はこれに限定されない。例えば、配信管理装置２に端末管理システム７の機能を持たせるなどにより、端末管理システム７と配信管理装置２とを一体の装置として構成するようにしてもよい。
また、上記実施形態における配信管理装置２、及び端末管理システム７は、単一のコンピュータによって構築されてもよく、各部（機能、手段、又は記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
更に、上記実施形態の各プログラムが記憶されたCD-ROM等の記録媒体、並びに、これらプログラムが記憶されたHDD204は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
[Supplemental explanation]
In the distribution system 1 of the present embodiment, the
In addition, the
Further, a recording medium such as a CD-ROM in which each program of the above embodiment is stored, and an
［本発明の実施の形態］
次に本発明の実施の形態について述べる。
図23は、一実施の形態を示す概念図であり、配信管理装置を介して複数の通信端末を使った通信の概念図である。
図23に示した概念図と図５に示した概念図との相違点は、複数の通信端末を用いて、連携する共有IDの異なる、少なくとも二つの通信端末を１つのディスプレイとして扱う点である。
[Embodiments of the present invention]
Next, embodiments of the present invention will be described.
FIG. 23 is a conceptual diagram illustrating an embodiment, and is a conceptual diagram of communication using a plurality of communication terminals via a distribution management device.
The difference between the conceptual diagram shown in FIG. 23 and the conceptual diagram shown in FIG. 5 is that a plurality of communication terminals are used and at least two communication terminals having different shared IDs are handled as one display. .
図23に示した実施の形態は、１台の通信端末と２台の通信端末との共有を示す物である。図23において、通信端末5f1としての通信端末504で一つのディスプレイを構成し、通信端末5f2としての通信端末505と通信端末5f3としての通信端末506とで一つのディスプレイを構成している。
詳しい点については後述するが、通信端末504は電子ペンP1で描画可能であり音(E2)を発生することが可能である。通信端末504は、ブラウザ20からのデータが入力される画像を表示することが可能である。電子ペンP1で描画された画像はブラウザ20へ送ることが可能である。
カメラ・マイク・スピーカ等の通信端末5e1からの音声や画像は配信管理装置２へ送られるようになっている。
通信端末505,506は、電子ペンP2,P3で描画可能であり、音(E1)を発生することが可能である。通信端末505,506はブラウザ20からのデータが入力されると画像を表示することが可能である。
カメラ・マイク・スピーカ等の通信端末5e2からの音声や画像は配信管理装置２へ送られるようになっている。
The embodiment shown in FIG. 23 shows sharing between one communication terminal and two communication terminals. In FIG. 23, the
Although details will be described later, the
Audio and images from the communication terminal 5e1 such as a camera, microphone, and speaker are sent to the
Communication terminals 505 and 506 can draw with electronic pens P2 and P3, and can generate sound (E1). The communication terminals 505 and 506 can display an image when data from the
Audio and images from the communication terminal 5e2 such as a camera, microphone, and speaker are sent to the
図24は、横型の通信端末と縦型の通信端末との共有の説明図である。
通信端末5f1としての通信端末502bは、ディスプレイが縦型の通信端末であり、通信端末5f2としての通信端末502aはディスプレイが横型の通信端末である。
これら通信端末502a及び通信端末502bは電子ペンP1,P2により文字や画像の形成が可能な電子情報ボードである。このようにディスプレイが縦型の通信端末とディスプレイが横型の通信端末とを共有することができる。
FIG. 24 is an explanatory diagram of sharing between a horizontal communication terminal and a vertical communication terminal.
A communication terminal 502b as the communication terminal 5f1 is a vertical communication terminal, and a communication terminal 502a as the communication terminal 5f2 is a horizontal communication terminal.
The communication terminal 502a and the communication terminal 502b are electronic information boards capable of forming characters and images with the electronic pens P1 and P2. In this way, a communication terminal having a vertical display and a communication terminal having a horizontal display can be shared.
図25は、端末システム７の概念図である。
端末システム７は、認証部75、記憶部7000と、送受信部71a,71bを有する。記憶部7000は、選択メニューと、端末管理テーブル7010と、利用可能端末管理テーブル7020と、共有管理テーブル7090と、を有する。
FIG. 25 is a conceptual diagram of the
The
図26(a)は端末管理テーブル7010であり、図26(b)は端末管理テーブル7010に格納された情報群である。図26(c)は共有管理テーブル7090であり、図26(d)は共有管理テーブル7090に格納された情報群である。 FIG. 26A shows the terminal management table 7010, and FIG. 26B shows the information group stored in the terminal management table 7010. FIG. 26 (c) shows a share management table 7090, and FIG. 26 (d) shows a group of information stored in the share management table 7090.
＜１台の通信端末と２台の通信端末との共有＞・・・パターンＩ
端末管理テーブル7010には図26のように情報が管理され、通信端末の縦横の解像度が管理されている。
複数の通信端末のうち特定の通信端末を１つのディスプレイとして扱う場合、通信端末は同じ共有IDが割振られ、共有管理テーブル7090で共有IDごとに解像度が記録される。例えば、図26で管理される横：縦＝1920×1080pixelの端末IDであるｔ006、ｔ007は２つの通信端末を１つのディスプレイとして扱われる。ここでは、拠点aのｔ006、ｔ007と拠点ｂのt001の画面を共有する場合を考える。
<Sharing between one communication terminal and two communication terminals> ... Pattern I
Information is managed in the terminal management table 7010 as shown in FIG. 26, and the vertical and horizontal resolutions of the communication terminals are managed.
When a specific communication terminal among a plurality of communication terminals is handled as one display, the communication terminal is assigned the same shared ID, and the resolution is recorded for each shared ID in the shared management table 7090. For example, t006 and t007, which are terminal IDs of horizontal: vertical = 1920 × 1080 pixels managed in FIG. 26, are handled as one display. Here, consider a case where the screens of t006 and t007 at the base a and t001 at the base b are shared.
端末IDがｔ006とｔ007は、全画面範囲を共有するという操作を行うと、端末管理テーブル7010にて、同じ共有IDであるv006が割り当てられる。赤外線センサ等のお互いの位置関係を検知する手段を用いて、その位置関係を判別すると、端末テーブル7010の設置位置に、各々の位置が記録される。さらに端末IDを共有することにより、各々の縦横比の値より、算出された２つの画面を１つの画面とした場合の縦横比の値が、共有管理テーブル7090に記録される。
ここで別の通信端末であるt001(共有ID:v001)から、共有ID：v006の２台と遠隔使用して画面を共有する場合、図９の配信先選択メニューが利用可能端末管理テーブル7020の情報と、端末管理テーブル7010の表示名のデータを基に表示される。
ここでv006を選択すると、v001の共有管理テーブル7090の共有１にv006が、v006の共有１にv001が記録される。また、共有管理テーブル7090の各縦横比と、端末管理テーブル7010の解像度の値とから、共有座標の値が算出され、端末管理テーブル7010に記録される。ｔ006とｔ007とは、1920×1080が共有範囲であり、t001は1920×540までが共有範囲となり、Bの範囲（1920×541〜1080）が、共有ID：v006と共有できないローカル範囲として扱われる。つまりBの範囲は、t006にもt007にも表示されないことになる。
When the terminal IDs t006 and t007 are operated to share the entire screen range, v006 that is the same shared ID is assigned in the terminal management table 7010. When the positional relationship is determined using means for detecting the mutual positional relationship such as an infrared sensor, each position is recorded in the installation position of the terminal table 7010. Further, by sharing the terminal ID, the aspect ratio value when the calculated two screens are set as one screen is recorded in the sharing management table 7090 from each aspect ratio value.
Here, when a screen is shared remotely from two communication terminals t001 (shared ID: v001) and shared ID: v006, the distribution destination selection menu of FIG. It is displayed based on information and display name data in the terminal management table 7010.
When v006 is selected here, v006 is recorded in share 1 of v001 share management table 7090, and v001 is recorded in share 1 of v006. Further, the value of the shared coordinate is calculated from each aspect ratio of the share management table 7090 and the resolution value of the terminal management table 7010 and recorded in the terminal management table 7010. For t006 and t007, 1920 × 1080 is the shared range, t001 is up to 1920 × 540, and the range of B (1920 × 541 to 1080) is treated as a local range that cannot be shared with the shared ID: v006 . That is, the range of B is not displayed at t006 or t007.
ここで、図23を参照して通信端末504と通信端末505、506の画面を遠隔で共有する例を説明する。通信端末504で表示されている画面と電子ペンP1とで描画された情報から通信端末505,506へ送信する例である。
電子ペンP1で描画された描画画面のデータは、座標判定部501で端末管理ケーブル7010の共有座標の値を基に振分けられ、共有範囲である領域Aの描画データp1Aはブラウザ20へ送られる。ローカル範囲の描画データp1Bは通信端末504用の描画データ記憶装置である描画504に送られる。描画時には通信端末504用データは、エンコーダブリッジ部30でブラウザ20のデータと描画504のデータとを合成し、通信端末504に送られる。通信端末505,506への各端末用データは、エンコーダブリッジ部30でブラウザ20のデータを合成し、通信端末505,506へ送られる。
Here, an example in which the screens of the
The drawing screen data drawn by the electronic pen P1 is distributed by the coordinate determination unit 501 based on the shared coordinate value of the
電子ペンP2を描画する場合を示すと、電子ペンP2が通信端末505,506で使用できない場合、電子ペンP2で描画されたデータは、座標判定部501で端末管理ケーブル7010の共有座標の値を基に振分けられる。しかし、通信端末505は全て共有範囲（領域A）であるため、描画データp2はブラウザ20へ送られる。電子ペンP2が通信端末505,506で使用できる場合は、通信端末505で描画された描画データp2はブラウザ20へ送られ、通信端末506で描画された描画データはp3としてブラウザ20へ送られる。
In the case of drawing the electronic pen P2, when the electronic pen P2 cannot be used in the communication terminals 505 and 506, the data drawn by the electronic pen P2 is based on the shared coordinate value of the
ここで複数の通信端末のうち所定数の通信端末を候補とし、時系列で早いタイミングでマルチディスプレイを構成した通信端末をマルチディスプレイの構成要素と決定するようにしてもよい。 Here, a predetermined number of communication terminals among a plurality of communication terminals may be candidates, and a communication terminal that configures a multi-display at an earlier timing in time series may be determined as a component of the multi-display.
＜ディスプレイが横型の通信端末502aとディスプレイが縦型の通信端末502ｂとの共有＞・・・パターンII
共有IDの異なる通信端末間を遠隔で使用する場合、解像度により共有する範囲が決まる。図24の通信端末502aと通信端末502bのように異なる縦横比のディスプレイの場合、右のディスプレイ502bのBの範囲が共有できない範囲となる。この範囲はローカル範囲として扱う。つまり、右のディスプレイ502bだけに表示される領域とし、通信端末502aではBの範囲は表示させない。
<Sharing between Communication Terminal 502a with Horizontal Display and Communication Terminal 502b with Vertical Display> Pattern II
When remotely using communication terminals having different sharing IDs, the sharing range is determined by the resolution. In the case of displays with different aspect ratios such as the communication terminal 502a and the communication terminal 502b in FIG. 24, the range B of the right display 502b is a range that cannot be shared. This range is treated as a local range. That is, the area is displayed only on the right display 502b, and the range B is not displayed on the communication terminal 502a.
端末IDがt008の通信端末502aと、端末IDがｔ009の通信端末502bとは、端末管理テーブル7010では共有IDとしてv007、v008が割り当てられている。また各々の縦横比の値が、共有管理テーブル7090に記録されている。共有IDがv007の通信端末t008から、共有IDがv008の通信端末と遠隔にて画面を共有しようとする場合を考える。図９の配信先選択メニューが利用可能端末管理テーブル7020の情報と、端末管理テーブル7010の表示名のデータとを基に表示される。
ここでv008を選択すると、v007の共有管理テーブル7090の共有１にv008が、v008の共有１にv007が記録される。また、共有管理テーブル7090の各縦横比と、端末管理テーブル7010の解像度の値から、共有座標の値が算出され、端末管理テーブル7010に記録される。通信端末502aは、1920×1080が共有範囲であり、通信端末502bは1080×608までが共有範囲となり、Bの範囲（1080×609〜1920）が、共有ID：v007の端末502aと共有できないローカル範囲として扱われる。つまりBの範囲は、通信端末502aに表示されないことになる。
In the terminal management table 7010, v007 and v008 are assigned to the communication terminal 502a whose terminal ID is t008 and the communication terminal 502b whose terminal ID is t009. In addition, each aspect ratio value is recorded in the sharing management table 7090. Consider a case where a screen is to be remotely shared from a communication terminal t008 having a sharing ID v007 with a communication terminal having a sharing ID v008. The distribution destination selection menu in FIG. 9 is displayed based on information in the available terminal management table 7020 and display name data in the terminal management table 7010.
If v008 is selected here, v008 is recorded in share 1 of v007 share management table 7090, and v007 is recorded in share 1 of v008. Further, the value of the shared coordinate is calculated from each aspect ratio of the sharing management table 7090 and the resolution value of the terminal management table 7010 and recorded in the terminal management table 7010. The communication terminal 502a has a sharing range of 1920 × 1080, the communication terminal 502b has a sharing range of up to 1080 × 608, and the range of B (1080 × 609 to 1920) cannot be shared with the terminal 502a with the shared ID: v007 Treated as a range. That is, the range of B is not displayed on the communication terminal 502a.
ここで、通信端末502aの画面と通信端末502bの画面とを遠隔で共有する例を説明する。通信端末502bで表示されている画面と電子ペンP1で描画された情報を通信端末502aへ送信する例である。
電子ペンP1で描画されたデータは、座標判定部501で端末管理ケーブル7010の共有座標の値を基に振分けられ、共有範囲(領域A)の描画データp1Aはブラウザ20へ送られる。ローカル範囲の描画データであるローカル描画データp1Bは通信端末502b用の描画データ記憶装置である描画502に送られる。描画時には端末502b用データは、エンコーダブリッジ部30でブラウザ20のデータと描画502のデータとを合成し、通信端末502bに送られる。通信端末502aへは、エンコーダブリッジ部30でブラウザ20のデータを合成し、端末502a送られる。
Here, an example in which the screen of the communication terminal 502a and the screen of the communication terminal 502b are shared remotely will be described. In this example, the screen displayed on the communication terminal 502b and the information drawn with the electronic pen P1 are transmitted to the communication terminal 502a.
The data drawn with the electronic pen P1 is sorted by the coordinate determination unit 501 based on the shared coordinate value of the
次に、通信端末502aで表示されている画面と電子ペンP2で描画された情報とを通信端末502bへ送信する例を示す。
通信端末502aに電子ペンP2で描画されたデータは、座標判定部501で端末管理ケーブル7010の共有座標の値を基に振分けられる。しかし、通信端末502aは全て共有範囲としての領域Aであるため、描画データp2は描画503には送られず、全てブラウザ20へ送られる。描画時には通信端末502b用データは、エンコーダブリッジ部30でブラウザ20のデータと描画502のデータとを合成し、通信端末502bに送られる。通信端末502aへは、エンコーダブリッジ部30でブラウザ20のデータを合成し、端末502a送られる。
Next, an example in which the screen displayed on the communication terminal 502a and the information drawn with the electronic pen P2 are transmitted to the communication terminal 502b is shown.
Data drawn with the electronic pen P2 on the communication terminal 502a is distributed by the coordinate determination unit 501 based on the value of the shared coordinates of the
ここで、複数の通信端末のうち特定の通信端末でマルチディスプレイを構成する際に、一の通信端末のディスプレイに表示されていたコンテンツを、アスペクト比を替えずに隣接する通信端末とともに拡大表示するようにしてもよい。
複数の通信端末のうち特定の通信端末でマルチディスプレイを構成する際に、一の通信端末のディスプレイに表示されていたコンテンツを、隅の座標点を基点として拡大表示するようにしてもよい。
Here, when configuring a multi-display with a specific communication terminal among a plurality of communication terminals, the content displayed on the display of one communication terminal is enlarged and displayed together with the adjacent communication terminal without changing the aspect ratio. You may do it.
When configuring a multi-display with a specific communication terminal among a plurality of communication terminals, the content displayed on the display of one communication terminal may be enlarged and displayed with the corner coordinate point as a base point.
図27は通信端末の共有を認識するまでの処理を示すフローチャートの一例である。
配信管理装置２における通信端末5f2はIDがT006の通信端末の配置位置を検知する(S5-5-1)。通信端末5f3はIDがt007, t001の通信端末の配置位置を検知し、端末管理テーブル7010にidがt006,T007の通信端末についての端末共有要求を送る(S5-1-2)。
通信端末5f1は共有IDがV006の通信端末についての共有開始要求を共有管理テーブル7090に送る(S5-1-6)。
端末システム７は端末管理テーブル7010に共有ID、設置位置を記憶させ(S5-1-3)、共有IDから二つを合計した場合の解像度を計算して記録させる(S5-1-4)。
端末管理システム７は共有管理テーブル7090において共有IDがv001,V006の通信端末に共有情報を付与する(S5-1-7)。
端末管理システム７は端末管理テーブル7010に、共有管理テーブル7090の共有IDがv001,v006の通信端末の縦横比のデータから、共有座標の範囲を計算して通信端末のIDとしてのt001,t006,t007に記録する。
FIG. 27 is an example of a flowchart showing processing until recognition of sharing of a communication terminal.
The communication terminal 5f2 in the
The communication terminal 5f1 sends a share start request for the communication terminal with the shared ID V006 to the share management table 7090 (S5-1-6).
The
The
The
図28は、画面を共有する処理を示すフローチャートの一例である。
IDがt006通信端末5f2、IDがt007の通信端末5f3、及び端末管理システムは待機し、IDがt007の通信端末5f1は電子ペンにより描画がされると、IDをt001として描画情報Ｐをブラウザに送る。
配信管理装置２は座標判定部で共有すべき描画情報か否か判定する。判定結果が共有すべき描画情報の場合、ブラウザに送り、ブラウザからエンコーダブリッジに送る。判定結果が共有すべき描画情報でない場合、描画記憶し、エンコーダブリッジに送る。T001でブラウザと描画記憶された描画情報を合成する。T006,T007ではブラウザの描画情報を合成する。
FIG. 28 is an example of a flowchart showing a process for sharing a screen.
The communication terminal 5f2 whose ID is t006, the communication terminal 5f3 whose ID is t007, and the terminal management system stand by. When the communication terminal 5f1 whose ID is t007 is drawn by the electronic pen, the drawing information P is set to the browser with the ID t001. send.
The
図29は、通信端末の共有を認識するまでのフローチャートの一例である。
IDがt008の通信端末は待機する。IDがt009の通信端末5f1はIDをt009として通信端末の共有開始を共有管理テーブル7090に要求する(S5-2-1)。共有要求は共有IDをV007とする。自端末の共有IDをV008とする(S5-2-2)。
端末管理システム７は、共有管理テーブル7090の共有IDとしてのv007,V008に共有情報を付与する(S5-2-3)。
端末管理システム７は端末管理テーブル7010の共有IDとしてのv007,V008の縦横比のデータから共有座標の範囲を計算して端末IDとしてのt008,t009に記録させる(S5-2-4)。
FIG. 29 is an example of a flowchart until the sharing of the communication terminal is recognized.
The communication terminal with ID t008 stands by. The communication terminal 5f1 with ID t009 requests the sharing management table 7090 to start sharing of the communication terminal with ID t009 (S5-2-1). In the sharing request, the sharing ID is V007. The shared ID of its own terminal is set to V008 (S5-2-2).
The
The
図30は、画面を共有する処理のフローチャートの一例である。
IDがT008の通信端末5f2及び端末管理システム７は待機する。IDがt009の通信端末5f1は電子ペンにより描画されると、描画情報Ｐが発生する。配信管理装置２は座標判定部で共有すべき描画情報か否か判定する。共有すべき描画情報である場合はブラウザに送られ、共有すべき描画情報でない場合は描画記憶を行う。ブラウザ送りもしくは描画記憶の後エンコーダブリッジに送られる。T009でブラウザと描画記憶された描画情報を合成する。T008では、ブラウザの描画情報を合成する。
FIG. 30 is an example of a flowchart of processing for sharing a screen.
The communication terminal 5f2 whose ID is T008 and the
＜端末管理テーブル7010の説明＞
通信端末には縦解像度や横解像度等様々な解像度のものが使用される。この様々な通信端末は、図26に示すように、端末管理テーブル7010には情報が格納され管理されている。管理される情報としては、個々の通信端末に特有の端末ID、ユーザ証明書情報、契約情報、通信端末のディスプレイの縦横解像度と縦横比、共有座標の通信端末の座標範囲、通信端末の種別、設定情報、共有する際に利用される共有IDが挙げられる。また、管理される情報としては、複数台の通信端末を合わせて利用する場合に必要となる設置位置や、遠隔で共有する際に使用する表示名が挙げられる。設定情報は、ユーザがクラウドブラウザ23を利用する際にディスプレイ58に表示されるサイト画面であり、例えば、ホームURLやお気に入りURLが含まれる。また、ブラウザ環境情報は、ユーザが前回ブラウザ23を利用した際のcookie情報やキャッシュファイルが含まれる。
<Description of terminal management table 7010>
A communication terminal having various resolutions such as a vertical resolution and a horizontal resolution is used. As shown in FIG. 26, the various communication terminals store and manage information in the terminal management table 7010. Information to be managed includes a terminal ID unique to each communication terminal, user certificate information, contract information, the aspect ratio and aspect ratio of the display of the communication terminal, the coordinate range of the communication terminal of the shared coordinates, the type of the communication terminal, Setting information and shared ID used when sharing. Information to be managed includes an installation position required when using a plurality of communication terminals together and a display name used when sharing remotely. The setting information is a site screen displayed on the display 58 when the user uses the cloud browser 23, and includes, for example, a home URL and a favorite URL. The browser environment information includes cookie information and a cache file when the user used the browser 23 last time.
＜共有管理テーブル7090の説明＞
複数の端末を１つのディスプレイとして扱う場合、端末は同じ共有IDが割振られ、共有管理テーブル7090で共有IDごとに画面の縦横比が記録される。共有IDの異なる通信端末間を遠隔で使用する場合、縦横比により、画面上で共有する範囲とローカル範囲が決まる。これらの情報は、端末管理システム７内にて管理される。
<Description of shared management table 7090>
When handling a plurality of terminals as one display, the terminals are assigned the same shared ID, and the aspect ratio of the screen is recorded for each shared ID in the shared management table 7090. When remotely using communication terminals having different sharing IDs, the range to be shared on the screen and the local range are determined by the aspect ratio. These pieces of information are managed in the
一例として、図26の共有IDがv001、v004及びv006が遠隔で共有すると、各共有IDの側面の縦横比は、v001は16×9、v004は5×3、v006は32×9である。全ての画面で共有できるならばよいが、この場合は縦横比が異なるため全ての通信端末の画面を共用することはできない。そのため、各共有IDで共有範囲を示す座標を求める。各共有IDの縦横比に、共有する他のディスプレイの縦横の比の値を掛けると、v001は2560×1440、v004は2560×1536、v006は2560×720となる。 As an example, when the shared IDs v001, v004, and v006 in FIG. 26 are shared remotely, the aspect ratio of the side surface of each shared ID is 16 × 9 for v001, 5 × 3 for v004, and 32 × 9 for v006. It is sufficient if the screen can be shared by all screens, but in this case, the screens of all communication terminals cannot be shared because the aspect ratios are different. Therefore, the coordinates indicating the shared range are obtained with each shared ID. When the aspect ratio of each shared ID is multiplied by the aspect ratio of the other display to be shared, v001 is 2560 × 1440, v004 is 2560 × 1536, and v006 is 2560 × 720.
ここで縦の値が一番小さい範囲が共有できる範囲となる。つまり共有できる画面の版には縦横比で2560×720になる。この縦の値に横の解像度を掛け、横の値の2560で割ると共有範囲を示す座標としての画素数が算出される。V001では720×1920/2560＝540の範囲が共有できる範囲となり、v004では、720×1080/2560＝360の範囲が共有できる範囲となり、v006では、720×3840/2560＝1080の範囲が共有できる範囲となる。横の解像度は、各通信端末のそのままの解像度となる。この値は、端末管理ケーブル7010の共有座標に記録される。
Here, the range having the smallest vertical value is a sharable range. In other words, the screen version that can be shared is 2560x720 in aspect ratio. When this vertical value is multiplied by the horizontal resolution and divided by the horizontal value of 2560, the number of pixels as coordinates indicating the shared range is calculated. In V001, the range of 720 x 1920/2560 = 540 can be shared, in v004, the range of 720 x 1080/2560 = 360 can be shared, and in v006, the range of 720 x 3840/2560 = 1080 can be shared It becomes a range. The horizontal resolution is the same as that of each communication terminal. This value is recorded in the shared coordinates of the
以上のように、一つの画面内で共有できる範囲と共有できないローカル範囲に別れる場合が発生する。しかし、ローカル範囲を使用しないと画面を有効に利用できないため、ローカル範囲をその共有IDの通信端末内で綴じた情報を描画範囲として使用することとする。 As described above, there is a case where the range is divided into a range that can be shared within one screen and a local range that cannot be shared. However, since the screen cannot be used effectively unless the local range is used, the information bound in the communication terminal of the shared ID is used as the drawing range.
＜端末502a（横）と端末502ｂ（縦）の共有＞・・・パターンII
図23において、破線で示す通信端末5f2,5f3及び破線で示す通信端末5f1が電子情報ボードであり、電子ペンP1,P2,P3で文字や画像の形成が可能である。
図23のように異なる縦横比のディスプレイの場合、右のディスプレイのBの範囲としての領域aが共有できない範囲となる。この範囲はローカル範囲として扱われる。電子ペンP1で描画された画像や文字のデータは、端末管理システム７内の解像度のデータを用いて、前述のように共有範囲とローカル範囲とを出す。その範囲と描画された座標データとを基に、座標判定部50で振分けられ、共有範囲はブラウザ20へ、ローカル範囲は右ディスプレイ用の記憶媒体である描画502に送られる。左ディスプレイは、ローカル範囲がないため、描画データは全てブラウザ20へ送られる。
<Sharing of Terminal 502a (Horizontal) and Terminal 502b (Vertical)> Pattern II
In FIG. 23, communication terminals 5f2 and 5f3 indicated by broken lines and communication terminal 5f1 indicated by broken lines are electronic information boards, and characters and images can be formed by electronic pens P1, P2 and P3.
In the case of a display having a different aspect ratio as shown in FIG. 23, the region a as the range B of the right display is a range that cannot be shared. This range is treated as a local range. The image and character data drawn by the electronic pen P1 uses the resolution data in the
電子ペンP1,P2,P3による描画時には各ディスプレイ用データは、エンコーダブリッジ部30でブラウザ20のデータと各ディスプレイ専用の描画502、503のデータとを合成し、各ディスプレイに送られる。図23では、右ディスプレイにはブラウザ20からのコンテンツと描画502からの描画データとが、エンコーダブリッジ部30内で独自に合成され、エンコードされて送られる。左ディスプレイにはブラウザ20からのコンテンツからの描画データが、エンコーダブリッジ部30内で独自に合成され、エンコードされて送られる。この例では左ディスプレイにはローカル範囲がないので、描画503にはデータがなく、合成はされない。ローカル範囲がある場合には描画503の描画データが合成される。
At the time of drawing with the electronic pens P1, P2, and P3, the data for each display is combined with the data of the
＜作用効果＞
本実施形態によれば、複数の端末が画面を共有する際に、その解像度によって画面上で共有する範囲とローカル範囲に分割し、個別に画像データを作成して送信することで、共有とローカルでの使用という機能を端末機器に対応して表示することができるのである。
すなわち、本実施形態によれば、異なる解像度や縦横比を有する端末間で同じ画像情報を共有することにより、共有IDごとの解像度と、共有する対象の解像度により、個々の解像度に適した画面を表示し、描画すること仕組みを備えていることである。このため、同じ画像情報を有効的に利用できることと、共有で利用されない範囲をローカルとして使用できるという特有の効果を奏する。
つまり、本実施形態によれば、画像を共有する複数の共有IDを同じくする端末間で、解像度の縦横比が異なる場合でも表示する画面を有効に利用することができる。
<Effect>
According to the present embodiment, when a plurality of terminals share a screen, the screen is divided into a range shared on the screen and a local range according to the resolution, and the image data is individually created and transmitted, thereby sharing and local It is possible to display a function called “use” corresponding to a terminal device.
That is, according to the present embodiment, by sharing the same image information between terminals having different resolutions and aspect ratios, a screen suitable for each resolution can be obtained depending on the resolution for each shared ID and the resolution of the target to be shared. It has a mechanism to display and draw. For this reason, the same image information can be used effectively, and there is a specific effect that a range not shared and used can be used locally.
That is, according to the present embodiment, it is possible to effectively use a screen to be displayed even when terminals having the same shared ID for sharing an image have different aspect ratios of resolution.
尚、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。 The above-described embodiment shows an example of a preferred embodiment of the present invention, and the present invention is not limited thereto, and various modifications can be made without departing from the scope of the invention. is there.
１ 配信システム
２ 配信管理装置
５ 通信端末
７ 端末管理システム
８ ウェブサー
９ 通信ネットワーク
１０ 変換部（変換手段の一例）
１１ トリミング部
１２ リサイズ部
１３ ブレンディング部
１４ エンコード部
２０ ブラウザ（生成手段の一例）
２１ 送受信部
２２ ブラウザ管理部
２３ クラウドブラウザ
２４ 送信用ＦＩＦＯバッファ（送信用ＦＩＦＯ）
３０ エンコーダブリッジ部
３１ 送受信部（配信手段の一例）
DESCRIPTION OF SYMBOLS 1
DESCRIPTION OF SYMBOLS 11 Trimming part 12 Resizing part 13 Blending part 14
21 Transmission / Reception Unit 22 Browser Management Unit 23 Cloud Browser 24 Transmission FIFO Buffer (Transmission FIFO)
30 Encoder bridge unit 31 Transmission / reception unit (an example of distribution means)
Claims (6)
前記ウェブサーバからＷｅｂコンテンツを取得する前記配信管理装置で動作するウェブブラウザと、
前記通信端末の表示手段における解像度を記憶する端末情報記憶手段と、
前記他の通信端末の表示手段に表示される画面のうち、前記端末情報記憶手段に記憶された、前記一の通信端末の表示手段における解像度の縦横比を有する映像が前記他の通信端末の表示手段において最大表示される領域を共有範囲とし、前記共有範囲以外の領域をローカル範囲とする分割手段と、
前記映像データを前記Ｗｅｂコンテンツを用いて前記共有範囲に表示可能なＨ．２６４又はＭＰＥＧ−４の映像に変換し、変換された前記映像データを前記他の通信端末に送信する変換送信手段と、を備えたことを特徴とする配信管理装置。 Can communicate via a web server and a communication network existing in the plurality of communication terminals and the cloud distribution management for distributing the distributed that Film image data to one of communication terminals of the said communication terminal to another communication terminal A device,
A web browser operating on the distribution management device for obtaining web content from the web server;
Terminal information storage means for storing the resolution in the display means of the communication terminal;
Of the screens displayed on the display means of the other communication terminal, the video having the aspect ratio of the resolution in the display means of the one communication terminal stored in the terminal information storage means is displayed on the other communication terminal. A means for dividing the maximum display area in the means as a shared range and a region other than the shared range as a local range;
The video data can be displayed in the shared range using the Web content . A distribution management device comprising: a conversion transmission unit that converts the video data into H.264 or MPEG-4 video and transmits the converted video data to the other communication terminal.
前記変換送信手段は、前記操作データに基づいて生成された画像と結合された前記映像データを前記共有範囲に表示可能な画像に変換して前記一の通信端末に送信し、前記ローカル操作データに基づいて生成された画像を前記他の通信端末に送信する、ことを特徴とする請求項１又は２に記載の配信管理装置。 The operation data indicating the stroke drawn by the electronic pen at the predetermined coordinates of the display means of the other communication terminal, received from the other communication terminal, based on the coordinates of the operation data, the operation in the shared range A coordinate determination unit that distributes data and local operation data that is the operation data in the local range;
The conversion transmission means transmits the image data combined with the generated image based on the previous Kimisao operation data is converted into a displayable image said shared range to a communication terminal of the one, the local operation It transmits the image generated on the basis of data on the other communication terminals, distribution management device according to claim 1 or 2, characterized in that.
前記配信管理装置で動作するウェブブラウザが、前記ウェブサーバからＷｅｂコンテンツを取得するステップと、
前記他の通信端末の表示手段に表示される画面のうち、前記一の通信端末の表示手段における解像度の縦横比を有する映像が前記他の通信端末の表示手段において最大表示される領域を共有範囲とし、前記共有範囲以外の領域をローカル範囲とする分割ステップと、
前記映像データを前記Ｗｅｂコンテンツを用いて前記共有範囲に表示可能なＨ．２６４又はＭＰＥＧ−４の映像に変換し、変換された前記映像データを前記他の通信端末に送信する変換送信ステップと、を備えたことを特徴とする配信管理方法。 It can communicate via a web server and a communication network existing in the plurality of communication terminals and the cloud distribution management device for distributing video data distributed to the first communication terminal among the communication terminals to other communications terminals Delivery management method for
A web browser operating on the distribution management device acquiring web content from the web server;
Among the screens displayed on the display means of the other communication terminal, a shared range is an area in which an image having a resolution aspect ratio on the display means of the one communication terminal is displayed at the maximum on the display means of the other communication terminal. And a division step of setting a region other than the shared range as a local range;
The video data can be displayed in the shared range using the Web content . And a conversion transmission step of converting the video data into H.264 or MPEG-4 video and transmitting the converted video data to the other communication terminal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013192039A JP6248492B2 (en) | 2013-09-17 | 2013-09-17 | Distribution management device, distribution management system, and distribution management method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013192039A JP6248492B2 (en) | 2013-09-17 | 2013-09-17 | Distribution management device, distribution management system, and distribution management method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2015060292A JP2015060292A (en) | 2015-03-30 |
| JP2015060292A5 JP2015060292A5 (en) | 2016-11-04 |
| JP6248492B2 true JP6248492B2 (en) | 2017-12-20 |
Family
ID=52817795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013192039A Expired - Fee Related JP6248492B2 (en) | 2013-09-17 | 2013-09-17 | Distribution management device, distribution management system, and distribution management method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6248492B2 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3794194B2 (en) * | 1999-03-24 | 2006-07-05 | 株式会社日立製作所 | Cooperation display control method and telemedicine support system using the same |
| JP4541028B2 (en) * | 2004-05-07 | 2010-09-08 | 富士通株式会社 | Remote operation control program using Web server |
| JP2006129189A (en) * | 2004-10-29 | 2006-05-18 | Tdk Corp | Remote presentation system and image distributing method |
| JP4785426B2 (en) * | 2005-06-03 | 2011-10-05 | キヤノン株式会社 | Screen display control method, electronic conference system and screen display control program in electronic conference system |
-
2013
- 2013-09-17 JP JP2013192039A patent/JP6248492B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015060292A (en) | 2015-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6354764B2 (en) | Distribution management apparatus, distribution method, and program | |
| JP6398215B2 (en) | Delivery control system, delivery system, delivery control method, and program | |
| JP6337499B2 (en) | Delivery control system, delivery system, delivery control method, and program | |
| JP6326855B2 (en) | Delivery control system, delivery system, delivery control method, and program | |
| JP6369043B2 (en) | Delivery control system, delivery system, delivery control method, and program | |
| JP6323048B2 (en) | Distribution system, distribution method, and program | |
| JP6354195B2 (en) | Distribution system, distribution method, and program | |
| US20150082359A1 (en) | Distribution management apparatus and distribution management system | |
| JP2014199648A (en) | Distribution control system, distribution system, distribution control method, and program | |
| JP2014200075A (en) | Computer system, distribution control system, distribution control method, and program | |
| JP2015089099A (en) | Distribution management device | |
| JP6248488B2 (en) | Communication terminal and communication method | |
| JP2015069244A (en) | Distribution system, distribution method, and program | |
| WO2015045787A1 (en) | Distribution management device, terminal, and distribution management method | |
| JP2015056046A (en) | Distribution management system, distribution system, distribution management method, and program | |
| JP2016063247A (en) | Distribution system and distribution method | |
| JP2015079480A (en) | Distribution system and terminal management system | |
| JP6248492B2 (en) | Distribution management device, distribution management system, and distribution management method | |
| US9525901B2 (en) | Distribution management apparatus for distributing data content to communication devices, distribution system, and distribution management method | |
| JP6197535B2 (en) | Distribution system, distribution method, and program | |
| JP2016004352A (en) | Terminal management system, terminal management method, and program | |
| JP6442832B2 (en) | Delivery control system, delivery system, delivery control method, and program | |
| JP2016058812A (en) | Distribution control system, distribution system, distribution control system control method, and program | |
| JP6387623B2 (en) | Distribution control system | |
| JP6375638B2 (en) | Delivery control system, delivery system, delivery control method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160916 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160916 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161006 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20161216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170731 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170808 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170929 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171024 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171106 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6248492 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |