以下に図面を用いて、本実施形態に係る配信システムを詳細に説明する。以下に示す実施形態は、クラウドコンピューティングを利用してウェブコンテンツを映像データ、音データ、又は映像データ及び音データに変換してパーソナルコンピュータや電子黒板等の通信端末に配信する配信システムとしての適用例である。なお、以下、映像及び音のうち少なくとも一方を示す場合には、「映像(音)」と表記する。
〔実施形態の概略〕
まず、図1を用いて、本実施形態の概略を説明する。図1は、本実施形態に係る配信システム1の概略図である。
<システム構成の概略>
まず、配信システム1の構成の概略について説明する。図1に示すように、本実施形態の配信システム1は、配信管理装置2、複数の通信端末5a〜5f、端末管理装置7、及びウェブサーバ8を備えて構築されている。なお、以下では、複数の通信端末5a〜5fのうち、任意の通信端末を示す場合には、「通信端末5」と表記する。配信管理装置2、端末管理装置7、及びウェブサーバ8は、いずれもサーバコンピュータによって構築されている。
通信端末5は、配信システム1のサービスを受けるユーザが使用する端末である。このうち、通信端末5aは、ノートPC(Personal Computer)である。通信端末5bは、スマートフォンやタブレット端末等のモバイル端末である。通信端末5cは、コピー、スキャン、プリント、及びファックスの各機能が複合されたMFP(Multifunction Peripheral/Printer/Product)である。通信端末5dは、プロジェクタである。通信端末5eは、カメラ、マイク及びスピーカを備えたテレビ(ビデオ)会議端末である。通信端末5fは、ユーザ等によって描かれた文字や図形等を電子的に変換することが可能な電子黒板(ホワイトボード)である。
なお、通信端末5は、図1に示したような端末だけでなく、腕時計、自動販売機、ガスメータ、カーナビゲーション装置、ゲーム機、エアコン、照明器具、カメラ単体、マイク単体、スピーカ単体等であってもよい。
また、配信管理装置2、通信端末5、端末管理装置7、及びウェブサーバ8は、インターネットやLAN(Local Area Network)等の通信ネットワーク9によって通信することができる。この通信ネットワーク9には、3G(3rd Generation)、WiMAX(Worldwide Interoperability for Microwave Access)、LTE(Long Term Evolution)等の無線通信によるネットワークも含まれる。
なお、通信端末5によっては、通信端末5d等のように、通信ネットワーク9を介して他の端末やシステムと通信する機能を有していないものがある。しかし、図2に示すように、ユーザが通信端末5dのUSB(Universal Serial Bus)やHDMI(登録商標)(High-Definition Multimedia Interface)等のインターフェース部にドングル99を差し込むことで、通信端末5は通信ネットワーク9を介して他の端末やシステムと通信可能となる。なお、図2は、通信端末にドングル99を取り付ける際のイメージ図である。
配信管理装置2は、クラウド上に存在するウェブブラウザとしての、いわゆるクラウドブラウザ(以下、「ブラウザ20」と表記する)を有する。配信管理装置2は、ブラウザ20を用いてクラウド上でウェブコンテンツをレンダリングし、これにより得られたH.264やMPEG−4等の映像(音)データを通信端末5に配信する。
端末管理装置7は、管理サーバとしての機能を有し、例えば、通信端末5のログイン認証や、通信端末5の契約情報等の管理等を行う。また、端末管理装置7は、電子メールを送信するためのSMTP(Simple Mail Transfer Protocol)サーバの機能を有している。端末管理装置7は、例えば、クラウドのサービス(IaaS:Infrastructure as a Service)上に展開される仮想マシンとして実現することができる。端末管理装置7は、不測の事態に対応して継続的なサービス提供を行うために、多重化して運用することが望ましい。
また、配信管理装置2のブラウザ20は、リアルタイムコミュニケーション(RTC:Real-time communication/collaboration)を可能にしている。更に、配信管理装置2は、図11に示す後述のエンコード部19を有しており、このエンコード部19は、ブラウザ20によって生成された映像(音)データに対して、リアルタイムのエンコードを行うことができる。そのため、配信管理装置2の処理は、例えば、DVDプレーヤによって、DVDに記録されているリアルタイム性のない映像(音)データを読み出して配信する場合等とは異なる。
<各種配信方式の概略>
続いて、本実施形態の配信システム1における各種配信方式の概略について説明する。
(基本配信)
図3は、本実施形態の配信システム1における基本的な配信方法を示す概念図である。配信システム1では、図3に示すように、配信管理装置2のブラウザ20がウェブサーバ8からウェブコンテンツデータ〔A〕を取得し、レンダリングすることにより、映像(音)データ〔A〕を生成する。そして、エンコーダブリッジ部30が、映像(音)データ〔A〕をエンコード等して、通信端末5に配信する。これにより、たとえHTML(Hyper Text Markup Language)やCSS(Cascading Style Sheets)等により作成されたウェブコンテンツがリッチであっても、H.264やMPEG−4等の映像(音)データとして配信されるため、低スペックの通信端末5であってもスムーズに映像(音)を再生することが可能になる。また、本実施形態の配信システム1では、配信管理装置2のブラウザ20を最新化しておくことで、ローカルとしての通信端末5にコンテンツを提供するブラウザを最新化しなくても、最新のリッチなウェブコンテンツをスムーズに再生することが可能となる。
また、配信システム1は、上述の配信方法を応用し、図4乃至図6に示すように、同一拠点又は複数の拠点にある複数の通信端末5に、ウェブコンテンツを映像(音)データとして配信することも可能である。ここで、図4乃至図6に示す配信方法について説明する。
(マルチキャスト)
図4は、マルチキャストの概念図である。図4に示すように、配信管理装置2の単一のブラウザ20は、ウェブサーバ8からウェブコンテンツデータ〔A〕を取得してレンダリングすることで、映像(音)データ〔A〕を生成する。そして、エンコーダブリッジ部30が、映像(音)データ〔A〕をエンコードする。その後、配信管理装置2は、映像(音)データ〔A〕を複数の通信端末5f1,5f2,5f3に配信する。これにより、例えば複数の拠点に設置された複数の通信端末5f1,5f2,5f3において、同じ映像(音)が出力される。なお、この場合、複数の通信端末5f1,5f2,5f3が同じ表示再生能力(解像度が同じ等)を有する必要はない。このような配信方法は、例えば「マルチキャスト」と呼ぶ。
(マルチディスプレイ)
図5は、マルチディスプレイの概念図である。図5に示すように、配信管理装置2の単一のブラウザ20は、ウェブサーバ8からウェブコンテンツデータ〔XYZ〕を取得してレンダリングすることで、単一の映像(音)データ〔XYZ〕を生成する。そして、エンコーダブリッジ部30が、単一の映像(音)データ〔XYZ〕を、複数の映像(音)データ〔X〕,〔Y〕,〔Z〕に分割した後にエンコードする。その後、配信管理装置2は、分割後の映像(音)データ〔X〕を通信端末5f1に配信する。また、同じように、配信管理装置2は、分割後の映像(音)データ〔Y〕を通信端末5f2に配信し、分割後の映像(音)データ〔Z〕を通信端末5f3に配信する。これにより、例えば、横長のウェブコンテンツデータ〔XYZ〕であっても、複数の通信端末5f1,5f2,5f3で分割して映像が表示されるため、これら通信端末5f1,5f2,5f3を一列に並べて設置すれば、1つの大きな映像を表示させることと同様の効果を得ることができる。なお、この場合、通信端末5f1,5f2,5f3が同じ表示再生能力(解像度が同じ等)を有する必要がある。このような配信方法は、例えば「マルチディスプレイ」と呼ぶ。
(複合配信)
図6は、配信管理装置2を介して複数の通信端末5を使った複合配信の概念図である。図6に示すように、第1の拠点(図6の右側)では、電子黒板としての通信端末5f1及びテレビ会議端末としての通信端末5e1が利用され、第2の拠点(図6の左側)では、同じく電子黒板としての通信端末5f2及びテレビ会議端末としての通信端末5e2が利用されている。また、第1の拠点では、通信端末5f1にストロークによる文字等の操作データを表示させるための電子ペンP1が利用され、第2の拠点では、通信端末5f2にストロークによる文字等の操作データを表示させるための電子ペンP2が利用されている。なお、図6に示す例では、第1の拠点において、電子黒板としての通信端末5f1にテレビ会議端末としての通信端末5e1が接続され、通信端末5e1のカメラ・マイク・スピーカが、通信端末5f1の外付けのカメラ・マイク・スピーカとして利用されている。同様に、第2の拠点において、電子黒板としての通信端末5f2にテレビ会議端末としての通信端末5e2が接続され、通信端末5e2のカメラ・マイク・スピーカが、通信端末5f2の外付けのカメラ・マイク・スピーカとして利用されている。
そして、第1の拠点において、通信端末5e1によって取得された映像(音)データ〔E1〕は、エンコード部60でエンコードされた後に、配信管理装置2に送信される。その後、配信管理装置2のデコード部40でデコードされて、ブラウザ20に入力される。また、電子ペンP1によって通信端末5f1に描かれたストローク等を示す操作データ〔p1〕は、配信管理装置2に送信され、ブラウザ20に入力される。一方、第2の拠点においても、通信端末5e2によって取得された映像(音)データ〔E2〕は、エンコード部60でエンコードされた後に、配信管理装置2に送信される。その後、配信管理装置2のデコード部40でデコードされて、ブラウザ20に入力される。また、電子ペンP2によって通信端末5f2に描かれたストローク等の操作データ〔p2〕は、配信管理装置2に送信され、ブラウザ20に入力される。
一方、ブラウザ20は、例えば、ウェブサーバ8から通信端末5f1,5f2のぞれぞれのディスプレイに表示される背景画像のウェブコンテンツデータ〔A〕を取得する。そして、ブラウザ20は、ウェブコンテンツデータ〔A〕、操作データ〔p1〕,〔p2〕及び映像(音)データ〔E1〕,〔E2〕を結合してレンダリングすることで、所望のレイアウトに設置した映像(音)データを生成する。そして、エンコーダブリッジ部30は、映像(音)データをエンコードし、配信管理装置2が各拠点に同じ映像(音)データを配信する。これにより、第1の拠点では、通信端末5f1のディスプレイ上に、映像(〔A〕、〔p1〕、〔p2〕、〔E1(映像部分)〕及び〔E2(映像部分)〕)が表示されると共に、通信端末5e1のスピーカから音〔E2(音部分)〕が出力される。一方、第2の拠点でも、通信端末5f2のディスプレイ上に、映像(〔A〕、〔p1〕、〔p2〕、〔E1(映像部分)〕及び〔E2(映像部分)〕)が表示されると共に、通信端末5e2のスピーカから音〔E1(音部分)〕が出力される。なお、第1の拠点では、通信端末5f1のエコーキャンセル機能により、自拠点の音〔E1(音部分)〕は出力されない。一方、第2の拠点では、通信端末5f2のエコーキャンセル機能により、自拠点の音〔E2(音部分)〕は出力されない。
以上により、第1の拠点と第2の拠点とでは、遠隔地間においてリアルタイムで同じ情報を共有する遠隔共有処理を行うことができるため、本実施形態の配信システム1は遠隔会議等に有効である。
〔実施形態の詳細な説明〕
続いて、図7乃至図27を用いて、実施形態の詳細な説明を行う。
<実施形態のハードウェア構成>
まず、図7及び図8を用いて、本実施形態のハードウェア構成を説明する。図7は、配信管理装置2のハードウェア構成の一例を示す図である。また、図8は、ドングル99のハードウェア構成の一例を示す図である。なお、通信端末5、端末管理装置7、及びウェブサーバ8のハードウェア構成は、図7に示す配信管理装置2のハードウェア構成と同様であるため、説明を省略する。
図7に示すように、配信管理装置2は、配信管理装置2全体の動作を制御するCPU201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、プログラム等の各種データを記憶するHDD204、CPU201の制御にしたがってHDD204に対する各種データの読み出し又は書き込みを制御するHDC(Hard Disk Controller)205、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ207、各種情報を表示するディスプレイ208、通信ネットワーク9を利用してデータ送信したりドングル99を接続するためのI/F209、キーボード211、マウス212、マイク213、スピーカ214、GPU(Graphics Processing Unit)215、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン220を備えている。
なお、各通信端末、各システム又は各サーバ用のプログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
次に、図8を用いて、ドングル99のハードウェア構成について説明する。図8に示すように、ドングル99は、ドングル99全体の動作を制御するCPU91、基本入出力プログラムを記憶したROM92、CPU91のワークエリアとして使用されるRAM93、CPU91の制御にしたがってデータの読み出し又は書き込みを行うEEPROM(Electrically Erasable and Programmable ROM)94、各種の画像処理を行うGPU(Graphics Processing Unit)95、通信端末5のI/F209に接続するためのI/F96、アンテナ97a、このアンテナ97aを利用して短距離無線技術により通信を行う通信部97、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン90を備えている。なお、短距離無線技術として、例えば、NFC(Near Field Communication)規格、BlueTooth(登録商標)、WiFi(Wireless Fidelity)、ZigBee(登録商標)等が挙げられる。
<実施形態の機能構成>
次に、図9乃至図18を用い、本実施形態の機能構成について説明する。
(配信管理装置の機能構成)
図9は、主に配信管理装置2の各機能を示す機能ブロック図である。図9では、配信管理装置2が通信端末5f1に対して映像(音)データを配信する場合の機能構成を示しているが、配信先が通信端末5f1以外の場合も、同様の機能構成を有する。なお、配信管理装置2は、複数の配信エンジンサーバを備えているが、説明を簡単にするために、以下では、単一の配信エンジンサーバを備えている場合について説明する。
配信管理装置2は、図7に例示したハードウェア構成及びプログラムによって、図9に示す各機能構成を実現する。具体的に、配信管理装置2は、ブラウザ20、送受信部21、ブラウザ管理部22、送信用FIFO24、時刻管理部25、時刻取得部26、回線適応制御部27、エンコーダブリッジ部30、送受信部31、インデックス生成部32、受信用FIFO34、認識部35、遅延情報取得部37a、回線適応制御部37b、及びデコード部40を有している。更に、配信管理装置2は、図7に示したHDD204によって構築される記憶部2000を有している。この記憶部2000には、認識部35から出力された後述の認識情報が記憶される。なお、ブラウザ20が取得したコンテンツデータは、キャッシュとして、記憶部2000に一時的に記憶しておくこともできる。
上述の各機能構成のうち、ブラウザ20は、配信管理装置2内で動作するウェブブラウザである。ブラウザ20は、ウェブコンテンツデータ等のコンテンツデータをレンダリングすることにより、RGBデータ(又はPCM(Pulse Code Modulation)データ)を生成する。また、ブラウザ20は、例えば後述のプラグインを用いて映像(音)ファイルを再生することにより、映像(音)データを生成することができる。本実施形態では、ブラウザ20が生成するデータが、映像(音)データであるものとして説明する。ブラウザ20は、ウェブコンテンツのリッチ化に対応させて常に最新化されている。
また、本実施形態の配信システム1では、配信管理装置2内に複数のブラウザ20を用意しており、これら複数のブラウザ20の中からユーザセッションに使用するクラウドブラウザが選択される。なお、ここでは、説明を簡略化するため、単一のブラウザ20が用意されている場合について、以下続けて説明する。
ブラウザ20は、例えば、Media Player、Flash Player、JavaScript(登録商標)、CSS(Cascading Style Sheet)及びHTML(HyperText Markup Language)レンダラを有する。なお、JavaScript(登録商標)には、標準規格のものと配信システム1独自のものが含まれる。ここで、Media Playerは、映像(音)ファイルなどのマルチメディアファイルをブラウザ20内で再生するためのブラウザプラグインである。Flash Playerは、Flashコンテンツをブラウザ20内で再生するためのブラウザプラグインである。独自のJavaScript(登録商標)は、配信システム1に固有のサービスのAPI(Application Programming Interface)を提供するJavaScript(登録商標)群である。CSSは、HTMLで記述されたウェブページの見栄えやスタイルを効率的に定義するための技術である。HTMLレンダラは、ウェブキットベースのHTMLレンダリングエンジンである。
送受信部21は、端末管理装置7やウェブサーバ8との間で、各種データや要求等の送受信を行う。例えば、送受信部21は、ウェブサーバ8のコンテンツサイトからウェブコンテンツデータを受信し、ブラウザ20に渡す。また、送受信部21は、端末管理装置7に設けられた後述のユーザストレージ領域に格納する映像(音)データやインデックス情報を端末管理装置7に送信する。
ブラウザ管理部22は、ブラウザ20やエンコーダブリッジ部30の管理を行う。例えば、ブラウザ管理部22は、ブラウザ20やエンコーダブリッジ部30に、起動又は終了を指示したり、起動又は終了時にエンコーダIDを採番したりする。ここで、エンコーダIDは、ブラウザ管理部22がエンコーダブリッジ部30のプロセスを管理するために採番する識別情報である。また、ブラウザ管理部22は、ブラウザ20が起動されるたびに、ブラウザIDを採番して管理する。ここで、ブラウザIDは、ブラウザ管理部22がブラウザ20のプロセスを管理するために採番し、ブラウザ20を識別するための識別情報である。
また、ブラウザ管理部22は、送受信部31を介して通信端末5から各種操作データ〔p〕を取得し、ブラウザ20に出力する。なお、操作データ〔p〕は、通信端末5での操作イベント(キーボード211やマウス212等による操作や電子ペンPによるストローク等)によって生じたデータである。通信端末5に、温度センサ、湿度センサ、及び加速度センサ等の各種センサが設けられている場合には、ブラウザ管理部22は、通信端末5から各センサの出力信号であるセンサ情報を取得し、ブラウザ20に出力する。
送信用FIFO24は、ブラウザ20で生成された映像(音)データ〔AEp〕を格納するバッファである。
時刻管理部25は、配信管理装置2独自の時刻Tを管理している。時刻取得部26は、後述の通信端末5における時刻制御部56と連携して、時刻調整の処理を行う。具体的には、時刻取得部26は、時刻管理部25から配信管理装置2における時刻Tを示す時刻情報(T)を取得したり、送受信部31及び送受信部51を介して、後述の時刻制御部56から通信端末5における時刻tを示す時刻情報(t)を受信したり、時刻制御部56に時刻情報(t)及び時刻情報(T)を送信したりする。
回線適応制御部27は、後述の送信遅延時間情報(D)に基づいて、再生遅延情報Uを計算したり、エンコーダブリッジ部30における変換部10のフレームレートやデータの解像度等の動作条件を計算したりする。この再生遅延時間は、再生までにデータがバッファリングされることで、再生を遅延させるための時間である。
エンコーダブリッジ部30は、ブラウザ20で生成されて送信用FIFO24に格納された映像(音)データ〔AEp〕について、データ形式の変換等の処理を実行する。エンコーダブリッジ部30によってデータ形式の変換等が行われた映像(音)データは、送受信部31を介して、配信対象の通信端末5に配信される。また、本実施形態の配信管理装置2は、エンコーダブリッジ部30によってデータ形式の変換等が行われた映像(音)データを、送受信部21を介して端末管理装置7に送信し、端末管理装置7に設けられた後述のユーザストレージ領域に格納することもできる。
エンコーダブリッジ部30については、図10及び図11を用いて、更に詳細に説明する。図10は、エンコーダブリッジ部30の詳細図である。また、図11は、変換部10の各機能を示す機能ブロック図である。
図10に示すように、エンコーダブリッジ部30は、作成・選択部310、及び選択部320と、これらの間に構築される複数の変換部10a,10b,10cとを備える。ここでは、3つの変換部10a,10b,10cを示したが、変換部の数はいくつであってもよい。なお、以下、任意の変換部を「変換部10」と表記する。
更に、変換部10は、ブラウザ20によって生成された映像(音)データのデータ形式を、通信ネットワーク9を介して通信端末5に配信できるデータ形式に変換する。そのため、変換部10は、図11に示すように、トリミング部11、リサイズ部12、分割部13、及びエンコード部19を有する。トリミング部11、リサイズ部12、及び分割部13は、音データの場合は、処理を行わない。
トリミング部11は、映像(画像)の一部だけを切り出す処理を行う。リサイズ部12は、映像(画像)の縮尺を変更する。分割部13は、図5に示したように、ウェブサーバ8から取得したウェブコンテンツを分割する。
エンコード部19は、ブラウザ20で生成された画像(音)データをエンコードすることにより、通信ネットワーク9を介して通信端末5に画像(音)データを配信できるように変換する。また、エンコード部19は、映像が動かなければ(フレーム間で変化がなければ)、以降、映像が動くまでスキップフレームを挿入することで帯域をセーブする。なお、音の場合には、エンコードだけが行われる。
作成・選択部310は、新たに変換部10を作成したり、既に作成されている変換部10に対して入力させる映像(音)データを選択したりする。作成・選択部310が新たに変換部10を作成する場合の例としては、例えば、通信端末5における映像(音)データの再生能力に応じた変換が可能な変換部10を作成する場合等が挙げられる。また、作成・選択部310が変換部10に対して入力させる映像(音)データを選択する場合の例としては、例えば、既に作成されている変換部10を選択する場合等が挙げられる。例えば、通信端末5aへの配信に加えて通信端末5bへの配信を開始するにあたって、通信端末5aへ配信している映像(音)データと同じ映像(音)データを通信端末5bへ配信する場合がある。このような場合で、更に、通信端末5bが通信端末5aにおける映像(音)データの再生能力と同じ再生能力を有する場合等が挙げられる。すなわち、このような場合、作成・選択部310は、通信端末5b用に新たな変換部10bを作成せずに、通信端末5a用に既に作成している変換部10aを利用する。
選択部320は、既に作成されている変換部10から所望のものを選択する。これら作成・選択部310と選択部320による選択によって、例えば図6に示した複数の通信端末5を使った複合配信等、様々なパターンの配信を行うことができる。
図9に戻り、送受信部31は、通信端末5との間で、各種データや要求等の送受信を行う。例えば、送受信部31は、通信端末5のログイン処理において、通信端末5の後述する送受信部51に対し、ユーザにログイン要求を促すための認証画面データを送信する。その他に、送受信部31は、HTTPS(Hypertext Transfer Protocol over Secure Socket Layer)サーバを介して、配信システム1独自のプロトコルにより、配信システム1のサービスを受けるために通信端末5にインストールされたアプリケーションプログラム(ユーザアプリやデバイスアプリ)へのデータ送信およびデータ受信を行う。この独自のプロトコルは、配信管理装置2と通信端末5との間でリアルタイムに途切れることなくデータを送受信するためのHTTPSベースのアプリケーション層プロトコルである。また、送受信部31は、送信レスポンス制御、リアルタイムデータの作成、クライアントコマンド送信、受信レスポンス制御、受信データ分析、及びジェスチャ変換の各処理を行う。
送信レスポンス制御は、配信管理装置2から通信端末5にデータを送信するために、通信端末5からリクエスト(要求)されたダウンロード用のHTTPSセッションを管理する処理である。このダウンロード用のHTTPSセッションのレスポンスはすぐに終了せず、一定時間(1〜数分)保持する。送受信部31は、通信端末5に送るデータを動的にレスポンスのBody部に書き込む。また、再接続のコストをなくすため、通信端末5からは前のセッションが終了しないうちに別のリクエストが届くようにする。送受信部31を、前のリクエストが完了するまで待機させておくようにすることで、再接続を行っても、オーバヘッドを削除することができる。
リアルタイムデータの作成は、図11に示したエンコード部19で生成された圧縮映像(および圧縮音)のデータに独自のヘッダを付与して、通信端末5への下り用のHTTPSのBody部に書き込む処理である。
クライアントコマンド送信は、通信端末5に送信するコマンドデータを生成し、通信端末5への配信用(下り用)のHTTPSのBody部に書き込む処理である。
受信レスポンス制御は、配信管理装置2が通信端末5からデータを受信するために、通信端末5からリクエストされた送信用(上り用)のHTTPSセッションを管理する処理である。このHTTPSセッションのレスポンスはすぐに終了せず、一定時間(1〜数分)保持される。通信端末5は、配信管理装置2の送受信部31に送るデータを動的にリクエストのBody部に書き込む。
受信データ分析は、通信端末5から送られてきたデータを種別ごとに分析し、必要なプロセスにデータを渡す処理である。
ジェスチャ変換は、ユーザが電子黒板としての通信端末5fに電子ペンPや手書きにより入力したジェスチャイベントを、ブラウザ20が受け取れる形式に変換する処理である。
インデックス生成部32は、端末管理装置7に設けられた後述のユーザストレージ領域に格納する映像(音)データに関するインデックス情報を生成する。本実施形態の配信管理装置2では、上述したように、エンコーダブリッジ部30によってデータ形式の変換等が行われた映像(音)データを、端末管理装置7に設けられた後述のユーザストレージ領域に格納できるようにしている。この際、インデックス生成部32がユーザストレージ領域に格納された映像(音)データの索引として利用可能なインデックス情報を生成し、このインデックス情報を映像(音)データとともにユーザストレージ領域に格納しておくことで、ユーザストレージ領域に格納された映像(音)データの検索を容易に行えるようにしている。
インデックス生成部32は、端末管理装置7に設けられた後述のユーザストレージ領域に映像(音)データを格納する際に、ブラウザ20から取得される情報に基づいて、インデックス情報を生成する。インデックス情報は、例えば、映像(音)データの格納開始からの相対時刻を示すタイムスタンプと、その相対時刻にブラウザ20が生成した映像(音)データの属性情報と、を含む。映像(音)データの属性情報としては、例えば、相対時刻にブラウザが映像(音)データの生成に用いたウェブコンテンツデータ等のコンテンツデータの取得先を示すURL(Uniform Resource Locator)等を用いることができる。
図12は、インデックス生成部32が生成するインデックス情報の一例を示す概念図である。図12に示すインデックス情報では、タイムスタンプ(ミリ秒)T001,T002,T003,・・・と、それぞれのタイムスタンプで示される相対時刻にブラウザ20が映像(音)データの生成に用いたコンテンツデータのURLとが対応付けられている。インデックス情報に含まれるタイムスタンプやコンテンツデータのURLは、いずれもブラウザ20が映像(音)データを生成する際に取得して、インデックス生成部32に渡される。インデックス生成部32が生成したインデックス情報は、映像(音)データとともに送受信部21を介して端末管理装置7に送信され、映像(音)データとともに端末管理装置7に設けられた後述のユーザストレージ領域に格納される。
なお、図12に示すインデックス情報はスプレッドシート形式となっているが、これに限らない。映像(音)データを後に再生する際にアプリケーションの処理が容易となるように、例えば、XML(Extensible Markup Language)、JASON(JavaScript(登録商標) Object Notation)、YAML(YAML Ain't Markup Language)等、別形式であってもよい。
図9に戻り、受信用FIFO34は、デコード部40でデコードされた映像(音)データを格納するバッファである。
認識部35は、通信端末5から受信する映像(音)データ〔E〕に対しての処理を行う。具体的には、認識部35は、例えば、サイネージ向けに、後述のカメラ62で撮影された映像から人や動物の顔、年齢、及び性別などを認識する。また、認識部35は、オフィス向けに、後述のカメラ62で撮影された映像から顔認識による名前タグ付けや背景映像の差し替え処理などを行う。認識部35は、認識した内容を示す認識情報を記憶部2000に記憶させる。この認識部35は、認識拡張ボードで処理を行うことで高速化が実現される。
遅延情報取得部37aは、上り用(通信端末5から配信管理装置2への通信用)の回線適応制御の処理に用いられる後述の遅延情報取得部57に対応して、下り用(配信管理装置2から通信端末5への通信用)の回線適応制御の処理に用いられる。具体的には、遅延情報取得部37aは、デコード部40から送信遅延時間d1を示す送信遅延時間情報(d1)を取得して一定時間保持しておき、複数の送信遅延時間情報(d1)を取得したところで、回線適応制御部37bに、複数の送信遅延時間d1による度数分布情報を示す送信遅延時間情報(d)を出力する。
回線適応制御部37bは、上り用の回線適応制御の処理に用いられる上述した回線適応制御部27に対応して、下り用の回線適応制御の処理に用いられる。具体的には、回線適応制御部37bは、送信遅延時間情報(d)に基づいて、エンコード部60の動作条件を計算する。また、回線適応制御部37bは、送受信部31及び後述の送受信部51を介して通信端末5のエンコード部60に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する。
デコード部40は、通信端末5から送信されて来た映像(音)データ〔E〕をデコードする。
(通信端末の機能構成)
続いて、図13を用いて、通信端末5の機能構成について説明する。図13は、主に通信端末5の各機能を示す機能ブロック図である。図13では、通信端末5の1つとして通信端末5f1を例示しているが、通信端末5f1以外の通信端末5であっても、同様の機能構成を有する。なお、通信端末5のうち、ユーザアプリがインストールされた通信端末5は、ユーザが配信システム1へのログインや映像(音)データの配信の開始又は停止などを行うためのインターフェースとなる。一方、デバイスアプリがインストールされた通信端末5は、映像(音)データの送受信や操作データの送信を行うのみで、上記インターフェースは持たない。以下では、便宜上、通信端末5にユーザアプリがインストールされているものとして説明する。
通信端末5は、図7と同様のハードウェア構成及びプログラム(ユーザアプリ)によって、図13に示す各機能構成を実現する。具体的に、通信端末5は、デコード部50、送受信部51、操作部52、再生制御部53、レンダリング部55、時刻制御部56、遅延情報取得部57、表示部58、及びエンコード部60を有している。更に、通信端末5は、図7に示したRAM203によって構築される記憶部5000を有している。この記憶部5000には、後述の時刻差Δを示す時刻差情報(Δ)、及び通信端末5における時刻tを示す時刻情報(t)が記憶される。
デコード部50は、配信管理装置2から配信され、再生制御部53から出力された映像(音)データ〔AEp〕をデコードする。
送受信部51は、配信管理装置2の送受信部31、及び後述の端末管理装置7の送受信部71aとの間で、各種データや要求等の送受信を行う。例えば、送受信部51は、通信端末5のログイン処理において、操作部52による通信端末5の起動に基づき、端末管理装置7の送受信部71にログイン要求を行う。
操作部52は、ユーザの操作入力を受け付ける処理を行う。例えば、操作部52は、電源スイッチ、キーボード、マウス、電子ペンP等による入力や選択等を受け付け、操作データとして配信管理装置2のブラウザ管理部22に送信する。
再生制御部53は、送受信部51から受けた映像(音)データ(リアルタイムデータのパケット)をバッファリングし、再生遅延時間Uを考慮してデコード部50に出力する。
レンダリング部55は、デコード部50によってデコードされたデータをレンダリングする。
時刻制御部56は、配信管理装置2の時刻取得部26と連携して、時刻調整の処理を行う。具体的には、時刻制御部56は、記憶部5000から通信端末5における時刻tを示す時刻情報(t)を取得する。また、時刻制御部56は、送受信部51及び送受信部31を介して、配信管理装置2の時刻取得部26に、配信管理装置2における時刻Tを示す時刻情報(T)を要求する。この場合、時刻情報(T)の要求と共に、時刻情報(t)が送信される。
遅延情報取得部57は、再生制御部53から送信遅延時間D1を示す送信遅延時間情報(D1)を取得して一定時間保持しておき、複数の送信遅延時間情報(D1)を取得したところで、送受信部51及び送受信部31を介して回線適応制御部27に、複数の送信遅延時間D1による度数分布情報を示す送信遅延時間情報(D)を送信する。なお、送信遅延時間情報(D)は、例えば、100フレームに1回送信される。
表示部58は、レンダリング部55によってレンダリングされたデータを再生する。
エンコード部60は、内蔵されたマイク213(図7参照)や、外付けのカメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻t0を示す時刻情報(t0)と、同じく記憶部5000から取得した時間差Δを示す時間差情報(Δ)を、送受信部51及び送受信部31を介して、配信管理装置2のデコード部40に送信する。エンコード部60の動作条件は、回線適応制御部37bから受信した回線適応制御信号に基づいて変更される。更に、動作条件が変更されると、エンコード部60は、新たな動作条件に従って、カメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻t0を示す時刻情報(t0)と、記憶部5000から取得した時間差Δを示す時間差情報(Δ)とを、送受信部51及び送受信部31を介して、配信管理装置2のデコード部40に送信する。
なお、内蔵されたマイク213や、外付けのカメラ62及びマイク63は、入力手段の一例であり、エンコードやデコードが必要な各種デバイスである。入力手段は、映像(音)データの他に、触覚(touch)データや嗅覚(smell)データを出力することができてもよい。図13では、電子黒板としての通信端末5f1にテレビ会議端末としての通信端末5eが接続され、通信端末5eのカメラ及びマイクが、通信端末5f1の外付けのカメラ62及びマイク63として利用される例を示している。
(端末管理装置の機能構成)
続いて、図14を用いて、端末管理装置7の機能構成について説明する。図14は、端末管理装置7の各機能を示す機能ブロック図である。
端末管理装置7は、図7と同様のハードウェア構成及びプログラムによって、図14に示す各機能構成を実現する。具体的に、端末管理装置7は、送受信部71a、送受信部71b、及び認証部75を有している。また、端末管理装置7は、図7に示したHDD204によって構築される記憶部7000を有している。更に、端末管理装置7は、データ格納部76、インデックス格納部77、管理情報生成部78、及び管理情報格納部79を有している。
送受信部71aは、通信端末5との間で、各種データや要求等の送受信を行う。例えば、送受信部71aは、通信端末5の送受信部51からログイン要求を受信したり、送受信部51に対してログイン要求の認証結果を送信したりする。ログイン要求は、配信システム1に対する通信端末5の認証要求である。ログイン要求は、通信端末5を一意に識別する端末IDと、ユーザ証明書を含む。
送受信部71bは、配信管理装置2との間で、各種データや要求等の送受信を行う。例えば、送受信部71bは、配信管理装置2の送受信部21から、後述の配信先選択メニューデータ7030の要求を受信したり、送受信部21に対して、配信先選択メニューデータ7030を送信したりする。また、送受信部71bは、配信管理装置2の送受信部21から、後述のユーザストレージ領域7050に格納する映像(音)データやインデックス情報を受信する。
認証部75は、通信端末5から受信したログイン要求に含まれる端末ID及びユーザ証明書に基づいて、端末管理テーブル7010を検索することにより、同じ組み合わせの端末ID及びユーザ証明書があるか否かを判断することで、通信端末5aの認証を行う。
記憶部7000には、配信先選択メニューデータ7030、端末管理テーブル7010、利用可能端末管理テーブル7020、及び保存データ管理テーブル7040が記憶される。また、記憶部7000には、ユーザごとに割り当てられたデータの保存領域であるユーザストレージ領域7050が設けられている。
配信先選択メニューデータ7030は、図15に示すような配信先選択メニュー画面を表示させるためのデータである。図15は、配信先選択メニュー画面の概念図である。この図15に示す配信先選択メニュー画面では、映像(音)データの配信先として選択できる通信端末5について、後述の共有ID及び表示名が一覧表示される。ユーザは、この配信先選択メニュー画面上で、映像(音)データの配信先として希望する通信端末5の項目にチェックを入れ、「OK」ボタンを押下することで、希望する通信端末5に映像(音)データを配信させることができる。
図16は、端末管理テーブル7010の概念図である。端末管理テーブル7010では、図16に示すように、登録されている通信端末5の端末ID、ユーザ証明書、ユーザが配信システム1のサービスを利用する際の契約情報、通信端末5の端末種別、各通信端末5のホームURL(Uniform Resource Locator)を示す設定情報、各通信端末5の実行環境情報、共有ID、設置位置情報、及び表示名情報が関連付けて管理されている。
ユーザ証明書は、配信システム1への接続を許可された通信端末5であることを証明する証明書である。ユーザ証明書は、配信システム1への接続を許可された通信端末5に予め与えられている。契約情報は、端末IDによって特定される通信端末5を使用するユーザが配信システム1のサービスを利用する際の契約内容を示す。端末種別は、通信端末5の種別を示す。設定情報は、対応する端末IDによって識別される通信端末5のホームURLを示す。
実行環境情報には、各通信端末5の「お気に入り」、「前回のCookie情報」、及び「キャッシュファイル」が含まれており、各通信端末5のログイン後に、設定情報と共に配信管理装置2に送信され、各通信端末5に対して個別のサービスを行うために利用される。
また、共有IDは、各ユーザが、自己の通信端末5に配信されている映像(音)データと同じ内容の映像(音)データを他の通信端末5にも配信させることで、遠隔共有処理を行う場合に利用されるIDであり、他の通信端末又は他の通信端末群を識別する識別情報である。図16に示す例では、端末ID「t006」の共有IDは「v006」であり、端末ID「t007」の共有IDは「v006」であり、更に、端末ID「t008」の共有IDは「v006」である。この場合、端末ID「t001」の通信端末5aから、共有ID「v006」の通信端末5f1,5f2,5f3との遠隔共有処理の要求があった場合には、配信管理装置2は、通信端末5f1,5f2,5f3に対して、通信端末5aに配信中の映像(音)データと同じ映像(音)データを配信する。但し、通信端末5aと通信端末5f1,5f2,5f3の表示部58の解像度が異なる場合には、これに応じて、配信管理装置2が映像(音)データを配信する。
設置位置情報は、例えば、図5に示したように、複数の通信端末5f1,5f2,5f3が並んで設置される場合の設置位置を示している。表示名情報は、図15に示した配信先選択メニュー画面の表示名の内容を表す情報である。
図17は、利用可能端末管理テーブル7020の概念図である。利用可能端末管理テーブル7020では、端末ID毎に、この端末IDによって示される通信端末5が遠隔共有処理することが可能な他の通信端末又は他の通信端末群を示す共有IDが関連付けて管理されている。
図18は、保存データ管理テーブル7040の概念図である。保存データ管理テーブル7040では、ユーザストレージ領域7050に格納された映像(音)データを識別するためのコンテンツIDと、このコンテンツIDで識別される映像(音)データに関するインデックス情報を識別するためのインデックスIDとが関連付けて管理されている。この保存データ管理テーブル7040の各エントリに登録される情報(管理情報)は、ユーザストレージ領域7050に映像(音)データが格納されるたびに後述の管理情報生成部78により生成され、後述の管理情報格納部79によって、保存データ管理テーブル7040に反映(記憶部7000に格納)される。
ユーザストレージ領域7050は、エンコーダブリッジ部30によってデータ形式の変換等が行われた映像(音)データ、つまり通信端末5に配信された映像(音)データと同じデータを保存するためにユーザに割り当てられた領域である。ユーザストレージ領域7050は、例えば、ユーザごとに契約によって割り当てられる。ユーザストレージ領域7050への映像(音)データの保存(格納)は、例えばユーザ操作に応じて行われる。つまり、ユーザ操作により指定されたタイミングで映像(音)データの保存が開始され、ユーザ操作により指定されたタイミングで映像(音)データの保存が終了する。また、ユーザストレージ領域7050に保存(格納)された映像(音)データは、例えばユーザ操作に応じて適宜再生することができる。この際、上述したインデックス情報を用いて、再生する映像(音)データの検索を容易に行うことができる。
なお、本実施形態ではユーザストレージ領域7050を端末管理装置7の記憶部7000に設けているが、ユーザストレージ領域7050を端末管理装置7とは別体の外部記憶装置に設ける構成としてもよい。また、記憶部7000に格納しているその他の情報も同様に、端末管理装置7とは別体の外部記憶装置に格納してもよい。この場合、端末管理装置7と外部記憶装置を、例えばTCP/IP(Transmission Control Protocol/Internet Protocol)により接続すればよい。
データ格納部76は、送受信部71bが配信管理装置2から受信した映像(音)データを、記憶部7000のユーザストレージ領域7050に格納する。映像(音)データを格納するユーザストレージ領域7050の判別は、例えば、通信端末5の認証時に通信端末5から送信される端末IDをもとに、図16に示した端末管理テーブル7010からユーザに関する情報を取得することで実現できる。具体的には、例えば、図16では図示していないが、端末管理テーブル7010の端末IDに対応する契約情報として契約IDを格納し、端末管理テーブル7010とは別のテーブルとして、契約IDとユーザ情報を含む契約の詳細情報とを対応付けて管理する契約テーブルを設けておく。そして、通信端末5の端末IDをもとに契約IDを特定し、契約IDをもとに契約テーブルからユーザ情報を取得し、取得したユーザ情報に対応するユーザストレージ領域7050に映像(音)データを格納するといった方法が考えられる。
インデックス格納部77は、送受信部71bが配信管理装置2から受信したインデックス情報を、記憶部7000のユーザストレージ領域7050に格納する。
管理情報生成部78は、例えば、ユーザストレージ領域7050への映像(音)データ及びインデックス情報の格納が終了したときに、これら映像(音)データとインデックス情報にそれぞれコンテンツIDとインデックスIDとを割り当てる。そして、これらコンテンツIDとインデックスIDとを関連付けて、保存データ管理テーブル7040のエントリに登録する管理情報を生成する。
管理情報格納部79は、管理情報生成部78によって生成された管理情報、すなわちコンテンツIDとインデックスIDとを関連付けた管理情報を記憶部7000に格納し、保存データ管理テーブル7040に反映させる。
端末管理装置7では、保存データ管理テーブル7040を用いて、ユーザストレージ領域7050に格納された映像(音)データとインデックス情報との関係を特定できる。なお、端末管理装置7は、図示を省略するが、ユーザストレージ領域7050に格納された映像(音)データの格納場所とその映像(音)データに割り当てられたコンテンツIDとの関係や、ユーザストレージ領域7050に格納されたインデックス情報の格納場所とそのインデックス情報に割り当てられたインデックスIDとの関係を別途管理している。そして、端末管理装置7は、これらコンテンツIDやインデックスIDをもとに、ユーザストレージ領域7050から映像(音)データやインデックス情報を取り出すことができる。
〔実施形態の動作または処理〕
続いて、図19乃至図27を用いて、本実施形態の動作または処理について説明する。
<基本的な配信処理>
まず、図19を用いて、配信管理装置2の基本的な配信方法における具体的な配信処理を説明する。図19は、配信管理装置2の基本的な配信処理を示すシーケンス図である。なお、ここでは、通信端末5aを用いてログイン要求する場合について説明するが、通信端末5a以外の通信端末5を用いてログインしてもよい。
図19に示すように、通信端末5aにおいてユーザが電源オンにすると、通信端末5aの送受信部51は、端末管理装置7の送受信部71aを介して認証部75に、ログイン要求を行う(ステップS21)。このログイン要求には、通信端末5aの端末ID及びユーザ証明書が含まれている。
次に、端末管理装置7の認証部75は、通信端末5aから受信した端末ID及びユーザ証明書に基づいて、端末管理テーブル7010を検索することにより、同じ組み合わせの端末ID及びユーザ証明書があるか否かを判断することで、通信端末5aの認証を行う(ステップS22)。ここでは、端末管理テーブル7010に同じ組み合わせの端末ID及びユーザ証明書がある、即ち、通信端末5aが配信システム1における正当な端末であると認証された場合について、以下に続けて説明する。
次に、端末管理装置7の認証部75は、送受信部71aを介して、通信端末5aの送受信部51bに、配信管理装置2のIPアドレスを送信する(ステップS23)。なお、配信管理装置2のIPアドレスは、予め端末管理装置7によって取得されて、記憶部7000に記憶されている。
次に、端末管理装置7の送受信部71bは、配信管理装置2の送受信部21を介して、ブラウザ管理部22に、ブラウザ20の起動要求を行う(ステップS24)。この起動要求に応じて、配信管理装置2のブラウザ管理部22は、ブラウザ20を起動させる(ステップS25)。
次に、エンコーダブリッジ部30の作成・選択部310が、通信端末5aの再生能力(ディスプレイの解像度等)及びコンテンツの種類に従って変換部10を作成する(ステップS26)。
次に、ブラウザ20が、ウェブサーバ8に対して、コンテンツデータ〔A〕を要求する(ステップS27)。これに応じて、ウェブサーバ8は、要求されたコンテンツデータ〔A〕を自己の記憶部(不図示)から読み出す(ステップS28)。そして、ウェブサーバ8は、配信管理装置2の送受信部21を介して、要求元であるブラウザ20にコンテンツデータ〔A〕を送信する(ステップS29)。
次に、ブラウザ20が、コンテンツデータ〔A〕をレンダリングして画像(音)データ〔A〕を生成し、送信用FIFO24に出力する(ステップS30)。そして、変換部10が、送信用FIFO24に格納された画像(音)データ〔A〕をエンコードすることで、通信端末5aに配信すべき映像(音)データ〔A〕に変換する(ステップS31)。
次に、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、再生制御部53に映像(音)データ〔A〕を送信する(ステップS32)。これにより、通信端末5aでは、再生制御部53からデコード部50に、映像(音)データ〔A〕が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される(ステップS33)。
<映像(音)データの保存を伴う配信処理>
次に、図20を用いて、映像(音)データの保存(ユーザストレージ領域7050への格納)を伴う配信処理を説明する。図20は、映像(音)データの保存を伴う配信処理を示すシーケンス図である。なお、図20のステップS21〜ステップS33の処理は図19のステップS21〜ステップS33と同様であるため、重複した説明は省略し、ステップS34の処理から説明する。
図20のステップS34以降の処理は、例えば、通信端末5aを使用するユーザが現在配信されている映像(音)データの保存を開始するユーザ操作を行った場合に実施される。このようなユーザ操作があった場合、エンコーダブリッジ部30は、ステップS31にて変換部10により変換された映像(音)データ〔A〕を、送受信部21を介して端末管理装置7に送信する(ステップS34)。この映像(音)データ〔A〕は、端末管理装置7の送受信部71bにより受信される。
次に、端末管理装置7のデータ格納部76が、送受信部71bにより受信された映像(音)データ〔A〕を、ユーザ操作を行ったユーザに割り当てられた記憶部7000のユーザストレージ領域7050に格納(保存)する(ステップS35)。
また、映像(音)データ〔A〕の保存が開始されると、配信管理装置2のインデックス生成部32が、映像(音)データ〔A〕の保存を開始してからの相対時刻を示すタイムスタンプと、その相対時刻において映像(音)データ〔A〕の生成に用いたコンテンツデータのURLをブラウザ20から取得し、これらの情報を含むインデックス情報を生成する(ステップS36)。そして、インデックス生成部32は、生成したインデックス情報を、送受信部21を介して端末管理装置7に送信する(ステップS37)。このインデックス情報は、端末管理装置7の送受信部71bにより受信される。
次に、端末管理装置7のインデックス格納部77が、送受信部71bにより受信されたインデックス情報を、ユーザ操作を行ったユーザに割り当てられた記憶部7000のユーザストレージ領域7050に格納(保存)する(ステップS38)。上記ステップS34〜ステップS38の処理は、ユーザが映像(音)データの保存を終了するユーザ操作を行うまで継続される。そして、このようなユーザ操作に応じて上記ステップS34〜ステップS38の処理が終了すると、端末管理装置7の管理情報生成部78が、ステップS35でユーザストレージ領域7050に格納された映像(音)データにコンテンツIDを割り当てるとともに、ステップS38でユーザストレージ領域7050に格納されたインデックス情報にインデックスIDを割り当てて、これらコンテンツIDとインデックスIDとを関連付けた管理情報を生成する(ステップS39)。そして、管理情報格納部79が、管理情報生成部78によって生成された管理情報を記憶部7000に格納し、保存データ管理テーブル7040に反映させる(ステップS40)。
<複数の通信端末を使った複合配信の処理>
続いて、図21を用いて、配信管理装置2を介して複数の通信端末5を使った複合配信の処理を説明する。図21は、複数の通信端末5を使った複合配信の処理を示すシーケンス図である。ここでは、複数の通信端末5として通信端末5f1,5f2を想定し、図6に示したパターンについて具体的な処理を説明する。なお、ここでも、図19のステップS21〜ステップS29と同様のログイン処理及びブラウザ起動等の処理が行われるが、図19のステップS21〜ステップS28に対応する処理の説明は省略し、ステップS29に対応するステップS41の処理から説明する。
図21に示すように、配信管理装置2のブラウザ20は、ウェブサーバ8から送受信部21を介してコンテンツデータ〔A〕を受信する(ステップS41)。そして、ブラウザ20は、コンテンツデータ〔A〕をレンダリングすることにより、画像(音)データを生成して、送信用FIFO24に出力する(ステップS42)。
一方、通信端末5f1のエンコード部60が、カメラ62及びマイク63からコンテンツデータ〔E〕の入力を受け付けると(ステップS43)、エンコード部60はエンコードした後、送受信部51及び送受信部31を介して、配信管理装置2のデコード部40にコンテンツデータ〔E〕を送信する(ステップS44)。これにより、コンテンツデータ〔E〕は、デコード部40でデコードされた後、受信用FIFO34を介して、ブラウザ20に入力される。そして、ブラウザ20は、コンテンツデータ〔E〕をレンダリングすることにより、画像(音)データ〔E〕を生成して、送信用FIFO24に出力する(ステップS45)。この場合、ブラウザ20は、既に取得しているコンテンツデータ〔A〕に対して、コンテンツデータ〔E〕を結合して出力する。
更に、通信端末5f1の操作部52が、電子ペンP1によるストローク操作の入力を受け付けると(ステップS46)、操作部52は、送受信部51及び送受信部31を介して、ブラウザ管理部22に操作データ〔p〕を送信する(ステップS47)。これにより、操作データ〔p〕は、配信管理装置2のブラウザ管理部22からブラウザ20に入力される。そして、ブラウザ20は、操作データ〔p〕をレンダリングすることにより、画像データ〔p〕を生成して、送信用FIFO24に出力する(ステップS48)。この場合、ブラウザ20は、既に取得しているコンテンツデータ(〔A〕,〔E〕)に対して、操作データ〔p〕を結合して出力する。
次に、変換部10が、送信用FIFO24に格納された画像(音)データ(〔A〕,〔E〕,〔p〕)をエンコードすることで、通信端末5aに配信すべき映像(音)データ(〔A〕,〔E〕,〔p〕)に変換する(ステップS49)。そして、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5f1の再生制御部53に映像(音)データ(〔A〕,〔E〕,〔p〕)を送信する(ステップS50−1)。その後、映像(音)データ(〔A〕,〔E〕,〔p〕)は、通信端末5f1のデコード部50でデコードされてスピーカ61に音が出力されると共に、レンダリング部55でレンダリングされて表示部58に映像が出力される(ステップS51−1)。
また、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5f2の再生制御部53に対しても、同様の映像(音)データ(〔A〕,〔E〕,〔p〕)を送信する(ステップS50−2)。その後、映像(音)データ(〔A〕,〔E〕,〔p〕)は、通信端末5f2のデコード部50でデコードされてスピーカ61に音が出力されると共に、レンダリング部55でレンダリングされて表示部58に映像が出力される(ステップS51−2)。これにより、通信端末5f1で出力される映像(音)と同じ映像(音)が、通信端末5f2でも出力されることになる。
<時刻調整の処理>
続いて、図22を用いて、時刻調整の処理について説明する。図22は、配信管理装置2と通信端末5との間で行われる時刻調整の処理を示すシーケンス図である。
図22に示すように、まず、通信端末5の時刻制御部56は、送受信部51が配信管理装置2に時刻情報(T)を要求する時刻を取得するために、記憶部5000から通信端末5における時刻情報(ts)を取得する(ステップS81)。そして、送受信部51は送受信部31に、配信管理システム2における時刻情報(T)を要求する(ステップS82)。この場合、時刻情報(T)の要求と共に、上記時刻情報(ts)が送信される。
次に、時刻取得部26は、送受信部31が上記ステップS82の要求を受信した時刻を取得するために、時刻管理部25から配信管理装置2における時刻情報(Tr)を取得する(ステップS83)。更に、時刻取得部26は、送受信部31が上記ステップS82の要求に応答する時刻を取得するために、時刻管理部25から配信管理装置2における時刻情報(Ts)を取得する(ステップS84)。そして、送受信部31は送受信部51に、時刻情報(ts, Tr,Ts)を送信する(ステップS85)。
次に、通信端末5の時刻制御部56は、送受信部51が上記ステップS85の応答を受信した時刻を取得するために、記憶部5000から通信端末5における時刻情報(tr)を取得する(ステップS86)。そして、通信端末5の時刻制御部56は、配信管理システム2と通信端末5との間の時刻差Δを計算する(ステップS87)。この時刻差Δは、下記式(1)によって表される。
Δ=((Tr+Ts)/2)−((tr+ts)/2) ・・・(1)
そして、時刻制御部56は、記憶部5000に時刻差Δを示す時刻差情報(Δ)を記憶する(ステップS88)。この時刻調整の一連の処理は、例えば、毎分定期的に行われる。
<下り用の回線適応制御の処理>
続いて、図23を用いて、配信管理装置2から通信端末5に送信する(下り)データの回線適応制御の処理を説明する。図23は、配信管理装置2から通信端末5に送信するデータの回線適応制御の処理を示すシーケンス図である。
まず、配信管理装置2のエンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5の再生制御部53に、再生までにバッファリングして再生を遅延させるための再生遅延時間を示す再生遅延時間情報(U)を送信する(ステップS101)。また、エンコーダブリッジ部30は、送信用FIFO24から取得してエンコード等を行った映像(音)データ〔A〕に対して、時刻管理部25から取得した現時点の時刻T0をタイムスタンプとして付加し、送受信部31及び送受信部51を介して、通信端末5の再生制御部53に送信する(ステップS102)。
一方、通信端末5では、再生制御部53が、通信端末5における時刻(T0+U−Δ)になるまで待ってから、映像(音)データをデコード部50に出力することで、スピーカ61から音を再生させ、レンダリング部55を介して表示部58から映像を再生させる(ステップS103)。即ち、下記式(2)に示される再生遅延時間Uの範囲内に通信端末5が受信した映像(音)データだけが再生されることになり、範囲外の映像(音)データは再生されずに消去される。
U≧(t0+Δ)−T0 ・・・(2)
また、再生制御部53は、記憶部5000から、通信端末5における現時点の時刻t0を読み出す(ステップS104)。この時刻t0は、通信端末5が配信管理装置2から映像(音)データを受信した時点の通信端末5における時刻を示す。更に、再生制御部53は、記憶部5000から、図22のステップS88によって記憶されている時刻差Δを示す時刻差情報(Δ)を読み出す(ステップS105)。そして、再生制御部53は、上記の時刻T0と時刻t0と時刻差Δとを用いて、映像(音)データが配信管理装置2から送信されて通信端末5で受信されるまでの時間を示す送信遅延時間D1を計算する(ステップS106)。この計算は、下記式(3)によって行われる。通信ネットワーク9が混雑している場合には、送信遅延時間D1が長くなる。
D1=(t0+Δ)−T0 ・・・(3)
次に、遅延情報取得部57が、再生制御部53から送信遅延時間D1を示す送信遅延時間情報(D1)を取得して一定時間保持しておき、複数の送信遅延時間情報(D1)を取得したところで、送受信部51及び送受信部31を介して、配信管理装置2の回線適応制御部27に、複数の送信遅延時間D1による度数分布情報を示す送信遅延時間情報(D)を送信する(ステップS107)。
次に、配信管理装置2の回線適応制御部27は、送信遅延時間情報(D)に基づいて、新たに再生遅延情報U’を計算したり、変換部10のフレームレートやデータの解像度等の動作条件を計算したりする(ステップS108)。
次に、配信管理装置2のエンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信装置5の再生制御部53に、上記ステップS108によって計算された新たな再生遅延時間U’を示す再生遅延時間情報(U’)を送信する(ステップS109)。
更に、エンコーダブリッジ部30内の変換部10が、回線適応制御信号に基づいて、動作条件を変更する(ステップS110)。例えば、送信遅延時間D1が長すぎる場合、送信遅延時間D1に応じて再生遅延時間Uを長くすると、スピーカ61や表示部58での再生時間が遅くなり過ぎるため、再生遅延時間Uを長くすることには限界がある。そこで、回線適応制御部27は、エンコーダブリッジ部30に対して、再生遅延時間Uを変更させて再生遅延時間U’とするだけでなく、変換部10に対して、映像(音)データのフレームレートを下げさせたり、映像(音)データの解像度を下げさせたりすることで、通信ネットワーク9の混雑に対応することができる。これにより、エンコーダブリッジ部30は、変更後の動作条件に従って、上記ステップS102のように、現時点の時刻T0をタイムスタンプとして付加した映像(音)データを通信端末5の再生制御部53に送信する(ステップS111)。
次に、通信端末5では、再生制御部53が、通信端末5における時刻(T0+U’−Δ)になるまで待ってから、映像(音)データをデコード部50に出力することで、上記ステップS103のように、スピーカ61から音を再生させ、レンダリング部55を介して表示部58から映像を再生させる(ステップS112)。その後、上記ステップS104以降の処理が続けて行われる。このようにして、下り用の回線適応制御の処理が継続して行われる。
<上り用の回線適応制御の処理>
続いて、図24を用いて、通信端末5から配信管理装置2に送信する(上り)データの回線適応制御の処理を説明する。図24は、通信端末5から配信管理装置2に送信するデータの回線適応制御の処理を示すシーケンス図である。
まず、通信端末5のエンコード部60は、カメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻t0を示す時刻情報(t0)と、記憶部5000から取得した時間差Δを示す時間差情報(Δ)とを、送受信部51及び送受信部31を介して、配信管理装置2のデコード部40に送信する(ステップS121)。
次に、配信管理装置2では、デコード部40が上記ステップS121によって映像(音)データ〔E〕等を受信した時点の時刻T0を、時刻管理部25から読み出す(ステップS122)。そして、デコード部40は、映像(音)データが通信端末5から送信されて配信管理装置2で受信されるまでの時間を示す送信遅延時間d1を計算する(ステップS123)。この計算は、下記式(4)によって行われる。通信ネットワーク9が混雑している場合には、送信遅延時間D2が長くなる。
d1=T0−(t0+Δ) ・・・(4)
次に、配信管理装置2の遅延情報取得部37aは、通信端末5の遅延情報取得部57と同様に、デコード部40から送信遅延時間d1を示す送信遅延時間情報(d1)を取得して一定時間保持しておき、複数の送信遅延時間情報(d1)を取得したところで、回線適応制御部37bに、複数の送信遅延時間d1による度数分布情報を示す送信遅延時間情報(d)を出力する(ステップS124)。
次に、回線適応制御部37bが、送信遅延時間情報(d)に基づいて、通信端末5のエンコード部60の動作条件を計算する(ステップS125)。そして、回線適応制御部37bは、送受信部31及び送受信部51を介して、通信端末5のエンコード部60に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する(ステップS126)。即ち、下りの場合の回線適応制御部27は、同じ配信管理装置2内でエンコーダブリッジ部30に回線適応制御信号を出力するのに対して、上りの場合の回線適応制御部37bは、配信管理装置2から通信ネットワーク9を介して、通信端末5に回線適応制御信号を送信する。
次に、通信端末5のエンコード部60が、受信した回線適応制御信号に基づいて、動作条件を変更する(ステップS127)。そして、エンコード部60は、新たな動作条件によって、上記ステップS121のように、カメラ62及びマイク63から取得してエンコードした映像(音)データ〔E〕と、記憶部5000から取得した現時点の通信端末5における時刻t0を示す時刻情報(t0)と、同じく記憶部5000から取得した時間差Δを示す時間差情報(Δ)を、送受信部51及び送受信部31を介して、配信管理装置2のデコード部40に送信する(ステップS128)。その後、上記ステップS122以降の処理が続けて行われる。このようにして、上り用の回線適応制御の処理が継続して行われる。
<マルチディスプレイの処理>
続いて、図25乃至図27を用いて、マルチディスプレイの処理について説明する。図25乃至図27は、図5に示したマルチディスプレイの処理を示すシーケンス図である。ここでは、通信端末5aで再生されている映像(音)〔XYZ〕を、通信端末5f1,5f2,5f3にも分割して再生させる例である。また、ここでは、ウェブコンテンツを表示させるためのブラウザ20を「ブラウザ20a」と表記し、ユーザへの設定画面を表示させるためのブラウザ20を「ブラウザ20b」と表記する。更に、ここでは、図20のステップS30に相当する処理から説明する。
まず、図25に示すように、配信管理装置2のブラウザ20aは、ウェブサーバ8から取得したウェブコンテンツデータ〔XYZ〕をレンダリングして画像(音)データを生成し、送信用FIFO24に出力する(ステップS201)。そして、エンコーダブリッジ部30の変換部10が、送信用FIFO24に格納された画像(音)データをエンコードすることで、通信端末5aに配信すべき映像(音)データ〔XYZ〕に変換する(ステップS202)。
次に、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5aの再生制御部53に、映像(音)データ〔XYZ〕を送信する(ステップS203)。これにより、通信端末5aでは、再生制御部53からデコード部50に、映像(音)データ〔XYZ〕が出力され、レンダリング部55を介して、表示部58にて映像(音)が再生される(ステップS204)。
次に、通信端末5aのユーザによって、表示部58上に表示されている画面が不図示のメニュー要求画面に切り替えられ、操作部52が、メニュー要求画面中の不図示の「配信先選択メニュー」ボタンの押下を受け付ける(ステップS205)。これにより、送受信部51が、端末管理装置7の送受信部71aに、配信先選択メニューへの切り替えを要求する(ステップS206)。この際、通信端末5aの端末IDも送信される。これに対して、送受信部71bは、送受信部21を介して配信管理装置2のブラウザ管理部22に対し、ブラウザ20bの起動要求を行う(ステップS207)。
次に、ブラウザ管理部22が設定用のブラウザ20bを起動し(ステップS208)、エンコーダブリッジ部30の作成・選択部310が、ブラウザ20aから変換部10(例えば、変換部10a)への出力を、ブラウザ20bから変換部10(例えば、変換部10b)への出力に切り替える(ステップS209)。但し、通信端末5aが他の通信端末5(例えば、通信端末5b)と変換部10(例えば、変換部10a)を共有して上記ステップS203による映像(音)データを受信していた場合には、他の通信端末5(例えば、通信端末5b)はブラウザ20a用に変換部10(例えば、変換部10a)を利用中であるため、エンコーダブリッジ部30の作成・選択部310は、新たに変換部10(例えば、変換部10b)を作成する。
そして、ブラウザ20bは、送受信部21及び送受信部71bを介して、端末管理装置7の記憶部7000に、配信先選択メニューを要求する(ステップS210)。これに対して、端末管理装置7の記憶部7000では、通信端末5aから受信した端末IDに基づいて、記憶部7000に記憶されている利用可能端末管理テーブル7020を検索することにより、対応する共有IDを抽出する(ステップS211)。この共有IDは、通信端末5aが遠隔共通処理をするために利用可能な通信端末5を示している。例えば、通信端末5aの端末IDが「t001」である場合、図17に示した利用可能端末管理テーブル7020を検索することで、共有ID「v003」,「v006」が抽出される。
更に、記憶部7000は、抽出した共有IDに基づいて端末管理テーブル7010を検索することにより、対応する表示名を示す表示名情報を抽出する(ステップS212)。ここでは、図16に示されているように、抽出された共有ID「v003」,「v006」に対応する表示名は、それぞれ「東京本社10F MFP」、「大阪展示場1F マルチディスプレイ」である。
そして、記憶部7000は、送受信部71b及び送受信部21を介して、配信管理装置2のブラウザ20bにコンテンツデータとして配信先選択メニューデータ7030を送信する(ステップS213)。この配信先選択メニューデータ7030は、図15に示した配信先選択メニュー画面を表示させるための情報であり、チェックボックス、共有ID、及び表示名が含まれている。
次に、図26に示すように、配信管理装置2のブラウザ20bが、端末管理装置7から取得した配信先選択メニュー〔M〕を示すコンテンツデータをレンダリングして画像(音)データを生成し、送信用FIFO24に出力する(ステップS221)。そして、エンコーダブリッジ部30の変換部10が、送信用FIFO24に格納された画像(音)データ〔M〕をエンコードすることで、通信端末5aに配信すべき映像(音)データ〔M〕に変換する(ステップS222)。
次に、エンコーダブリッジ部30は、送受信部31及び送受信部51を介して、通信端末5aの再生制御部53に映像(音)データ〔M〕を送信する(ステップS223)。これにより、通信端末5aでは、再生制御部53からデコード部50に、映像(音)データ〔M〕が出力され、レンダリング部55を介して、表示部58にて、図15に示したような配信先選択メニュー画面の映像(音)が再生される(ステップS224)。
次に、ユーザによってマルチディスプレイに使用する通信端末5を指定する操作、例えば、図15に示した配信先選択メニュー画面の共有ID「v006」のチェックボックスにチェックが入れられ、「OK」ボタンが押下されると(ステップS225)、操作部52が、送受信部51及び送受信部31を介して、配信管理装置2のブラウザ管理部22に、操作データとしてチェック結果を送信する(ステップS226)。
次に、配信管理装置2のブラウザ20bが、チェック結果から共有IDを選択する(ステップS227)。そして、ブラウザ20bは、送受信部21及び送受信部71bを介して、端末管理装置7の記憶部7000に配信先追加要求を行う(ステップS228)。この配信先追加要求には、上記ステップS227によって選択された共有IDが含まれている。これにより、ブラウザ20bは、役目を終えて終了する(ステップS229)。その後、エンコーダブリッジ部30の作成・選択部310は、ブラウザ20bから変換部10への出力を、ブラウザ20aから変換部10への出力に戻すよう切り替える(ステップS230)。
次に、図27に示すように、端末管理装置7の記憶部7000では、上記ステップS228によって送られて来た共有IDに基づいて、端末管理テーブル7010を検索することにより、対応する端末ID及び設置位置情報を抽出する(ステップS241)。そして、記憶部7000は、送受信部71b及び送受信部21を介して、配信管理装置2のブラウザ管理部22に、配信先の追加指示を行う(ステップS242)。この配信先の追加指示には、上記ステップS241によって抽出された端末ID及び設置位置情報が含まれている。ここでは、端末ID及び設置位置情報が「t006」、「左」と、端末ID及び設置位置情報が「t007」、「中」と、端末ID及び設置位置情報が「t008」、「右」との3組の端末ID及び設置位置情報が含まれているものとする。
次に、エンコーダブリッジ部30の作成・選択部310が、マルチディスプレイ用の変換部10を作成する(ステップS243)。なお、この場合、エンコーダブリッジ部30の作成・選択部310は、ブラウザ管理部22から、端末ID及び設置位置情報を取得する。そして、上記ステップS243によって作成された変換部10の分割部13が、送信用FIFO24に格納されている映像(音)データ〔XYZ〕を分割し、エンコード部19が、分割された各データをエンコードする(ステップS244)。
そして、エンコーダブリッジ部30は、端末ID(「t006」)及び設置位置情報(「左」)に基づいて、送受信部31及び通信端末5f1の送受信部51を介して、通信端末5f1の再生制御部53に映像(音)データ〔X〕を送信する(ステップS245_1)。これにより、通信端末5f1では、再生制御部53からデコード部50に、映像(音)データ〔X〕が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される(ステップS246_1)。
また、同様にして、エンコーダブリッジ部30は、端末ID(「t007」)及び設置位置情報(「中」)に基づいて、送受信部31及び通信端末5f2の送受信部51を介して、通信端末5f2の再生制御部53に映像(音)データ〔Y〕を送信する(ステップS245_2)。これにより、通信端末5f2は、再生制御部53からデコード部50に、映像(音)データ〔Y〕が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される(ステップS246_2)。
更に、同様にして、エンコーダブリッジ部30は、端末ID(「t008」)及び設置位置情報(「右」)に基づいて、送受信部31及び通信端末5f3の送受信部51を介して、通信端末5f3の再生制御部53に映像(音)データ〔Z〕を送信する(ステップS245_3)。これにより、通信端末5f3は、再生制御部53からデコード部50に、映像(音)データ〔Z〕が出力され、スピーカ61から音が再生されると共に、レンダリング部55を介して表示部58にて映像が再生される(ステップS246_3)。
〔実施形態の主な効果〕
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の配信システム1では、クラウド上の配信管理装置2がブラウザ20及びエンコード等を行うエンコーダブリッジ部30を有し、ブラウザ20が所定の記述言語で示されたコンテンツデータから映像(音)データを生成し、エンコーダブリッジ部30が通信ネットワーク9を介して配信することができるようにデータ形式を変換してから通信端末5に配信する。また、エンコーダブリッジ部30によって変換された映像(音)データは、端末管理装置7の記憶部7000に設けたユーザストレージ領域7050に格納することができる。映像(音)データをユーザストレージ領域7050に格納する場合は、これと同時に、配信管理装置2のインデックス生成部32が、ブラウザ20から取得される情報に基づいて、記憶部7000に格納する映像(音)データに関するインデックス情報を生成する。このインデックス情報は、映像(音)データと同様にユーザストレージ領域7050に格納される。
このように、本実施形態の配信システム1では、映像(音)データが配信される通信端末5ではなく、映像(音)データを配信するクラウド側(配信管理装置2及び端末管理装置7)で映像(音)データを保存(ユーザストレージ領域7050に格納)するようにしている。このため、保存する映像(音)データに関する様々な情報を容易に取得することができ、これらの情報を用いて、保存する映像(音)データに関するインデックス情報を簡便に生成することができる。
また、本実施形態の配信システム1では、映像(音)データ及びインデックス情報の保存が終了すると、映像(音)データを識別するためのコンテンツIDとインデックス情報を識別するためのインデックスIDとを関連付けた管理情報を生成し、保存データ管理テーブル7040に登録するようにしている。したがって、この保存データ管理テーブル7040を用いて、ユーザストレージ領域7050に格納された映像(音)データとインデックス情報とを効率よく管理することができる。
また、本実施形態の配信システム1では、映像(音)データの格納開始からの相対時刻を示すタイムスタンプと、その相対時刻にブラウザ20が生成していた映像(音)データの属性情報とを含むインデックス情報を生成する。したがって、インデックス情報に含まれる属性情報をもとにその映像(音)データの内容を把握し、タイムスタンプに従って所望の映像(音)データの再生を開始させるなど、保存された映像(音)データの検索を容易に行うことができる。
また、インデックス情報に含まれる属性情報として、ブラウザ20が映像(音)データの生成に用いたコンテンツデータのURLを用いることにより、保存された映像(音)データを再生する際に、その映像(音)データの元になったコンテンツデータの最新版にアクセスできるという効果が得られる。
〔変形例〕
本実施形態の配信システム1では、端末管理装置7と配信管理装置2とを互いに別個の装置として構成しているが、例えば、配信管理装置2に端末管理装置7の機能を持たせるなどにより、端末管理装置7と配信管理装置2とを一体の装置として構成するようにしてもよい。
また、上記実施形態における配信管理装置2、及び端末管理装置7は、単一のコンピュータによって構築されてもよいし、各部(機能、手段、又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
更に、上記実施形態の各プログラムが記憶されたCD−ROM等の記録媒体、並びに、これらプログラムが記憶されたHDD204は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
また、本実施形態の配信システム1では、映像(音)データを保存する際に、配信管理装置2から端末管理装置7に対して映像(音)データを随時送信して、端末管理装置7の記憶部7000に設けたユーザストレージ領域7050に格納するようにしている。しかし、映像(音)データの保存終了を指示するユーザ操作があるまでは、映像(音)データを配信管理装置2の記憶部2000に一時的に保持しておき、映像(音)データの保存終了を指示するユーザ操作があった後に、配信管理装置2の記憶部2000に一時的に保持しておいた映像(音)データを端末管理装置7に転送して、端末管理装置7の記憶部7000に設けたユーザストレージ領域7050に格納するようにしてもよい。
また、本実施形態では、インデックス情報に含まれる映像(音)データの属性情報として、その映像(音)データの生成に用いたコンテンツデータのURLを用いる例を示したが、属性情報はこれに限らない。例えば、保存する映像データについてサムネイル画像を生成していずれかの記憶部に格納する構成の場合、そのサムネイル画像の格納場所を属性情報として用いてもよい。同様に、保存する音データについてサンプル音を生成していずれかの記憶部に格納する構成の場合、そのサンプル音の格納場所を属性情報として用いてもよい。インデックス情報に含まれる映像(音)データの属性情報として、サムネイル画像やサンプル音の格納場所を用いた場合は、保存した映像(音)データの再生時に、属性情報で示される格納場所からサムネイル画像やサンプル音を取得し、映像(音)データの頭出しをするための「しおり」として活用することができる。