JP2018509110A - マルチビューストリーミングサービス提供方法及び装置 - Google Patents

マルチビューストリーミングサービス提供方法及び装置 Download PDF

Info

Publication number
JP2018509110A
JP2018509110A JP2017554229A JP2017554229A JP2018509110A JP 2018509110 A JP2018509110 A JP 2018509110A JP 2017554229 A JP2017554229 A JP 2017554229A JP 2017554229 A JP2017554229 A JP 2017554229A JP 2018509110 A JP2018509110 A JP 2018509110A
Authority
JP
Japan
Prior art keywords
screen
streaming data
terminal
mmt
streaming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017554229A
Other languages
English (en)
Other versions
JP6427692B2 (ja
Inventor
リー、ヨンミン
リー、キュンギュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Publication of JP2018509110A publication Critical patent/JP2018509110A/ja
Application granted granted Critical
Publication of JP6427692B2 publication Critical patent/JP6427692B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本発明は、ストリーミングデータ提供方法に関し、より詳細には、第１画面及び第２画面を含むマルチビューストリーミングサービス提供方法において、第１画面及び第２画面のストリーミングデータを同期化させて再生できるマルチビューストリーミングサービス支援方法及びこれを支援する装置に関する。このための本発明の一実施形態によるマルチビューストリーミングサービスを支援する装置は、第１画面に対するＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）ストリーミングデータの再生処理を支援する第１画面制御モジュールと、第２画面に対するＭＰＥＧメディアトランスポートストリーミングデータの再生処理を支援する第２画面制御モジュールと、マルチビューストリーミング再生要請時、前記第１画面に対するストリーミングデータと前記第２画面に対するストリーミングデータの各メディアプロセッシングユニット（ＭＰＵ；Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に挿入された再生タイム情報を確認した後、前記再生タイム情報によって前記第１画面に対するストリーミングデータと前記第２画面に対するストリーミングデータの各メディアプロセッシングユニットを同期化させて再生されるように、前記第１画面制御モジュール及び前記第２画面制御モジュールを制御する再生制御モジュールとを含んで構成され得る。

Description

本発明は、ストリーミングデータ提供方法に関し、より詳細には、第１画面及び第２画面を含むマルチビューストリーミングサービス提供方法において、第１画面及び第２画面のストリーミングデータを同期化させて再生できるマルチビューストリーミングサービス支援方法及びこれを支援する装置に関する。
この部分に記述された内容は、単純に、本実施形態に対する背景情報を提供するだけで、従来技術を構成するものではない。
最近のインターネット環境において多様な動画サービスが登場するに伴い、高画質ライブ放送に対する需要が次第に増加している。また、最近、ライブストリーミング（ｌｉｖｅ ｓｔｒｅａｍｉｎｇ）サービス方式に従って多様な動画サービスを提供しようとする試みが行われている。
ストリーミングサービスは、インターネットのようなネットワークを介してサーバーから端末にビデオ又はオーディオのようなコンテンツを伝送することを意味する。伝送されるデータがまるで水が流れることのように処理されると言って、ストリーミングと言う。サーバーは、ビデオをネットワークに伝送できるようにパケットに分離し、端末は、該パケットをさらに集めて元々の形態で復元した後、再生する。この際、再生とパケット受信は、同時に起こり、関連されたた一連のパケットをストリーム（ｓｔｒｅａｍ）と言い、一連のパケットの集合をストリーミングデータと言う。
最近のストリーミングサービスは、マルチビュー機能を支援でき、ここで、マルチビューサービスは、ＰＩＰ（Ｐｉｃｔｕｒｅ Ｉｎ Ｐｉｃｔｕｒｅ）サービスの一つであって、主画面が表示されている状態で、副画面が表示されるように処理されることを意味する。しかし、リアルタイムでストリーミングデータを伝達されて再生するストリーミングサービスは、主画面及び副画面の各々に独立的にストリーミングデータを提供することによって、主画面と副画面間の再生時間の差異が発生するという問題点がある。
本発明は、前述した従来の問題点を解決するために提案されたものであって、特に、ＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）技術を利用してマルチビューストリーミングサービスを提供できるマルチビューストリーミングサービス支援方法及びこれを支援する装置を提供することに目的がある。
特に、本発明は、マルチビューストリーミングサービスの再生時に、第１画面と第２画面のストリーミングデータを同期化させて再生することによって、第１画面と第２画面との間に発生する時間差を低減できるマルチビューストリーミングサービス支援方法及びこれを支援する装置を提供することに目的がある。
また、本発明は、マルチビューストリーミングサービスの提供時に、第１画面と第２画面間のスイッチングイベント又は特定画面のサイズ調節イベント等、発生する多様なイベント情報によって適合なストリーミングデータをリアルタイムで構成し、端末に伝送できるマルチビューストリーミングサービス支援方法及びこれを支援する装置を提供することに目的がある。
しかし、このような本発明の目的は、前記の目的に制限されず、言及されない他の目的は、下記の記載から明確に理解され得る。
前述したような目的を達成するための本発明の実施形態によるマルチビューストリーミングサービスを支援する装置は、第１画面に対するＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）ストリーミングデータの再生処理を支援する第１画面制御モジュールと、第２画面に対するＭＰＥＧメディアトランスポートストリーミングデータの再生処理を支援する第２画面制御モジュールと、マルチビューストリーミング再生要請時に、前記第１画面に対するストリーミングデータと前記第２画面に対するストリーミングデータの各メディアプロセッシングユニット（ＭＰＵ；Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に挿入された再生タイム情報を確認した後、前記再生タイム情報によって前記第１画面に対するストリーミングデータと前記第２画面に対するストリーミングデータの各メディアプロセッシングユニットを同期化させて再生されるように、前記第１画面制御モジュール及び前記第２画面制御モジュールを制御する再生制御モジュールと、を含んで構成され得る。
この際、前記再生制御モジュールは、現在装置内のタイム情報を確認し、確認されたタイム情報と各ストリーミングデータのメディアプロセッシングユニットごとに挿入された再生タイム情報との間に差異が発生する場合、各ストリーミングデータの各メディアプロセッシングユニットを同期化させて再生されるように、差異が発生したいずれか一つのストリーミングデータのメディアプロセッシングユニットの再生時点を制御できる。
また、前記再生制御モジュールは、第２画面に対するサイズ調節イベントが発生すると、前記マルチビューサービスサーバーから前記サイズ調節イベントによって変更された第２画面に対するストリーミングデータを受信できる。
また、前記再生制御モジュールは、前記第１画面制御モジュール及び前記第２画面制御モジュール間のスイッチングイベントが発生すると、前記マルチビューサービスサーバーから前記スイッチングイベントによって解像度が変更された第１画面に対するストリーミングデータと第２画面に対するストリーミングデータを受信できる。
前述したような目的を達成するための本発明の実施形態によるマルチビューストリーミングサービス支援方法は、端末がマルチビューサービスサーバーに第１画面に対するＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）ストリーミングデータと第２画面に対するＭＰＥＧメディアトランスポートストリーミングデータを要請する段階と、前記端末が前記マルチビューサービスサーバーから前記第１画面に対するストリーミングデータと第２画面に対するストリーミングデータが受信されることによって、前記各ストリーミングデータの各メディアプロセッシングユニット（ＭＰＵ；Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に挿入された再生タイム情報を確認する段階と、前記端末が前記確認された再生タイム情報によって前記第１画面に対するストリーミングデータと前記第２画面に対するストリーミングデータの各メディアプロセッシングユニットを同期化させて再生されるように制御する段階と、を含んでなることができる。
この際、前記再生されるように制御する段階は、前記端末が前記第１画面に対するストリーミングデータの各メディアプロセッシングユニットごとに挿入された再生タイム情報を確認する段階と、前記端末が前記第２画面に対するストリーミングデータの各メディアプロセッシングユニットごとに挿入された再生タイム情報を確認する段階と、前記端末が現在タイム情報を確認し、確認されたタイム情報と各ストリーミングデータのメディアプロセッシングユニットごとに挿入された再生タイム情報との間に差異が発生する場合、各ストリーミングデータの各メディアプロセッシングユニットを同期化させて再生されるように、差異が発生したいずれか一つのストリーミングデータのメディアプロセッシングユニットの再生時点を制御する段階と、を含んでなることができる。
前述したような目的を達成するための本発明の実施形態によるマルチビューストリーミングサービス支援方法は、マルチビューサービスサーバーが、端末から第１画面に対するＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）ストリーミングデータと第２画面に対するＭＰＥＧメディアトランスポートストリーミングデータの要請を受信する段階と、前記マルチビューサービスサーバーが、前記第１画面に対するストリーミングデータと前記第２画面に対するストリーミングデータの各メディアプロセッシングユニット（ＭＰＵ；Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）ごとに再生タイム情報を挿入して前記端末に伝送する段階と、を含んでなることができる。
この際、前記端末に伝送する段階は、前記マルチビューサービスサーバーが前記端末の状況情報によって前記メディアプロセッシングユニットのブロックサイズを可変的に調節し、可変的に調節された各メディアプロセッシングユニットごとに再生タイム情報を挿入し、前記端末に伝送できる。
さらに、本発明は、前述したようなマルチビューストリーミングサービス支援方法を実行するプログラムを記録したコンピュータ読み取り可能な記録媒体を提供できる。
本発明のマルチビューストリーミングサービス支援方法及びこれを支援する装置によれば、ＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）技術を利用してマルチビューストリーミングサービスをより効率的に端末に提供できる。
また、本発明によれば、マルチビューストリーミングサービスの再生時に、第１画面と第２画面のストリーミングデータを同期化させて再生することによって、第１画面と第２画面との間に発生する時間差を顕著に低減でき、ユーザの便宜性が向上することができる。
また、本発明によれば、第１画面と第２画面間のスイッチングイベント又は第２画面のサイズ調節イベント等発生する多様なイベント情報によって適合なストリーミングデータをリアルタイムで受信して再生し得、また、多様なイベント情報が発生しても、主画面と第２画面間の時間差なしにマルチビューストリーミングサービスを利用でき、ユーザの便宜性が極大化され得る。
また、前述した効果以外の多様な効果が、後述する本発明の実施形態による詳細な説明において直接的又は暗示的に開示され得る。
図１は、本発明で記述するＭＭＴを説明するための例示図である。 図２は、本発明で記述するＭＭＴを説明するための例示図である。 図３は、本発明の実施形態によるマルチビューストリーミングサービス支援方法が適用されたシステムの構成を概略的に示す構成図である。 図４は、本発明の実施形態による端末の主要構成を示すブロック図である。 図５は、本発明の実施形態によるマルチビューストリーミングサービス支援方法を説明するための端末画面例示図である。 図６は、本発明の実施形態によるマルチビューサービスサーバーの主要構成を示すブロック図である。 図７は、本発明の実施形態によるＭＭＴストリーミングデータを説明するための例示図である。 図８は、本発明の実施形態によるマルチビューストリーミングサービス支援方法を説明するためのデータ流れ図である。 図９は、本発明の一実施形態によるマルチビューストリーミングサービス支援方法を説明するためのデータ流れ図である。 図１０は、本発明の他の実施形態によるマルチビューストリーミングサービス支援方法を説明するためのデータ流れ図である。
本発明の課題解決手段の特徴及び利点を一層明確にするために、添付の図面に示された本発明の特定の実施形態を参照して本発明を詳細に説明する。
但し、下記の説明及び添付の図面において本発明の要旨を不明にすることができる公知機能または構成に対する詳細な説明を省略する。また、図面全体にわたって同じ構成要素は、できるだけ、同じ参照符号で示していることに留意しなければならない。
以下の説明及び図面で使用された用語や単語は、通常的や辞書的な意味に限定すべきものではなく、発明者は、自分の発明を最善の方法で説明するための用語の概念で適切に定義できるという原則に即して本発明の技術的思想に符合する意味と概念に解釈すべきである。したがって、本明細書に記載した実施形態と図面に示された構成は、本発明の最も好ましい一実施形態に過ぎず、本発明の技術的思想をすべて代弁するものではないので、本出願時点においてこれらを代替できる多様な均等物と変形例があり得ることを理解しなければならない。
なお、第１、第２等のように序数を含む用語は、多様な構成要素を説明するために使用するものであって、１つの構成要素を他の構成要素から区別する目的だけで使用され、前記構成要素を限定するために使用するものではない。例えば、本発明の権利範囲を逸脱することなく、第２構成要素は、第１構成要素と命名され得、同様に、第１構成要素は、第２構成要素と命名され得る。
また、任意の構成要素が他の構成要素に「連結されて」いるか、「接続されて」いると言及する場合、これは、論理的または物理的に連結されるか、接続され得ることを意味する。言い換えれば、構成要素が他の構成要素に直接的に連結されるか、接続され得るが、中間に他の構成要素が存在してもよく、間接的に連結されるか、接続されてもよいと理解しなければならない。
また、本明細書で使用した用語は、ただ特定の実施形態を説明するために使用されたものであって、本発明を限定しようとする意図ではない。単数の表現は、文脈上、明白に異なって意味しない限り、複数の表現を含む。また、本明細書で記述される「含む」又は「有する」等の用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定しようとするものであって、一つ又はそれ以上の他の特徴や数字、段階、動作、構成要素、部品又はこれらを組み合わせたもの等の存在又は付加可能性をあらかじめ排除しないものと理解されなければならない。
なお、本発明の範囲内の実施形態は、コンピュータ実行可能なコマンド又はコンピュータ読み取り可能媒体に格納されたデータ構造を有するか、伝達するコンピュータ読み取り可能な媒体を含む。このようなコンピュータ読み取り可能な媒体は、汎用又は特殊目的のコンピュータシステムによりアクセス可能な任意の利用可能な媒体であることができる。例として、このようなコンピュータ読み取り可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＣＤ−ＲＯＭ又はその他光ディスク格納装置、磁気ディスク格納装置又はその他磁気格納装置、又はコンピュータ実行可能なコマンド、コンピュータ読み取り可能なコマンド又はデータ構造の形態よりなる所定のプログラムコード手段を格納するか又は伝達するのに利用され得、汎用又は特殊目的コンピュータシステムによりアクセスされ得る任意のその他媒体のような物理的格納媒体を含むことができるが、これに限定されない。
以下の説明及び特許請求範囲で、「ネットワーク」又は「通信網」は、コンピュータシステム及び／又はモジュール間の電子データを伝送できるようにする一つ以上のデータリンクとして定義される。情報がネットワーク又は他の（有線、無線、又は有線又は無線の組合である）通信接続を介してコンピュータシステムに伝送されるか、又は提供されるとき、この接続は、コンピュータ読み取り可能な媒体として理解され得る。コンピュータ読み取り可能なコマンドは、例えば、汎用コンピュータシステム又は特殊目的コンピュータシステムが特定の機能又は機能のグループを行うようにするコマンド及びデータを含む。コンピュータ実行可能なコマンドは、例えば、アセンブリー語、又は、甚だしくは、ソースコードのような二進、中間フォーマットコマンドであることができる。
また、本発明は、パーソナルコンピュータ、ラップトップコンピュータ、ハンドヘルド装置、マルチプロセッサーシステム、マイクロプロセッサー基盤又はプログラム可能な家電製品（ｐｒｏｇｒａｍｍａｂｌｅ ｃｏｎｓｕｍｅｒ ｅｌｅｃｔｒｏｎｉｃｓ）、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、モバイル電話、ＰＤＡ、ページャー（ｐａｇｅｒ）等を含む多様な類型のコンピュータシステム構成を有するネットワークコンピュータ環境で実施され得る。
本発明は、また、ネットワークを介して有線データリンク、無線データリンク、又は有線及び無線データリンクの組合でリンクされたローカル及び遠隔コンピュータシステムのすべてがタスクを行う分散型システム環境で実行され得る。分散型システム環境で、プログラムモジュールは、ローカル及び遠隔メモリ格納装置に位置し得る。
本発明の実施形態を説明するに先立って、本発明の技術的背景は、ＭＰＥＧＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）技術であることを仮定して説明する。しかし、これは、説明の便宜のための例示に過ぎず、本発明が必ずＭＭＴ技術にのみ適用されるものではない。
以下、本明細書で記述する用語の意味は、次のように定義できる。
コンテンツコンポネント（ｃｏｎｔｅｎｔ ｃｏｍｐｏｎｅｎｔ）又はメディアコンポネント（ｍｅｄｉａ ｃｏｍｐｏｎｅｎｔ）は、単一種類のメディア（ｍｅｄｉａ ｏｆ ａ ｓｉｎｇｌｅ ｔｙｐｅ）又は単一種類のメディアの部分集合（ｓｕｂｓｅｔ ｏｆ ｔｈｅ ｍｅｄｉａ ｏｆ ａ ｓｉｎｇｌｅ ｔｙｐｅ）として定義され、例えば、ビデオトラック（ｖｉｄｅｏ ｔｒａｃｋ）、映画字幕（ｍｏｖｉｅ ｓｕｂｔｉｔｌｅｓ）、又はビデオ向上階層（ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒ ｏｆ ｖｉｄｅｏ）になり得る。
コンテンツ（ｃｏｎｔｅｎｔ）は、コンテンツコンポネントの集合と定義し、例えば映画（ｍｏｖｉｅ）、歌（ｓｏｎｇ）等になり得る。
ハイブリッド伝送（ｈｙｂｒｉｄ ｄｅｌｉｅｖｅｒｙ）は、一つ又はそれ以上のコンテンツコンポネントが一つ以上の物理的に互いに異なる形態の網（ｎｅｔｗｏｒｋ）を介して同時に伝送されるものと定義する。
表現（ｐｒｅｓｅｎｔａｔｉｏｎ）は、ユーザが一つのコンテンツコンポネント又は一つのサービスを経験（例えば映画感想）できるように、一つ又は一つ以上の装置により行われる動作（ｏｐｅｒａｔｉｏｎ）と定義する。
サービス（ｓｅｒｖｉｃｅ）は、表現（ｐｒｅｓｅｎｔａｔｉｏｎ）又は格納（ｓｔｏｒａｇｅ）のために伝送される一つ又は一つ以上のコンテンツコンポネントと定義する。
サービス情報（ｓｅｒｖｉｃｅ ｉｎｆｏｒｍａｔｉｏｎ）は、一つのサービス、前記サービスの特性（ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）及びコンポネントを記述するメタデータと定義する。
ナンタイムドデータ（Ｎｏｎ−ｔｉｍｅｄ ｄａｔａ）は、時間を明示せず消費されるすべてのデータ要素を定義する。ナンタイムドデータは、そのメディアユニットのデコーディング及び／又は表現のための固有な同期化情報を有しないデータである。
タイムドデータ（ｔｉｍｅｄ ｄａｔａ）は、そのメディアユニットのデコーディング及び／又は表現のための固有な同期化情報を有するデータであって、デコーディング及びプレゼンテーションされる特定の時間と関連されたデータ要素を定義する。
メディアフラグメントユニット（Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ；ＭＦＵ）は、どんな特定のコーデックにも独立された一般的なコンテナであって、メディアデコーダーにより独立的に消費され得る符号化されたメディアデータを収容する。アクセスユニット（ＡＵ）は、タイムドメディアデータのためのアクセスユニット（ＡＵ）の全部又は一部のように、メディアデコーダーにより独立的にデコード可能なメディアデータ又はノンタイムドメディアデータのための一つのファイルを含む。これは、アクセスユニット（ＡＵ）より小さいか又は同じサイズを持ってトランスポート階層（Ｔｒａｎｓｐｏｒｔ ｌａｙｅｒ）で使用され得る情報を収容する。
ＭＭＴ個体（ＭＭＴ ｅｎｔｉｔｙ）は、ＭＭＴプロファイルに従うソフトウェア又はハードウェアの具現である。
ＭＭＴパケット（ＭＭＴ ｐａｃｋｅｔ）は、ＭＭＴプロトコルによって生成又は消費されるデータの形式化されたユニット（ｆｏｒｍａｔｔｅｄ ｕｎｉｔ）である。
ＭＭＴペイロード（ＭＭＴ ｐａｙｌｏａｄ）は、パッケージを輸送するか、ＭＭＴプロトコルやインターネット応用階層伝送プロトコル（例えばＲＴＰ（Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）がある）を使用してメッセージをシグナリングするデータの形式化されたユニットである。
ＭＭＴプロトコルは、ＭＭＴペイロードをＩＰネットワークを介して伝達するための応用階層伝送プロトコルである。
ＭＭＴペイロードフォーマット（ＭＭＴ ｐａｙｌｏａｄ ｆｏｒｍａｔ）は、ＭＭＴプロトコル又はインターネット応用階層プロトコル（例えば、ＲＴＰ）により伝達されるＭＭＴパッケージ又はＭＭＴシグナリングメッセージのペイロードのためのフォーマットである。
また、本発明の実施形態を説明するに先立って、本明細書で記述するＭＭＴパッケージ構成について図１及び図２を参照してより具体的に説明する。
図１及び図２は、本発明で記述するＭＭＴを説明するための例示図である。
図１を参照すれば、ＭＭＴパッケージ５００は、ＭＭＴ機能領域で定義するデータモデルのうち論理的に構造化された最も大きいＭＭＴ個体（ｅｎｔｉｔｙ）であって、映画一編のような一つの独立的なコンテンツを意味する。ストリーミングデータサービスを提供するライブストリーミング提供サーバーは、このようなＭＭＴパッケージを生成し、端末に提供でき、ＭＭＴパッケージ５００は、図１に示されたように、多数の個体の集めで構成される論理的に構造化されたコレクションになり得る。このようなＭＭＴパッケージ５００は、一つ以上のアセット５０５、構成情報５０２、伝送特性５０３及び説明的な（ｄｅｓｃｒｉｐｔｉｖｅ）情報、すなわちパッケージ情報５０１を含むことができる。
このうち、構成情報（Ｃｏｍｐｏｓｉｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ）５０２は、ＭＭＴアセット５０５間の関係（ｒｅｌａｔｉｏｎｓｈｉｐ）、すなわち空間的及び時間的関係に対する情報を含み、一つのコンテンツ（ｃｏｎｔｅｎｔ）が複数個のＭＭＴパッケージよりなる場合、複数のＭＭＴパッケージ間の関係（ｒｅｌａｔｉｏｎｓｈｉｐ）を示すための情報をさらに含むことができる。
伝送特性（ＡＤＣ；Ａｓｓｅｔ Ｄｅｌｉｖｅｒｙ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）５０３は、アセット５０５の伝達のためのＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）要求及び統計を示す。複数のアセット５０５は、一つの伝送特性５０３に関連できる。この際の伝送特性５０３は、アセット５０５の効果的な伝達のためにパッケージをカプセル化する個体によりＭＭＴペイロード及びＭＭＴプロトコルのパラメータを設定するのに使用され得る。また、伝送特性５０３は、ＭＭＴアセット５０５又はＭＭＴパケットの伝達条件（ｄｅｌｉｖｅｒｙ ｃｏｎｄｉｔｉｏｎ）を決定するために必要な伝達特性情報を含むことができ、例えばトラフィック記述パラメータ（ｔｒａｆｆｉｃ ｄｅｓｃｒｉｐｔｉｏｎ ｐａｒａｍｅｔｅｒ）及びＱｏＳ記述子（ＱｏＳ ｄｅｓｃｒｉｐｔｏｒ）を含むことができる。このような伝達特性情報は、通信網の環境に関係ないパラメータ形態で表現され得る。
アセット５０５は、タイムド又はナンタイムド性質を有するオーディオ、ビデオ又はウェブページデータのような符号化されたメディアデータをカプセル化するパッケージの要素を意味するものであって、最も大きい論理的データ単位を意味する。このようなアセット５０５は、同一の伝達特性でデータを含むデータ個体を意味する。例えば、ＭＭＴパッケージ５００は、ＭＭＴ機能領域で定義するデータモデルのうち最も大きい個体（ｅｎｔｉｔｙ）であって、一編の映画のような一つの独立的なコンテンツを意味するとしたら、アセット５０５は、オーディオデータ、ビデオデータ、スクリプトデータのようなＭＭＴパッケージ５００を構成するデータ単位を意味する。
このような本発明のアセット５０５について図２を参照してさらに具体的に説明すると、本発明のアセット５０５は、少なくとも一つ以上のＭＰＵ５０６で構成され得る。ここで、ＭＰＵ５０６は、メディアプロセッシングユニット（ＭＰＵ；Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、以下、ＭＰＵという）を意味し、論理的なデータ客体であって、一つのアセット５０５を構成する複数のＭＰＵ５０６は、同一のアセットＩＤを含む。
また、ＭＰＵ５０６は、どんな特定のメディアコーデックにも独立された、タイムド又はナンタイムドデータに対する包括的なコンテナであることができる。このようなＭＰＵ５０６は、完全で且つ独立的に処理され得る符号化されたメディアデータであって、ＭＰＵのプロセッシングは、パッケージへのエンカプセレーション又は伝達のためのパケット化を意味できる。このような、ＭＰＵ５０６は、タイムドデータのための一つ以上のアクセスユニットを含むことができる。ここで、アクセスユニット（ＡＵ；Ａｃｃｅｓｓ Ｕｎｉｔ）は、時間情報を有することができる最も小さいデータ個体である。また、ＭＰＵ５０６は、ナンタイムドデータのためのアクセスユニット境界がないデータの部分を含んで構成され得る。このようなＭＰＵ５０６は、完全で且つ独立的に処理され得るコードされたメディアデータユニットであって、ヘッダー５０７とコードされたデータ５０８で構成され得る。なお、本発明のＭＰＵ５０６は、メディアフラグメントユニット（ＭＦＵ；Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ）でさらに構成され得る。
このような本発明のＭＭＴパッケージ５００は、ＭＰＵ基盤で適用され、動作され得、以下の説明では、ＭＭＴストリーミングデータのメディアプロセッシングユニット単位で処理が行われることを中心に説明するが、これに限定されるものではなく、システム具現方式に従ってメディアフラグメントユニット単位で本発明の処理が行われることもできる。
以下では、まず、本発明の実施形態によるマルチビューストリーミングサービス支援方法が適用された全体システムの構造について説明する。
図３は、本発明の実施形態によるマルチビューストリーミングサービス支援方法が適用されたシステムの構成を概略的に示す構成図である。
図３を参照すれば、本発明の実施形態によるシステム１００は、多数の端末１０と通信網５０を経て多数の端末１０にストリーミングデータサービスを提供するマルチビューサービスサーバー２０を含んで構成され得る。
各構成要素についてより具体的に説明すれば、まず、端末１０は、ユーザの操作によって通信網５０を経てマルチビューサービスサーバー２０と情報を送受信できるユーザの装置を意味する。このような端末１０は、通信網５０を介して音声又はデータ通信を行うことができる。このための本発明の端末１０は、情報の送受信のためのブラウザー、プログラム及びプロトコルを格納するメモリ、各種プログラムを実行し、演算及び制御するためのマイクロプロセッサー等を具備できる。特に、本発明の実施形態による端末１０は、マルチビューサービスサーバー２０から伝達されるＭＰＥＧメディアトランスポートストリーミングデータ（以下、「ＭＭＴストリーミングデータ」という）を再生し処理し得、特に、第１画面に対するＭＭＴストリーミングデータと第２画面に対するＭＭＴストリーミングデータをＰＩＰ形式で表示される過程を支援できる。
このような本発明の実施形態による端末１０は、多様な形態で具現され得る。例えば、本明細書で記述される端末１０は、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、タブレットＰＣ（Ｔａｂｌｅｔ ＰＣ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、ＭＰ３Ｐｌａｙｅｒ等の移動端末機はもちろん、スマートテレビ（Ｓｍａｒｔ ＴＶ）、デスクトップコンピュータ等のような固定端末機が使用されることもできる。
このような本発明の端末１０は、デジタル機器のコンバージェンス（ｃｏｎｖｅｒｇｅｎｃｅ）傾向によって携帯機器の変形が非常に多様で、すべて列挙することはできないが、前記言及されたユニットと同等な水準のユニットが本発明による端末１０に適用され得、特に、通信網５０を経てマルチビューサービスサーバー２０からＭＭＴストリーミングデータを受信し、これを処理できる装置であれば、いずれの装置も本発明の実施形態による端末１０に利用され得る。
マルチビューサービスサーバー２０は、本発明の実施形態によるＭＭＴストリーミングデータを端末１０の要請に従って端末１０に伝達する役目を行う。ここで、ＭＭＴストリーミングデータは、前述したように、ＭＭＴパケット形態で端末１０に伝達され得るストリーミングデータを意味する。このようなマルチビューサービスサーバー２０は、端末１０にＭＭＴストリーミングデータ形式によって例えば放送サービスを提供できる。特に、本発明の実施形態によるマルチビューサービスサーバー２０は、端末１０にＭＭＴストリーミングデータ伝送するとき、端末１０のマルチビューストリーミング再生要請に従って、第１画面に対するＭＭＴストリーミングデータと第２画面に対するＭＭＴストリーミングデータを順次に伝送できる。
また、マルチビューサービスサーバー２０は、コンテンツ提供サーバー３０と連動して、コンテンツ提供サーバー３０から伝達されるデータをＭＭＴストリーミングデータに変換処理し、端末１０に伝達することもできる。
前述したような端末１０及びマルチビューサービスサーバー２０は、通信網５０を介して多様な情報を送受信する。本発明の実施形態による通信網５０は、 ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ワイファイ（Ｗｉ−Ｆｉ）、ワイブロ（Ｗｉｂｒｏ）、ワイマックス（Ｗｉｍａｘ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）等の無線通信方式を利用することが好ましいが、これに限定されるものではなく、システム具現方式に従ってイダーネット（Ｅｔｈｅｒｎｅｔ）、ｘＤＳＬ（ＡＤＳＬ、ＶＤＳＬ）、ＨＦＣ（Ｈｙｂｒｉｄ Ｆｉｂｅｒ Ｃｏａｘｉａｌ Ｃａｂｌｅ）、ＦＴＴＣ（Ｆｉｂｅｒ ｔｏ Ｔｈｅ Ｃｕｒｂ）、ＦＴＴＨ（Ｆｉｂｅｒ Ｔｏ Ｔｈｅ Ｈｏｍｅ）等の有線通信方式を利用することもできる。
このような本発明の実施形態による通信網５０は、例えば、接続網（図示せず）、コア網（図示せず）及びインターネット網（図示せず）を含んで構成され得る。
ここで、接続網（図示せず）は、端末１０のコア網（図示せず）への接近を支援するものであって、有無線通信方式に従って端末１０のコア網（図示せず）接近を支援できる。このような接続網（図示せず）は、複数の基地局を含む。ここで、基地局は、例えばＢＳ（Ｂａｓｅ Ｓｔａｔｉｏｎ）、ＢＴＳ（Ｂａｓｅ Ｔｒａｎｓｃｅｉｖｅｒ Ｓｔａｔｉｏｎ）、ＮｏｄｅＢ、ｅＮｏｄｅＢ等のような多数の基地局を含む概念になり得、基地局とＢＳＣ（ＢａｓｅＳｔａｔｉｏｎ Ｃｏｎｔｒｏｌｌｅｒ）、ＲＮＣ（Ｒａｄｉｏ Ｎｅｔｗｏｒｋ Ｃｏｎｔｒｏｌｌｅｒ）のような基地局制御機のすべてを含む概念になり得る。また、基地局は、基地局に一体に具現されていたデジタル信号処理部と無線信号処理部をそれぞれデジタルユニット（Ｄｉｇｉｔａｌ Ｕｎｉｔ、以下、ＤＵという）と無線ユニット（Ｒａｄｉｏ Ｕｎｉｔ、以下、ＲＵという）に区分し、多数の領域にそれぞれ多数のＲＵ（図示せず）を設置し、多数のＲＵ（図示せず）を集中化されたＤＵ（図示せず）と連結して構成することもできる。
接続網（図示せず）と一緒に通信網（図示せず）を構成するコア網（図示せず）は、接続網（図示せず）と外部網、例えば、インターネット網（図示せず）を連結する役目を行う。
このようなコア網（図示せず）は、前述したように、接続網（図示せず）間の移動性制御及びスイッチング等の移動通信サービスのための主要機能を行うネットワークシステムであって、サーキット交換（ｃｉｒｃｕｉｔ ｓｗｉｔｃｈｉｎｇ）又はパケット交換（ｐａｃｋｅｔ ｓｗｉｔｃｈｉｎｇ）を行い、ネットワーク内でのパケット流れを管理及び制御する。また、コア網（図示せず）は、周波数間の移動性を管理し、接続網（図示せず）及びコア網（図示せず）内のトラフィック及び他のネットワーク、例えばインターネット網（図示せず）との連動のための役目を行うこともできる。このようなコア網（図示せず）は、ＳＧＷ（Ｓｅｒｖｉｎｇ ＧａｔｅＷａｙ）、ＰＧＷ（ＰＤＮ ＧａｔｅＷａｙ）、ＭＳＣ（Ｍｏｂｉｌｅ Ｓｗｉｔｃｈｉｎｇ Ｃｅｎｔｅｒ）、ＨＬＲ（Ｈｏｍｅ Ｌｏｃａｔｉｏｎ Ｒｅｇｉｓｔｅｒ）、ＭＭＥ（Ｍｏｂｉｌｅ Ｍｏｂｉｌｉｔｙ Ｅｎｔｉｔｙ）とＨＳＳ（Ｈｏｍｅ Ｓｕｂｓｃｒｉｂｅｒ Ｓｅｒｖｅｒ）等をさらに含んで構成されることもできる。
また、インターネット網（図示せず）は、ＴＣＰ／ＩＰプロトコルによって情報が交換される通常の公開された通信網、すなわち共用網を意味するものであって、マルチビューサービスサーバー２０と連結され、マルチビューサービスサーバー２０から端末１０に伝達されるＭＭＴストリーミングデータをコア網（図示せず）及び接続網（図示せず）を経て端末１０に提供されるように支援する役目を行うことができる。
一方、端末１０は、接続網（図示せず）、コア網（図示せず）、及びインターネット網（図示せず）を経てマルチビューサービスサーバー２０にＭＭＴストリーミングデータ受信のための各種命令を伝送できる。しかし、これに限定されるものではなく、マルチビューサービスサーバー２０は、コア網（図示せず）内に位置でき、コア網（図示せず）を運用する事業者と同一の事業者又は互いに異なる事業者により運用されることもできる。
また、前述した通信方式以外にも、その他広く公知されたか、以後開発されるすべての形態の通信方式を含むことができる。
前述したような本発明を構成する端末１０及びマルチビューサービスサーバー２０の主要構成及びより具体的な動作方法については、後述して説明するようにし、本発明の実施形態による各装置に搭載されるプロセッサは、本発明による方法を実行するためのプログラム命令を処理できる。一具現例で、このプロセッサは、シングルスレッド（Ｓｉｎｇｌｅ−ｔｈｒｅａｄｅｄ）プロセッサであることができ、他の具現例で、このプロセッサは、マルチスレッド（Ｍｕｌｔｉｔｈｒｅａｄｅｄ）プロセッサであることができる。ひいては、このプロセッサは、メモリ或いは格納装置上に格納された命令を処理することが可能である。
以下、本発明の実施形態による端末１０の主要構成及び動作方法について説明する。
図４は、本発明の実施形態による端末の主要構成を示すブロック図である。
図３及び図４を参照すると、本発明の実施形態による端末１０は、通信部１１、入力部１２、制御部１３、格納部１４及び表示部１５を含んで構成され得る。
各構成要素についてより具体的に説明すると、まず、通信部１１は、コア網（図示せず）接続のために、隣近の接続網（図示せず）に接続される過程を支援できる。例えば通信部１１は、一定半径内に位置する基地局（図示せず）を探索し、探索された基地局（図示せず）への接続要請を行い、基地局（図示せず）と接続される過程を支援することによって、接続網（図示せず）に接続され得る。ここで、端末１０の通信部１１が接続網（図示せず）の基地局（図示せず）に接続される過程は、公知された多様な構成を採用できるので、具体的な説明は、省略する。なお、通信部１１が基地局（図示せず）と通信手続を行うとき、ユーザ情報を伝送できる。基本的に、ＩＭＳＩ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ）等のような端末識別番号等を基地局（図示せず）に伝送でき、基地局（図示せず）がコア網（図示せず）との接続手続を行う間に、端末識別番号等を利用して加入者情報を確認できる。
なお、本発明の実施形態による通信部１１は、通信網５０を介してマルチビューサービスサーバー２０にＭＭＴストリーミングデータ伝送を要請し、伝達されるＭＭＴストリーミングデータを制御部１３に伝達する役目を行う。
入力部１２は、ユーザから入力される数字及び文字情報等の多様な情報、各種機能設定及び端末１０の機能制御と関連して入力される信号を制御部１３に伝達する。特に、本発明の入力部１２は、ＭＭＴストリーミングデータ伝送要請のためのユーザ入力を支援できる。例えば、ユーザからＭＭＴストリーミングデータを再生できるアプリケーションの実行入力を支援し、アプリケーションを介して特定チャネルに対する選択命令情報の入力を支援できる。また、本発明の入力部１２は、マルチビューストリーミング再生要請に対するユーザ入力を支援できる。ここで、マルチビューストリーミング再生要請は、例えば、ＭＭＴストリーミングデータを再生できる特定のアプリケーションでＭＭＴストリーミングデータ再生中に特定メニューの選択入力、特定ボタンの選択入力によって発生され得、これにより、当該アプリケーションは、複数の画面が同時に再生され得るマルチビューストリーミング機能に転換され得る。
このような入力部１２は、前述したように、キーボードやキーパッドのようなキー入力手段、タッチセンサーやタッチパッドのようなタッチ入力手段、音声入力手段、ジャイロセンサー、地磁気センサー、加速度センサー、近接センサー、及びカメラのうち少なくとも一つ以上を含んでなるジェスチャー入力手段を含むこともできる。
そのほか、現在開発中又は以後開発され得るすべての形態の入力手段が含まれることができる。
制御部１３は、端末１０の全般的な制御を行うものであって、ハードウェア的にＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）／ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含む少なくとも一つ以上のプロセッサと少なくとも一つ以上のメモリローディングデータがローディングされる実行メモリ（例えば、レジスタ及び／又はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））及び前記プロセッサとメモリに少なくとも一つ以上のデータを入出力するバス（ＢＵＳ）を含んでなることができる。また、ソフトウェア的に端末１０に定義された機能を行うために、所定の記録媒体から前記実行メモリにローディングされ、前記プロセッサにより演算処理される所定のプログラムルーチン（Ｒｏｕｔｉｎｅ）又はプログラムデータを含んでなることができる。言い換えれば、本発明の実施形態によるマルチビューサービスサーバー２０にＭＭＴストリーミングデータを要請し受信し、マルチビュー機能を用いてＭＭＴストリーミングデータを処理するために、端末１０に具備される機能のうちソフトウェア的に処理が可能な構成要素を制御部１３の機能として判断できる。
このような、本発明の制御部１３は、本発明の実施形態によるストリーミングデータ処理のために具備される少なくとも一つ以上の構成要素と機能的に連結される。すなわち、制御部１３は、通信部１１、入力部１２、格納部１４及び表示部１５と機能的に連結され、前記各構成要素に電源供給及び機能実行のための信号の流れを制御する。
特に、本発明の実施形態による制御部１３は、ＭＰＥＧメディアトランスポートストリーミングデータを処理できるＭＰＥＧ−２ＴＳ処理機能を支援できる。例えば、マルチビューサービスサーバー２０から伝達される複数のＭＰＵで構成されるＭＭＴストリーミングデータを受信でき、ストリーミングデータが複数のアセットで構成される場合、複数のアセットをタイム情報によって同期化して再生して出力する機能を行うことができる。また、本発明の制御部１３は、ＭＭＴプロトコルで定義する多様な動作実行のための機能を処理できる。このような本発明の制御部１３は、マルチビューストリーミングサービス機能を支援するために、第１画面制御モジュール１３ａ、第２画面制御モジュール１３ｂ、再生制御モジュール１３ｃ及びタイム生成モジュール１３ｄを含んで構成され得る。ここで、本発明の制御部１３が前記第１画面制御モジュール１３ａ及び第２画面制御モジュール１３ｂのみを含むことを例示して説明するが、これに限定されるものではなく、本発明の制御部１３は、複数の画面制御モジュールで構成され、複数の画面で構成されるマルチビューストリーミングサービス機能を支援できる。すなわち、主画面である第１画面が表示されている状態で、副画面である第２画面及び第３画面を同時に表示することもでき、このためのそれぞれの画面制御モジュールを含んで構成され得る。なお、前述した機能は、一つのモジュールを介して動作されることもできる。
以下では、説明の便宜のために、主画面である第１画面制御モジュール１３ａ及び副画面である第２画面制御モジュール１３ｂを中心に説明する。
第１画面制御モジュール１３ａは、第１画面に対するＭＭＴストリーミングデータの再生処理を支援する。ここで、第１画面は、全体画面を介して表示される主画面になり得る。また、第２画面制御モジュール１３ｂは、第２画面に対するＭＭＴストリーミングデータの再生処理を支援する。ここで、第２画面は、第１画面上に表示され、第１画面の表示サイズより小さく表示され得る副画面を意味できる。
第１画面制御モジュール１３ａ及び第２画面制御モジュール１３ｂ間のＭＭＴストリーミングデータ再生の制御は、再生制御モジュール１３ｃを介して行われることができる。すなわち、再生制御モジュール１３ｃは、前記第１画面制御モジュール１３ａを介して第１画面に対するＭＭＴストリーミングデータが再生されている状態で、入力部１２を介してマルチビューストリーミング再生要請が入力されると、前記第２画面制御モジュール１３ｂを駆動させて、副画面である第２画面が活性化されるように制御し、ＭＭＴストリーミングデータが第２画面を介して表示されるように、第２画面制御モジュール１３ｂを制御できる。この際、第２画面制御モジュール１３ｂを介して表示される第２画面に対するＭＭＴストリーミングデータは、第１画面制御モジュール１３ａを介して表示される第１画面に対するＭＭＴストリーミングデータと同一であってもよく、異なる場面、異なるチャネル等のように、互いに異なるＭＭＴストリーミングデータであってもよく。
すなわち、図５に示されたように、ＭＭＴストリーミングデータを再生できるアプリケーション６００が実行されている状態で、主画面である第１画面６１０を介してＭＭＴストリーミングデータが再生され得る。この際、特定メニュー又は命令ボタンを介してマルチビューサービス機能が活性化されると、副画面である第２画面６２０が活性化されて表示され得、第１画面６１０と第２画面６２０は、同一のＭＭＴストリーミングデータを再生することもでき、互いに異なるチャネル、又は互いに異なるＭＭＴストリーミングデータを再生することもできる。同一のＭＭＴストリーミングデータの場合、第１画面６１０を介して表示されるＭＭＴストリーミングデータの一領域を拡大したＭＭＴストリーミングデータを含むことができる。
従来のストリーミングサービスにおいてのマルチビュー機能の場合、第１画面６１０と第２画面６２０との間に表示されるストリーミングデータの再生時点に差が発生するという問題点がある。すなわち、同一のストリーミングデータを再生していても、第１画面６１０と第２画面６２０間の同期がなされず、第１画面６１０より第１画面６２０を介して出力されるストリーミングデータが遅延されて出力されるか、第１画面６１０を介して出力されるストリーミングデータが遅延されて出力され得るという問題点がある。
本発明は、このような問題点を改善するためのものであって、図４に示された本発明の再生制御モジュール１３ｃは、第１画面に対するストリーミングデータと第２画面に対するストリーミングデータを再生する前に、各ＭＰＵごとに挿入された再生タイム情報を確認した後、確認された再生タイム情報によって第１画面に対するストリーミングデータと第２画面に対するストリーミングデータの各ＭＰＵを同期化させて再生されるように制御できる。例えば、マルチビューサービスサーバー２０から受信された第１画面制御モジュール１３ａが要請した第１画面に対するＭＭＴストリーミングデータのＭＰＵに挿入された再生タイム情報が「１０：１０：１０．３」であり、第２画面制御モジュール１３ｂが要請した第２画面に対するＭＭＴストリーミングデータのＭＰＵに挿入された再生タイム情報が「１０：１０：１０．３」であると仮定する。そして、第１画面に対するＭＭＴストリーミングデータのＭＰＵが第１画面制御モジュール１３ａに伝達された時点が「１０：１０：１０．０」であり、第２画面に対するＭＭＴストリーミングデータのＭＰＵが第２画面制御モジュール１３ｂに伝達された時点が「１０：１０：１０．３」であると仮定する。この際、前記第１画面制御モジュール１３ａ及び第２画面制御モジュール１３ｂが各ストリーミングデータが受信され次第に、受信されたストリーミングデータを再生する場合、第１画面と第２画面間の再生時点が互いに異なるという問題点が発生し、本発明の再生制御モジュール１３ｃは、第１画面に対するＭＭＴストリーミングデータのＭＰＵと第２画面に対するＭＭＴストリーミングデータのＭＰＵは、互いに同一の時間の再生タイム情報を含んでいるので、受信された直ちに、各制御モジュールを介して出力されるように制御するものではなく、再生タイム情報によっていずれか一つ、前述した例で第１画面に対するＭＭＴストリーミングデータの以前ＭＰＵを所定時間増やすか、受信された現在ＭＰＵを所定時間遅延させて、１０：１０：１０．３秒に受信された各現在ＭＰＵが同一の時点に再生されるように制御できる。
他の例として、第１画面に対するＭＭＴストリーミングデータのＭＰＵが第１画面制御モジュール１３ａに伝達された時点が「１０：１０：１０．５」であり、第２画面に対するＭＭＴストリーミングデータのＭＰＵが第２画面制御モジュール１３ｂに伝達された時点が「１０：１０：１０．３」である場合、すなわち、第１画面に対するＭＭＴストリーミングデータのＭＰＵが挿入された再生タイム情報より遅く受信された場合、再生制御モジュール１３ｃは、直ちにストリーミングデータが再生されるように制御するものではなく、第２画面制御モジュール１３ｂを制御し、第２画面に対するＭＭＴストリーミングデータが１０：１０：１０．５秒に第１画面に対するＭＭＴストリーミングデータのＭＰＵと同時に再生されるように制御できる。言い換えれば、第１画面に対するＭＭＴストリーミングデータと第２画面に対するＭＭＴストリーミングデータで再生タイム情報の同一のＭＰＵは、同時に再生されるように制御するもので、この際、第１画面に対するＭＭＴストリーミングデータと第２画面に対するＭＭＴストリーミングデータのＭＰＵのうちいずれか一つは、挿入された再生タイム情報より遅く再生されるか、速く再生され得る。
なお、本発明の実施形態による第１画面制御モジュール１３ａ及び第２画面制御モジュール１３ｂは、それぞれ第１画面及び第２画面に対する各種イベント命令を処理できる。例えば、第２画面に対するサイズ調節イベントが発生すると、第２画面制御モジュール１３ｂは、マルチビューサービスサーバー２０にこれについて案内する。ここで、サイズ調節イベントは、例えば、第２画面領域に対するマルチタッチ入力によって発生し得る。第２画面制御モジュール１３ｂは、このようなサイズ調節イベントが発生すると、第２画面に対する以前サイズ情報、変更された現在サイズ情報、第２画面の位置情報等をマルチビューサービスサーバー２０に案内できる。なお、スイッチングイベントが発生すると、言い換えれば、第２画面と第１画面間のスイッチングイベントが発生すると、第１画面制御モジュール１３ａ又は第２画面制御モジュール１３ｂの両方のうちいずれか一つがマルチビューサービスサーバー２０にこれについて案内できる。この時も、同様に、必要な情報を含んでマルチビューサービスサーバー２０に案内できる。
タイム生成モジュール１３ｄは、端末１０に具備された各種資源を利用して現在端末の時間情報を確認する。例えば、端末１０に具備されたＧＰＳを介して現在端末の時間情報を確認できる。
格納部１４は、本発明の実施形態による機能動作に必要な応用プログラムを含めて、当該応用プログラム実行中に発生する多様なデータを一時的に格納できる。特に、本発明の実施形態による格納部１４は、本発明の実施形態によるＭＭＴストリーミングデータ処理のための多様な命令を格納できる。
このような格納部１４は、大きく、プログラム領域とデータ領域を含むことができる。プログラム領域は、端末１０を起動させる運営体制（ＯＳ）のような端末１０の駆動のための関連した情報を格納する。データ領域は、端末１０の使用によって発生するデータが格納される領域であって、前述したように、ストリーミングデータ処理のための多様な命令が格納され得る。このような、格納部１４は、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ハードディスク（ｈａｒｄ ｄｉｓｋ）、マルチメディアカードマイクロ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ）タイプのメモリ（例えば、ＳＤ又はＸＤメモリ等）、ラム（ＲＡＭ）、ロム（ＲＯＭ）等の格納媒体を含んで構成され得る。
表示部１５は、端末１０の機能実行中に発生する一連の動作状態及び動作結果等に対する情報を表示する。特に、本発明の表示部１５は、マルチビューサービスサーバー２０からストリーミングデータを再生することによって発生する情報を表示できる。特に、第１画面と第２画面に対応する領域に第１画面に対するＭＭＴストリーミングデータと第２画面に対するＭＭＴストリーミングデータが出力されて表示される過程を支援できる。なお、本発明の表示部１５は、第１画面及び第２画面以外の複数個の画面領域をさらに構成して出力することもできる。
このような、表示部１５は、前述したように、入力部１２とともに一つのタッチパネル（又はタッチスクリーン）の形態で具現されることもでき、前記入力部１２とともに具現される場合、ユーザのタッチ動作によって発生する多様な情報を表示できる。
また、前述したような本発明の表示部１５は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＴＦＴ−ＬＣＤ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ ＬＣＤ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅｓ）、発光ダイオード（ＬＥＤ）、ＡＭＯＬＥＤ（Ａｃｔｉｖｅ Ｍａｔｒｉｘ Ｏｒｇａｎｉｃ ＬＥＤ）、フレキシブルディスプレイ（Ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）及び３次元ディスプレイ（３Ｄｉｍｅｎｓｉｏｎ）等で構成され得る。また、これらのうち一部のディスプレイは、それを介して外部が見られるように、透明型又は光透過型で構成され得る。これは、ＴＯＬＥＤ（Ｔｒａｎｓｐａｒａｎｔ ＯＬＥＤ）を含む透明ディスプレイ形態で構成され得る。
このように、図４を参照して端末１０の主要構成要素について説明した。しかし、図４に図示された構成要素がすべて必須構成要素であるものではなく、図示された構成要素より多い構成要素により端末１０が具現されることもでき、それより少ない構成要素により端末１０が具現されることもできる。例えば、端末１０は、電気的な信号である音源をアナログ信号に変換して出力する音源出力部（図示せず）をさらに含んで構成され得、このような音源出力部（図示せず）は、マルチビューサービスサーバー２０から伝達されたＭＭＴストリーミングデータの再生時に発生する多様な情報を出力できる。
また、図４に図示された端末１０の主要構成要素の位置は、便宜上又は他の理由により変わってもよいことはもちろんである。また、制御部１３を構成するモジュールは、第１画面制御モジュール１３ａ、第２画面制御モジュール１３ｂ、再生制御モジュール１３ｃ及びタイム生成モジュール１３ｄのみを図示したが、これに限定されるものではなく、多様な機能を行う多様なモジュールで制御部１３が構成されることもできる。また、説明の便宜のために、第１画面制御モジュール１３ａ及び第２画面制御モジュール１３ｂを用いて第１画面ＭＭＴストリーミングデータと第２画面ＭＭＴストリーミングデータが処理されることを例示して説明したが、一つのモジュールを用いて第１画面ＭＭＴストリーミングデータと第２画面ＭＭＴストリーミングデータが処理されることもできる。
また、本発明では、説明の便宜のために、主画面である第１画面及び副画面である第２画面のみを例示して説明したが、副画面は、複数個生成され得、それぞれの副画面は、ＭＭＴストリーミングデータを受信して出力し得る。
以下、本発明の実施形態によるマルチビューサービスサーバー２０の主要構成及び動作方法について説明する。
図６は、本発明の実施形態によるマルチビューサービスサーバーの主要構成を示すブロック図である。
図３及び図６を参照すれば、本発明の実施形態によるマルチビューサービスサーバー２０は、サーバー通信部２１、サーバー制御部２２及びサーバー格納部２３を含んで構成され得る。
サーバー通信部２１は、端末１０と情報の送受信を支援する役目を行う。例えば、サーバー通信部２１は、端末１０からＭＭＴストリーミングデータの伝送要請を受信でき、端末１０にＭＭＴストリーミングデータを伝送できる。ここで、ＭＭＴストリーミングデータは、一つ以上のアセットで構成され得、一つのアセットは、複数個のＭＰＵで構成され得る。サーバー通信部２１は、複数個のＭＰＵで構成される複数のアセットをストリーミング方式に従って順次に一つのチャネルを介して端末１０に伝達できる。また、本発明のサーバー通信部２１は、端末１０の要請に従って第１画面に対するＭＭＴストリーミングデータと第２画面に対するＭＭＴストリーミングデータを順次に端末１０に伝達でき、この際のＭＭＴストリーミングデータは、同一のアセットＩＤを含むか、互いに異なるアセットＩＤを含むことができる。また、同一のチャネルを介して端末１０に伝達されるか、互いに異なるチャネルを介して端末１０に伝達されることもできる。
なお、サーバー通信部２１がコンテンツ提供サーバー３０と情報を送受信する場合、サーバー通信部２１は、特定のコンテンツの提供要請をコンテンツ提供サーバー３０に伝送し、コンテンツ提供サーバー３０から伝達されるコンテンツを受信することもできる。この際、本発明のサーバー通信部２１は、サーバー制御部２２の制御によってコンテンツ提供サーバー３０から第１画面及び第２画面ストリーミングデータ生成のために必要なコンテンツをあらかじめ要請し、端末１０のマルチビューストリーミングサービス要請以前に当該コンテンツを受信できる。
サーバー制御部２２は、本発明の実施形態によるマルチビューサービスサーバー２０の全般的な制御を行う構成であって、ストリーミングデータ生成モジュール２２ａ及びストリーミングデータ伝送モジュール２２ｂを含んで構成され得る。
ここで、ストリーミングデータ生成モジュール２２ａは、ＭＭＴストリーミングデータを生成する役目を行うことができる。例えば、コンテンツ提供サーバー３０から伝達されるコンテンツを、ＭＭＴプロトコルを支援するストリーミングデータ形態に変換処理する過程を支援できる。この際、ストリーミングデータ生成モジュール２２ａは、ＭＭＴストリーミングデータの変換時に、ＭＰＵのブロックサイズを決定し、決定されたＭＰＵのブロックサイズによって各ＭＰＵを構成し、ＭＭＴストリーミングデータを生成できる。ここで、ＭＰＵのブロックサイズは、端末１０の状況情報によって、端末１０に連結された通信網５０の状況によって可変的に調節され得る。また、本発明のストリーミングデータ生成モジュール２２ａは、各ＭＰＵ別に再生タイム情報を挿入し、端末１０がこれを同期化して再生されるように、必要な過程を行うことができる。例えば、図７に示されたように、ＭＭＴストリーミングデータは、複数個のＭＰＵで構成され得、複数個のＭＰＵが順次に端末１０に伝達され得る。この際、各ＭＰＵは、図２を参照して説明したように、ヘッダー情報５０７を含むことができ、各ヘッダー情報５０７は、ＭＰＵ ＩＤ、ＵＴＣ（Ｕｎｉｖｅｒｓａｌ Ｔｉｍｅ Ｃｌｏｃｋ）等のデータ処理に必要な情報を含むことができる。ここで、ＵＴＣは、再生タイム情報を意味する。
特に、本発明の実施形態によるストリーミングデータ生成モジュール２２ａは、端末１０の要請に従って第１画面に対するＭＭＴストリーミングデータを生成でき、第２画面に対するＭＭＴストリーミングデータを生成できる。この際、ストリーミングデータ生成モジュール２２ａは、端末１０の第１画面の支援解像度に合わせて第１画面に対するＭＭＴストリーミングデータの解像度及びフレーム数を調節して生成し得、第２画面の支援解像度に合わせて第２画面に対するＭＭＴストリーミングデータの解像度及びフレーム数を調節して生成し得る。すなわち、本発明の実施形態によるストリーミングデータ生成モジュール２２ａは、ＭＭＴ方式に従ってストリーミングデータを生成することによって、複雑なエンコーディング手続なしに、第１画面に対するＭＭＴストリーミングデータ及び第２画面に対するＭＭＴストリーミングデータを生成でき、これにより、端末１０の要請に従ってより迅速に解像度及びフレーム数を調節し、ＭＭＴストリーミングデータの提供が可能になる。
また、本発明のストリーミングデータ生成モジュール２２ａは、端末１０のマルチビューストリーミングサービス要請前に、第１画面に対するＭＭＴストリーミングデータと第２画面に対するＭＭＴストリーミングデータ生成のために必要な情報をコンテンツ提供サーバー３０に要請し、あらかじめ受信できる。例えば、端末１０に第１画面に対するＭＭＴストリーミングデータを提供する場合、ストリーミングデータ生成モジュール２２ａは、当該端末１０のマルチビューストリーミングサービス要請に待機して、あらかじめ第２画面に対するＭＭＴストリーミングデータ生成のための情報をコンテンツ提供サーバー３０に要請して受信し得る。これにより、端末１０からマルチビューストリーミングサービス提供の要請時に、ストリーミングデータ生成モジュール２２ａは、直ちに第１画面に対するＭＭＴストリーミングデータと第２画面に対するＭＭＴストリーミングデータを端末１０に迅速に提供できる。
なお、本発明の実施形態によるストリーミングデータ生成モジュール２２ａは、端末１０からのマルチビューストリーミングサービスと関連した多様なイベント情報を処理できる。例えば、端末１０から第２画面に対するサイズ調節イベントと関連した情報が受信されれば、ストリーミングデータ生成モジュール２２ａは、前記端末１０のサイズ調節イベントによって第２画面に対するＭＭＴストリーミングデータの解像度及びフレーム数を変更し、変更された第２画面に対するＭＭＴストリーミングデータを提供できる。また、端末１０からスイッチングイベントに対する情報が受信されれば、ストリーミングデータ生成モジュール２２ａは、前記端末１０のスイッチングイベントによって第１画面及び第２画面に対するＭＭＴストリーミングデータの解像度及びフレーム数を変更し、変更された第１画面に対するＭＭＴストリーミングデータと第２画面に対するＭＭＴストリーミングデータを提供できる。すなわち、前述したように、ＭＭＴ方式に従って各ストリーミングデータを提供することによって、端末１０で発生する多様なイベント情報によって、迅速に第１画面及び第２画面に対するＭＭＴストリーミングデータの解像度及びフレーム数を変更して提供し得る。
また、ストリーミングデータ伝送モジュール２２ｂは、ＭＭＴストリーミングデータを要請した端末１０に当該ＭＭＴストリーミングデータを伝送する役目を行うことができる。この際、端末１０が要請したＭＭＴストリーミングデータが複数のＭＰＵで構成される複数のアセットを含む場合、これを順次に端末１０が受信するように制御する役目を行うことができる。なお、本発明のストリーミングデータ伝送モジュール２２ｂは、端末１０から伝達すされるベント情報によって、ストリーミングデータ生成モジュール２２ａに要請し、該当するＭＭＴストリーミングデータが生成されるように支援することもできる。
さらに、本発明のサーバー制御部２２は、ＭＭＴストリーミングデータを要請した端末１０に対する情報を格納し、管理し得る。この際、いずれか一つの端末１０がＭＭＴストリーミングデータを要請した場合、当該端末１０が、自分が提供するマルチビューストリーミングサービスに加入されたユーザであるか否かを確認でき、自分が提供するマルチビューストリーミングサービスに加入されたユーザである場合にのみ、ＭＭＴストリーミングデータが提供されるように制御することもできる。
サーバー格納部７３は、本発明の実施形態によるマルチビューサービスサーバー２０の動作実行に必要な各種情報を格納し、管理する役目を行うことができる。
以上、本発明の実施形態によるマルチビューサービスサーバー２０の主要構成及び動作方法について説明した。
本発明の実施形態によるマルチビューサービスサーバー２０は、ハードウェア的には、通常的なウェブサーバー（Ｗｅｂ Ｓｅｒｖｅｒ）又はネットワークサーバーと同一の構成を有する。しかし、ソフトウェア的には、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｖｉｓｕａｌ Ｃ等のような言語を用いて具現されるプログラムモジュール（Ｍｏｄｕｌｅ）を含む。
なお、本発明の各装置に搭載されるメモリは、当該装置内で情報を格納する。一具現例の場合、メモリは、コンピュータで読み取り可能な媒体である。一具現例で、メモリは、揮発性メモリユニットであってもよく、他の具現例の場合、メモリは、非揮発性メモリユニットであってもよい。一具現例の場合、格納装置は、コンピュータで読み取り可能な媒体である。多様な互いに異なる具現例で、格納装置は、例えばハードディスク装置、光学ディスク装置、或いは、任意の他の大容量格納装置を含むこともできる。
なお、本発明の実施形態で使用される「〜モジュール」という用語は、ソフトウェア構成要素を意味し、「〜モジュール」は、所定の役目を行う。一例として「〜モジュール」は、ソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバー、データ、データベース、データ構造、テーブル、アレイ、及び変数を含む。また、構成要素と「〜モジュール」内で提供される機能は、さらに小さい数の構成要素及び「〜モジュール」に結合されるか、追加的な構成要素と「〜モジュール」とにさらに分離され得る。
たとえ本明細書と図面では、例示的な装置構成を記述しているが、本明細書で説明する機能的な動作と主題の具現物は、他の類型のデジタル電子回路で具現されるか、本明細書で開示する構造及びその構造的な等価物を含むコンピュータソフトウェア、ファームウエア或いはハードウェアで具現されるか、これらのうち一つ以上の結合で具現可能である。本明細書で説明する主題の具現物は、一つ以上のコンピュータプログラム製品、言い換えれば、本発明による装置の動作を制御するために、或いはこれによる実行のために、有形のプログラム格納媒体上にエンコーディングされたコンピュータプログラム命令に関する一つ以上のモジュールとして具現され得る。コンピュータで読み取り可能な媒体は、機械で読み取り可能な格納装置、機械で読み取り可能な格納基板、メモリ装置、機械で読み取り可能な電波型信号に影響を及ぼす物質の組成物或いはこれらのうち一つ以上の組合であることができる。
以下、本発明の実施形態によるマルチビューストリーミングサービス支援方法について説明する。
図８は、本発明の実施形態によるマルチビューストリーミングサービス支援方法を説明するためのデータ流れ図である。
図８を参照すれば、端末１０は、マルチビューストリーミング再生要請に従って、マルチビューサービスサーバー２０に第１画面に対するＭＭＴストリーミングデータ及び第２画面に対するＭＭＴストリーミングデータを要請できる（Ｓ１０１〜Ｓ１０３）。前記過程は、同時に行われることができる。また、第１画面に対するＭＭＴストリーミングデータが再生されている状態で、マルチビューストリーミング再生要請が発生すると、第２画面に対するＭＭＴストリーミングデータを要請することもできる。
これにより、マルチビューサービスサーバー２０は、各ＭＭＴストリーミングデータを生成する（Ｓ１０５）。この際、各ストリーミングデータのＭＰＵユニットに再生タイム情報を挿入し、端末１０に第１画面に対するストリーミングデータ及び第２画面に対するストリーミングデータを伝送する（Ｓ１０７〜Ｓ１０９）。
これを受信した端末１０は、各ＭＰＵの再生タイム情報を確認し、端末１０自分の現在タイム情報を確認する（Ｓ１１１）。また、端末１０は、確認された再生タイム情報によって各ストリーミングデータのＭＰＵを同期化して再生し得る（Ｓ１１３）。
例えば、マルチビューサービスサーバー２０から受信された第１画面に対するＭＭＴストリーミングデータのＭＰＵに挿入された再生タイム情報と第２画面に対するＭＭＴストリーミングデータのＭＰＵに挿入された再生タイム情報が「１０：１０：１０．３」であると仮定する。また、第１画面に対するＭＭＴストリーミングデータのＭＰＵが端末１０に受信された時点が「１０：１０：１０．０」であり、第２画面に対するＭＭＴストリーミングデータのＭＰＵが端末１０に受信された時点が「１０：１０：１０．３」であると仮定する。この場合、端末１０は、再生タイム情報によって第１画面に対するＭＭＴストリーミングデータの以前ＭＰＵの再生を所定時間増やすか、受信された現在ＭＰＵを所定時間遅延させて、１０：１０：１０．３秒に受信された各現在ＭＰＵが同一の時点に再生されるように制御できる。
他の例として、第１画面に対するＭＭＴストリーミングデータのＭＰＵが端末１０に受信された時点が「１０：１０：１０．５」であり、第２画面に対するＭＭＴストリーミングデータのＭＰＵが端末１０に受信された時点が「１０：１０：１０．３」である場合、端末１０は、第２画面に対するＭＭＴストリーミングデータの以前ＭＰＵを一定時間遅延させて再生されるようにした後、１０：１０：１０．５秒に第１画面に対するＭＭＴストリーミングデータのＭＰＵと同時に再生されるように制御できる。
言い換えれば、本発明は、第１画面に対するＭＭＴストリーミングデータと第２画面に対するＭＭＴストリーミングデータで再生タイム情報の同一のＭＰＵは、同時に再生されるように制御するもので、この際、第１画面に対するＭＭＴストリーミングデータと第２画面に対するＭＭＴストリーミングデータのＭＰＵのうちいずれか一つは、挿入された再生タイム情報より遅く再生されるか、速く再生され得る。
なお、本発明の実施形態によるマルチビューストリーミングサービスは、端末１０で発生する多様なイベント情報によって対応するマルチビューストリーミングサービスを提供できる。
これについて図９及び図１０を参照して説明する。
図９は、本発明の一実施形態によるマルチビューストリーミングサービス支援方法を説明するためのデータ流れ図である。
図９を参照すれば、端末１０は、マルチビューストリーミング再生要請に従って、マルチビューサービスサーバー２０に第１画面に対するＭＭＴストリーミングデータ及び第２画面に対するＭＭＴストリーミングデータを要請し、これを受信できる（Ｓ２０１〜Ｓ２０３）。この際、マルチビューサービスサーバー２０は、第１画面に対するＭＭＴストリーミングデータは、例えば、秒当たり３０フレーム（３０ｆｒａｍｅ／ｓｅｃ）で具現し、端末１０に伝送でき、第２画面に対するＭＭＴストリーミングデータは、例えば、秒当たり２０フレーム（２０ｆｒａｍｅ／ｓｅｃ）で具現し、端末１０に伝送できる。ここで、前記受信される過程は、同時に行われることができる。
端末１０は、受信された各ストリーミングデータを再生タイム情報によって同期化して再生している状態で、第２画面に対するサイズ調節イベントが発生するかを判断する（Ｓ２０５）。前記判断結果、第２画面に対するサイズ調節イベントが発生すると、端末１０は、マルチビューサービスサーバー２０にこれを案内する。この際、端末１０は、第２画面に対する以前サイズ情報、変更された現在サイズ情報、第２画面の位置情報等を含んでマルチビューサービスサーバー２０に案内できる。
これを受信したマルチビューサービスサーバー２０は、サイズ調節イベントによって第２画面に対するストリーミングデータ解像度を変更する（Ｓ２０９）。例えば、端末１０の第２画面解像度が３２０ｘ１２８である状態で、サイズ調節イベントによって第２画面領域が６４０ｘ４８０に拡大された場合、これに対する情報を確認したマルチビューサービスサーバー２０は、前記変更された解像度によって以後に発生する第２画面に対するＭＭＴストリーミングデータの各ＭＰＵを変更できる。この際、マルチビューサービスサーバー２０は、変更された解像度によってフレーム数を調節でき、調節されたフレーム数に合わせて各ＭＰＵを調節できる。
また、マルチビューサービスサーバー２０は、再構成された第２画面に対するＭＭＴストリーミングデータの各ＭＰＵに再生タイム情報を挿入し（Ｓ２１１）、第１画面に対するＭＭＴストリーミングデータの各ＭＰＵにも再生タイム情報を挿入した後、各ＭＭＴストリーミングデータを端末１０に伝送できる（Ｓ２１３〜Ｓ２１５）。
これを受信した端末１０は、各ＭＰＵの再生タイム情報を確認し、端末１０自分の現在タイム情報を確認する（Ｓ２１７）。また、端末１０は、確認された再生タイム情報によって各ストリーミングデータのＭＰＵを同期化して再生し得る（Ｓ２１９）。
図１０は、本発明の他の実施形態によるマルチビューストリーミングサービス支援方法を説明するためのデータ流れ図である。
図１０を参照すれば、端末１０は、マルチビューストリーミング再生要請に従って、マルチビューサービスサーバー２０に第１画面に対するＭＭＴストリーミングデータ及び第２画面に対するＭＭＴストリーミングデータを要請し、これを受信できる（Ｓ３０１〜Ｓ３０３）。前記受信される過程は、同時に行われることができる。
端末１０は、受信された各ストリーミングデータを再生タイム情報によって同期化して再生している状態で、スイッチングイベントが発生するかを判断する（Ｓ３０５）。前記判断結果、第２画面と第１画面間のスイッチングイベントが発生すると、端末１０は、マルチビューサービスサーバー２０にこれを案内する。ここで、スイッチングイベントは、第２画面で表示されている映像と第１画面で表示される映像を互いに転換して表示するためのユーザ要請イベントを意味する。
なお、端末１０は、マルチビューサービスサーバー２０においてスイッチングイベント処理のために必要な情報を含んでマルチビューサービスサーバー２０に案内できる。
これを受信したマルチビューサービスサーバー２０は、スイッチングイベントによって第１画面及び第２画面をスイッチングするために、各ＭＭＴストリーミングデータの解像度及びフレームを調節する（Ｓ３０９）。また、マルチビューサービスサーバー２０は、解像度及びフレーム数が調節された各ＭＭＴストリーミングデータのＭＰＵごとに再生タイム情報を挿入し（Ｓ３１１）、各ＭＭＴストリーミングデータを端末１０に伝送できる（Ｓ３１３〜Ｓ３１５）。
これを受信した端末１０は、各ＭＰＵの再生タイム情報を確認し、端末１０自分の現在タイム情報を確認する（Ｓ３１７）。また、端末１０は、確認された再生タイム情報によって各ストリーミングデータのＭＰＵを同期化して再生し得る（Ｓ３１９）。
以上、本発明の実施形態によるマルチビューストリーミングサービス支援方法について説明した。
前述したような本発明の実施形態によるマルチビューストリーミングサービス支援方法は、コンピュータプログラムコマンドとデータを格納するのに適合なコンピュータで読み取り可能な媒体の形態で提供されることもできる。本発明の一実施形態によるマルチビューストリーミングサービス支援方法を具現するための記録媒体に記録されるプログラムは、端末がマルチビューサービスサーバーに第１画面に対するＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）ストリーミングデータと第２画面に対するＭＰＥＧメディアトランスポートストリーミングデータを要請する段階と、前記端末が前記マルチビューサービスサーバーから前記第１画面に対するストリーミングデータと第２画面に対するストリーミングデータが受信されることによって、前記各ストリーミングデータの各メディアプロセッシングユニット（ＭＰＵ；Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に挿入された再生タイム情報を確認する段階と、前記端末が前記確認された再生タイム情報によって前記第１画面に対するストリーミングデータと前記第２画面に対するストリーミングデータの各メディアプロセッシングユニットを同期化させて再生されるように制御する段階等を行うことができる。
この際、記録媒体に記録されたプログラムは、コンピュータで読み出されて設置され、実行されることによって、前述した機能を実行できる。
ここで、コンピュータが記録媒体に記録されたプログラムを読み出して、プログラムで具現された機能を実行させるために、前述したプログラムは、コンピュータのプロセッサ（ＣＰＵ）がコンピュータの装置インターフェース（Ｉｎｔｅｒｆａｃｅ）を介して読み出されることができるＣ、Ｃ＋＋、ＪＡＶＡ（登録商標）、機械語等のコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができる。
このようなコードは、前述した機能を定義した関数等と関連した機能的なコード（Ｆｕｎｃｔｉｏｎ Ｃｏｄｅ）を含むことができ、前述した機能をコンピュータのプロセッサが所定の手続に基づいて実行させるのに必要な実行手続関連制御コードを含むこともできる。また、このようなコードは、前述した機能をコンピュータのプロセッサが実行させるのに必要な追加情報やメディアがコンピュータの内部又は外部メモリのどの位置（アドレス番地）で参照されなければならないかに対するメモリ参照関連コードをさらに含むことができる。また、コンピュータのプロセッサが前述した機能を実行させるために、遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータやサーバー等と通信が必要な場合、コードは、コンピュータのプロセッサがコンピュータの通信モジュールを利用して遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータやサーバー等とどのように通信しなければならないか、通信時にどんな情報やメディアを送受信しなければならないか等に対する通信関連コードをさらに含むこともできる。
このような、コンピュータプログラムコマンドとデータを格納するのに適したコンピュータで読み取り可能な媒体は、例えば、記録媒体は、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体（Ｍａｇｎｅｔｉｃ Ｍｅｄｉａ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｋ）のような光記録媒体（Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、フロプチカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光媒体（Ｍａｇｎｅｔｏ−ＯｐｔｉｃａｌＭｅｄｉａ）、及びロム（ＲＯＭ、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ラム（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）のような半導体メモリを含む。プロセッサとメモリは、特殊目的の論理回路により補充されるか、それに統合され得る。
また、コンピュータが読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散され、分散方式でコンピュータが読み取り可能なコードが格納され、実行され得る。また、本発明を具現するための機能的な（Ｆｕｎｃｔｉｏｎａｌ）プログラムとこれと関連したコード及びコードセグメント等は、記録媒体を読み出してプログラムを実行させるコンピュータのシステム環境等を考慮して、本発明の属する技術分野におけるプログラマーによって容易に推論されるか、または変更されることもできる。
本明細書は、多数の特定の具現物の詳細事項を含むが、これらは、如何なる発明や請求可能なものの範囲に対しても制限的なものとして理解されてはならず、むしろ特定の発明の特定の実施形態に特有な特徴に対する説明として理解しなければならない。個別的な実施形態の文脈で本明細書に記述された特定の特徴は、単一実施形態で組み合わせて具現されることもできる。反対に、単一実施形態の文脈で記述した多様な特徴も個別的に或いは如何なる適切な下位組合でも複数の実施形態で具現可能である。さらに、特徴が特定の組合で動作し、初期にそのように請求されたように描写され得るが、請求された組合からの一つ以上の特徴は、一部の場合にその組合から排除され得、その請求された組合は、下位組合や下位組合の変形物に変更され得る。
同様に、特定の手順で図面で動作を描いているが、これは、好適な結果を得るために図示されたその特定の手順や順次な順にそのような動作を実行しなければならないか、すべての図示された動作が実行されなければならないものと理解されてはならない。特定の場合、マルチタスキングと並列プロセッシングが有利であることができる。また、前述した実施形態の多様なシステムコンポネントの分離は、そのような分離をすべての実施形態で要求するものと理解されてはならず、説明したプログラムコンポネントとシステムは、一般的に単一のソフトウェア製品に一緒に統合されるか、多重ソフトウェア製品にパッケージングされ得るという点を理解しなければならない。
本発明は、ストリーミングデータ提供方法に関し、より詳細には、第１画面及び第２画面を含むマルチビューストリーミングサービス提供方法において、第１画面及び第２画面のストリーミングデータを同期化させて再生できるマルチビューストリーミングサービス支援方法及びこれを支援する装置に関する。
本発明によれば、マルチビューストリーミングサービスの再生時に、第１画面と第２画面のストリーミングデータを同期化させて再生することによって、第１画面と第２画面との間に発生する時間差を顕著に低減でき、ユーザの便宜性が向上することができ、これにより、ストリーミングサービス産業の発展に貢献できる。
なお、本発明は、市販または営業の可能性が十分であると共に、現実的に明白に実施できる程度であるため、産業上の利用可能性がある。
本発明は、ストリーミングデータ提供技術に関し、より詳細には、少なくとも二つ以上の画面を含むマルチビューストリーミングサービス提供方法及び装置に関する。
この部分に記述された内容は、単純に、本発明に対する背景情報を提供するだけで、従来技術を構成するものではない。
最近のインターネット環境において多様な動画サービスが登場するに伴い、高画質ライブ放送に対する需要が次第に増加している。また、最近、ライブストリーミング（ｌｉｖｅ ｓｔｒｅａｍｉｎｇ）方式に従って多様な動画サービスを提供しようとする試みが行われている。
ストリーミングサービスは、インターネットのようなネットワークを介してサーバーから端末にビデオ又はオーディオのようなコンテンツを伝送することを意味する。伝送されるデータがまるで水が流れることのように処理されると言って、ストリーミングと言う。サーバーは、ビデオをネットワークに伝送できるようにパケットに分離し、端末は、該パケットをさらに集めて元々の形態で復元した後、再生する。この際、再生とパケット受信は、同時に起こり、関連されたた一連のパケットをストリーム（ｓｔｒｅａｍ）と言い、一連のパケットの集合をストリーミングデータと言う。
最近のストリーミングサービスは、マルチビュー機能を支援できる。マルチビューサービスは、ＰＩＰ（Ｐｉｃｔｕｒｅ Ｉｎ Ｐｉｃｔｕｒｅ）サービスの一つであって、主画面が表示されている状態で、副画面が表示されるように処理されることを意味する。しかし、リアルタイムでストリーミングデータを伝達されて再生するストリーミングサービスは、主画面及び副画面の各々に独立的にストリーミングデータを提供することによって、主画面と副画面間の再生時間の差異が発生するという問題点がある。
本発明は、前述した従来の問題点を解決するために提案されたものであって、特に、ＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）技術を利用してマルチビューストリーミングサービスを提供できるマルチビューストリーミングサービス支援方法及びこれを支援する装置を提供することに目的がある。
特に、本発明は、マルチビューストリーミングサービスの再生時に、第１画面と第２画面のストリーミングデータを同期化させて再生することによって、第１画面と第２画面との間に発生する時間差を低減できるマルチビューストリーミングサービス支援方法及びこれを支援する装置を提供することに目的がある。
また、本発明は、マルチビューストリーミングサービスの提供時に、第１画面と第２画面間のスイッチングイベント又は特定画面のサイズ調節イベント等、発生する多様なイベント情報によって適合なストリーミングデータをリアルタイムで構成し、端末に伝送できるマルチビューストリーミングサービス支援方法及びこれを支援する装置を提供することに目的がある。
しかし、このような本発明の目的は、前記の目的に制限されず、言及されない他の目的は、下記の記載から明確に理解され得る。
前述したような目的を達成するための本発明の実施形態によるマルチビューストリーミングサービス提供装置は、第１画面に対する第１ＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）ストリーミングデータの再生処理を支援する第１画面制御モジュールと、第２画面に対する第２ＭＰＥＧメディアトランスポートストリーミングデータの再生処理を支援する第２画面制御モジュールと、マルチビューストリーミング再生要請時に、前記第１ストリーミングデータと前記第２ストリーミングデータの各メディアプロセッシングユニット（ＭＰＵ；Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に挿入された再生タイム情報を確認した後、前記再生タイム情報によって前記第１ストリーミングデータと前記第２ストリーミングデータの各メディアプロセッシングユニットを同期化させて再生するように、前記第１画面制御モジュール及び前記第２画面制御モジュールを制御する再生制御モジュールと、を含んで構成され得る。
この際、前記再生制御モジュールは、現在タイム情報を確認し、前記確認された現在タイム情報と前記第１、第２ストリーミングデータの各メディアプロセッシングユニットごとに挿入された再生タイム情報との間の差異が発生する場合、前記第１、第２ストリーミングデータの各メディアプロセッシングユニットを同期化させて再生するように、前記差異が発生したいずれか一つのストリーミングデータのメディアプロセッシングユニットの再生時点を制御できる。
また、前記再生制御モジュールは、前記第２画面に対するサイズ調節イベントが発生すると、前記マルチビューサービスサーバーから前記サイズ調節イベントによって変更された前記第２ストリーミングデータを受信できる。
また、前記再生制御モジュールは、前記第１画面制御モジュール及び前記第２画面制御モジュール間のスイッチングイベントが発生すると、前記マルチビューサービスサーバーから前記スイッチングイベントによって解像度が変更された前記第１ストリーミングデータと前記第２ストリーミングデータを受信できる。
前述したような目的を達成するための本発明の実施形態によるマルチビューストリーミングサービス提供方法は、端末がマルチビューサービスサーバーに第１画面に対する第１ＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）ストリーミングデータと第２画面に対する第２ＭＰＥＧメディアトランスポートストリーミングデータを要請する段階と、前記端末が前記マルチビューサービスサーバーから前記第１ストリーミングデータと第２ストリーミングデータが受信されることによって、前記各ストリーミングデータの各メディアプロセッシングユニット（ＭＰＵ；Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に挿入された再生タイム情報を確認する段階と、前記端末が前記確認された再生タイム情報によって前記第１ストリーミングデータと前記第２ストリーミングデータの各メディアプロセッシングユニットを同期化させて再生するように制御する段階と、を含んでなることができる。
この際、前記再生されるように制御する段階は、前記端末が前記第１ストリーミングデータの各メディアプロセッシングユニットごとに挿入された再生タイム情報を確認する段階と、前記端末が前記第２ストリーミングデータの各メディアプロセッシングユニットごとに挿入された再生タイム情報を確認する段階と、前記端末が現在タイム情報を確認し、前記確認された現在タイム情報と前記第１、第２ストリーミングデータの各メディアプロセッシングユニットごとに挿入された再生タイム情報との間の差異が発生する場合、前記第１、第２ストリーミングデータの各メディアプロセッシングユニットを同期化させて再生するように、前記差異が発生したいずれか一つのストリーミングデータのメディアプロセッシングユニットの再生時点を制御する段階と、を含んでなることができる。
前述したような目的を達成するための本発明の実施形態によるマルチビューストリーミングサービス提供方法は、マルチビューサービスサーバーが、端末から第１画面に対する第１ＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）ストリーミングデータと第２画面に対する第２ＭＰＥＧメディアトランスポートストリーミングデータの要請を受信する段階と、前記マルチビューサービスサーバーが、前記第１ストリーミングデータと前記第２ストリーミングデータの各メディアプロセッシングユニット（ＭＰＵ；Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）ごとに再生タイム情報を挿入して前記端末に伝送する段階と、を含んでなることができる。
この際、前記端末に伝送する段階は、前記マルチビューサービスサーバーが前記端末の状況情報によって前記メディアプロセッシングユニットのブロックサイズを可変的に調節し、前記可変的に調節された各メディアプロセッシングユニットごとに再生タイム情報を挿入し、前記端末に伝送できる。
さらに、本発明は、前述したようなマルチビューストリーミングサービス提供方法を実行するプログラムを記録したコンピュータ読み取り可能な記録媒体を提供できる。
本発明のマルチビューストリーミングサービス支援方法及びこれを支援する装置によれば、ＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）技術を利用してマルチビューストリーミングサービスをより効率的に端末に提供できる。
また、本発明によれば、マルチビューストリーミングサービスの再生時に、第１画面と第２画面のストリーミングデータを同期化させて再生することによって、第１画面と第２画面との間に発生する時間差を顕著に低減でき、ユーザの便宜性が向上することができる。
また、本発明によれば、第１画面と第２画面間のスイッチングイベント又は第２画面のサイズ調節イベント等発生する多様なイベント情報によって適合なストリーミングデータをリアルタイムで受信して再生し得、また、多様なイベント情報が発生しても、主画面と第２画面間の時間差なしにマルチビューストリーミングサービスを利用でき、ユーザの便宜性が極大化され得る。
また、前述した効果以外の多様な効果が、後述する本発明の実施形態による詳細な説明において直接的又は暗示的に開示され得る。
図１は、本発明に適用されるＭＭＴ技術を説明するための例示図である。 ず２は、本発明に適用されるＭＭＴ技術を説明するための例示図である。 図３は、本発明の実施形態によるマルチビューストリーミングサービス提供のためのシステムの構成を概略的に示す構成図である。 図４は、本発明の実施形態による端末の主要構成を示すブロック図である。 図５は、本発明の実施形態によるマルチビューストリーミングサービス提供方法を説明するための端末画面例示図である。 図６は、本発明の実施形態によるマルチビューサービスサーバーの主要構成を示すブロック図である。 図７は、本発明の実施形態によるＭＭＴストリーミングデータを説明するための例示図である。 図８は、本発明の実施形態によるマルチビューストリーミングサービス提供方法を説明するためのデータ流れ図である。 図９は、本発明の他の実施形態によるマルチビューストリーミングサービス提供方法を説明するためのデータ流れ図である。 図１０は、本発明の他の実施形態によるマルチビューストリーミングサービス提供方法を説明するためのデータ流れ図である。
本発明の課題解決手段の特徴及び利点を一層明確にするために、添付の図面に示された本発明の特定の実施形態を参照して本発明を詳細に説明する。
但し、下記の説明及び添付の図面において本発明の要旨を不明にすることができる公知機能または構成に対する詳細な説明を省略する。また、図面全体にわたって同じ構成要素は、できるだけ、同じ参照符号で示していることに留意しなければならない。
以下の説明及び図面で使用された用語や単語は、通常的や辞書的な意味に限定すべきものではなく、発明者は、自分の発明を最善の方法で説明するための用語の概念で適切に定義できるという原則に即して本発明の技術的思想に符合する意味と概念に解釈すべきである。したがって、本明細書に記載した実施形態と図面に示された構成は、本発明の最も好ましい一実施形態に過ぎず、本発明の技術的思想をすべて代弁するものではないので、本出願時点においてこれらを代替できる多様な均等物と変形例があり得ることを理解しなければならない。
なお、第１、第２等のように序数を含む用語は、多様な構成要素を説明するために使用するものであって、１つの構成要素を他の構成要素から区別する目的だけで使用され、前記構成要素を限定するために使用するものではない。例えば、本発明の権利範囲を逸脱することなく、第２構成要素は、第１構成要素と命名され得、同様に、第１構成要素は、第２構成要素と命名され得る。
また、任意の構成要素が他の構成要素に「連結されて」いるか、「接続されて」いると言及する場合、これは、論理的または物理的に連結されるか、接続され得ることを意味する。言い換えれば、構成要素が他の構成要素に直接的に連結されるか、接続され得るが、中間に他の構成要素が存在してもよく、間接的に連結されるか、接続されてもよいと理解しなければならない。
また、本明細書で使用した用語は、ただ特定の実施形態を説明するために使用されたものであって、本発明を限定しようとする意図ではない。単数の表現は、文脈上、明白に異なって意味しない限り、複数の表現を含む。また、本明細書で記述される「含む」又は「有する」等の用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定しようとするものであって、一つ又はそれ以上の他の特徴や数字、段階、動作、構成要素、部品又はこれらを組み合わせたもの等の存在又は付加可能性をあらかじめ排除しないものと理解されなければならない。
なお、本発明の範囲内の実施形態は、コンピュータ実行可能なコマンド又はコンピュータ読み取り可能媒体に格納されたデータ構造を有するか、伝達するコンピュータ読み取り可能な媒体を含む。このようなコンピュータ読み取り可能な媒体は、汎用又は特殊目的のコンピュータシステムによりアクセス可能な任意の利用可能な媒体であることができる。例として、このようなコンピュータ読み取り可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＣＤ−ＲＯＭ又はその他光ディスク格納装置、磁気ディスク格納装置又はその他磁気格納装置、又はコンピュータ実行可能なコマンド、コンピュータ読み取り可能なコマンド又はデータ構造の形態よりなる所定のプログラムコード手段を格納するか又は伝達するのに利用され得、汎用又は特殊目的コンピュータシステムによりアクセスされ得る任意のその他媒体のような物理的格納媒体を含むことができるが、これに限定されない。
以下の説明及び特許請求範囲で、「ネットワーク」又は「通信網」は、コンピュータシステム及び／又はモジュール間の電子データを伝送できるようにする一つ以上のデータリンクとして定義される。情報がネットワーク又は他の（有線、無線、又は有線又は無線の組合である）通信接続を介してコンピュータシステムに伝送されるか、又は提供されるとき、この接続は、コンピュータ読み取り可能な媒体として理解され得る。コンピュータ読み取り可能なコマンドは、例えば、汎用コンピュータシステム又は特殊目的コンピュータシステムが特定の機能又は機能のグループを行うようにするコマンド及びデータを含む。コンピュータ実行可能なコマンドは、例えば、アセンブリー語、又は、甚だしくは、ソースコードのような二進、中間フォーマットコマンドであることができる。
また、本発明は、パーソナルコンピュータ、ラップトップコンピュータ、ハンドヘルド装置、マルチプロセッサーシステム、マイクロプロセッサー基盤又はプログラム可能な家電製品（ｐｒｏｇｒａｍｍａｂｌｅ ｃｏｎｓｕｍｅｒ ｅｌｅｃｔｒｏｎｉｃｓ）、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、モバイル電話、ＰＤＡ、ページャー（ｐａｇｅｒ）等を含む多様な類型のコンピュータシステム構成を有するネットワークコンピュータ環境で実施され得る。
本発明は、また、ネットワークを介して有線データリンク、無線データリンク、又は有線及び無線データリンクの組合でリンクされたローカル及び遠隔コンピュータシステムのすべてがタスクを行う分散型システム環境で実行され得る。分散型システム環境で、プログラムモジュールは、ローカル及び遠隔メモリ格納装置に位置し得る。
以下、本発明は、ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）技術が適用されることを仮定して説明する。しかし、これは、説明の便宜のための例示に過ぎず、本発明が必ずＭＭＴ技術にのみ適用されるものではない。
本明細書で使用された用語の意味は、次のように定義できる。
コンテンツコンポネント（ｃｏｎｔｅｎｔ ｃｏｍｐｏｎｅｎｔ）又はメディアコンポネント（ｍｅｄｉａ ｃｏｍｐｏｎｅｎｔ）は、単一種類のメディア（ｍｅｄｉａ ｏｆ ａ ｓｉｎｇｌｅ ｔｙｐｅ）又は単一種類のメディアの部分集合（ｓｕｂｓｅｔ ｏｆ ｔｈｅ ｍｅｄｉａ ｏｆ ａ ｓｉｎｇｌｅ ｔｙｐｅ）として定義され、例えば、ビデオトラック（ｖｉｄｅｏ ｔｒａｃｋ）、映画字幕（ｍｏｖｉｅ ｓｕｂｔｉｔｌｅｓ）、又はビデオ向上階層（ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒ ｏｆ ｖｉｄｅｏ）になり得る。
コンテンツ（ｃｏｎｔｅｎｔ）は、コンテンツコンポネントの集合と定義し、例えば映画（ｍｏｖｉｅ）、歌（ｓｏｎｇ）等になり得る。
ハイブリッド伝送（ｈｙｂｒｉｄ ｄｅｌｉｖｅｒｙ）は、二つ以上のコンテンツコンポネントが二つ以上の物理的に互いに異なる形態の網（ｎｅｔｗｏｒｋ）を介して同時に伝送されるものと定義する。
表現（ｐｒｅｓｅｎｔａｔｉｏｎ）は、ユーザが一つのコンテンツコンポネント又は一つのサービスを経験（例えば映画感想）できるように、一つ又は一つ以上の装置により行われる動作（ｏｐｅｒａｔｉｏｎ）と定義する。
サービス（ｓｅｒｖｉｃｅ）は、表現（ｐｒｅｓｅｎｔａｔｉｏｎ）又は格納（ｓｔｏｒａｇｅ）のために伝送される一つ又は一つ以上のコンテンツコンポネントと定義する。
サービス情報（ｓｅｒｖｉｃｅ ｉｎｆｏｒｍａｔｉｏｎ）は、一つのサービス、前記サービスの特性（ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）及びコンポネントを記述するメタデータと定義する。
ナンタイムドデータ（Ｎｏｎ−ｔｉｍｅｄ ｄａｔａ）は、時間を明示せず消費されるすべてのデータ要素を定義する。ナンタイムドデータは、そのメディアユニットのデコーディング及び／又は表現のための固有な同期化情報を有しないデータである。
タイムドデータ（ｔｉｍｅｄ ｄａｔａ）は、そのメディアユニットのデコーディング及び／又は表現のための固有な同期化情報を有するデータであって、デコーディング及びプレゼンテーションされる特定の時間と関連されたデータ要素を定義する。
メディアフラグメントユニット（Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ；ＭＦＵ）は、どんな特定のコーデックにも独立された一般的なコンテナであって、メディアデコーダーにより独立的に消費され得る符号化されたメディアデータを収容する。アクセスユニット（ＡＵ）は、タイムドメディアデータのためのアクセスユニット（ＡＵ）の全部又は一部のように、メディアデコーダーにより独立的にデコード可能なメディアデータ又はノンタイムドメディアデータのための一つのファイルを含む。これは、アクセスユニット（ＡＵ）より小さいか又は同じサイズを持ってトランスポート階層（Ｔｒａｎｓｐｏｒｔ ｌａｙｅｒ）で使用され得る情報を収容する。
ＭＭＴ個体（ＭＭＴ ｅｎｔｉｔｙ）は、ＭＭＴプロファイルに従うソフトウェア又はハードウェアの具現である。
ＭＭＴパケット（ＭＭＴ ｐａｃｋｅｔ）は、ＭＭＴプロトコルによって生成又は消費されるデータの形式化されたユニット（ｆｏｒｍａｔｔｅｄ ｕｎｉｔ）である。
ＭＭＴペイロード（ＭＭＴ ｐａｙｌｏａｄ）は、パッケージを輸送するか、ＭＭＴプロトコルやインターネット応用階層伝送プロトコル（例えばＲＴＰ（Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）がある）を使用してメッセージをシグナリングするデータの形式化されたユニットである。
ＭＭＴプロトコルは、ＭＭＴペイロードをＩＰネットワークを介して伝達するための応用階層伝送プロトコルである。
ＭＭＴペイロードフォーマット（ＭＭＴ ｐａｙｌｏａｄ ｆｏｒｍａｔ）は、ＭＭＴプロトコル又はインターネット応用階層プロトコル（例えば、ＲＴＰ）により伝達されるＭＭＴパッケージ又はＭＭＴシグナリングメッセージのペイロードのためのフォーマットである。
以下、本発明の実施形態を説明するに先立って、本発明に適用されるＭＭＴ技術について図１及び図２を参照してより具体的に説明する。
図１及び図２は、本発明に適用されるＭＭＴ技術を説明するための例示図である。
図１を参照すれば、ＭＭＴパッケージ５００は、ＭＭＴ機能領域で定義するデータモデルのうち論理的に構造化された最も大きいＭＭＴ個体（ｅｎｔｉｔｙ）であって、映画一編のような一つの独立的なコンテンツを意味する。ストリーミングデータサービスを提供するライブストリーミング提供サーバーは、このようなＭＭＴパッケージを生成し、端末に提供でき、ＭＭＴパッケージ５００は、図１に示されたように、多数の個体の集めで構成される論理的に構造化されたコレクションになり得る。このようなＭＭＴパッケージ５００は、一つ以上のアセット５０５、構成情報５０２、伝送特性５０３及び説明的な（ｄｅｓｃｒｉｐｔｉｖｅ）情報、すなわちパッケージ情報５０１を含むことができる。
このうち、構成情報（Ｃｏｍｐｏｓｉｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ）５０２は、ＭＭＴアセット５０５間の関係（ｒｅｌａｔｉｏｎｓｈｉｐ）、すなわち空間的及び時間的関係に対する情報を含む。一つのコンテンツ（ｃｏｎｔｅｎｔ）が複数個のＭＭＴパッケージよりなる場合、構成情報５０２は複数のＭＭＴパッケージ間の関係（ｒｅｌａｔｉｏｎｓｈｉｐ）を示すための情報をさらに含むことができる。
伝送特性（ＡＤＣ；Ａｓｓｅｔ Ｄｅｌｉｖｅｒｙ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）５０３は、アセット５０５の伝達のためのＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）要求及び統計を示す。複数のアセット５０５は、一つの伝送特性５０３に関連できる。この際の伝送特性５０３は、アセット５０５の効果的な伝達のためにパッケージをカプセル化する個体によりＭＭＴペイロード及びＭＭＴプロトコルのパラメータを設定するのに使用され得る。また、伝送特性５０３は、ＭＭＴアセット５０５又はＭＭＴパケットの伝達条件（ｄｅｌｉｖｅｒｙ ｃｏｎｄｉｔｉｏｎ）を決定するために必要な伝達特性情報を含むことができ、例えばトラフィック記述パラメータ（ｔｒａｆｆｉｃ ｄｅｓｃｒｉｐｔｉｏｎ ｐａｒａｍｅｔｅｒ）及びＱｏＳ記述子（ＱｏＳ ｄｅｓｃｒｉｐｔｏｒ）を含むことができる。このような伝達特性情報は、通信網の環境に関係ないパラメータ形態で表現され得る。
アセット５０５は、タイムド又はナンタイムド性質を有するオーディオ、ビデオ又はウェブページデータのような符号化されたメディアデータをカプセル化するパッケージの要素を意味するものであって、最も大きい論理的データ単位を意味する。このようなアセット５０５は、同一の伝達特性でデータを含むデータ個体を意味する。例えば、ＭＭＴパッケージ５００は、ＭＭＴ機能領域で定義するデータモデルのうち最も大きい個体（ｅｎｔｉｔｙ）であって、一編の映画のような一つの独立的なコンテンツを意味するとしたら、アセット５０５は、オーディオデータ、ビデオデータ、スクリプトデータのようなＭＭＴパッケージ５００を構成するデータ単位を意味する。
このようなアセット５０５について図２を参照してさらに具体的に説明する。図２を参照すると、アセット５０５は少なくとも一つ以上のＭＰＵ５０６で構成され得る。ここで、ＭＰＵ５０６は、メディアプロセッシングユニット（ＭＰＵ；Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、以下、ＭＰＵという）を意味し、論理的なデータ客体である。一つのアセット５０５を構成する複数のＭＰＵ５０６は、同一のアセットＩＤを含む。
また、ＭＰＵ５０６は、どんな特定のメディアコーデックにも独立された、タイムド又はナンタイムドデータに対する包括的なコンテナであることができる。このようなＭＰＵ５０６は、完全で且つ独立的に処理され得る符号化されたメディアデータであって、ＭＰＵのプロセッシングは、パッケージへのエンカプセレーション（Ｅｎｃａｐｓｕｌａｔｉｏｎ）又は伝達のためのパケット化を意味できる。このような、ＭＰＵ５０６は、タイムドデータのための一つ以上のアクセスユニットを含むことができる。ここで、アクセスユニット（ＡＵ；Ａｃｃｅｓｓ Ｕｎｉｔ）は、時間情報を有することができる最も小さいデータ個体である。また、ＭＰＵ５０６は、ナンタイムドデータのためのアクセスユニット境界がないデータの部分を含んで構成され得る。このようなＭＰＵ５０６は、完全で且つ独立的に処理され得るコードされたメディアデータユニットであって、ヘッダー５０７とコードされたデータ５０８で構成され得る。なお、本発明のＭＰＵ５０６は、メディアフラグメントユニット（ＭＦＵ；Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ）でさらに構成され得る。
このような本発明のＭＭＴパッケージ５００は、ＭＰＵ基盤で適用され、動作され得る。以下の説明では、ＭＭＴストリーミングデータのメディアプロセッシングユニット単位で処理が行われることを中心に説明するが、これに限定されるものではない。システム具現方式に従ってメディアフラグメントユニット単位で本発明の処理が行われることもできる。
以下では、まず、本発明の実施形態によるマルチビューストリーミングサービス提供のための全体システムの構造について説明する。
図３は、本発明の実施形態によるマルチビューストリーミングサービス提供のためのシステムの構成を概略的に示す構成図である。
図３を参照すれば、本発明の実施形態によるシステム１００は、多数の端末１０とマルチビューサービスサーバー２０とコンテンツ提供サーバー３０と通信網５０を含むことができる。
各構成要素についてより具体的に説明すれば、まず、端末１０は、ユーザの操作によって通信網５０を経てマルチビューサービスサーバー２０と情報を送受信できるユーザの装置を意味する。このような端末１０は、通信網５０を介して音声又はデータ通信を行うことができる。このために、端末１０は、情報の送受信のためのブラウザー、プログラム及びプロトコルを格納するメモリ、各種プログラムを実行して制御するためのマイクロプロセッサー等を具備できる。特に、本発明の実施形態による端末１０は、マルチビューサービスサーバー２０から伝達されるＭＰＥＧメディアトランスポートストリーミングデータ（以下、「ＭＭＴストリーミングデータ」という）を再生し処理し得、特に、第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータをＰＩＰ形式で表示される過程を支援できる。
このような本発明の実施形態による端末１０は、多様な形態で具現され得る。例えば、端末１０は、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、タブレットＰＣ（Ｔａｂｌｅｔ ＰＣ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、ＭＰ３Ｐｌａｙｅｒ等の移動端末機はもちろん、スマートテレビ（Ｓｍａｒｔ ＴＶ）、デスクトップコンピュータ等のような固定端末機が使用されることもできる。
このような本発明の端末１０は、デジタル機器のコンバージェンス（ｃｏｎｖｅｒｇｅｎｃｅ）傾向によって携帯機器の変形が非常に多様で、すべて列挙することはできないが、前記言及されたユニットと同等な水準のユニットが本発明による端末１０に適用され得、特に、通信網５０を経てマルチビューサービスサーバー２０からＭＭＴストリーミングデータを受信し、これを処理できる装置であれば、いずれの装置も本発明の実施形態による端末１０に利用され得る。
マルチビューサービスサーバー２０は、本発明の実施形態によるＭＭＴストリーミングデータを端末１０の要請に従って端末１０に伝達する役目を行う。ここで、ＭＭＴストリーミングデータは、前述したように、ＭＭＴパケット形態で端末１０に伝達され得るストリーミングデータを意味する。このようなマルチビューサービスサーバー２０は、端末１０にＭＭＴストリーミングデータ形式によって例えば放送サービスを提供できる。特に、本発明の実施形態によるマルチビューサービスサーバー２０は、端末１０にＭＭＴストリーミングデータ伝送するとき、端末１０のマルチビューストリーミング再生要請に従って、第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータを順次に伝送できる。
また、マルチビューサービスサーバー２０は、コンテンツ提供サーバー３０と連動して、コンテンツ提供サーバー３０から伝達されるデータをＭＭＴストリーミングデータに変換処理し、端末１０に伝達することもできる。
前述したような端末１０及びマルチビューサービスサーバー２０は、通信網５０を介して多様な情報を送受信する。本発明の実施形態による通信網５０は、 ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ワイファイ（Ｗｉ−Ｆｉ）、ワイブロ（Ｗｉｂｒｏ）、ワイマックス（Ｗｉｍａｘ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）等の無線通信方式を利用することが好ましいが、これに限定されるものではなく、システム具現方式に従ってイダーネット（Ｅｔｈｅｒｎｅｔ）、ｘＤＳＬ（ＡＤＳＬ、ＶＤＳＬ）、ＨＦＣ（Ｈｙｂｒｉｄ Ｆｉｂｅｒ Ｃｏａｘｉａｌ Ｃａｂｌｅ）、ＦＴＴＣ（Ｆｉｂｅｒ ｔｏ Ｔｈｅ Ｃｕｒｂ）、ＦＴＴＨ（Ｆｉｂｅｒ Ｔｏ Ｔｈｅ Ｈｏｍｅ）等の有線通信方式を利用することもできる。
このような本発明の実施形態による通信網５０は、例えば、接続網（図示せず）、コア網（図示せず）及びインターネット網（図示せず）を含んで構成され得る。
ここで、接続網（図示せず）は、端末１０のコア網（図示せず）への接近を支援するものであって、有無線通信方式に従って端末１０のコア網（図示せず）接近を支援できる。このような接続網（図示せず）は、複数の基地局を含む。ここで、基地局は、例えばＢＳ（Ｂａｓｅ Ｓｔａｔｉｏｎ）、ＢＴＳ（Ｂａｓｅ Ｔｒａｎｓｃｅｉｖｅｒ Ｓｔａｔｉｏｎ）、ＮｏｄｅＢ、ｅＮｏｄｅＢ等のような多数の基地局を含む概念になり得、基地局とＢＳＣ（ＢａｓｅＳｔａｔｉｏｎ Ｃｏｎｔｒｏｌｌｅｒ）、ＲＮＣ（Ｒａｄｉｏ Ｎｅｔｗｏｒｋ Ｃｏｎｔｒｏｌｌｅｒ）のような基地局制御機のすべてを含む概念になり得る。また、基地局は、基地局に一体に具現されていたデジタル信号処理部と無線信号処理部をそれぞれデジタルユニット（Ｄｉｇｉｔａｌ Ｕｎｉｔ、以下、ＤＵという）と無線ユニット（Ｒａｄｉｏ Ｕｎｉｔ、以下、ＲＵという）に区分し、多数の領域にそれぞれ多数のＲＵ（図示せず）を設置し、多数のＲＵ（図示せず）を集中化されたＤＵ（図示せず）と連結して構成することもできる。
接続網（図示せず）と一緒に通信網（図示せず）を構成するコア網（図示せず）は、接続網（図示せず）と外部網、例えば、インターネット網（図示せず）を連結する役目を行う。
このようなコア網（図示せず）は、前述したように、接続網（図示せず）間の移動性制御及びスイッチング等の移動通信サービスのための主要機能を行うネットワークシステムであって、サーキット交換（ｃｉｒｃｕｉｔ ｓｗｉｔｃｈｉｎｇ）又はパケット交換（ｐａｃｋｅｔ ｓｗｉｔｃｈｉｎｇ）を行い、ネットワーク内でのパケット流れを管理及び制御する。また、コア網（図示せず）は、周波数間の移動性を管理し、接続網（図示せず）及びコア網（図示せず）内のトラフィック及び他のネットワーク、例えばインターネット網（図示せず）との連動のための役目を行うこともできる。このようなコア網（図示せず）は、ＳＧＷ（Ｓｅｒｖｉｎｇ ＧａｔｅＷａｙ）、ＰＧＷ（ＰＤＮ ＧａｔｅＷａｙ）、ＭＳＣ（Ｍｏｂｉｌｅ Ｓｗｉｔｃｈｉｎｇ Ｃｅｎｔｅｒ）、ＨＬＲ（Ｈｏｍｅ Ｌｏｃａｔｉｏｎ Ｒｅｇｉｓｔｅｒ）、ＭＭＥ（Ｍｏｂｉｌｅ Ｍｏｂｉｌｉｔｙ Ｅｎｔｉｔｙ）とＨＳＳ（Ｈｏｍｅ Ｓｕｂｓｃｒｉｂｅｒ Ｓｅｒｖｅｒ）等をさらに含んで構成されることもできる。
また、インターネット網（図示せず）は、ＴＣＰ／ＩＰプロトコルによって情報が交換される通常の公開された通信網、すなわち共用網を意味するものであって、マルチビューサービスサーバー２０と連結され、マルチビューサービスサーバー２０から端末１０に伝達されるＭＭＴストリーミングデータをコア網（図示せず）及び接続網（図示せず）を経て端末１０に提供されるように支援する役目を行うことができる。
一方、端末１０は、接続網（図示せず）、コア網（図示せず）、及びインターネット網（図示せず）を経てマルチビューサービスサーバー２０にＭＭＴストリーミングデータ受信のための各種命令を伝送できる。しかし、これに限定されるものではなく、マルチビューサービスサーバー２０は、コア網（図示せず）内に位置でき、コア網（図示せず）を運用する事業者と同一の事業者又は互いに異なる事業者により運用されることもできる。
また、前述した通信方式以外にも、その他広く公知されたか、以後開発されるすべての形態の通信方式を含むことができる。
前述したような本発明を構成する端末１０及びマルチビューサービスサーバー２０の主要構成及びより具体的な動作方法については、後述して説明するようにし、本発明の実施形態による各装置に搭載されるプロセッサは、本発明による方法を実行するためのプログラム命令を処理できる。一具現例で、このプロセッサは、シングルスレッド（Ｓｉｎｇｌｅ−ｔｈｒｅａｄｅｄ）プロセッサであることができ、他の具現例で、このプロセッサは、マルチスレッド（Ｍｕｌｔｉｔｈｒｅａｄｅｄ）プロセッサであることができる。ひいては、このプロセッサは、メモリ或いは格納装置上に格納された命令を処理することが可能である。
以下、本発明の実施形態による端末１０の主要構成及び動作方法について説明する。
図４は、本発明の実施形態による端末の主要構成を示すブロック図である。
図３及び図４を参照すると、本発明の実施形態による端末１０は、通信部１１、入力部１２、制御部１３、格納部１４及び表示部１５を含んで構成され得る。
各構成要素についてより具体的に説明すると、まず、通信部１１は、コア網（図示せず）接続のために、隣近の接続網（図示せず）に接続される過程を支援できる。例えば通信部１１は、一定半径内に位置する基地局（図示せず）を探索し、探索された基地局（図示せず）への接続要請を行い、基地局（図示せず）と接続される過程を支援することによって、接続網（図示せず）に接続され得る。ここで、端末１０の通信部１１が接続網（図示せず）の基地局（図示せず）に接続される過程は、公知された多様な構成を採用できるので、具体的な説明は、省略する。なお、通信部１１が基地局（図示せず）と通信手続を行うとき、ユーザ情報を伝送できる。基本的に、ＩＭＳＩ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ）等のような端末識別番号等を基地局（図示せず）に伝送でき、基地局（図示せず）がコア網（図示せず）との接続手続を行う間に、端末識別番号等を利用して加入者情報を確認できる。
なお、本発明の実施形態による通信部１１は、通信網５０を介してマルチビューサービスサーバー２０にＭＭＴストリーミングデータ伝送を要請し、伝達されるＭＭＴストリーミングデータを制御部１３に伝達する役目を行う。
入力部１２は、ユーザから入力される数字及び文字情報等の多様な情報、各種機能設定及び端末１０の機能制御と関連して入力される信号を制御部１３に伝達する。特に、本発明の入力部１２は、ＭＭＴストリーミングデータ伝送要請のためのユーザ入力を支援できる。例えば、ユーザからＭＭＴストリーミングデータを再生できるアプリケーションの実行入力を支援し、アプリケーションを介して特定チャネルに対する選択命令情報の入力を支援できる。また、本発明の入力部１２は、マルチビューストリーミング再生要請に対するユーザ入力を支援できる。ここで、マルチビューストリーミング再生要請は、例えば、ＭＭＴストリーミングデータを再生できる特定のアプリケーションでＭＭＴストリーミングデータ再生中に特定メニューの選択入力、特定ボタンの選択入力によって発生され得、これにより、当該アプリケーションは、複数の画面が同時に再生され得るマルチビューストリーミング機能に転換され得る。
このような入力部１２は、前述したように、キーボードやキーパッドのようなキー入力手段、タッチセンサーやタッチパッドのようなタッチ入力手段、音声入力手段、ジャイロセンサー、地磁気センサー、加速度センサー、近接センサー、及びカメラのうち少なくとも一つ以上を含んでなるジェスチャー入力手段を含むこともできる。
そのほか、現在開発中又は以後開発され得るすべての形態の入力手段が含まれることができる。
制御部１３は、端末１０の全般的な制御を行うものであって、ハードウェア的にＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）／ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含む少なくとも一つ以上のプロセッサと少なくとも一つ以上のメモリローディングデータがローディングされる実行メモリ（例えば、レジスタ及び／又はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））及び前記プロセッサとメモリに少なくとも一つ以上のデータを入出力するバス（ＢＵＳ）を含んでなることができる。また、ソフトウェア的に端末１０に定義された機能を行うために、所定の記録媒体から前記実行メモリにローディングされ、前記プロセッサにより演算処理される所定のプログラムルーチン（Ｒｏｕｔｉｎｅ）又はプログラムデータを含んでなることができる。言い換えれば、本発明の実施形態によるマルチビューサービスサーバー２０にＭＭＴストリーミングデータを要請し受信し、マルチビュー機能を用いてＭＭＴストリーミングデータを処理するために、端末１０に具備される機能のうちソフトウェア的に処理が可能な構成要素を制御部１３の機能として判断できる。
このような、本発明の制御部１３は、本発明の実施形態によるストリーミングデータ処理のために具備される少なくとも一つ以上の構成要素と機能的に連結される。すなわち、制御部１３は、通信部１１、入力部１２、格納部１４及び表示部１５と機能的に連結され、前記各構成要素に電源供給及び機能実行のための信号の流れを制御する。
特に、本発明の実施形態による制御部１３は、ＭＰＥＧメディアトランスポートストリーミングデータを処理できるＭＰＥＧ−２ＴＳ処理機能を支援できる。例えば、マルチビューサービスサーバー２０から伝達される複数のＭＰＵで構成されるＭＭＴストリーミングデータを受信でき、ストリーミングデータが複数のアセットで構成される場合、複数のアセットをタイム情報によって同期化して再生して出力する機能を行うことができる。また、本発明の制御部１３は、ＭＭＴプロトコルで定義する多様な動作実行のための機能を処理できる。このような本発明の制御部１３は、マルチビューストリーミングサービス機能を支援するために、第１画面制御モジュール１３ａ、第２画面制御モジュール１３ｂ、再生制御モジュール１３ｃ及びタイム生成モジュール１３ｄを含んで構成され得る。ここで、本発明の制御部１３が前記第１画面制御モジュール１３ａ及び第２画面制御モジュール１３ｂのみを含むことを例示して説明するが、これに限定されるものではなく、本発明の制御部１３は、複数の画面制御モジュールで構成され、複数の画面で構成されるマルチビューストリーミングサービス機能を支援できる。すなわち、主画面である第１画面が表示されている状態で、副画面である第２画面及び第３画面を同時に表示することもでき、このためのそれぞれの画面制御モジュールを含んで構成され得る。なお、前述した機能は、一つのモジュールを介して動作されることもできる。
以下では、説明の便宜のために、主画面である第１画面制御モジュール１３ａ及び副画面である第２画面制御モジュール１３ｂを中心に説明する。
第１画面制御モジュール１３ａは、第１画面に対する第１ＭＭＴストリーミングデータの再生処理を支援する。ここで、第１画面は、全体画面を介して表示される主画面になり得る。また、第２画面制御モジュール１３ｂは、第２画面に対する第２ＭＭＴストリーミングデータの再生処理を支援する。ここで、第２画面は、第１画面上に表示され、第１画面の表示サイズより小さく表示され得る副画面を意味できる。
第１画面制御モジュール１３ａ及び第２画面制御モジュール１３ｂ間のＭＭＴストリーミングデータ再生の制御は、再生制御モジュール１３ｃを介して行われることができる。すなわち、再生制御モジュール１３ｃは、前記第１画面制御モジュール１３ａを介して第１画面に対する第１ＭＭＴストリーミングデータが再生されている状態で、入力部１２を介してマルチビューストリーミング再生要請が入力されると、前記第２画面制御モジュール１３ｂを駆動させて、副画面である第２画面が活性化されるように制御し、第２ＭＭＴストリーミングデータが第２画面を介して表示されるように、第２画面制御モジュール１３ｂを制御できる。この際、第２画面制御モジュール１３ｂを介して表示される第２画面に対する第２ＭＭＴストリーミングデータは、第１画面制御モジュール１３ａを介して表示される第１画面に対する第１ＭＭＴストリーミングデータと同一であってもよく、異なる場面、異なるチャネル等のように、互いに異なるＭＭＴストリーミングデータであってもよく。
すなわち、図５に示されたように、ＭＭＴストリーミングデータを再生できるアプリケーション６００が実行されている状態で、主画面である第１画面６１０を介して第１ＭＭＴストリーミングデータが再生され得る。この際、特定メニュー又は命令ボタンを介してマルチビューサービス機能が活性化されると、副画面である第２画面６２０が活性化されて表示され得、第１画面６１０と第２画面６２０は、同一のＭＭＴストリーミングデータを再生することもでき、互いに異なるチャネル、又は互いに異なるＭＭＴストリーミングデータを再生することもできる。同一のＭＭＴストリーミングデータの場合、第１画面６１０を介して表示される第１ＭＭＴストリーミングデータの一領域を拡大した第２ＭＭＴストリーミングデータを含むことができる。
従来のストリーミングサービスにおいてのマルチビュー機能の場合、第１画面６１０と第２画面６２０との間に表示されるストリーミングデータの再生時点に差が発生するという問題点がある。すなわち、同一のストリーミングデータを再生していても、第１画面６１０と第２画面６２０間の同期がなされず、第１画面６１０より第１画面６２０を介して出力されるストリーミングデータが遅延されて出力されるか、第１画面６１０を介して出力されるストリーミングデータが遅延されて出力され得るという問題点がある。
本発明は、このような問題点を改善するためのものであって、図４に示された本発明の再生制御モジュール１３ｃは、第１画面に対する第１ストリーミングデータと第２画面に対する第２ストリーミングデータを再生する前に、各ＭＰＵごとに挿入された再生タイム情報を確認した後、確認された再生タイム情報によって第１画面に対する第１ストリーミングデータと第２画面に対する第２ストリーミングデータの各ＭＰＵを同期化させて再生されるように制御できる。例えば、マルチビューサービスサーバー２０から受信された第１画面制御モジュール１３ａが要請した第１画面に対する第１ＭＭＴストリーミングデータのＭＰＵに挿入された再生タイム情報が「１０：１０：１０．３」であり、第２画面制御モジュール１３ｂが要請した第２画面に対する第２ＭＭＴストリーミングデータのＭＰＵに挿入された再生タイム情報が「１０：１０：１０．３」であると仮定する。そして、第１画面に対する第１ＭＭＴストリーミングデータのＭＰＵが第１画面制御モジュール１３ａに伝達された時点が「１０：１０：１０．０」であり、第２画面に対する第２ＭＭＴストリーミングデータのＭＰＵが第２画面制御モジュール１３ｂに伝達された時点が「１０：１０：１０．３」であると仮定する。この際、前記第１画面制御モジュール１３ａ及び第２画面制御モジュール１３ｂが各ストリーミングデータが受信され次第に、受信されたストリーミングデータを再生する場合、第１画面と第２画面間の再生時点が互いに異なるという問題点が発生される。しかし、第１画面に対する第１ＭＭＴストリーミングデータのＭＰＵと第２画面に対する第２ＭＭＴストリーミングデータのＭＰＵは、互いに同一の時間の再生タイム情報を含んでいるので、再生制御モジュール１３ｃは各々のストリーミングデータが受信された直ちに、各制御モジュールを介して出力されるように制御するものではなく、再生タイム情報によっていずれか一つのストリーミングデータ（前述した例で第１画面に対する第１ＭＭＴストリーミングデータ）の以前ＭＰＵを所定時間増やすか、受信された現在ＭＰＵを所定時間遅延させて、１０：１０：１０．３秒に受信された各現在ＭＰＵが同一の時点に再生されるように制御できる。
他の例として、第１画面に対する第１ＭＭＴストリーミングデータのＭＰＵが第１画面制御モジュール１３ａに伝達された時点が「１０：１０：１０．５」であり、第２画面に対する第２ＭＭＴストリーミングデータのＭＰＵが第２画面制御モジュール１３ｂに伝達された時点が「１０：１０：１０．３」である場合、すなわち、第１画面に対する第１ＭＭＴストリーミングデータのＭＰＵが挿入された再生タイム情報より遅く受信された場合を仮定する。この場合、再生制御モジュール１３ｃは、直ちにストリーミングデータが再生されるように制御するものではなく、第２画面制御モジュール１３ｂを制御し、第２画面に対する第２ＭＭＴストリーミングデータが１０：１０：１０．５秒に第１画面に対する第１ＭＭＴストリーミングデータのＭＰＵと同時に再生されるように制御できる。言い換えれば、第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータで再生タイム情報の同一のＭＰＵは、同時に再生されるように制御される。この際、第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータのＭＰＵのうちいずれか一つは、挿入された再生タイム情報より遅く再生されるか、速く再生され得る。
なお、本発明の実施形態による第１画面制御モジュール１３ａ及び第２画面制御モジュール１３ｂは、それぞれ第１画面及び第２画面に対する各種イベント命令を処理できる。例えば、第２画面に対するサイズ調節イベントが発生すると、第２画面制御モジュール１３ｂは、マルチビューサービスサーバー２０でサイズ調節イベントを通知する。ここで、サイズ調節イベントは、例えば、第２画面領域に対するマルチタッチ入力によって発生し得る。第２画面制御モジュール１３ｂは、このようなサイズ調節イベントが発生すると、第２画面に対する以前サイズ情報、変更された現在サイズ情報、第２画面の位置情報等をマルチビューサービスサーバー２０で通知できる。なお、スイッチングイベントが発生すると、言い換えれば、第２画面と第１画面間のスイッチングイベントが発生すると、第１画面制御モジュール１３ａ又は第２画面制御モジュール１３ｂの両方のうちいずれか一つがマルチビューサービスサーバー２０でスイッチングイベントを通知できる。この時も、同様に、必要な情報を含んでマルチビューサービスサーバー２０に案内できる。
タイム生成モジュール１３ｄは、端末１０に具備された各種資源を利用して現在端末の時間情報を確認する。例えば、端末１０に具備されたＧＰＳを介して現在端末の時間情報を確認できる。
格納部１４は、本発明の実施形態による機能動作に必要な応用プログラムを含めて、当該応用プログラム実行中に発生する多様なデータを一時的に格納できる。特に、本発明の実施形態による格納部１４は、本発明の実施形態によるＭＭＴストリーミングデータ処理のための多様な命令を格納できる。
このような格納部１４は、大きく、プログラム領域とデータ領域を含むことができる。プログラム領域は、端末１０を起動させる運営体制（ＯＳ）のような端末１０の駆動のための関連した情報を格納する。データ領域は、端末１０の使用によって発生するデータが格納される領域であって、前述したように、ストリーミングデータ処理のための多様な命令が格納され得る。このような、格納部１４は、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ハードディスク（ｈａｒｄ ｄｉｓｋ）、マルチメディアカードマイクロ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ）タイプのメモリ（例えば、ＳＤ又はＸＤメモリ等）、ラム（ＲＡＭ）、ロム（ＲＯＭ）等の格納媒体を含んで構成され得る。
表示部１５は、端末１０の機能実行中に発生する一連の動作状態及び動作結果等に対する情報を表示する。特に、本発明の表示部１５は、マルチビューサービスサーバー２０からストリーミングデータを再生することによって発生する情報を表示できる。特に、第１画面と第２画面に対応する領域に第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータが出力されて表示される過程を支援できる。なお、本発明の表示部１５は、第１画面及び第２画面以外の複数個の画面領域をさらに構成して出力することもできる。
このような、表示部１５は、前述したように、入力部１２とともに一つのタッチパネル（又はタッチスクリーン）の形態で具現されることもでき、前記入力部１２とともに具現される場合、ユーザのタッチ動作によって発生する多様な情報を表示できる。
また、前述したような本発明の表示部１５は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＴＦＴ−ＬＣＤ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ ＬＣＤ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅｓ）、発光ダイオード（ＬＥＤ）、ＡＭＯＬＥＤ（Ａｃｔｉｖｅ Ｍａｔｒｉｘ Ｏｒｇａｎｉｃ ＬＥＤ）、フレキシブルディスプレイ（Ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）及び３次元ディスプレイ（３Ｄｉｍｅｎｓｉｏｎ）等で構成され得る。また、これらのうち一部のディスプレイは、それを介して外部が見られるように、透明型又は光透過型で構成され得る。これは、ＴＯＬＥＤ（Ｔｒａｎｓｐａｒａｎｔ ＯＬＥＤ）を含む透明ディスプレイ形態で構成され得る。
このように、図４を参照して端末１０の主要構成要素について説明した。しかし、図４に図示された構成要素がすべて必須構成要素であるものではなく、図示された構成要素より多い構成要素により端末１０が具現されることもでき、それより少ない構成要素により端末１０が具現されることもできる。例えば、端末１０は、電気的な信号である音源をアナログ信号に変換して出力する音源出力部（図示せず）をさらに含んで構成され得、このような音源出力部（図示せず）は、マルチビューサービスサーバー２０から伝達されたＭＭＴストリーミングデータの再生時に発生する多様な情報を出力できる。
また、図４に図示された端末１０の主要構成要素の位置は、便宜上又は他の理由により変わってもよいことはもちろんである。また、制御部１３を構成するモジュールは、第１画面制御モジュール１３ａ、第２画面制御モジュール１３ｂ、再生制御モジュール１３ｃ及びタイム生成モジュール１３ｄのみを図示したが、これに限定されるものではなく、多様な機能を行う多様なモジュールで制御部１３が構成されることもできる。また、説明の便宜のために、第１画面制御モジュール１３ａ及び第２画面制御モジュール１３ｂを用いて第１画面ＭＭＴストリーミングデータと第２画面ＭＭＴストリーミングデータが処理されることを例示して説明したが、一つのモジュールを用いて第１画面ＭＭＴストリーミングデータと第２画面ＭＭＴストリーミングデータが処理されることもできる。
また、本発明では、説明の便宜のために、主画面である第１画面及び副画面である第２画面のみを例示して説明したが、副画面は、複数個生成され得、それぞれの副画面は、ＭＭＴストリーミングデータを受信して出力し得る。
以下、本発明の実施形態によるマルチビューサービスサーバー２０の主要構成及び動作方法について説明する。
図６は、本発明の実施形態によるマルチビューサービスサーバーの主要構成を示すブロック図である。
図３及び図６を参照すれば、本発明の実施形態によるマルチビューサービスサーバー２０は、サーバー通信部２１、サーバー制御部２２及びサーバー格納部２３を含んで構成され得る。
サーバー通信部２１は、端末１０と情報の送受信を支援する役目を行う。例えば、サーバー通信部２１は、端末１０からＭＭＴストリーミングデータの伝送要請を受信でき、端末１０にＭＭＴストリーミングデータを伝送できる。ここで、ＭＭＴストリーミングデータは、一つ以上のアセットで構成され得、一つのアセットは、複数個のＭＰＵで構成され得る。サーバー通信部２１は、複数個のＭＰＵで構成される複数のアセットをストリーミング方式に従って順次に一つのチャネルを介して端末１０に伝達できる。また、本発明のサーバー通信部２１は、端末１０の要請に従って第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータを順次に端末１０に伝達でき、この際の第１、第２ＭＭＴストリーミングデータは、同一のアセットＩＤを含むか、互いに異なるアセットＩＤを含むことができる。また、第１、第２ＭＭＴストリーミングデータは同一のチャネルを介して端末１０に伝達されるか、互いに異なるチャネルを介して端末１０に伝達されることもできる。
なお、サーバー通信部２１がコンテンツ提供サーバー３０と情報を送受信する場合、サーバー通信部２１は、特定のコンテンツの提供要請をコンテンツ提供サーバー３０に伝送し、コンテンツ提供サーバー３０から伝達されるコンテンツを受信することもできる。この際、本発明のサーバー通信部２１は、サーバー制御部２２の制御によってコンテンツ提供サーバー３０から第１画面及び第２画面ストリーミングデータ生成のために必要なコンテンツをあらかじめ要請し、端末１０のマルチビューストリーミングサービス要請以前に当該コンテンツを受信できる。
サーバー制御部２２は、本発明の実施形態によるマルチビューサービスサーバー２０の全般的な制御を行う構成であって、ストリーミングデータ生成モジュール２２ａ及びストリーミングデータ伝送モジュール２２ｂを含んで構成され得る。
ここで、ストリーミングデータ生成モジュール２２ａは、ＭＭＴストリーミングデータを生成する役目を行うことができる。例えば、ストリーミングデータ生成モジュール２２ａはコンテンツ提供サーバー３０から伝達されるコンテンツを、ＭＭＴプロトコルを支援するストリーミングデータ形態に変換処理する過程を支援できる。この際、ストリーミングデータ生成モジュール２２ａは、ＭＭＴストリーミングデータの変換時に、ＭＰＵのブロックサイズを決定し、決定されたＭＰＵのブロックサイズによって各ＭＰＵを構成し、ＭＭＴストリーミングデータを生成できる。ここで、ＭＰＵのブロックサイズは、端末１０の状況情報によって、及び、又は端末１０に連結された通信網５０の状況によって可変的に調節され得る。また、本発明のストリーミングデータ生成モジュール２２ａは、各ＭＰＵ別に再生タイム情報を挿入し、端末１０がこれを同期化して再生されるように、必要な過程を行うことができる。例えば、図７に示されたように、ＭＭＴストリーミングデータは、複数個のＭＰＵで構成され得、複数個のＭＰＵが順次に端末１０に伝達され得る。この際、各ＭＰＵは、図２を参照して説明したように、ヘッダー情報５０７を含むことができ、各ヘッダー情報５０７は、ＭＰＵ ＩＤ、ＵＴＣ（Ｕｎｉｖｅｒｓａｌ Ｔｉｍｅ Ｃｌｏｃｋ）等のデータ処理に必要な情報を含むことができる。ここで、ＵＴＣは、再生タイム情報を意味する。
特に、本発明の実施形態によるストリーミングデータ生成モジュール２２ａは、端末１０の要請に従って第１画面に対する第１ＭＭＴストリーミングデータを生成でき、第２画面に対する第２ＭＭＴストリーミングデータを生成できる。この際、ストリーミングデータ生成モジュール２２ａは、端末１０の第１画面の支援解像度に合わせて第１画面に対する第１ＭＭＴストリーミングデータの解像度及びフレーム数を調節して生成し得、第２画面の支援解像度に合わせて第２画面に対する第２ＭＭＴストリーミングデータの解像度及びフレーム数を調節して生成し得る。すなわち、本発明の実施形態によるストリーミングデータ生成モジュール２２ａは、ＭＭＴ方式に従ってストリーミングデータを生成することによって、複雑なエンコーディング手続なしに、第１画面に対する第１ＭＭＴストリーミングデータ及び第２画面に対する第２ＭＭＴストリーミングデータを生成でき、これにより、端末１０の要請に従ってより迅速に解像度及びフレーム数を調節し、ＭＭＴストリーミングデータの提供が可能になる。
また、本発明のストリーミングデータ生成モジュール２２ａは、端末１０のマルチビューストリーミングサービス要請前に、第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータ生成のために必要な情報をコンテンツ提供サーバー３０に要請し、あらかじめ受信できる。例えば、端末１０に第１画面に対する第１ＭＭＴストリーミングデータを提供する場合、ストリーミングデータ生成モジュール２２ａは、当該端末１０のマルチビューストリーミングサービス要請に待機して、あらかじめ第２画面に対する第２ＭＭＴストリーミングデータ生成のための情報をコンテンツ提供サーバー３０に要請して受信し得る。これにより、端末１０からマルチビューストリーミングサービス提供の要請時に、ストリーミングデータ生成モジュール２２ａは、直ちに第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータを端末１０に迅速に提供できる。
なお、本発明の実施形態によるストリーミングデータ生成モジュール２２ａは、端末１０からのマルチビューストリーミングサービスと関連した多様なイベント情報を処理できる。例えば、端末１０から第２画面に対するサイズ調節イベントと関連した情報が受信されれば、ストリーミングデータ生成モジュール２２ａは、前記端末１０のサイズ調節イベントによって第２画面に対する第２ＭＭＴストリーミングデータの解像度及びフレーム数を変更し、変更された第２画面に対する第２ＭＭＴストリーミングデータを提供できる。また、端末１０からスイッチングイベントに対する情報が受信されれば、ストリーミングデータ生成モジュール２２ａは、前記端末１０のスイッチングイベントによって第１画面及び第２画面に対する第１、第２ＭＭＴストリーミングデータの解像度及びフレーム数を各々変更し、変更された第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータを提供できる。すなわち、前述したように、ＭＭＴ方式に従って各ストリーミングデータを提供することによって、端末１０で発生する多様なイベント情報によって、迅速に第１画面及び第２画面に対するＭＭＴストリーミングデータの解像度及びフレーム数を変更して提供し得る。
また、ストリーミングデータ伝送モジュール２２ｂは、ＭＭＴストリーミングデータを要請した端末１０に当該ＭＭＴストリーミングデータを伝送する役目を行うことができる。この際、端末１０が要請したＭＭＴストリーミングデータが複数のＭＰＵで構成される複数のアセットを含む場合、これを順次に端末１０が受信するように制御する役目を行うことができる。なお、本発明のストリーミングデータ伝送モジュール２２ｂは、端末１０から伝達すされるベント情報によって、ストリーミングデータ生成モジュール２２ａに要請し、該当するＭＭＴストリーミングデータが生成されるように支援することもできる。
さらに、本発明のサーバー制御部２２は、ＭＭＴストリーミングデータを要請した端末１０に対する情報を格納し、管理し得る。この際、いずれか一つの端末１０がＭＭＴストリーミングデータを要請した場合、当該端末１０が、自分が提供するマルチビューストリーミングサービスに加入されたユーザであるか否かを確認でき、自分が提供するマルチビューストリーミングサービスに加入されたユーザである場合にのみ、ＭＭＴストリーミングデータが提供されるように制御することもできる。
サーバー格納部７３は、本発明の実施形態によるマルチビューサービスサーバー２０の動作実行に必要な各種情報を格納し、管理する役目を行うことができる。
以上、本発明の実施形態によるマルチビューサービスサーバー２０の主要構成及び動作方法について説明した。
本発明の実施形態によるマルチビューサービスサーバー２０は、ハードウェア的には、通常的なウェブサーバー（Ｗｅｂ Ｓｅｒｖｅｒ）又はネットワークサーバーと同一の構成を有する。しかし、ソフトウェア的には、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｖｉｓｕａｌ Ｃ等のような言語を用いて具現されるプログラムモジュール（Ｍｏｄｕｌｅ）を含む。
なお、本発明の各装置に搭載されるメモリは、当該装置内で情報を格納する。一具現例の場合、メモリは、コンピュータで読み取り可能な媒体である。一具現例で、メモリは、揮発性メモリユニットであってもよく、他の具現例の場合、メモリは、非揮発性メモリユニットであってもよい。一具現例の場合、格納装置は、コンピュータで読み取り可能な媒体である。多様な互いに異なる具現例で、格納装置は、例えばハードディスク装置、光学ディスク装置、或いは、任意の他の大容量格納装置を含むこともできる。
なお、本発明の実施形態で使用される「〜モジュール」という用語は、ソフトウェア構成要素を意味し、「〜モジュール」は、所定の役目を行う。一例として「〜モジュール」は、ソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバー、データ、データベース、データ構造、テーブル、アレイ、及び変数を含む。また、構成要素と「〜モジュール」内で提供される機能は、さらに小さい数の構成要素及び「〜モジュール」に結合されるか、追加的な構成要素と「〜モジュール」とにさらに分離され得る。
たとえ本明細書と図面では、例示的な装置構成を記述しているが、本明細書で説明する機能的な動作と主題の具現物は、他の類型のデジタル電子回路で具現されるか、本明細書で開示する構造及びその構造的な等価物を含むコンピュータソフトウェア、ファームウエア或いはハードウェアで具現されるか、これらのうち一つ以上の結合で具現可能である。本明細書で説明する主題の具現物は、一つ以上のコンピュータプログラム製品、言い換えれば、本発明による装置の動作を制御するために、或いはこれによる実行のために、有形のプログラム格納媒体上にエンコーディングされたコンピュータプログラム命令に関する一つ以上のモジュールとして具現され得る。コンピュータで読み取り可能な媒体は、機械で読み取り可能な格納装置、機械で読み取り可能な格納基板、メモリ装置、機械で読み取り可能な電波型信号に影響を及ぼす物質の組成物或いはこれらのうち一つ以上の組合であることができる。
以下、本発明の実施形態によるマルチビューストリーミングサービス提供方法について説明する。
図８は、本発明の実施形態によるマルチビューストリーミングサービス提供方法を説明するためのデータ流れ図である。
図８を参照すれば、端末１０は、マルチビューストリーミング再生要請に従って、マルチビューサービスサーバー２０に第１画面に対する第１ＭＭＴストリーミングデータ及び第２画面に対する第２ＭＭＴストリーミングデータを要請できる（Ｓ１０１、Ｓ１０３）。前記過程は、同時に行われることができる。また、第１画面に対する第１ＭＭＴストリーミングデータが再生されている状態で、マルチビューストリーミング再生要請が発生すると、第２画面に対する第２ＭＭＴストリーミングデータを要請することもできる。
これにより、マルチビューサービスサーバー２０は、各ＭＭＴストリーミングデータを生成する（Ｓ１０５）。この際、マルチビューサービスサーバー２０は各ストリーミングデータのＭＰＵユニットに再生タイム情報を挿入し、端末１０に第１画面に対する第１ストリーミングデータ及び第２画面に対する第２ストリーミングデータを伝送する（Ｓ１０７、Ｓ１０９）。
これを受信した端末１０は、各ＭＰＵの再生タイム情報を確認し、端末１０自分の現在タイム情報を確認する（Ｓ１１１）。また、端末１０は、確認された再生タイム情報によって各ストリーミングデータのＭＰＵを同期化して再生し得る（Ｓ１１３）。
例えば、マルチビューサービスサーバー２０から受信された第１画面に対する第１ＭＭＴストリーミングデータのＭＰＵに挿入された再生タイム情報と第２画面に対する第２ＭＭＴストリーミングデータのＭＰＵに挿入された再生タイム情報が全て「１０：１０：１０．３」であると仮定する。また、第１画面に対する第１ＭＭＴストリーミングデータのＭＰＵが端末１０に受信された時点が「１０：１０：１０．０」であり、第２画面に対する第２ＭＭＴストリーミングデータのＭＰＵが端末１０に受信された時点が「１０：１０：１０．３」であると仮定する。この場合、端末１０は、再生タイム情報によって第１画面に対する第１ＭＭＴストリーミングデータの以前ＭＰＵの再生を所定時間増やすか、受信された現在ＭＰＵを所定時間遅延させて、１０：１０：１０．３秒に受信された各現在ＭＰＵが同一の時点に再生されるように制御できる。
他の例として、第１画面に対する第１ＭＭＴストリーミングデータのＭＰＵが端末１０に受信された時点が「１０：１０：１０．５」であり、第２画面に対する第２ＭＭＴストリーミングデータのＭＰＵが端末１０に受信された時点が「１０：１０：１０．３」である場合、端末１０は、第２画面に対する第２ＭＭＴストリーミングデータの以前ＭＰＵを一定時間遅延させて再生されるようにした後、１０：１０：１０．５秒に第１画面に対する第１ＭＭＴストリーミングデータのＭＰＵと同時に再生されるように制御できる。
言い換えれば、本発明は、第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータで再生タイム情報の同一のＭＰＵは、同時に再生されるように制御するもので、この際、第１画面に対する第１ＭＭＴストリーミングデータと第２画面に対する第２ＭＭＴストリーミングデータのＭＰＵのうちいずれか一つは、挿入された再生タイム情報より遅く再生されるか、速く再生され得る。
なお、本発明の実施形態によるマルチビューストリーミングサービスは、端末１０で発生する多様なイベント情報によって対応するマルチビューストリーミングサービスを提供できる。
これについて図９及び図１０を参照して説明する。
図９は、本発明の他の実施形態によるマルチビューストリーミングサービス提供方法を説明するためのデータ流れ図である。
図９を参照すれば、端末１０は、マルチビューストリーミング再生要請に従って、マルチビューサービスサーバー２０に第１画面に対する第１ＭＭＴストリーミングデータ及び第２画面に対する第２ＭＭＴストリーミングデータを要請し、これを受信できる（Ｓ２０１、Ｓ２０３）。この際、マルチビューサービスサーバー２０は、第１画面に対する第１ＭＭＴストリーミングデータは、例えば、秒当たり３０フレーム（３０ｆｒａｍｅ／ｓｅｃ）で具現し、端末１０に伝送でき、第２画面に対する第２ＭＭＴストリーミングデータは、例えば、秒当たり２０フレーム（２０ｆｒａｍｅ／ｓｅｃ）で具現し、端末１０に伝送できる。ここで、前記受信される過程は、同時に行われることができる。
端末１０は、受信された各ストリーミングデータを再生タイム情報によって同期化して再生している状態で、第２画面に対するサイズ調節イベントが発生するかを判断する（Ｓ２０５）。前記判断結果、第２画面に対するサイズ調節イベントが発生すると、端末１０は、マルチビューサービスサーバー２０でサイズ調節イベントを通知するようになる。この際、端末１０は、第２画面に対する以前サイズ情報、変更された現在サイズ情報、第２画面の位置情報等を含んでマルチビューサービスサーバー２０で通知できる。
これを受信したマルチビューサービスサーバー２０は、サイズ調節イベントによって第２画面に対する第２ストリーミングデータの解像度を変更する（Ｓ２０９）。例えば、端末１０の第２画面解像度が３２０ｘ１２８である状態で、サイズ調節イベントによって第２画面領域が６４０ｘ４８０に拡大された場合、これに対する情報を確認したマルチビューサービスサーバー２０は、前記変更された解像度によって以後に発生する第２画面に対する第２ＭＭＴストリーミングデータの各ＭＰＵを変更できる。この際、マルチビューサービスサーバー２０は、変更された解像度によってフレーム数を調節でき、調節されたフレーム数に合わせて各ＭＰＵを調節できる。
また、マルチビューサービスサーバー２０は、再構成された第２画面に対する第２ＭＭＴストリーミングデータの各ＭＰＵに再生タイム情報を挿入し（Ｓ２１１）、第１画面に対する第１ＭＭＴストリーミングデータの各ＭＰＵにも再生タイム情報を挿入した後、各ＭＭＴストリーミングデータを端末１０に伝送できる（Ｓ２１３、Ｓ２１５）。
これを受信した端末１０は、各ＭＰＵの再生タイム情報を確認し、端末１０自分の現在タイム情報を確認する（Ｓ２１７）。また、端末１０は、確認された再生タイム情報によって各ストリーミングデータのＭＰＵを同期化して再生し得る（Ｓ２１９）。
図１０は、本発明の他の実施形態によるマルチビューストリーミングサービス提供方法を説明するためのデータ流れ図である。
図１０を参照すれば、端末１０は、マルチビューストリーミング再生要請に従って、マルチビューサービスサーバー２０に第１画面に対する第１ＭＭＴストリーミングデータ及び第２画面に対する第２ＭＭＴストリーミングデータを要請し、これを受信できる（Ｓ３０１、Ｓ３０３）。前記受信される過程は、同時に行われることができる。
端末１０は、受信された各ストリーミングデータを再生タイム情報によって同期化して再生している状態で、スイッチングイベントが発生するかを判断する（Ｓ３０５）。前記判断結果、第２画面と第１画面間のスイッチングイベントが発生すると、端末１０は、マルチビューサービスサーバー２０でスイッチングイベントを通知するようになる。ここで、スイッチングイベントは、第２画面で表示されている映像と第１画面で表示される映像を互いに転換して表示するためのユーザ要請イベントを意味する。
なお、端末１０は、マルチビューサービスサーバー２０においてスイッチングイベント処理のために必要な情報を含んでマルチビューサービスサーバー２０で通知できる。
これを受信したマルチビューサービスサーバー２０は、スイッチングイベントによって第１画面及び第２画面をスイッチングするために、各ＭＭＴストリーミングデータの解像度及びフレームを調節する（Ｓ３０９）。また、マルチビューサービスサーバー２０は、解像度及びフレーム数が調節された各ＭＭＴストリーミングデータのＭＰＵごとに再生タイム情報を挿入し（Ｓ３１１）、各ＭＭＴストリーミングデータを端末１０に伝送できる（Ｓ３１３、Ｓ３１５）。
これを受信した端末１０は、各ＭＰＵの再生タイム情報を確認し、端末１０自分の現在タイム情報を確認する（Ｓ３１７）。また、端末１０は、確認された再生タイム情報によって各ストリーミングデータのＭＰＵを同期化して再生し得る（Ｓ３１９）。
以上、本発明の実施形態によるマルチビューストリーミングサービス提供方法について説明した。
前述したような本発明の実施形態によるマルチビューストリーミングサービス提供方法は、コンピュータプログラムコマンドとデータを格納するのに適合なコンピュータで読み取り可能な媒体の形態で提供されることもできる。本発明の一実施形態によるマルチビューストリーミングサービス提供方法を具現するための記録媒体に記録されるプログラムは、端末がマルチビューサービスサーバーに第１画面に対するＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）ストリーミングデータと第２画面に対するＭＰＥＧメディアトランスポートストリーミングデータを要請する段階と、前記端末が前記マルチビューサービスサーバーから前記第１画面に対するストリーミングデータと第２画面に対するストリーミングデータが受信されることによって、前記各ストリーミングデータの各メディアプロセッシングユニット（ＭＰＵ；Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に挿入された再生タイム情報を確認する段階と、前記端末が前記確認された再生タイム情報によって前記第１画面に対するストリーミングデータと前記第２画面に対するストリーミングデータの各メディアプロセッシングユニットを同期化させて再生されるように制御する段階等を行うことができる。
この際、記録媒体に記録されたプログラムは、コンピュータで読み出されて設置され、実行されることによって、前述した機能を実行できる。
ここで、コンピュータが記録媒体に記録されたプログラムを読み出して、プログラムで具現された機能を実行させるために、前述したプログラムは、コンピュータのプロセッサ（ＣＰＵ）がコンピュータの装置インターフェース（Ｉｎｔｅｒｆａｃｅ）を介して読み出されることができるＣ、Ｃ＋＋、ＪＡＶＡ（登録商標）、機械語等のコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができる。
このようなコードは、前述した機能を定義した関数等と関連した機能的なコード（Ｆｕｎｃｔｉｏｎ Ｃｏｄｅ）を含むことができ、前述した機能をコンピュータのプロセッサが所定の手続に基づいて実行させるのに必要な実行手続関連制御コードを含むこともできる。また、このようなコードは、前述した機能をコンピュータのプロセッサが実行させるのに必要な追加情報やメディアがコンピュータの内部又は外部メモリのどの位置（アドレス番地）で参照されなければならないかに対するメモリ参照関連コードをさらに含むことができる。また、コンピュータのプロセッサが前述した機能を実行させるために、遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータやサーバー等と通信が必要な場合、コードは、コンピュータのプロセッサがコンピュータの通信モジュールを利用して遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータやサーバー等とどのように通信しなければならないか、通信時にどんな情報やメディアを送受信しなければならないか等に対する通信関連コードをさらに含むこともできる。
このような、コンピュータプログラムコマンドとデータを格納するのに適したコンピュータで読み取り可能な媒体は、例えば、記録媒体は、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体（Ｍａｇｎｅｔｉｃ Ｍｅｄｉａ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｋ）のような光記録媒体（Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、フロプチカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光媒体（Ｍａｇｎｅｔｏ−ＯｐｔｉｃａｌＭｅｄｉａ）、及びロム（ＲＯＭ、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ラム（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）のような半導体メモリを含む。プロセッサとメモリは、特殊目的の論理回路により補充されるか、それに統合され得る。
また、コンピュータが読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散され、分散方式でコンピュータが読み取り可能なコードが格納され、実行され得る。また、本発明を具現するための機能的な（Ｆｕｎｃｔｉｏｎａｌ）プログラムとこれと関連したコード及びコードセグメント等は、記録媒体を読み出してプログラムを実行させるコンピュータのシステム環境等を考慮して、本発明の属する技術分野におけるプログラマーによって容易に推論されるか、または変更されることもできる。
本明細書は、多数の特定の具現物の詳細事項を含むが、これらは、如何なる発明や請求可能なものの範囲に対しても制限的なものとして理解されてはならず、むしろ特定の発明の特定の実施形態に特有な特徴に対する説明として理解しなければならない。個別的な実施形態の文脈で本明細書に記述された特定の特徴は、単一実施形態で組み合わせて具現されることもできる。反対に、単一実施形態の文脈で記述した多様な特徴も個別的に或いは如何なる適切な下位組合でも複数の実施形態で具現可能である。さらに、特徴が特定の組合で動作し、初期にそのように請求されたように描写され得るが、請求された組合からの一つ以上の特徴は、一部の場合にその組合から排除され得、その請求された組合は、下位組合や下位組合の変形物に変更され得る。
同様に、特定の手順で図面で動作を描いているが、これは、好適な結果を得るために図示されたその特定の手順や順次な順にそのような動作を実行しなければならないか、すべての図示された動作が実行されなければならないものと理解されてはならない。特定の場合、マルチタスキングと並列プロセッシングが有利であることができる。また、前述した実施形態の多様なシステムコンポネントの分離は、そのような分離をすべての実施形態で要求するものと理解されてはならず、説明したプログラムコンポネントとシステムは、一般的に単一のソフトウェア製品に一緒に統合されるか、多重ソフトウェア製品にパッケージングされ得るという点を理解しなければならない。

Claims (9)

  1. 第１画面に対するＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）ストリーミングデータの再生処理を支援する第１画面制御モジュールと、
    第２画面に対するＭＰＥＧメディアトランスポートストリーミングデータの再生処理を支援する第２画面制御モジュールと、
    マルチビューストリーミング再生要請時、前記第１画面に対するストリーミングデータと前記第２画面に対するストリーミングデータの各メディアプロセッシングユニット（ＭＰＵ；Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に挿入された再生タイム情報を確認した後、前記再生タイム情報によって前記第１画面に対するストリーミングデータと前記第２画面に対するストリーミングデータの各メディアプロセッシングユニットを同期化させて再生されるように、前記第１画面制御モジュール及び前記第２画面制御モジュールを制御する再生制御モジュールと、
    を含むことを特徴とするマルチビューストリーミングサービスを支援する装置。
  2. 前記再生制御モジュールは、
    現在装置内のタイム情報を確認し、確認されたタイム情報と各ストリーミングデータのメディアプロセッシングユニットごとに挿入された再生タイム情報間の差異が発生する場合、各ストリーミングデータの各メディアプロセッシングユニットを同期化させて再生されるように、差異が発生したいずれか一つのストリーミングデータのメディアプロセッシングユニットの再生時点を制御することを特徴とする請求項１に記載のマルチビューストリーミングサービスを支援する装置。
  3. 前記再生制御モジュールは、
    第２画面に対するサイズ調節イベントが発生すると、前記マルチビューサービスサーバーから前記サイズ調節イベントによって変更された第２画面に対するストリーミングデータを受信することを特徴とする請求項１に記載のマルチビューストリーミングサービスを支援する装置。
  4. 前記再生制御モジュールは、
    前記第１画面制御モジュール及び前記第２画面制御モジュール間のスイッチングイベントが発生すると、前記マルチビューサービスサーバーから前記スイッチングイベントによって解像度が変更された第１画面に対するストリーミングデータと第２画面に対するストリーミングデータを受信することを特徴とする請求項１に記載のマルチビューストリーミングサービスを支援する装置。
  5. 端末がマルチビューサービスサーバーに第１画面に対するＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）ストリーミングデータと第２画面に対するＭＰＥＧメディアトランスポートストリーミングデータを要請する段階と、
    前記端末が、前記マルチビューサービスサーバーから前記第１画面に対するストリーミングデータと第２画面に対するストリーミングデータが受信されることによって、前記各ストリーミングデータの各メディアプロセッシングユニット（ＭＰＵ；Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に挿入された再生タイム情報を確認する段階と、
    前記端末が前記確認された再生タイム情報によって前記第１画面に対するストリーミングデータと前記第２画面に対するストリーミングデータの各メディアプロセッシングユニットを同期化させて再生されるように制御する段階と、
    を含むことを特徴とするマルチビューストリーミングサービス支援方法。
  6. 前記再生されるように制御する段階は、
    前記端末が前記第１画面に対するストリーミングデータの各メディアプロセッシングユニットごとに挿入された再生タイム情報を確認する段階と、
    前記端末が前記第２画面に対するストリーミングデータの各メディアプロセッシングユニットごとに挿入された再生タイム情報を確認する段階と、
    前記端末が現在タイム情報を確認し、確認されたタイム情報と各ストリーミングデータのメディアプロセッシングユニットごとに挿入された再生タイム情報間の差異が発生する場合、各ストリーミングデータの各メディアプロセッシングユニットを同期化させて再生されるように、差異が発生したいずれか一つのストリーミングデータのメディアプロセッシングユニットの再生時点を制御する段階と、
    を含むことを特徴とする請求項５に記載のマルチビューストリーミングサービス支援方法。
  7. マルチビューサービスサーバーが、端末から第１画面に対するＭＰＥＧメディアトランスポート（ＭＭＴ；ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）ストリーミングデータと第２画面に対するＭＰＥＧメディアトランスポートストリーミングデータの要請を受信する段階と、
    前記マルチビューサービスサーバーが、前記第１画面に対するストリーミングデータと前記第２画面に対するストリーミングデータの各メディアプロセッシングユニット（ＭＰＵ；Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）ごとに再生タイム情報を挿入し、前記端末に伝送する段階と、
    を含むことを特徴とするマルチビューストリーミングサービス支援方法。
  8. 前記端末に伝送する段階は、
    前記マルチビューサービスサーバーが、前記端末の状況情報によって前記メディアプロセッシングユニットのブロックサイズを可変的に調節し、可変的に調節された各メディアプロセッシングユニットごとに再生タイム情報を挿入し、前記端末に伝送することを特徴とする請求項７に記載のマルチビューストリーミングサービス支援方法。
  9. 請求項５〜８のいずれかに記載のマルチビューストリーミングサービス支援方法を実行するプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2017554229A 2015-02-13 2016-02-13 マルチビューストリーミングサービス提供方法及び装置 Active JP6427692B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020150022524A KR102126257B1 (ko) 2015-02-13 2015-02-13 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치
KR10-2015-0022524 2015-02-13
PCT/KR2016/001457 WO2016129963A1 (ko) 2015-02-13 2016-02-13 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치

Publications (2)

Publication Number Publication Date
JP2018509110A true JP2018509110A (ja) 2018-03-29
JP6427692B2 JP6427692B2 (ja) 2018-11-21

Family

ID=56615411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017554229A Active JP6427692B2 (ja) 2015-02-13 2016-02-13 マルチビューストリーミングサービス提供方法及び装置

Country Status (5)

Country Link
US (1) US11228801B2 (ja)
JP (1) JP6427692B2 (ja)
KR (1) KR102126257B1 (ja)
CN (1) CN107211186B (ja)
WO (1) WO2016129963A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170142172A1 (en) * 2015-11-13 2017-05-18 Le Holdings (Beijing) Co., Ltd. Video Player for Multiple Cameras, Playing System and Playing Method
DE102018115737B4 (de) * 2018-06-29 2021-10-21 Exaring Ag Verfahren zum automatisierten Ausspielen von Videos, Recheneinheit und Computerprogrammprodukt
CN110225384A (zh) * 2019-06-18 2019-09-10 北京字节跳动网络技术有限公司 状态消息的推送方法、交互内容的切换方法、装置及设备
US11350138B2 (en) 2020-05-20 2022-05-31 Sony Corporation Managing a multi-view event comprising several streams, stream buffers, and rendering onto a single canvas
CN111680065B (zh) * 2020-05-25 2023-11-10 泰康保险集团股份有限公司 流式计算中迟滞数据的处理***、设备以及方法
KR20220032938A (ko) * 2020-09-08 2022-03-15 삼성전자주식회사 전자 장치 및 그 동작 방법
KR20220048670A (ko) * 2020-10-13 2022-04-20 삼성전자주식회사 전자 장치 및 그 동작 방법
US11800179B2 (en) * 2020-12-03 2023-10-24 Alcacruz Inc. Multiview video with one window based on another
KR102603220B1 (ko) * 2021-12-01 2023-11-16 주식회사 엘지유플러스 타일 기반 멀티뷰 영상을 재생하는 방법 및 이를 위한 장치
KR20240087352A (ko) 2022-12-12 2024-06-19 소셜라이브(주) 다중영상 녹화 컨텐츠를 활용한 실시간 참여형 라이브 서비스 제공방법 및 이를 구현하는 시스템
KR20240087353A (ko) 2022-12-12 2024-06-19 소셜라이브(주) 다중영상을 녹화 및 동기화 재생하는 방법 및 이를 구현하기 위한 미디어 서버

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013535886A (ja) * 2010-07-15 2013-09-12 クゥアルコム・インコーポレイテッド ビデオ構成要素を多重化するためのデータを信号伝達すること
JP2014116662A (ja) * 2012-12-06 2014-06-26 Nippon Hoso Kyokai <Nhk> 復号装置およびプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7782363B2 (en) * 2000-06-27 2010-08-24 Front Row Technologies, Llc Providing multiple video perspectives of activities through a data network to a remote multimedia server for selective display by remote viewing audiences
GB2417635B (en) * 2003-06-02 2007-09-19 Disney Entpr Inc System and method of programmatic window control for consumer video players
US7496277B2 (en) * 2003-06-02 2009-02-24 Disney Enterprises, Inc. System and method of programmatic window control for consumer video players
CN100515079C (zh) * 2006-12-13 2009-07-15 北京大学 一种在iptv中实现画中画的方法
EP2043323A1 (en) * 2007-09-28 2009-04-01 THOMSON Licensing Communication device able to synchronise the received stream with that sent to another device
JP5335354B2 (ja) * 2008-10-03 2013-11-06 キヤノン株式会社 情報送信装置、情報送信装置の制御方法及びコンピュータプログラム
US9124642B2 (en) * 2009-10-16 2015-09-01 Qualcomm Incorporated Adaptively streaming multimedia
US8505054B1 (en) * 2009-12-18 2013-08-06 Joseph F. Kirley System, device, and method for distributing audio signals for an audio/video presentation
CN101814269A (zh) * 2010-04-16 2010-08-25 深圳市创凯电子有限公司 全彩led点阵上同时显示实时多画面的方法及装置
KR101920051B1 (ko) * 2011-07-12 2018-11-29 한국전자통신연구원 Ｍｍｔ 복합 전달 서비스에서 ｍｍｔ 패킷 스트림 동기화를 위한 타이밍 정보 제공 방법 및 ｍｍｔ 패킷 스트림 동기화 방법
US9516086B2 (en) * 2011-08-12 2016-12-06 Samsung Electronics Co., Ltd. Transmitting device, receiving device, and transceiving method thereof
EP2830318A4 (en) * 2012-03-23 2015-12-02 Humax Holdings Co Ltd TRANSMISSION METHOD AND HYBRID RECEPTION METHOD FOR SVC VIDEO CONTENT EMPTYED IN MMT
KR101249279B1 (ko) * 2012-07-03 2013-04-02 알서포트 주식회사 동영상 생성 방법 및 장치
KR20140008237A (ko) * 2012-07-10 2014-01-21 한국전자통신연구원 엠엠티의 하이브리드 전송 서비스에서 패킷 전송 및 수신 장치 및 방법
WO2014010830A1 (ko) * 2012-07-10 2014-01-16 한국전자통신연구원 엠엠티의 하이브리드 전송 서비스에서 패킷 전송 및 수신 장치 및 방법
US9226011B2 (en) * 2012-09-11 2015-12-29 Comcast Cable Communications, Llc Synchronizing program presentation
US9843845B2 (en) * 2012-11-28 2017-12-12 Sinclair Broadcast Group, Inc. Terrestrial broadcast market exchange network platform and broadcast augmentation channels for hybrid broadcasting in the internet age
CN103338340B (zh) * 2013-06-18 2016-06-22 北京汉博信息技术有限公司 实现多视频流帧画面自定义组合的画中画模块和方法
JP6616064B2 (ja) * 2013-07-25 2019-12-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法および受信方法
JP6505996B2 (ja) * 2013-08-30 2019-04-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 受信方法、及び、受信装置
US20160269794A1 (en) * 2013-10-01 2016-09-15 Dentsu Inc. Multi-view video layout system
US9930086B2 (en) * 2013-10-28 2018-03-27 Samsung Electronics Co., Ltd. Content presentation for MPEG media transport
JP6567064B2 (ja) * 2015-02-13 2019-08-28 上海交通大学Ｓｈａｎｇｈａｉ Ｊｉａｏ Ｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ 関連マルチメディアコンテンツのカスタマイズ表示の実現方法およびその応用

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013535886A (ja) * 2010-07-15 2013-09-12 クゥアルコム・インコーポレイテッド ビデオ構成要素を多重化するためのデータを信号伝達すること
JP2014116662A (ja) * 2012-12-06 2014-06-26 Nippon Hoso Kyokai <Nhk> 復号装置およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
藤橋卓也（外２名）: "「複数ユーザに対応したマルチビュービデオのトラフィック削減の基礎方式について」", 情報処理学会第７４回（平成２４年）全国大会講演論文集（３）, JPN6018020223, 6 March 2012 (2012-03-06), JP, pages 3 - 281, ISSN: 0003809143 *

Also Published As

Publication number Publication date
WO2016129963A1 (ko) 2016-08-18
KR20160100047A (ko) 2016-08-23
CN107211186B (zh) 2020-03-03
US11228801B2 (en) 2022-01-18
US20170289588A1 (en) 2017-10-05
JP6427692B2 (ja) 2018-11-21
CN107211186A (zh) 2017-09-26
KR102126257B1 (ko) 2020-06-24

Similar Documents

Publication Publication Date Title
JP6427692B2 (ja) マルチビューストリーミングサービス提供方法及び装置
KR102072344B1 (ko) 적응형 스트리밍 서비스 제공 방법 및 이를 위한 장치
WO2017008627A1 (zh) 多媒体直播方法、装置和***
US20130242189A1 (en) Method and system for providing synchronized playback of media streams and corresponding closed captions
KR20180069576A (ko) 영상제공장치, 그의 제어 방법 및 영상제공시스템
KR20150028588A (ko) 스트리밍 서비스를 위한 전자 장치 및 방법
KR102050735B1 (ko) 클라우드 스트리밍 서비스를 위한 프락시 서버, 이를 이용한 클라우드 스트리밍 시스템 및 클라우드 스트리밍 서비스 제공 방법
KR20200085595A (ko) 컨텐트 재생 장치 및 그 동작 방법
US10291943B2 (en) Node interworking with base station and method for providing streaming data through the node
KR20170009105A (ko) 스트리밍 컨텐츠의 패킷 손실을 보상하여 저장하는 방법 및 이를 위한 장치
KR102281217B1 (ko) 인코딩 방법 및 디코딩 방법, 그리고 이를 위한 장치
KR20160140047A (ko) 클라우드 스트리밍 서비스 제공을 위한 어플리케이션 캐싱 방법 및 이를 위한 장치
KR102209782B1 (ko) 스트리밍 서비스 제공 방법 및 이를 위한 장치
KR102209784B1 (ko) Mmt 패킷 캐싱 처리 방법 및 이를 위한 장치, 캐싱 처리를 위한 mmt 패킷 생성 방법 및 이를 위한 장치
KR20160147321A (ko) 스트리밍 제공 서버와 기지국 연동 노드를 통한 스트리밍 데이터 패킷 제공 방법, 이를 위한 기지국 연동 노드
KR102174360B1 (ko) 스트리밍 서비스 제공 방법 및 이를 위한 장치
KR20170018603A (ko) 스트리밍 서비스 제공 방법 및 이를 위한 장치
KR102210407B1 (ko) 복수 통신망을 이용한 컨텐츠 전송 방법 및 장치
KR20170009195A (ko) 동영상 컨텐츠 제공 방법 및 장치
WO2020063382A1 (zh) 一种频道播放的方法以及相关设备
KR20160144811A (ko) Mmt 패킷 캐싱 처리 방법 및 이를 위한 장치, 캐싱 처리를 위한 mmt 패킷 생성 방법 및 이를 위한 장치
KR20170097547A (ko) 광고 제공 방법 및 이를 위한 장치
KR20150089409A (ko) 방송 데이터 처리 방법 및 장치

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181029

R150 Certificate of patent or registration of utility model

Ref document number: 6427692

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250