JP6430034B2 - 低遅延生放送コンテンツ提供のためのプログラムを記録した記録媒体及び装置 - Google Patents

低遅延生放送コンテンツ提供のためのプログラムを記録した記録媒体及び装置 Download PDF

Info

Publication number
JP6430034B2
JP6430034B2 JP2017554232A JP2017554232A JP6430034B2 JP 6430034 B2 JP6430034 B2 JP 6430034B2 JP 2017554232 A JP2017554232 A JP 2017554232A JP 2017554232 A JP2017554232 A JP 2017554232A JP 6430034 B2 JP6430034 B2 JP 6430034B2
Authority
JP
Japan
Prior art keywords
streaming
live broadcast
data packet
broadcast content
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017554232A
Other languages
English (en)
Other versions
JP2018507662A (ja
Inventor
リー、ヨンミン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Publication of JP2018507662A publication Critical patent/JP2018507662A/ja
Application granted granted Critical
Publication of JP6430034B2 publication Critical patent/JP6430034B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383Accessing a communication channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4335Housekeeping operations, e.g. prioritizing content for deletion because of storage space restrictions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347Demultiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/64322IP

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、ストリーミング方式のコンテンツ提供技術に関し、より詳細には、MPEGメディア伝送(MPEG media trasport:MMT)技術を基盤に生放送コンテンツをストリーミングする技術に関する。
MPEG(Moving Picture Experts Group)−2TS(Transport stream)は、オーディオ、ビデオ、データ等を含むマルチメディア関連データをネットワークを介して伝送するための通信プロトコルであって、地上波/衛星デジタル放送、DMB(Digital Multimedia Broadcasting)、IPTV(Internet Protocol TV)等においてメディアデータの伝送のために使用されるか、近年、デジタルビデオカメラやブルーレイ装備においてのメディア格納のためにも使用されている。
しかし、最近、放送網と通信網が次第に融合され高度化され、UHD(Ultra High Definition)映像コンテンツや3D映像コンテンツ等のような次世代コンテンツの登場に伴い、N−スクリーンサービス等、新しいサービスが登場するにつれて、新しくて且つ多様な要求事項が発生している。
これより、多様な種類の広帯域通信網においてデジタル放送等の多様なサービスを提供するためのMPEG−H(High Efficiency Coding and Media Delivery in Heterogeneous Environments)標準の一番目のパートとして、MPEGメディア伝送(MMT:MEPG Media Transport)技術が開発されている。
前記MMT技術は、高度化されている様々なネットワーク環境においての効率的なマルチメディアデータ伝送及び多様な方法の再生機能を提供することを目標とするものであって、大きく、MPU(Media Processing Unit)機能領域、シグナリング機能領域、伝達機能領域及び表現情報領域に区分され得る。
前記のように、MMT技術が既存のMPEG−TS技術より多様な長所を有するが、MPEG−TS技術は、20余年間多様な分野で利用されているものであって、従来、MPEG−TS基盤に構築されたレガシー(Legacy)システムをすべてMMT技術に代替することは、不可能であるだけでなく、且つ、非効率的である。
したがって、従来のMPEG−TS基盤のレガシーシステムとMMT基盤のシステムが共存する環境で、これらを効率的に運用する方案が必要である。
本発明は、このような要求を解決するために提案されたものであって、MMT技術を基盤に生放送コンテンツをストリーミングサービスするに際して、ユーザ要請或いは特定のチャネルへの切替要請に従って、前記MMT基盤のストリーミングサービスを行うことによって、レガシーシステムとの効率的な運営を可能にする低遅延生放送コンテンツ提供のためのプログラムを記録した記録媒体及び装置を提供する。
前述した課題の解決手段として、本発明は、第1メディア伝送技術を基盤にストリーミングサービスを提供する第1ストリーミングサーバーから生放送コンテンツの第1ストリーミングデータパケットを受信し、デコーディングする第1メディア受信モジュールと、前記第1メディア伝送技術とは異なる第2メディア伝送技術を基盤にストリーミングサービスを提供する第2ストリーミングサーバーから前記生放送コンテンツの第2ストリーミングデータパケットを受信し、デコーディングする第2メディア受信モジュールと、前記生放送コンテンツの再生のためのユーザインターフェースを提供し、前記ユーザインターフェースを介して任意チャネルに対するストリーミング要請イベントが発生すると、前記ストリーミング要請イベントが低遅延生放送モードへの切替のためのイベント条件を満足するか否かを判断し、判断結果によって前記第1メディア受信モジュール又は前記第2メディア受信モジュールにストリーミング要請を指示し、前記第1メディア受信モジュール又は前記第2メディア受信モジュールから前記デコーディングされた第1ストリーミングデータパケット又は前記デコーディングされた第2ストリーミングデータパケットを受信して再生する再生モジュールと、を含むことを特徴とする低遅延生放送コンテンツ提供のための装置を提供する。
また、本発明は、前述した課題の他の解決手段として、任意のチャネルに対するストリーミング要請イベントが発生すると、前記ストリーミング要請イベントが低遅延生放送モードへの切替のためのイベント条件を満たすか否かを判断する段階と、該判断結果、前記イベント条件を満足しなければ、第1メディア伝送技術を基盤にストリーミングサービスを提供する第1ストリーミングサーバーにストリーミング要請を伝送し、前記第1ストリーミングサーバーから伝送された生放送コンテンツの第1ストリーミングデータパケットを受信し、デコーディングする第1受信段階と、該判断結果、前記イベント条件を満足すれば、前記第1メディア伝送技術とは異なる第2メディア伝送技術を基盤にストリーミングサービスを提供する第2ストリーミングサーバーにストリーミング要請を伝送し、前記第2ストリーミングサーバーから伝送された前記生放送コンテンツの第2ストリーミングデータパケットを受信し、デコーディングする第2受信段階と、前記デコーディングされた第1ストリーミングデータパケット又は前記デコーディングされた第2ストリーミングデータパケットを再生する段階と、を含む低遅延生放送コンテンツ提供のためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
本発明による低遅延生放送コンテンツ提供のための装置及び方法は、生放送コンテンツのマルチメディアデータをストリーミング方式で伝送し、リアルタイムで再生するコンテンツ伝送システム、特に、ストリーミングを受信するユーザ端末に適用され得る。
特に、本発明は、MPEG−TS基盤HLS方式で具現されたストリーミングシステム及びMMT技術を基盤とするストリーミングシステムが共存する環境において、ユーザ要請或いは特定のチャネルへの切替要請に従って、HLS方式のストリーミングサービスからMMT基盤のストリーミングサービスに切り替え、低遅延生放送コンテンツを選択的に提供できる。
その結果、本発明は、既構築レガシーシステム及びMMT基盤の新しいシステムを効率的に運用しつつ、ユーザに提供されるサービス品質を向上させることができる。
図1は、本発明の第1実施形態による低遅延生放送コンテンツ提供のためのシステム構成を示す図である。 図2は、本発明の第1実施形態による低遅延生放送コンテンツ提供のためのシステムの動作過程を示す流れ図である。 図3は、本発明の第2実施形態による低遅延生放送コンテンツ提供のためのシステム構成を示す図である。 図4は、本発明の第2実施形態による低遅延生放送コンテンツ提供のためのシステムの動作過程を示す流れ図である。 図5は、本発明の実施形態による低遅延生放送コンテンツ提供のためのユーザ端末の構成を示すブロック図である。 図6は、本発明の実施形態によるユーザ端末に適用される低遅延生放送コンテンツ提供のための装置の構成を示すブロック図である。 図7は、本発明の実施形態による低遅延生放送コンテンツ提供のための装置の動作を示す流れ図である。 図8は、本発明の実施形態よってユーザ端末に提供されるストリーミングデータパケットを模式化して示すタイミング図である。 図9は、本発明の実施形態による低遅延生放送コンテンツ提供のための装置により提供されるユーザインターフェース画面の例示図である。
以下、本発明の好適な実施形態を添付の図面を参照して詳しく説明する。但し、下記の説明及び添付の図面において本発明の要旨を不明にすることができる公知機能または構成に対する詳細な説明を省略する。また、図面全体にわたって同じ構成要素は、できるだけ、同じ参照符号で示していることに留意しなければならない。
以下で説明される本明細書及び請求範囲に使用された用語や単語は、通常的や辞書的な意味に限定すべきものではなく、発明者は、自分の発明を最善の方法で説明するための用語の概念で適切に定義できるという原則に即して本発明の技術的思想に符合する意味と概念に解釈すべきである。したがって、本明細書に記載した実施形態と図面に示された構成は、本発明の最も好ましい一実施形態に過ぎず、本発明の技術的思想をすべて代弁するものではないので、本出願時点においてこれらを代替できる多様な均等物と変形例があり得ることを理解しなければならない。
また、第1、第2等のように序数を含む用語は、多様な構成要素を説明するために使用するものであって、1つの構成要素を他の構成要素から区別する目的だけで使用され、前記構成要素を限定するために使用するものではない。例えば、本発明の権利範囲を逸脱することなく、第2構成要素は、第1構成要素と命名され得、同様に、第1構成要素は、第2構成要素と命名され得る。
なお、任意の構成要素が他の構成要素に「連結されて」いるか、「接続されて」いると言及する場合、これは、論理的または物理的に連結されるか、接続され得ることを意味する。言い換えれば、構成要素が他の構成要素に直接的に連結されるか、接続され得るが、中間に他の構成要素が存在してもよく、間接的に連結されるか、接続されてもよいと理解しなければならない。
また、本明細書で使用した用語は、ただ特定の実施形態を説明するために使用されたものであって、本発明を限定しようとする意図ではない。単数の表現は、文脈上、明白に異なって意味しない限り、複数の表現を含む。また、本明細書で記述される「含む」又は「有する」等の用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定しようとするものであって、一つ又はそれ以上の他の特徴や数字、段階、動作、構成要素、部品又はこれらを組み合わせたもの等の存在又は付加可能性をあらかじめ排除しないものと理解されなければならない。
図1は本発明の第1実施形態による低遅延生放送コンテンツ提供のためのシステムの構成を示す図である。
図1を参照すると、本発明の第1実施形態による低遅延生放送コンテンツ提供のためのシステムは、通信網10を介して連結されたユーザ端末100と第1、第2ストリーミングサーバー200、300を含んでなる。
ここで、前記通信網10は、コンピュータシステム及び/又はモジュール間の電子データを伝送できるようにする一つ以上のデータリンクとして定義される。前記通信網(10)は二つ以上の互いに異なる通信網の組合よりなることができる。
例えば、前記通信網10は、3G移動通信網、4G移動通信網、 WLAN(Wireless LAN)、ワイファイ(Wi−Fi)、ワイブロ(Wibro)、ワイマックス(Wimax)、HSDPA(High Speed Downlink Packet Access)、イダーネット(Ethernet)、xDSL(ADSL,VDSL)、HFC(Hybrid Fiber Coaxial Cable)、FTTC(Fiber to The Curb)、FTTH(Fiber To The Home)等の有線/無線通信網を含むことができる。
特に、前記通信網10が移動通信網である場合、多数の無線接続網及びコア網よりなることができる。ここで、無線接続網は、ユーザ端末101と無線通信を行う接続網であって、例えば、BS(Base Station)、BTS(Base Transceiver Station)、NodeB、eNodeB等のような多数の基地局と、BSC(Base StationController)、RNC(Radio Network Controller)のような基地局制御機で具現され得る。また、前記基地局に一体に具現されていたデジタル信号処理部と無線信号処理部をそれぞれデジタルユニット(Digital Unit、以下、DUという)と無線ユニット(Radio Unit、以下、RUという)とに区分し、多数の領域にそれぞれ多数のRUを設置し、多数のRUを集中化されたDUと連結して構成することもできる。
また、無線接続網とともに移動通信網を構成するコア網は、接続網と外部網、例えば、インターネット網を連結する役目を行うものであって、サーキット交換(circuit switching)又はパケット交換(packet switching)を行い、モバイル網内においてのパケット流れを管理及び制御する。また、コア網(図示せず)は、周波数間の移動性を管理し、接続網(図示せず)及びコア網(図示せず)内のトラフィック及び他のネットワーク、例えばインターネット網(図示せず)との連動のための役目を行うこともできる。このようなコア網(図示せず)は、SGW(Serving GateWay)、PGW(PDN GateWay)、MSC(Mobile Switching Center)、HLR(Home Location Register)、MME(Mobile Mobility Entity)とHSS(Home Subscriber Server)等をさらに含んで構成されることもできる。
前記ユーザ端末100は、本発明によって通信網10を介してコンテンツを受信して再生するための構成である。具体的に、前記ユーザ端末(100)は通信網10に接続し、通信のためのセッションを連結し、前記セッションを介して第1ストリーミングサーバー200又は第2ストリーミングサーバー300にマルチメディアデータのストリーミングを要請し、これに対応して前記第1ストリーミングサーバー200又は第2ストリーミングサーバー300からストリーミングデータパケットを受信して再生する。
特に、本発明において、前記ユーザ端末100は、ユーザ操作によって、ストリーミングイベントが発生するとき、前記ストリーミングイベントが低遅延生放送モードへの切替のためのイベント条件を満足するかによって、前記第1ストリーミングサーバー200又は第2ストリーミングサーバー300と連動する。すなわち、本発明によるユーザ端末100は、生放送コンテンツを受信して再生するとき、二つのモードで動作可能である。そのうち、第1モードでは、第1ストリーミングサーバー200から生放送コンテンツのマルチメディアデータをストリーミングされて再生し、第2モードは、第2ストリーミングサーバー300から生放送コンテンツのマルチメディアデータをストリーミングされて再生する。前記第2モードを低遅延生放送モード(Low−latency real−time broadcast mode or true real−time mode )」と言う。また、前記低遅延生放送モードへの切替のためのイベント条件は、既定のモード切替ボタンの入力であるか、既定の特定のチャネルへのチャネル切替であ得る。
このようなユーザ端末100は、ユーザのキー操作によってネットワークを経由して各種データを送受信できる電子機器であれば、いずれでも具現され得る。このために、前記ユーザ端末(100)はプログラム及びプロトコルを格納するメモリ、各種プログラムを実行し制御するためのマイクロプロセッサー等のコンピューティング環境を具備し、前記コンピューティング環境を基盤に所定のアプリケーションプログラム或いはプログラムモジュールを実行し、前述した機能を行うことができる。
例えば、前記ユーザ端末100は、タブレットパソコン(Tablet PC)、ラップトップ(Laptop)、パソコン(PC:Personal Computer)、スマートフォン(Smart Phone)、個人携帯用情報端末機(PDA:Personal Digital Assistant)、スマートテレビ及び移動通信端末機(Mobile Communication Terminal)等のうちいずれか一つであることができる。
第1、第2ストリーミングサーバー200、300は、ユーザ端末100の要請に従って、前記ユーザ端末100にマルチメディアデータ、特に生放送コンテンツのマルチメディアデータをストリーミングサービスするためのサーバー装置である。この際、第1、第2ストリーミングサーバー200、300は、互いに異なるメディア伝送技術を基盤に前記マルチメディアデータをストリーミング伝送する。
ここで、ストリーミング(Streaming)は、音楽や動画等のマルチメディアファイルを、一つの形態でなく、複数のストリーミングデータに分けて相次いで伝送しつつ再生する方式であって、ファイルをダウンロードすると同時に、再生を行うことによって、ユーザ待機時間を低減するとともに、コンテンツのリアルタイム提供及び生放送コンテンツの提供を可能にする。
このようなストリーミング伝送は、UDP(User Datagram protocol)/TCP(Transmission Control Protocol)のような伝送階層プロトコルの基盤上に、RTP(Real−time Transport Protocol)、RTCP(Real−Time Transport Control Protocol)、RTMP(Real Time Messaging Protocol)、RTSP(Real Time Streaming Protocol)、HTTPLive streaming,MPEG−TS,MMT(MPEG Media Transport)のようなメディアデータの伝送及び制御のためのプロトコルのうち一つ以上を利用して動作できる。
具体的に、第1ストリーミングサーバー200は、既存のMPEG−TS及びHLS技術を基盤に生放送コンテンツのマルチメディアデータに対する断片化/カプセル化/パケット化を行い、ユーザ端末100に伝送する。特に、前記第1ストリーミングサーバー200は、マルチメディアデータをMPEG2のTS(Transport stream)に収容し、時間単位で割って伝送し、どんなファイルを再生しなければならないかに対する情報をm3u8というファイルを利用してユーザ端末100に伝送する。
一方、第2ストリーミングサーバー300は、MPEG−Hの一番目パートとして提案されたMMT技術を基盤に生放送コンテンツのマルチメディアデータに対する断片化/カプセル化/パケット化を行う。特に、前記第2ストリーミングサーバー(300)はマルチメディアデータを純粋メディアデータとこれらメディアデータのデコーディング及び再生のための情報を含むメタデータよりなる一つ以上のMPUで構成し、前記一つ以上のMPUのパケット化を介してヘッダーが付加されたストリーミングデータパケットを生成し、ユーザ端末100に伝送する。ここで、MMT基盤のストリーミング伝送時に、前記MPU別にメタデータが含まれていて、各MPUを独立的にデコーディング及び再生処理可能である。
図2は、本発明の第1実施形態による低遅延生放送コンテンツ提供のためのシステムの動作過程を示す流れ図である。
図2を参照して、前記第1実施形態による低遅延生放送コンテンツ提供のためのシステムの動作を順次に説明する。
ユーザ端末100は、任意の生放送チャネルに対するストリーミング要請を第1ストリーミングサーバー200に伝送できる(S105)。この際、前記任意の生放送チャネルは、低遅延生放送チャネルに既定された特定のチャネルを除いた残りの生放送チャネルを意味できる。この際、ユーザ端末100の動作モードとて第1モードがデフォルトに設定されているか、前記特定のチャネルを除いた残りの一般生放送チャネルがデフォルト値に設定されているものと仮定できる。したがって、前記ユーザ端末100は、最初動作時に、デフォルトに設定された生放送チャネルに対してストリーミング要請を第1ストリーミングサーバー200に伝送する。
これより、第1ストリーミングサーバー200は、HLSプロトコルを基盤にMPEG−TS形式のストリーミングデータパケットをユーザ端末100に伝送する(S110)。この際、提供されるストリーミングデータパケットは、SD(Standard Definition)又はHD(High Definition)の解像度を支援できる。
ユーザ端末100は、第1ストリーミングサーバー200から提供されるストリーミングデータパケットを受信し、デコーディングして再生する(S115)。ユーザは、かくして再生され、画面に表示される生放送コンテンツを視聴できる。
なお、前記ユーザ端末100は、第1ストリーミングサーバー200からストリーミングデータパケットを受信して再生する中に、持続的に第2モード、すなわち低遅延生放送モードへの切替イベントが発生するか否かを確認できる(S120)。具体的に、ユーザ端末100は、既定のモード切替ボタンが入力されるか、低遅延生放送モードに既定された特定のチャネルへのチャネル切替が要請されたかを確認する。
確認結果、低遅延生放送モードへの切替イベントが発生すると、ユーザ端末100は、低遅延生放送コンテンツモードにモード切替がなされることを案内する案内メッセージを出力する(S125)。又は、ネットワーク状態によってサービスが行われないこと案内する案内メッセージを出力できることもある
その後、前記ユーザ端末100は、第2ストリーミングサーバー300にストリーミング要請を伝送する(S130)。ここで、前記ストリーミング要請対象となるチャネルは、モード切替ボタンが入力された場合には、現在再生中のチャネル(或いはプログラム)になり得、前記特定のチャネルへの切替要請である場合には、前記特定のチャネルになる。
前記第2ストリーミングサーバー300は、ユーザ端末100の要請によって要請された生放送コンテンツのマルチメディアデータを、MMT技術を基盤に多数の断片に分割し、分割された断片ファイルを、メタデータを含む一つ以上のMPUでカプセル化し、引き続いて、ヘッダーを付加するストリーミングデータパケットを構成し、ユーザ端末100に伝送する(S135)。この際、前記ストリーミングデータパケットは、UDPを基盤に伝送され得る。
前記ユーザ端末100は、MMT技術を基盤に受信されたストリーミングデータパケットのデカプセル化及びデコーディングを行い、画面に再生する(S140)。この際、前記S140段階の処理は、MPU単位で独立的に行われることができ、且つ、ユーザ端末100の各MPUに含まれたメタデータを基盤に指定された時間及び空間に再生することによって、遅延を最小化できる。
なお、前記ユーザ端末100は、第2モードで低遅延生放送コンテンツを再生する間に、サービス断絶可否を持続的に感知する(S145)。前記サービス断絶可否は、ユーザ端末100が受信されたストリーミングデータパケットを格納するバッファーの状態を感知し、確認し得る。すなわち、バッファリングされたデータ量が一定の臨界値以下に低下する場合、サービス断絶が発生するものと予測できる。
このようにサービス断絶が感知されると、ユーザ端末100は、バッファーのサイズを増加させながら、伝送階層プロトコルをTCP方式に切り替える(S150)。
なお、TCP基盤のパケット送受信のために、ユーザ端末(100)は第2ストリーミングサーバー300にTCP方式への切替を要請し、第2ストリーミングサーバー300との連結を樹立できる(S155)。
引き続いて、前記第2ストリーミングサーバー300は、当該ストリーミングデータパケットをTCP方式を基盤に伝送する(S160)。
ここで、UDP方式は、非連結型プロトコルであって、データ伝達のために根源地と目的地間のセッションを樹立する過程がなく、最善努力(Best effort)方式としてリアルタイムデータ伝達のためにエラー/損失発生時に再伝送を行わないものであって、信頼性が劣る代わりに、速度が速いため、リアルタイム特性が要求される場合に適合な方式である。なお、TCP方式は、連結指向性プロトコルであって、根源地から目的地までセッションを樹立した後、データを送信する方式であって、より安全にデータを伝送できるが、UDP方式に比べてオーバーヘッドが大きいという点において差異がある。
本発明は、このような差異点を考慮することによって、基本的にUDP方式を基盤にストリーミングデータパケットを伝送することによって、安定的にサービスが行われる間に、速い速度でストリーミングデータパケットを伝送しながら、サービス断絶が感知されるか予測される場合、TCP方式に切り替え、安定的なサービスが維持され得るようにする。
つまり、本発明は選択的にTCP方式に切り替えることによって、より確実にストリーミングデータパケットを伝送できる。
次に、図3及び図4を参照して、本発明の第2実施形態による低遅延生放送コンテンツ提供のためのシステムの構成及び動作を説明する。
図3は、本発明の第2実施形態による低遅延生放送コンテンツの提供のためのシステムを示すブロック図である。
本発明の第2実施形態によるシステムは、ユーザ端末100及び第1、第2ストリーミングサーバー200、300に加えて、中継サーバー400をさらに含む。
本発明の第2実施形態によるユーザ端末100は、中継サーバー400に接続し、前記中継サーバー400を介して第1、第2ストリーミングサーバー200、300に接近できる。具体的に、ユーザ端末100は、中継サーバー400に接続し、ストリーミング要請を行うが、低遅延生放送モード(第2モード)への切替のためのイベント条件を満足するか否かを確認し、イベント条件を満足するとき、低遅延生放送モードを要請するための情報を一緒に伝送できる。前記低遅延生放送モードを要請するための情報は、ストリーミング要請メッセージのヘッダー内特定フィールドの値で表示されるか、チャネル情報で表示され得る。
このようなユーザ端末100のストリーミング要請を受信した中継サーバー400は、前記ストリーミング要請を分析し、低遅延生放送モードであるか否かを判断し、該判断結果によって前記ストリーミング要請を第1ストリーミングサーバー200又は第2ストリーミングサーバー300に伝達する。例えば、前記中継サーバー400は、既定された特定のチャネルに対するストリーミング要請であるか、ストリーミング要請のヘッダー内特定のフィールドに低遅延生放送モード情報が記録された場合、前記ストリーミング要請を第2ストリーミングサーバー300に伝達し、その以外の場合は、前記ストリーミング要請を第1ストリーミングサーバー200に伝達する。
その他、第1、第2ストリーミングサーバー200、300の動作は、中継サーバー400を経てユーザ端末100にストリーミングデータパケットを伝送する点において差異があるだけで、その他は第1実施形態と同一である。
図4は本発明の第2実施形態による低遅延生放送コンテンツの提供のためのシステムの動作過程を示す流れ図である。図4を参照して第2実施形態による低遅延生放送コンテンツ提供過程を説明する。
先立って第1実施形態と同様に、ユーザ端末100は、任意の生放送チャネルに対するストリーミング要請を伝送できる。ただ、第2実施形態で、前記ユーザ端末100のストリーミング要請は、中継サーバー400に伝送される(S205)。又、第2実施形態で、前記ストリーミング要請は、第2モード(低遅延生放送モード)モードへの切替可否を示す情報を含む。前記情報は、例えば、ヘッダーの特定フィールドに記録されるか、生放送チャネル(或いはプログラム)情報に代替され得る。
前記S205段階では、低遅延生放送モードへの切替を要請しないか、任意の生放送チャネルが低遅延生放送チャネルに既定された特定のチャネルを除いた残りの生放送チャネルであるものと仮定する。
この際、中継サーバー400は、ユーザ端末100のストリーミング要請を受信すると、受信されたストリーミング要請に含まれた情報に基づいて第1モードであるか、第2モード(低遅延生放送モード)であるかを判別する。具体的に、低遅延生放送モードへの切替を要請する情報が含まれているか、要請された生放送チャネルが低遅延生放送チャネルに既定された特定のチャネルである場合、第2モードとして判断する。
したがって、前記中継サーバー400は、S205段階のストリーミング要請を第1モードのストリーミング要請として判断し、第1ストリーミングサーバー200に伝達する(S210)。
これより、第1ストリーミングサーバー200は、HLSプロトコルを基盤にMPEG−TS形式のストリーミングデータパケットを中継サーバー400を介してユーザ端末100に伝送する(S215)。この際、提供されるストリーミングデータパケットは、SD(Standard Definition)又はHD(High Definition)の解像度を支援できる。
の後、S220段階〜S230段階は、図2に示された第実施形態のS115段階〜S125段階と同一に行われる。
また、第2モード(低遅延生放送モード)への切替を要請するイベントが発生した場合、前記ユーザ端末100は、中継サーバー400にストリーミング要請を伝送する(S235)。前記ストリーミング要請は、第2モード(低遅延生放送モード)への切替を要請する情報が含まれるか、低遅延生放送モードに設定された特定のチャネルのチャネル情報を含む。
したがって、前記中継サーバー400は、受信されたストリーミング要請を分析し、第2モード(低遅延生放送モード)であるため、前記ストリーミング要請を第2ストリーミングサーバー300に伝達する(S240)。
前記第2ストリーミングサーバー300は、ユーザ端末100で要請した生放送コンテンツのマルチメディアデータをMMT技術を基盤にストリーミングデータパケットを生成し、中継サーバー400を介してユーザ端末100に伝送する(S245)。この際、前記ストリーミングデータパケットは、UDPを基盤に伝送され得る。
その後、前記ユーザ端末100によるS250段階〜S270段階は、第1実施形態(図2)のS140段階〜S160段階と同一に行われ、但し、S265段階及びS270段階の処理が中継サーバー400を介して行われるという点だけで差異がある。
前述した第2実施形態によれば、ユーザ端末100は、中継サーバー400だけと通信を行うので、ユーザ端末100の立場で動作がより単純になり得る。
以下、本発明による低遅延生放送コンテンツ提供のための装置の構成及び動作を説明する。
本発明による低遅延生放送コンテンツ提供のための装置は、ユーザ端末100に具備され、前記ユーザ端末100のコンピューティング環境を基盤に動作できる。
本発明が適用されるユーザ端末100は、図5に示されたように、通信部110、入力部120、出力部130、格納部140及び制御部150を含む。
前記通信部110は、通信網10を介して外部装置、例えば、第1、第2ストリーミングサーバー200、300又は中継サーバー400とデータを送受信するための構成である。
したがって、前記通信部110は、通信網10の種類によって、有線方式及び無線方式だけでなく、多様な通信方式を介してデータを処理できる。このために、通信部110は、それぞれ互いに異なる通信方式によってデータを送受信する複数の通信モジュールを含むことができる。
入力部120は、ユーザ命令或いはデータを入力するための手段であって、ユーザの操作によって数字、文字、及び記号を含む多様な入力データを生成し、制御部150に伝達し、また、ユーザ操作によってユーザ端末100の機能設定及び機能制御と関連した命令を制御部150に伝達する。このような入力部12は、ユーザの操作によって入力信号を発生するキーパッドとタッチパッドのうち少なくとも一つを含んで構成され得る。また、入力部120は、キーボード、キーパッド、マウス、ジョイ・スティック等のような入力装置外にも、以後開発され得るすべての形態の入力手段で具現され得る。本発明において、ユーザは、前記入力部120を操作し、ストリーミング要請を入力するか、チャネル切替等を要請し得る。
出力部130は、基本的に、ユーザ端末100の動作によって発生する情報をユーザが時刻、聴覚、又は、触覚で認知できるように出力するための手段である。出力部130は、視覚的な情報を出力する表示装置、聴覚的な情報を出力するオーディオ装置(スピーカー)、触覚的な情報を出力するヘプティック装置等を含むことができる。表示装置は、タッチスクリーン(touch screen)になり得、このように、タッチスクリーン形態で表示装置が形成された場合、表示装置は、入力部120の機能のうち一部又は全部を行うことができる。オーディオ装置は、代表的に、スピーカーを例示できる。特に、本発明の実施形態による出力部130は、生放送コンテンツの再生画面及び音を出力することができる。この際、前記再生画面が出力されるユーザインターフェース画面には、低遅延生放送モードへの切替を要請するためのモード切替ボタンがさらに出力され得る。
格納部140は、ユーザ端末100の動作に必要なプログラム及びデータを格納するための構成である。格納部13は、基本的に端末装置100の運営(OS:Operating System)プログラムが格納され、且つ、前記OS環境を基盤に動作する一つ以上のアプリケーション及びその実行に必要であるか、実行中に生成されたデータを格納できる。前記格納部140は、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体(Magnetic Media)、CD−ROM(Compact Disk Read Only Memory)、DVD(Digital Video Disk)のような光記録媒体(Optical Media)、フロプチカルディスク(Floptical Disk)のような磁気−光媒体(Magneto−Optical Media)、及びロム(ROM)、ラム(RAM、Random Access Memory)、フラッシュメモリを含むことができる。特に、前記格納部140は、本発明の実施形態による機能を実行するように具現されたプログラムモジュールを格納する。
また、制御部150は、ユーザ端末100の全般的な動作を制御し、所定の機能を行うための構成であって、制御部150は、マイクロプロセッサー或いはCPU等のようなプロセッサを含んで具現され得る。このような制御部150は、電源オン時に、まず、格納部140に格納されたOSプログラムを実行し、実行環境を構築し、これを基盤に入力部120から伝達されたユーザ命令によって一つ以上のアプリケーション又はプログラムを実行し、所定の機能或いはサービスをユーザに提供できる。特に、本発明によるユーザ端末100の制御部150は、本発明による機能を行うように具現され、前記格納部140に格納された一つ以上のプログラムモジュールを実行し、本発明による機能を行う。
図6は、前述したユーザ端末100に適用される低遅延生放送コンテンツ提供のための装置の構成を示すブロック図である。
図6を参照すると、本発明の実施形態による低遅延生放送コンテンツ提供のための装置は、第1メディア受信モジュール151と、第2メディア受信モジュール152及び再生モジュール153を含むことができる。ここで、「モジュール」は、それぞれ所定の機能を行う構成要素であって、ハードウェア、ソフトウェア、或いはハードウェアとソフトウェアの組合で具現され得る。例えば、前記「モジュール」は、プログラムモジュールを意味でき、これは、プロセッサ(Processor)、すなわち制御部150により実行され、所定の機能を行う。
なお、プログラムモジュールは、コンパイルされるか、解釈された言語や先験的或いは手続的言語を含むプログラミング言語のいずれの形態でも作成され得、独立型プログラムやモジュール、コンポネント、サブルーチン或いはコンピュータ環境で使用するに適した他のユニットを含んでいずれの形態でも展開され得る。また、プログラムモジュールは、必ずファイルシステムのファイルに対応するものではない。すなわち、プログラムモジュールは、要請されたプログラムに提供される単一ファイル内に、或いは多重の相互作用するファイル(例えば、一つ以上のモジュール、下位プログラム或いはコードの一部を格納するファイル)内に、或いは他のプログラムやデータを保有するファイルの一部(例えば、マークアップ言語文書内に格納される一つ以上のスクリプト)内に格納され得る。また、分散コンピューティング環境で、前記プログラムモジュールは、ローカル格納媒体及び遠隔格納媒体に分散格納され得る。すなわち本発明の実施形態で、プログラムモジュールは、ユーザ端末100、第1、第2ストリーミングサーバー200、300、及び中継サーバー400に分散格納され、実行され得る。
前記第1メディア受信モジュール151は、第1メディア伝送技術を基盤にストリーミングデータパケットを処理するための構成である。本発明の実施形態で、前記第1メディア伝送技術は、HLSである。したがって、前記第1メディア受信モジュール151は、前記第1ストリーミングサーバー200から伝送された生放送コンテンツのマルチメディアデータに対するストリーミングデータパケットを受信し、受信されたストリーミングデータパケットを介して伝達されたMPEG2のTS(Transport stream)を分析及びデコーディングし、マルチメディアデータを復元する。
この際、前記第1メディア受信モジュール151は、第1ストリーミングサーバー200から伝送されたm3u8という再生すべきファイル情報を受信し、これを基盤に第1ストリーミングサーバー200からTSを順次に受信し、前述した処理を行う。
次に、第2メディア受信モジュール152は、第2メディア伝送技術を基盤にストリーミングデータパケットを処理するための構成である。本発明の実施形態で、第2メディア伝送技術は、MPEG−Hの一番目パートとして提案されたMMTである。
すなわち、前記第2メディア受信モジュール152は、第2ストリーミングサーバー300から伝送されたストリーミングデータパケットを受信し、前記ストリーミングデータパケットのヘッダーを分析してペイロードに搭載されたMPUを抽出し、前記MPUに含まれたメタデータを参考して、伝送されたマルチメディアデータをデコーディングする。
再生モジュール153は、入力部120を介して入力された入力信号によって動作し、前記第1メディア受信モジュール151又は第2メディア受信モジュール153から出力されるマルチメディアデータを再生するための構成である。ここで、再生は、前記マルチメディアデータを時間的及び空間的に配置し、視覚/聴覚情報として出力することを意味する。この際、前記再生モジュール153は、マルチメディアコンテンツの利用と関連して、図9のようなユーザインターフェースを提供し、前記ユーザインターフェースを介して入力された入力信号によってマルチメディアデータの再生/一時停止/停止等の動作を制御できる。
再生モジュール153は、前記ユーザインターフェースを介してストリーミング要請が発生すると、前記ストリーミング要請が低遅延生放送モードへの切替のためのイベント条件を満足するか否かを判断し、判断結果によって第1メディア受信モジュール151又は第2メディア受信モジュール152にストリーミング要請を指示する。
例を取って説明すると、前記再生モジュール153は、前記ユーザインターフェース第2モード(低遅延生放送モード)への切替を要請するためのモード切替ボタン93が選択されると、低遅延生放送モードへの切替イベントが発生したものと判断し、第2メディア受信モジュール152に当該チャネルに対するストリーミング要請を指示する。もし前記モード切替ボタン93が選択されなければ、前記再生モジュール(153)は第1メディア受信モジュール151にストリーミング要請を指示する。参照として、図9に示されたユーザインターフェースのうち、ボタン92は、第1モードを選択するか、表示するためのものである。
前述した再生モジュール153の指示によって、第1、第2メディア受信モジュール151、152は、第1、第2ストリーミングサーバー200、300にストリーミング要請を伝送するか、中継サーバー400を介して第1、第2ストリーミングサーバー200、300にストリーミング要請を伝送し、前記第1、第2ストリーミングサーバー200、300からそれぞれのメディア伝送技術基盤のストリーミングデータパケットを受信できる。
記第1、第2メディア受信モジュール151、152は、ユーザ端末100の通信部110を介して通信網10にストリーミング要請を伝送し、これに対応するストリーミングデータパケットを受信できる。
前述したように構成された低遅延生放送コンテンツ提供のための装置の動作を図7の流れ図を参照して動作手順によって説明する。
図7を参照すれば、本発明の実施形態による低遅延生放送コンテンツ提供のための装置の再生モジュール153は、マルチメディアデータの再生のためのユーザインターフェースを提供し、前記ユーザインターフェースを介したストリーミング要請イベントの発生を確認できる(S305)。この際、ストリーミング要請イベントは、前記再生モジュール153が初めて動作しデフォルトに設定されたチャネル或いは以前に再生したチャネルのマルチメディアデータを受信して再生しようとするとき、又はユーザが任意のチャネルを選択して、チャネル切替を要請するとき、又は図9に示されたようなモード切替ボタン93が選択されるとき、夫々発生し得る。
かくしてストリーミング要請イベントが発生すると、前記再生モジュール153は、第2モード(低遅延生放送モード)へのすべての切替のためのイベント条件を満たすか否かを判断する(S310)。前記イベント条件は、ユーザインターフェースを介して低遅延生放送モードへの切替を指示するすべての切替ボタン93が選択されるか、ストリーミング要請されるチャネルが低遅延生放送モードに既定された特定のチャネルである場合、充足され得る。
前記判断結果、イベント条件を満たさなければ、再生モジュール153は、第1メディア受信モジュール151に当該チャネルのストリーミングを要請し、これにより、第1メディア受信モジュール151が直接或いは中継サーバー400を介して第1ストリーミングサーバー200にストリーミングを要請する(S315)。続いて、再生モジュール(153)は前記第1ストリーミングサーバー200が伝送したストリーミングデータパケットを受信して再生する(S320)。この際、第1メディア受信モジュール151により受信されるストリーミングデータパケットは、図8の(a)のように、HLSを基盤にMPEG−TSを含む。
反対に、前記判断結果、イベント条件を満たす場合、再生モジュール153は、第2メディア受信モジュール152に当該チャネルのストリーミングを要請し、これにより、第2メディア受信モジュール152は、直接或いは中継サーバー400を介して第2ストリーミングサーバー300にストリーミングを要請する(S325)。続いて、再生モジュール(153)は前記第2ストリーミングサーバー300が伝送したストリーミングデータパケットを受信して再生する(S330)。前記第2メディア受信モジュール152により受信されるストリーミングデータパケットは、図8の(b)のように、MMT基盤MPUを含む。ここで、前記第2ストリーミングサーバー300からのストリーミングデータパケットの受信は、UDP基盤で行われる。
この際、本発明の実施形態による装置は、第2ストリーミングサーバー300からストリーミングデータパケットを受信して再生する間に、バッファー状態をチェックすることによって、断絶現象が発生するか否かを確認し(S335)、該確認結果、断絶現象が発生するものと予測されるか、感知された場合、バッファーサイズ調整及びTCPへの切替を行う(S340)。これは、前記第2メディア受信モジュール152により行われることができる。すなわち、第2メディア受信モジュール152が持続的にバッファー状態をチェックし、断絶現象が発生するかを確認し、発生するものと予測されるか感知されると、ストリーミングデータパケットを格納するバッファーのサイズを増加させ、且つ、ストリーミングデータパケットを受信するための伝送階層プロトコルをTCP方式に切り替える。この際、TCP方式への切替は、ユーザ端末100の通信部110を介して第2ストリーミングサーバー300と連動して行われることができる。すなわち、前記通信部110を介して第2ストリーミングサーバー300とのTCP連結を樹立する。
その後、第2メディア受信モジュール152は、TCP基盤に第2ストリーミングサーバー300からストリーミングデータパケットを受信してデコーディングし、このように獲得されたマルチメディアデータは、再生モジュール153を介して再生される(S345)。
すなわち、本発明の実施形態による装置は、ユーザが任意のチャネル、さらに具体的には、図8の(a)に示されたように、HLS/MPEG−TS基盤のマルチメディアデータを受信して再生する中に、モード切替ボタン93を押すか、低遅延生放送モードに既定された特定のチャネルへの切替を要請すれば、HLSのm3u8のリストが受信される時点でモード切替され、図8の(b)に示されたように、当該時点に対応するMPU2から受信して再生できる。
以上のように、本明細書と図面には、本発明の好適な実施形態について開示したが、ここに開示された実施形態以外にも、本発明の技術的思想に基づく他の変形例が実施可能であることは、本発明の属する技術分野における通常の知識を有する者に自明である。また、本明細書と図面で特定の用語が使用されたが、これは、ただ本発明の技術内容を容易に説明し、発明の理解を助けるための一般的な意味として使用されるものであって、本発明の範囲を限定しようとするものではない 。
たとえ本明細書と図面では、例示的な装置構成を記述しているが、本明細書で説明する機能的な動作と主題の具現物は、他の類型のデジタル電子回路で具現されるか、本明細書で開示する構造及びその構造的な等価物を含むコンピュータソフトウェア、ファームウエア或いはハードウェアで具現されるか、これらのうち一つ以上の結合で具現可能である。本明細書で説明する主題の具現物は、一つ以上のコンピュータプログラム製品、言い換えれば、本発明による装置の動作を制御するために、或いはこれによる実行のために、有形のプログラム格納媒体上にエンコーディングされたコンピュータプログラム命令に関する一つ以上のモジュールとして具現され得る。コンピュータで読み取り可能な媒体は、機械で読み取り可能な格納装置、機械で読み取り可能な格納基板、メモリ装置、機械で読み取り可能な電波型信号に影響を及ぼす物質の組成物或いはこれらのうち一つ以上の組合せであることができる。
本明細書は、多数の特定の具現物の詳細事項を含むが、これらは、如何なる発明や請求可能なものの範囲に対しても制限的なものとして理解されてはならず、むしろ特定の発明の特定の実施形態に特有な特徴に対する説明として理解しなければならない。個別的な実施形態の文脈で本明細書に記述された特定の特徴は、単一実施形態で組み合わせて具現されることもできる。反対に、単一実施形態の文脈で記述した多様な特徴も個別的に或いは如何なる適切な下位組合でも複数の実施形態で具現可能である。さらに、特徴が特定の組合で動作し、初期にそのように請求されたように描写され得るが、請求された組合からの一つ以上の特徴は、一部の場合にその組合から排除され得、その請求された組合は、下位組合や下位組合の変形物に変更され得る。
同様に、特定の手順で図面で動作を描いているが、これは、好適な結果を得るために図示されたその特定の手順や順次な順にそのような動作を実行しなければならないか、すべての図示された動作が実行されなければならないものと理解されてはならない。特定の場合、マルチタスキングと並列プロセッシングが有利であることができる。また、前述した実施形態の多様なシステムコンポネントの分離は、そのような分離をすべての実施形態で要求するものと理解されてはならず、説明したプログラムコンポネントとシステムは、一般的に単一のソフトウェア製品に一緒に統合されるか、多重ソフトウェア製品にパッケージングされ得るという点を理解しなければならない。
本明細書で説明した主題の特定の実施形態を説明した。その他の実施形態は、以下の請求項の範囲内に属する。例えば、請求項で引用された動作は、異なる手順に行われながらも、相変らず好適な結果を成就できる。一例として、添付の図面に示したプロセスは、好適な結果を得るために、必ずその特定の図示された手順や順次的な手順を要求しない。特定の具現例で、マルチタスキングと並列プロセッシングが有利であることができる。
本記述した説明は、本発明の最上のモードを提示しており、本発明を説明するために、そして当業者が本発明を製作及び利用できるようにするための例を提供している。このように作成された明細書は、その提示された具体的な用語に本発明を制限するものではない。したがって、前述した例を参照して本発明を詳細に説明したが、当業者なら、本発明の範囲を逸脱することなく、本例に対する改造、変更及び変形を加えることができる。
したがって、本発明の範囲は、説明された実施形態によって定めるものではなく、特許請求範囲により定めなければならない。

Claims (8)

  1. 第1メディア伝送技術を基盤にストリーミングサービスを提供する第1ストリーミングサーバーから生放送コンテンツの第1ストリーミングデータパケットを受信し、デコーディングする第1メディア受信モジュールと、
    前記第1メディア伝送技術とは異なる第2メディア伝送技術を基盤にストリーミングサービスを提供する第2ストリーミングサーバーから前記生放送コンテンツの第2ストリーミングデータパケットを受信し、デコーディングする第2メディア受信モジュールと、
    前記生放送コンテンツの再生のためのユーザインターフェースを提供し、前記ユーザインターフェースを介して任意チャネルに対するストリーミング要請イベントが発生すると、前記ストリーミング要請イベントが低遅延生放送モードへの切替のためのイベント条件を満足するか否かを判断し、該判断結果によって前記第1メディア受信モジュール又は前記第2メディア受信モジュールにストリーミング要請を指示し、前記第1メディア受信モジュール又は前記第2メディア受信モジュールから前記デコーディングされた第1ストリーミングデータパケット又は前記デコーディングされた第2ストリーミングデータパケットを受信して再生する再生モジュールと、を含むことを特徴とする低遅延生放送コンテンツ提供のための装置。
  2. 前記再生モジュールは、
    前記ユーザインターフェースを介して提供された低遅延生放送モードへの切替を指示するすべての切替ボタンが選択されるか、前記任意チャネルが低遅延生放送モードに既定された特定のチャネルである場合、前記イベント条件を満たすものと判断することを特徴とする請求項1に記載の低遅延生放送コンテンツ提供のための装置。
  3. 前記第2メディア受信モジュールは、
    前記第2ストリーミングサーバーから前記第2ストリーミングデータパケットを受信する間に、バッファー状態を確認し、断絶現象の発生を感知するか予測し、断絶現象の発生が感知されるか予測されると、バッファーサイズを調整することを特徴とする請求項1に記載の低遅延生放送コンテンツ提供のための装置。
  4. 前記第2メディア受信モジュールは、
    UDP基盤前記第2ストリーミングデータパケットを受信しながら、前記断絶現象の発生が感知されるか予測されると、TCP方式に切り替え、前記第2ストリーミングデータパケットを受信することを特徴とする請求項に記載の低遅延生放送コンテンツ提供のための装置。
  5. 任意のチャネルに対するストリーミング要請イベントが発生すると、前記ストリーミング要請イベントが低遅延生放送モードへの切替のためのイベント条件を満たすか否かを判断する段階と、
    該判断結果、前記イベント条件を満足しなければ、第1メディア伝送技術を基盤にストリーミングサービスを提供する第1ストリーミングサーバーにストリーミング要請を伝送し、前記第1ストリーミングサーバーから伝送された生放送コンテンツの第1ストリーミングデータパケットを受信し、デコーディングする第1受信段階と、
    該判断結果、前記イベント条件を満足すれば、前記第1メディア伝送技術とは異なる第2メディア伝送技術を基盤にストリーミングサービスを提供する第2ストリーミングサーバーストリーミング要請を伝送し、前記第2ストリーミングサーバーから伝送された前記生放送コンテンツの第2ストリーミングデータパケットを受信し、デコーディングする第2受信段階と、
    前記デコーディングされた第1ストリーミングデータパケット又は前記デコーディングされた第2ストリーミングデータパケットを再生する段階と、を含む低遅延生放送コンテンツ提供のためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  6. 前記判断する段階は、
    低遅延生放送モードへの切替を指示するすべての切替ボタンが選択されるか、前記任意のチャネルが低遅延生放送モードに既定された特定のチャネルである場合、前記イベント条件を満たすものと判断することを特徴とする請求項5に記載の低遅延生放送コンテンツ提供のためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  7. 前記第2ストリーミングサーバーから前記第2ストリーミングデータパケットを受信する間に、バッファー状態を基盤に断絶現象が発生するかを確認する段階と、
    断絶現象が確認されると、前記第2ストリーミングサーバーから受信した前記第2ストリーミングデータパケットを格納するバッファーのサイズを調整する段階とをさらに含むことを特徴とする請求項5に記載の低遅延生放送コンテンツ提供のためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  8. 前記断絶現象が確認されると、前記第2ストリーミングデータパケットの伝送階層プロトコルをUDP方式からTCP方式に切り替える段階をさらに含むことを特徴とする請求項7に記載の低遅延生放送コンテンツ提供のためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2017554232A 2015-02-13 2016-02-13 低遅延生放送コンテンツ提供のためのプログラムを記録した記録媒体及び装置 Active JP6430034B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020150022327A KR102111572B1 (ko) 2015-02-13 2015-02-13 저지연 생방송 컨텐츠 제공을 위한 프로그램을 기록한 기록매체 및 장치
KR10-2015-0022327 2015-02-13
PCT/KR2016/001460 WO2016129966A1 (ko) 2015-02-13 2016-02-13 저지연 생방송 컨텐츠 제공을 위한 프로그램을 기록한 기록매체 및 장치

Publications (2)

Publication Number Publication Date
JP2018507662A JP2018507662A (ja) 2018-03-15
JP6430034B2 true JP6430034B2 (ja) 2018-11-28

Family

ID=56615318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017554232A Active JP6430034B2 (ja) 2015-02-13 2016-02-13 低遅延生放送コンテンツ提供のためのプログラムを記録した記録媒体及び装置

Country Status (5)

Country Link
US (1) US10148725B2 (ja)
JP (1) JP6430034B2 (ja)
KR (1) KR102111572B1 (ja)
CN (1) CN107113474B (ja)
WO (1) WO2016129966A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923492A (zh) * 2016-09-06 2022-01-11 麦克赛尔株式会社 广播接收***
US11178204B1 (en) * 2017-02-23 2021-11-16 Cox Communications, Inc. Video processor to enhance color space and/or bit-depth
US11394759B2 (en) * 2017-06-29 2022-07-19 Sony Corporation Communication system and control apparatus
CN110138513B (zh) * 2019-03-26 2020-12-29 视联动力信息技术股份有限公司 一种数据传输方法和视联网***
KR20220048670A (ko) * 2020-10-13 2022-04-20 삼성전자주식회사 전자 장치 및 그 동작 방법
KR102475023B1 (ko) * 2021-05-13 2022-12-08 주식회사 날다 드론을 이용한 실시간 여행 서비스 제공 시스템
CN114697882B (zh) * 2022-04-27 2024-06-25 上海寰创通信科技股份有限公司 一种无人驾驶场景下的列车实时广播***及方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4008734B2 (ja) * 2001-03-29 2007-11-14 松下電器産業株式会社 データ再生装置及び携帯電話機
EP1675343A1 (en) * 2004-12-23 2006-06-28 Siemens S.p.A. Method and system to minimize the switching delay between two RTP multimedia streaming sessions
GB2422515B (en) * 2005-01-21 2009-05-27 King S College London A method of discovering multi-mode mobile terminals
US8180029B2 (en) * 2007-06-28 2012-05-15 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
CN101252496B (zh) * 2008-04-01 2011-03-16 北京创毅视讯科技有限公司 一种多媒体网络传输***、终端和方法
CN103069406B (zh) * 2010-04-08 2016-11-23 瓦索那网络公司 对于多个客户机管理流媒体带宽
KR20120084252A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법
US9553912B2 (en) * 2011-01-19 2017-01-24 Electronics And Telecommunications Research Institute Method and apparatus for transmitting media content via a single port or multiple ports
US20130067109A1 (en) * 2011-09-12 2013-03-14 Tektronix, Inc. Monitoring Over-the-Top Adaptive Video Streaming
US9843844B2 (en) * 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
KR102119287B1 (ko) * 2011-12-01 2020-06-04 인터디지탈 매디슨 페이튼트 홀딩스 이용가능한 대역폭에 따라 전송 프로토콜을 선택함으로써 콘텐츠를 획득하는 장치
KR20130078643A (ko) * 2011-12-30 2013-07-10 한국전자통신연구원 Mmt 복합 전달 서비스에서 mmt 패킷 스트림 동기화를 위한 mmt 제어 계층 시그널링을 이용한 타이밍 정보 제공 방법 및 mmt 패킷 스트림 동기화 방법
KR20130112576A (ko) * 2012-04-04 2013-10-14 (주)휴맥스 이벤트를 기반으로 하는 콘텐트 재생 방법, 장치 및 시스템
KR20130119885A (ko) 2012-04-24 2013-11-01 한국전자통신연구원 네트워크 적응적인 계층적 비디오 전송을 위한 mmt 패킷의 전송 방법 및 장치
KR101993418B1 (ko) * 2013-02-04 2019-06-26 삼성전자주식회사 휴대 단말기의 무선 통신 채널 운용 방법 및 시스템
CN103248956B (zh) * 2013-05-20 2016-12-28 浙江传媒学院 一种多屏协作模式的智能家庭视频业务的实现方法及***
US9300896B2 (en) * 2013-06-03 2016-03-29 Sony Corporation Method, computer-readable storage medium, reception apparatus, and information providing apparatus for identifying available channels and/or services
CN104219402A (zh) * 2014-02-14 2014-12-17 爱沟通网络科技有限公司 一种改善VoIP通信质量的***
CN103823546B (zh) * 2014-03-10 2017-07-28 联想(北京)有限公司 信息控制方法和电子设备
KR101499194B1 (ko) * 2014-03-26 2015-03-17 주식회사 비즈모델라인 적응형 스트리밍 방법
WO2016117908A1 (ko) * 2015-01-19 2016-07-28 삼성전자 주식회사 멀티미디어 콘텐츠를 송수신하는 방법 및 장치
JP6301849B2 (ja) * 2015-02-03 2018-03-28 マクセル株式会社 表示及び一時蓄積の処理方法

Also Published As

Publication number Publication date
WO2016129966A1 (ko) 2016-08-18
US10148725B2 (en) 2018-12-04
US20170324797A1 (en) 2017-11-09
KR102111572B1 (ko) 2020-05-15
CN107113474B (zh) 2020-03-03
CN107113474A (zh) 2017-08-29
KR20160099959A (ko) 2016-08-23
JP2018507662A (ja) 2018-03-15

Similar Documents

Publication Publication Date Title
JP6430034B2 (ja) 低遅延生放送コンテンツ提供のためのプログラムを記録した記録媒体及び装置
KR102072344B1 (ko) 적응형 스트리밍 서비스 제공 방법 및 이를 위한 장치
KR102266325B1 (ko) 비디오 품질 향상
EP3195606B1 (en) Direct streaming for wireless display
TWI565310B (zh) 無線通訊系統中的視訊流送
US9292826B1 (en) Adaptive bit rates in multicast communications
WO2014052155A1 (en) Method for seamless unicast-broadcast switching during dash-formatted content streaming
KR20160106563A (ko) Dash를 위한 클라이언트/서버 시그널링 명령
JP4771369B2 (ja) シームレスハンドオーバにおけるメディアストリーム切替方法、システム及びプログラム
US9749379B2 (en) Apparatus and method for receiving video service in hybrid network
EP2312826A2 (en) Network device, information processing apparatus, stream switching method, information processing method, program, and content distribution system
US10165311B2 (en) Non-transitory computer-readable recording medium having program recorded therein for providing network-adaptive content and apparatus for providing network-adaptive content
US10085029B2 (en) Switching display devices in video telephony
KR102281217B1 (ko) 인코딩 방법 및 디코딩 방법, 그리고 이를 위한 장치
KR102209783B1 (ko) 스트리밍 제공 서버와 기지국 연동 노드를 통한 스트리밍 데이터 패킷 제공 방법, 이를 위한 기지국 연동 노드
US10440406B2 (en) Method and apparatus for transmitting or receiving multimedia
Tabari et al. Low latency live video streaming on android devices using web-socket
KR102210437B1 (ko) 미디어 컨텐츠 전송 제어 방법, 이를 위한 장치
KR102147145B1 (ko) 하이브리드 망에서의 비디오 서비스 수신 장치 및 방법
JP2007053504A (ja) 映像通信装置、映像通信方法、及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181030

R150 Certificate of patent or registration of utility model

Ref document number: 6430034

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250