KR20120138604A - 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치 - Google Patents

멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치 Download PDF

Info

Publication number
KR20120138604A
KR20120138604A KR1020110104862A KR20110104862A KR20120138604A KR 20120138604 A KR20120138604 A KR 20120138604A KR 1020110104862 A KR1020110104862 A KR 1020110104862A KR 20110104862 A KR20110104862 A KR 20110104862A KR 20120138604 A KR20120138604 A KR 20120138604A
Authority
KR
South Korea
Prior art keywords
unit
data
information
multimedia
media content
Prior art date
Application number
KR1020110104862A
Other languages
English (en)
Inventor
박경모
유성열
황승오
송재연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110125458A priority Critical patent/KR20120138608A/ko
Priority to CN201280029677.7A priority patent/CN103621067B/zh
Priority to EP21186798.1A priority patent/EP3917137B1/en
Priority to JP2014515746A priority patent/JP6117193B2/ja
Priority to PL12799847T priority patent/PL2721814T3/pl
Priority to US13/495,429 priority patent/US10110655B2/en
Priority to PCT/KR2012/004666 priority patent/WO2012173389A2/en
Priority to ES21186798T priority patent/ES2935286T3/es
Priority to RU2014100914/07A priority patent/RU2601442C2/ru
Priority to AU2012270417A priority patent/AU2012270417B2/en
Priority to EP22204979.3A priority patent/EP4152730B1/en
Priority to EP12799847.4A priority patent/EP2721814B1/en
Publication of KR20120138604A publication Critical patent/KR20120138604A/ko
Priority to KR1020150056636A priority patent/KR101863410B1/ko
Priority to JP2017055919A priority patent/JP6665126B2/ja
Priority to JP2017080313A priority patent/JP6665127B2/ja
Priority to KR1020180059290A priority patent/KR101918658B1/ko
Priority to US16/166,904 priority patent/US10447754B2/en
Priority to US16/166,983 priority patent/US10542065B2/en
Priority to KR1020180136059A priority patent/KR101973544B1/ko
Priority to JP2019075665A priority patent/JP6743235B2/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/402—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel non-real time sessions, e.g. downloading a file in a parallel FTP session, initiating an email or combinational services
    • H04L65/4025—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel non-real time sessions, e.g. downloading a file in a parallel FTP session, initiating an email or combinational services where none of the additional parallel sessions is real time or time sensitive, e.g. downloading a file in a parallel FTP session, initiating an email or combinational services

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 복합 미디어의 생성 방법에 있어서 다양한 종류의 멀티 미디어를 복합 미디어 컨텐츠로 생성하는 방법 및 이를 위한 장치에 대한 것으로서, 본 발명의 실시 예에 따라 멀티미디어 시스템에서 복합 미디어 컨텐트를 전송하는 방법은, 상기 복합 미디어 컨텐트와 관련된 다수의 멀티미디어 소스를 데이터 타입에 따라 구분하여 다수의 단위 데이터로 구성하는 과정과, 상기 다수의 단위 데이터와 상기 다수의 단위 데이터를 구별하여 수신하기 위한 제어 정보를 포함하는 데이터 스트림을 생성하는 과정과, 상기 데이터 스트림을 통신망을 통해 전송하는 과정을 포함한다.

Description

멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치{METHOD AND APPARATUS FOR TRANSMITTING/RECEIVING HYBRID MEDIA CONTENT IN A MULTIMEDIA SYSTEM}
본 발명은 멀티미디어 시스템에서 미디어 컨텐츠를 송수신하는 방법 및 장치 대한 것으로서, 특히 다양한 종류의 미디어를 포함하는 복합 미디어 컨텐츠를 송수신하는 방법 및 장치에 대한 것이다.
멀티미디어 컨텐츠의 증가 및 기술의 발달로 인해 종래 단일 혹은 2개 이상의 멀티미디어 소스들만이 이용되던 시기에서 다양한 종류의 멀티미디어 컨텐츠들을 포함하는 복합 미디어 컨텐츠들(Hybrid Media Contents)이 등장하게 되었다. 일반적으로 상기 복합 미디어 컨텐츠들은 다양한 종류의 멀티미디어 컨텐츠들을 포함한다.
상기 복합 미디어 컨텐츠는 생성 시 개별적인 멀티미디어 컨텐츠들로 분리되어 생성된다.
예를 들면, 비디오를 포함하는 영상, 음성 및 특정 동작 화면을 구성하는 위젯(Widget) 등의 어플리케이션(application)으로 구성된 복합 미디어 컨텐츠는 각 미디어 특성에 맞는 영상 신호 부호화 방법, 음성 신호 부호화 방법과 파일 압축 방법 등을 통하여 각각 생성되며, 각각의 멀티미디어 컨텐츠들은 수신단에서 복합 미디어 컨텐츠로 재구성된다.
이와 같이 종래 복합 미디어 컨텐츠는 송신단에서 다수의 멀티미디어 컨텐츠들로 분리되어 수신단으로 제공된다. 수신단에서는 분리된 다수의 멀티미디어 컨텐츠들을 재구성하여 복합 미디어 컨텐트를 생성한다. 복합 미디어 컨텐츠의 이용은 상기와 같이 멀티미디어 컨텐츠들의 분리와 재구성 동작이 요구된다. 그러나 복합 미디어 컨텐츠의 이용이 급증하면서 보다 효율적으로 복합 미디어 컨테츠를 생성하고, 송수신하는 방법이 요구된다.
본 발명은 멀티미디어 시스템에서 복합 미디어 컨텐츠를 효율적으로 송수신하는 방법 및 장치에 대한 것이다.
또한 본 발명은 멀티미디어 시스템에서 다양한 멀티미디어 데이터들을 포함하는 복합 미디어 컨텐츠를 생성하는 방법 및 장치를 제공한다.
본 발명의 실시 예에 따라 멀티미디어 시스템에서 복합 미디어 컨텐트를 전송하는 방법은, 상기 복합 미디어 컨텐트와 관련된 다수의 멀티미디어 소스를 데이터 타입에 따라 구분하여 다수의 단위 데이터로 구성하는 과정과, 상기 다수의 단위 데이터와 상기 다수의 단위 데이터를 구별하여 수신하기 위한 제어 정보를 포함하는 데이터 스트림을 생성하는 과정과, 상기 데이터 스트림을 통신망을 통해 전송하는 과정을 포함한다.
본 발명의 실시 예에 따라 멀티미디어 시스템에서 복합 미디어 컨텐츠를 구성하는 방법은, 다양한 종류의 멀티미디어 데이터들을 구성하고 생성하는 과정과, 상기 멀티미디어 데이터들을 구별할 수 있는 식별자를 부여하는 방법과, 상기 식별자를 부여하는 방법에 있어서 복합 미디어 컨텐츠를 구성하는 멀티미디어 소스들의 종류와 숫자 및 각 멀티미디어의 속성 정보를 표기를 고려하는 방법을 포함한다.또한 본 발명의 실시 예에 따라 멀티미디어 시스템에서 복합 미디어 컨텐츠를 전송하는 송신 장치는, 상기 복합 미디어 컨텐츠를 전송하는 전송부와, 상기 복합 미디어 컨텐츠를 구성하는 다양한 종류의 멀티미디어 데이터를 수신받는 입력부와, 상기 멀티미디어 데이터들의 속성을 고려하여 부가 정보를 부가하여 적합하게 저장하는 저장부와, 상기 멀티미디어 소스들에게 식별자를 부여하는 식별부와 상기 전송부, 입력부, 저장부, 및 식별부를 제어하는 제어부로 구성된다.
상기한 본 발명의 실시 예에 의하면, 다양한 종류의 멀티미디어 소스들, 즉 멀티미디어 데이터들을 포함하는 복합 컨텐츠를 효율적으로 생성하고, 송수신하는 장치 및 방법을 제공할 수 있다.
또한 본 발명에 의하면, 임의의 크기를 가지는 멀티미디어 데이터를 전송 혹은 저장함에 있어서 적절하게 분할(fragmentation) 할 수 있다.
또한 본 발명에 의하면, 멀티미디어 시스템에서 시간, 중요도, 다양한 기능 정보 중 적어도하나의 정보를 제어 정보로서 포함하는 복호화 단위인 M-Unit의 위치 혹은 전송 시점을 용이하게 식별할 수 있으며, 복합 미디어 컨텐츠의 일 형태인 ASSET의 형식을 적절한 방법으로 효율적으로 알려줄 수 있다.
또한 본 발명에 의하면 멀티미디어 시스템에서 ASSET의 종류를 효율적으로 알려줄 수 있다.
도 1은 본 발명의 실시 예에 따라 MPEG MMT에서 복합 미디어 컨텐츠를 가공하는 계층 구조를 나타낸 도면,
도 2는 본 발명의 실시 예에 따른 M-Unit의 헤더 구성을 나타낸 도면,
도 3은 본 발명의 실시 예에 따른 Asset의 헤더 구성을 나타낸 도면,
도 4는 본 발명의 실시 예에 따라 복합 미디어 컨텐츠를 생성하여 전송하는 송신 장치의 구성을 나타낸 블록도,
도 5는 본 발명의 실시 예에 따라 복합 미디어 컨텐츠를 수신하는 수신 장치의 구성을 나타낸 블록도,
도 6은 본 발명의 실시 예에 따라 비디오 프레임이 다수의 슬라이스들로 구성된 일 예를 나타낸 도면.
하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 이하 본 발명의 실시 예를 첨부된 도면을 참조하여 설명하면 다음과 같다.
이하 설명될 본 발명의 실시 예들은 본 발명이 적용될 수 있는 기술들 중 하나인 MPEG MMT(MPEG Media Transport: 이하 MMT) 기술을 예로 들어 설명될 것이나, 이 설명이 본 발명의 내용을 제한하지는 않음에 유의하여야 할 것이다.
도 1은 본 발명의 실시 예에 따라 MPEG MMT에서 복합 미디어 컨텐츠를 가공하는 계층 구조를 나타낸 도면으로서, 특히 E 계층의 구조를 나타낸 도면이다.
도 1을 참조하면, E 계층은 E3 계층(105), E2 계층(107), 그리고 E1 계층(109)을 포함하는 세부 계층으로 구성된다.
도 1에서 참조 번호 101과 103은 멀티미디어 데이터를 복호화/부호화하는 미디어 코덱 계층이다. 미디어 코덱(Media Codec (A))(101)과 미디어 코덱(Media Codec(B))(103)은 기능상에 차이가 있다. 예를 들어 설명하면 H.264 코덱(Codec)(도시되지 않음)는 디지털 압축된 영상 등의 멀티미디어 데이터와 함께 그 멀티미디어 데이터의 특성 정보, 복호화에 필요한 시그널링 정보 등을 제어 정보로 제공하는 NAL unit(Network Adaptation Layer)이 부호화기의 출력이며, H.262 코덱(Codec)은 디지털 압축된 영상 등의 멀티미디어 데이터만이 부호화기의 출력이 된다. H.264 부호화는 상기 미디어 코덱(Media Codec (B))(103)에서 수행될 수 있으며, H.262 부호화는 상기 미디어 코덱(Media Codec (A))(101)에서 수행될 수 있다. 그러나 미디어 코덱(Media Codec (A))(101)에서 H.264 부호화를 수행하는 것도 가능하다. 즉 미디어 코덱(Media Codec (A))(103)은 특성 정보, 시그널링 정보 등의 제어 정보가 부가되는 멀티미디어 데이터의 부호화가 가능하며, 미디어 코덱(Media Codec(B))(101)은 멀티미디어 데이터만의 부호화가 가능하다.
도 1에서 MMT E3 계층(105)은 미디어 코덱(Media Codec (A))(101)으로부터 전달된 부호화된 멀티미디어 데이터에 해당 멀티미디어 데이터의 특성 정보, 복호화에 필요한 시그널링 정보 등의 제어 정보를 부가하여 MMT E2 계층(107)으로 전달한다.
이 경우에 MMT E3 계층(105)의 정보는 NAL 유닛 헤더와 NAL 유닛 데이터를 포함하고 부가적인 헤더 정보를 포함한다.
본 발명의 실시 예에서 다수의 비디오 슬라이스들로 구성된 비디오 프레임 구조의 일 예는 도 6과 같다. 도 6의 프레임 구조는 동일 시간에 비디오의 한 화면에 표시되는 한 프레임이 다수의 슬라이스 구조로 구성된 예로 예컨대, 비디오의 한 화면이 7 개의 작은 블럭들(슬라이스들)로 부호화된 예를 나타낸 것이다.
즉 도 6에서 참조 번호 601 내지 613은 비디오의 한 화면에 표시되는 프레임을 구성하는 다수의 슬라이스들을 각각 나타낸 것이다. 다수의 슬라이스들(601~613)은 도 6의 예와 같이 먼저 좌측에서 우측 방향으로 배치되고, 프레임이 채워지면서 위에서 아래 방향으로 배치될 수 있다. 다른 예로 한 프레임을 구성하는 다수의 슬라이스들은 좌측(or 우측)에서 우측(or 좌측) 방향 또는 아래(or 위)에서 위(or 아래) 방향의 다양한 조합으로 채워질 수 있다. 그리고 슬라이스들(601~613)의 길이는 각각 다를 수 있다.
상기 도 6과 같은 구조의 프레임을 시간 정보, 중요도, 다양한 기능 정보(예를 들어, 임의 접근 위치 정보) 중 적어도 하나의 정보(이하, "제어 정보")를 포함하는 하나의 구성 단위인 미디어 유닛(Media Unit)(이하, M-Unit)으로 구성하고, 독립적으로 복호화될 수 있는 각각의 슬라이스(601~613)는 미디어 프래그먼트 유닛(Media Fragment Unit)(이하, MFU)으로 구성할 수 있다.
또한 본 발명의 실시 예에서 상기 M-unit은 - 데이터가 기록할 데이터 유닛을 종속적으로 갖는 - 가장 큰 그룹 프레임(GOP : Group Of Pictures)과 같이 독립적으로 동작하는 단위로 정의할 수 있다.
본 발명의 실시 예에 따르면, MFU 가 하나의 슬라이스에 해당하는 경우 한 프레임이 하나의 M-Unit을 구성한다. 또한 MFU 가 한 프레임에 해당하는 경우에는, M-Unit은 독자적인 복호화 최소 단위인 그룹 프레임(GOP)를 구성한다.
차세대 멀티미디어 방송 시스템을 고려하여, 비디오 프레임은 최소 복호화 단위인 상기 MFU 와, 상기 제어 정보를 포함하는 복호화 단위인 M-Unit으로 구조화될 수 있다. 또한 상기 M-Unit은 단일 MFU, Fragmented MFU, 또는 Group of MFU로도 구성될 수 있다.
그리고 상기 제어 정보를 바탕으로 복호화기에서는 최소 구성 단위별 제어 기능을 보다 효율적으로 제어할 수 있다. 또한 상기 MFU는 MMT E3 계층(105)으로 입력되는 최소 데이터 유닛이며, 상기 M-Unit은 상기 시간 정보 등의 제어 정보를 포함하는 MMT E3 계층(105)의 출력 데이터 유닛이다.
상기와 같이 구조화된 M-Unit을 이용하여, 차세대 멀티미디어 방송 시스템에서 전송 및 저장을 위한 효율적인 미디어 컨텐츠 데이터를 구성할 수 있다.
한편 상기 MMT E3 계층(105)의 출력 데이터 유닛에 포함되는 제어 정보로서, 상기 부가적인 헤더 정보는 상기 MFU와 관련하여 아래 1) 내지 8)의 정보 중 적어도 하나를 포함하며, 그 정보들은 다음과 같다.
1) MFU의 지시자(indicator) : MFU 의 구성 정보를 표시하게 되며, 이는 MFU 데이터의 분할 여부와 MFU들이 시작 유닛 또는 계속되는 유닛 또는 마지막 유닛임을 나타내는 플래그 정보를 나타낸다.
2) 시퀀스 번호 : 상기 플래그 정보가 계속될 때 사용되며, 여기서 상기 MFU는 사용할 순차 정보인 증가 번호를 갖는다.
3) 바이트 오프셋 정보 : 미디어 데이터의 시작인 실제 위치를 지시한다.
4) 길이 정보 : 미디어 데이터의 길이를 나타낸다.
5) 데이터 타입 : MFU의 우선 순위의 값을 나타낸다. 예를 들어 상기 데이터 타입이 "0"이면, 그 MFU는 우선 순위 데이터를 갖지 않는 것임을 나타내며, "1"이면 그 MFU이 우선 순위 데이터를 가짐을 나타낸다.
6) 종속적인 카운트(dependency count) : 종속적인 MFU 카운트의 값이다. 예를 들어 이 종속적인 카운트 값이 "4"이면, 해당 MFU 데이터는 이후 4 개의 MFU들이 서로 갖는 정보를 가짐을 의미한다. 이를 통해 해당 MFU 데이터의 오류가 있을 경우 그 오류가 전파되는 정도를 나타낼 수 있다.
7) 다중 계층화된 정보(multi-layered information) : 이 정보는 예를 들어 기본 미디어의 식별자, 향상 미디어의 식별자, 다중 시점 미디어 코딩와 같은 정보를 지시한다. 이 MFU들은 스케일러블 미디어 코딩(scalable media coding) 또는 다중 계층화된 미디어 코딩(multi-layered media coding)의 정보와 관련된다.
8) 미디어 코덱 장치 부가 정보 : 이 정보는 예를 들어 해당 미디어 코덱을 이용하여 부호화 하는 과정에서 장치에 따라 변경되는 정보를 의미한다. 해당 미디어 코덱의 프로파일과 레벨 정보가 변경되거나 코덱의 종류가 변경되는 경우를 고려하여 해당 정보의 리스트 혹은 확장 정보를 표시한다.
또한 도 1에서 MMT E3 계층(105)은 미디어 코덱(Media Codec (A))(101)으로부터 전달된 부호화된 멀티미디어 데이터에 해당 멀티미디어 데이터의 특성 정보, 복호화에 필요한 시그널링 정보 등의 제어 정보를 부가하여 MMT E2 계층(107)으로 전달하여 M-Unit을 생성하게 된다. 상기에서 언급한 M-Unit에 포함되는 제어 정보의 예는 아래와 같다.
1) M-Unit 식별자 : M-Unit의 구성 정보를 표시하게 되며, 이는 M-Unit이 단일 MFU, 분할된 MFU, MFU 그룹 및 복수개의 미디어 AU(Access Unit)으로 구성되었는지를 나타내는 플래그 정보를 나타내며, 또한 상기 정보에 추가적으로 M-Unit이 시작 유닛인지 또는 계속되는 유닛인지 또는 마지막 유닛인지를 나타내는 플래그 정보를 나타낸다.
2) 시퀀스 번호 : 상기 플래그 정보가 계속될 때 사용되며, 여기서 상기 M-Unit은 사용할 순차 정보인 증가 번호를 갖는다.
3) 바이트 오프셋 정보 : M-Unit 미디어 데이터의 시작인 실제 위치를 지시한다.
4) 길이 정보 : M-Unit 미디어 데이터의 길이를 나타낸다.
5) 시간 정보 : M-Unit에 대한 재생 시간 정보를 나타낸다. 상기 시간 정보로는 복호화 시간 정보, 표현 시간 정보 등이 있으며, 표현 방법으로는 네트워크 동기화 시간 정보와 자체 주기를 갖는 시간 정보로 표현 될 수 있다.
6) 임의 접근 위치 정보 : 해당 M-Unit에 대한 임의 접근 위치 정보를 나타내며, 상기 정보를 이용하여 비디오 데이터인 경우, 임의 재생 기능을 제공할 수 있다. 상기 임의 접근 위치 정보를 제공하는 경우에는 최소한 1개 이상의 정보를 포함해야 한다.
7) 초기 정보 구조 정보 : 미디어 코덱의 초기 설정 값들에 대한 정보를 나타낸다. 해당 구조 정보를 통하여 미디어 코덱의 복호화를 위한 초기 설정을 진행할 수 있다.
8) 복수 MFU 허용 정보 : M-Unit 데이터가 복수 개의 MFU 혹은 단일의 MFU로 구성되었는지를 나타내며, 복수 개인 경우에는 MFU의 개수를 나타낼 수 있어야 한다. 또한, 상기에서 언급한 경우 이외에도 MFU 정보 구성은 NAL 유닛 헤더와 상기 부가적인 헤더 정보를 통하여 해당 정보를 제공할 수 있다.
상기한 설명과 같이 MMT E3 계층(105)에서는 미디어 코덱(A)(101)으로부터 전달되는 MFU와 같은 멀티미디어 데이터(소스)에 제어 정보를 부가하여 MMT E2 계층(107)으로 전달하고, MMT E2 계층(107)은 상기 제어 정보가 부가된 적어도 하나의 멀티미디어 데이터(소스)를 취합하여 M-Unit을 구성한다. 본 발명의 실시 예에서 제어 정보라 함은 상기 MFU에 대한 제어 정보와 상기 M-Unit에 대한 제어 정보로 구분되며, 상기 MFU와 상기 M-Unit에 대한 제어 정보의 각각의 구체적인 정보 구성은 상기한 바와 같다.
상기 제어 정보는 헤더 정보에 다양한 형태로 부가될 수 있으며, 아래 설명에서는 M-Unit의 헤더 구성을 예시적으로 설명하기로 한다.
도 1에서 MMT E2 계층(107)은 적어도 하나의 멀티미디어 데이터(소스)로부터 제공되는 다양한 종류의 MFU(Media Fragment Unit)들을 취합하고 M-Unit으로 구성하여 본 발명의 실시 예에 따른 MMT 에셋(Asset) 데이터(이하, 에셋)를 생성한다.
상기 MMT 에셋은 비디오, 오디오, 텍스트, 파일, 위젯 등 다양한 종류의 멀티미디어 소스들, 즉 멀티미디어 데이터들의 속성에 맞는 단위 구조를 입력 받아 복합 미디어 컨텐츠를 구성한 것이다. 상기 Asset은 상기 설명된 NAL Unit 단위의 묶음인 적어도 하나의 MMT M-Unit데이터(즉 M-Unit)을 구별되게 포함하며, MMT E2 계층(107)은 복합 미디어 컨텐츠의 전송에 필요한 정보 혹은 멀티미디어 데이터의 속성 정보를 바탕으로 상기 Asset의 형태로 복합 미디어 컨텐츠를 생성한다. 여기서 상기 "묶음"이라 함은 멀티미디어 시스템에서 부호화/복호화되는 정보의 단위로 이해될 수 있다.
상기에서 언급한 부호화기의 출력인 NAL Unit 데이터에 복합 미디어 컨텐츠의 생성에 필요한 부가 특성 정보를 부가하여 동일 특성 정보 단위로의 묶음 데이터인 M-Unit을 생성한다. 이에 언급되는 부가 특성 정보로는 파일 혹은 위젯(Widget) 데이터 특성인 무손실 정보, 미디어 데이터의 특성인 손실 허용 및 지연 정보 특성을 예로 들 수 있다. 이러한 동일 특성 단위 묶음인 M-Unit을 구성하고 생성하게 된다. 그리고 도 1에서 MMT E1계층(109)은 MMT E2 계층(107)으로부터 전달된 적어도 하나의Asset을 사용자가 이용할 수 있는 MMT 패키지(package)로 구성한다.
도 2는 본 발명의 실시 예에 따른 M-Unit의 헤더 구성을 나타낸 도면이다. 도 2에서 M-Unit의 헤더를 구성하는 각 필드의 설명은 아래와 같다.
M-Unit 식별자(ID)(201) : M-Unit 들을 구별하기 위한 식별자
시퀀스 번호(Sequence Number)(203) : M-Unit 단위의 기능에 따른 순서를 나타내기 위한 번호 표식, 이 정보를 활용하여 전송 손실 재전송 요구 혹은 미디어 배속 재생/ 임의 접근(Random Access) 등 미디어 재생 시간에 따른 순서 재정렬 기능에 활용할 수 있다.
Type(205) : M-Unit의 데이터 타입을 나타낸다. 이러한 데이터 타입 정보를 통해서 데이터 묶음의 특성 정보를 포함하여 나타낼 수 있으며, 손실율을 고려한 파일 특성, 미디어 재생을 위한 지연 정보 등을 포함하여 나타낼 수 있다. 도 2의 헤더(Header)의 뒤에는 도시되지는 않았으나 M-Unit의 데이터가 실리는 Payload가 있어서 비디오, 오디오, 텍스트, 파일, 위젯 등 다양한 소스의 멀티미디어 데이터를 전송할 수 있다. 따라서 Type(205)은 M-Unit 의 header와 함께 전송되는 컨텐츠의 종류를 나타낼 수 있다.
상기 type(205)의 예는 000 : H.264 Video, 001 : AAC- Audio, 002 : Text, 003 : Application, 004 : web pages, 005 : signalling for codec, 006 : signalling for composition, 007 : reserved for future use 등이 될 수 있으며, 복합 미디어 컨텐츠의 제공자가 정해진 범위 내에서 임의의 값을 사용하여 적절한 콘텐츠의 종류를 나타낼 수 있다. 또 다른 예는 000 : H.264 I frame, 001 : H.264 B frame, 002 : H.264 P frame등으로 특정 multimedia의 다양한 소스에 대해서 우선 순위을 부여하는 방법으로 사용될 수 있으며, 상기 우선 순위를 바탕으로 전송시에 QoS를 고려해 줄 수 있다.
FU(Fragment Unit) Flag(207) : 연속된 M-Unit 들에 대한 정보를 나타낸다. 이 Flag 값에 따라 해당 M-Unit이 복합되어 있는지, 분할되어 있는지, 단일 M-Unit인지를 알 수 있다.Time Flag(209) : 해당 M-Unit이 시간 정보를 포함하고 있음을 나타낸다.
GOP(Group Of Picture)(211) : 해당 M-Unit의 GOP 단위 정보가 포함되어 있음을 나타낸다.
상기 GOP가 포함되는 경우에, 상기 GOP의 값은 단일의 AU(Access Unit) 또는 다중 AU들을 가짐을 의미한다.
Mfu-range : 도 2에 도시되지는 않았으나 이 정보는 mfu들의 그룹의 값을 지시한다.
SPS (Spatial Parameter Set) (213) : 공간 파라미터 셋(Spatial Parameter Set) 정보를 포함하고 있음을 나타낸다. Spatial Parameter Set은 해당 M-Unit의 데이터가 표시되는 공간적인 위치 정보를 나타낸다.
PPS(Presentation Parameter Set)(215) : 플레이스테이션 파라미터 셋(Presentation Parameter Set) 정보를 포함하고 있음을 나타낸다. Presentation Parameter Set 정보는 코덱(Codec) 초기화에 필요한 정보로 미디어 코덱의 특정 정보를 포함한다.
또한 SPS와 PPS는 미디어 코딩의 초기화 파라미터 셋의 일반 값을 이용한다.
Sync(217) : 해당 M-Unit이 동기화 제어 정보를 포함하고 있음을 나타낸다. 복수 개의 복합 처리된 M-Unit 들 간의 상호 동기화를 위한 데이터로 예를 들어, 3 차원(3D) 영상을 위한 우측(R) 영상을 위한 M-Unit과 좌측(L) 영상을 위한 M-Unit 간의 동기 표시자(Sync. Marker)로 활용된다. 또한 상기 Sync 정보는 해당 M-Unit들 간의 명령(Command) 정보를 부여 할 수 있다. Command 정보로는 해당 M-Unit들에 대한 제어 정보로 해당 M-unit이 부가, 삭제, 치환, 갱신(ADD, DELETE, REPLACE, UPDATE) 정보 등에 해당 함을 표기할 수 있으며 이러한 정보를 바탕으로 복합 전송망을 통하여 전송되는 동일한 세션에 M-Unit 만을 위한 제어 정보로 사용 될 수 있다.
TC(219) : 전송 특성(Transport Characteristic) 정보를 포함하고 있음을 나타낸다. 해당 M-Unit을 전송하기 위한 데이터 정보를 나타내며 예로는 손실율, 지연 시간, 에러 복구를 위한 패리티 정보, 데이터 전송을 위한 평균 비트율, 최대 비트율을 나타낸다.
RAP(221) : 해당 M-Unit에 임의 접근(Random Access)를 위한 Flag 정보가 포함되어 있음을 나타낸다. 해당 Flag의 유무에 따라 배속 재생 등의 기능 구성을 제공할 수 있다.
상기한 도 2의 M-Unit의 헤더 구성은 일 예를 나타낸 것으로서, 본 발명에서 M-Unit의 헤더 구성이 상기한 구성으로 한정되는 것은 아님에 유의하여야 할 것이다. 예컨대, 본 발명에서 M-Unit의 헤더 구성은 도 2에서 설명한 M-Unit 헤더에 포함되는 다수의 헤더 정보 및/또는 도 1의 MMT E3 계층(105) 설명에서 M-Unit의 생성 시 부가되는 다수의 제어 정보 중에서 적어도 하나의 정보의 조합으로 구성될 수 있다.
도 3은 본 발명의 실시 예에 따른 Asset의 헤더 구성을 나타낸 도면이다.
본 발명의 실시 예에서 Asset은 다양한 멀티미디어 데이터(소스)에 따른 적어도 하나의 M-Unit을 포함하는 구조로 생성되며, Asset은 다양한 멀티미디어 데이터(소스)를 포함하는 데이터 스트림으로 이해될 수 있다. 즉 각 멀티미디어 소스는 M-Unit 으로 생성되고, Asset은 적어도 하나의 M-Unit을 포함한다.
아래 <표 1>은 M-Unit, Asset 그리고 프래그먼트 유닛(FU)의 일 예를 나타낸 것이다.
Figure pat00001
상기 <표 1>에서 off-set은 상기한 바이트 오프셋 정보를 의미한다.
도 3은 도 1의 E2 계층(107)에서 다양한 종류의 멀티미디어 데이터들을 동일한 속성 정보들의 묶음 데이터인 M-Unit을 입력으로 하여 Asset을 생성할 시에 사용하는 Asset의 헤더 정보의 일 예를 나타낸 것이다.
또한 도 3의 Asset 헤더는 시공간적으로 연속적인 M-Unit들의 단위 묶음을 나타낼 수 있다.
도 3에서 ASSET ID(301)는 해당 연속 데이터들에 대한 식별자를 표시한다. 이는 복합 미디어 컨텐츠를 생성하는 과정에서 해당 ASSET들에 대한 식별 정보로 활용 된다. ASSET Length 정보(303, 305, 307)는 해당 ASSET의 데이터 길이를 나타낸다. 본 발명의 실시 예에서 상기 ASSET Length 정보(303~307)는 UD(Ultira Definition) 비디오 데이터를 고려하여 충분하게 큰 길이를 나타낼 수 있도록 설정된다. 설명의 편의상 세 영역(303~307)에 참조 번호를 구분하여 도시하였으나, 상기 ASSET Length 정보는 하나의 필드로 이해될 수 있다.
도 3에서 Asset type (309) 은 해당 Asset의 데이터 타입을 나타내며, 도 2의 실시 예에서 언급한 M-Unit의 데이터 타입을 동일하게 사용할 수 도 있다. 그러나 multimedia type을 나타내는 방법은 이외에도 다양한 방법이 사용될 수 있다. 예를 들어 첫 째 멀티미디어 소스의 종류를 직접적으로 알려주는 방법이 있다. 이는 근래 오디오 코덱, 비디오 코텍, 혹은 각종application들이 다양하게 profiling 되어서 사용되기 때문에 대표 멀티미디어 소스의 명칭만 가지고는 멀티미디어 source를 정확하게 복호할 수 없는 경우가 발생할 수 있기 때문이다.
일 예로 H.264에는 대략 10여 가지의 profiling 이 존재하여, 단순히 H.264로 ASSET의 종류를 알려주게 되면, 복호 과정에서 오류가 발생할 수도 있다. 또한 MMT 패키지를 구성하는데 다수의 멀티미디어 데이터가 복합화되여(Multiplex) 사용된다면 긴 길이의 ASSET type이 필요하게 된다.
또한 예컨대, 13비트 길이의 ASSET type으로 M-Unit의 데이터 타입을 따르도록 할 수 있으며,, 필요에 따라 확장 Flag를 추가하여 해당 우선 순위(Priority)에 따른 추가 정보를 나타낼 수 있다. 일 예로 "00000000"을 H.264로 하고 H.264의 영상들중 I 프레임은 "001", B 프레임은 "010", P 프레임은 "100"으로 나타낼 수 있다. 상기 우선 순위를 바탕으로 상기 M-Unit들을 전송하는 전송단에서 최대한의 QoS를 보장하기 위한 전송 우선 순위를 고려할 수 있다.
M-Unit 제어 정보 헤더 길이(M-Unit Control Information Header Length)(313) 는 해당 Payload에 나타나는 M-Unit Control Information Header의 길이를 나타내며, 이 길이만큼의 M-Unit Control Information 데이터가 있음을 알 수 있다. M-Unit 제어 정보(M-Unit Control Information)(315)로는 복합 전송 망을 고려한 동기화 정보 및 Asset Command (Add, delete, insert, update, replace) 정보, 해당 Asset 데이터 묶음의 기본 시간 단위인 time scale, 그리고 전송 데이터 묶음을 위한 전송율, 손실율, 지연 허용시간, 최대 비트율, 평균 비트율, QoS 보장 여부 등이 표현되는Transport Characteristic 정보와, 해당 Asset의 데이터 묶음에 담겨있는 M-Unit의 개수, RAP(Random Access Point)의 부가 정보 중 적어도 하나를 포함한다.
상기 도 2, 3, 4의 설명에 있어서 각 실시 예들의 차이를 설명하기 위해서 특정 길이, 즉 1 바이트와 2 바이트의 헤더 길이를 예로 들어 설명했으나 그 외의 다른 길이를 가진 M-Unit/ ASSET 헤더들도 사용될 수 있으며, 길이와 상관없이 본 발명에서 제안한 필드들이 사용된다면 본 발명에서 제안하는 M-Unit/ ASSET의 구성방법을 사용한다 라고 볼 수 있다.
본 발명의 실시 예에서 Asset의 식별자 또는 데이터 타입은 Asset을 구성하는 M-unit이 어떠한 종류의 멀티미디어 데이터(소스)로 구성되어 있는 지 나타낼 수 있다. 예를 들어 Asset이 영상 데이터에 대한 것인지, 오디오 데이터에 대한 것인지 또는 영상, 오디오, 파일, 위젯 등 다수의 멀티미디어 소스를 포함하는 지를 나타낼 수 있다. 그리고 M-unit의 식별자 또는 데이터 타입은 해당 M-Unit에 포함된 데이터, 즉 멀티미디어 소스의 종류가 영상, 오디오, 파일, 위젯 등 어느 것에 해당하는 지를 나타낼 수 있다.
도 4은 본 발명의 실시 예에 따라 복합 미디어 컨텐츠를 생성하여 전송하는 송신 장치의 구성을 나타낸 블록도이다.
도 4에서 송신 장치는 멀티미디어 소스 M-Unit 입력부(401), 멀티미디어 소스 식별부(403), 멀티미디어 소스 저장부(405), 전송부(407) 및 제어부(409)를 포함한다.
도 4에서 멀티미디어 소스 M-Unit 입력부(401)는 복합 미디어 컨텐츠를 생성하기 위한 멀티미디어 소스로서 다양한 종류의 멀티미디어 데이터의 묶음인 M-Unit을 입력 받고, 멀티미디어 소스 식별부(403)는 멀티미디어 소스로서 M-Unit단위의 묶음에 식별자(Asset ID)를 부여하고, 멀티미디어 소스가 어떤 종류인지, 예컨대 음성 소스인지, 영상 소스인지, 파일인지, 실행 파일 인지 등등을 식별하고, 해당 식별자(Asset ID)를 부여한다. 여기서 하나의 Asset은 다양한 멀티미디어 소스로 구성된 다수의 M-Unit을 포함할 수 있다. 상기 멀티미디어 소스 저장부(405)에는 본 발명에서 제안된 ASSET의 구성 방법에 따라 생성된 ASSET들이 저장된다. 전송부(407)는 정해진 통신망을 통해 상기 ASSET들을 전송하고, 제어부(409)는 상기한 본 발명의 실시 예에 따라 적어도 하나의 멀티미디어 데이터(소스)로부터 제공되는 다양한 종류의 MFU들을 취합하고 M-Unit으로 구성함은 물론 MFU, M-Unit, 그리고 Asset의 생성과 전송을 위한 전반적인 제어를 수행한다.
도 5는 본 발명의 실시 예에 따라 복합 미디어 컨텐츠를 수신하는 수신 장치의 구성을 나타낸 블록도이다.
도 5에서 수신 장치는 수신부(501), 멀티미디어 소스 판독부(503), 멀티미디어 소스 저장부(505), 표시부(507) 및 제어부(509)를 포함한다.
도 5에서 수신부(501)는 다양한 멀티미디어 데이터(소스)에 따른 - 적어도 하나의 MFU로 구성된 - 적어도 하나의 M-Unit를 포함하는 Asset 을 정해진 통신망을 통해 수신하고, Asset의 헤더 정보와 M-Unit의 헤더 정보는 제어부(509)로 전달되어 복합 미디어 컨텐츠의 수신 제어와 복호에 이용된다. 또한 상기 제어부(509)는 상기 MFU에 대한 제어 정보와 상기 M-Unit에 대한 제어 정보를 이용하여 복합 미디어 컨텐츠의 수신 및 복호와 관련한 전반적인 제어를 수행한다.
또한 멀티미디어 소스 판독부(503)는 Asset 및 M-Unit의 헤더 정보를 각각 수신한 제어부(509)로부터 전달된 제어 정보(여기서 제어 정보는 MFU에 대한 제어 정보를 포함한다)를 근거로 M-Unit 단위의 각 멀티미디어 소스의 데이터 타입을 판독하고, 판독된 각 멀티미디어 소스를 멀티미디어 소스 저장부(505)에 구분하여 저장한다. 도 5에서 제어부(509)는 Asset의 수신과 멀티미디어 소스의 판독 및 복호를 위한 전반적인 제어를 수행하고, 복호된 멀티미디어 소스의 데이터는 표시부(507)를 통해 출력된다.

Claims (10)

  1. 멀티미디어 시스템에서 복합 미디어 컨텐츠를 전송하는 방법에 있어서,
    상기 복합 미디어 컨텐트와 관련된 다수의 멀티미디어 소스를 데이터 타입에 따라 구분하여 다수의 단위 데이터로 구성하는 과정;
    상기 다수의 단위 데이터와 상기 다수의 단위 데이터를 구별하여 수신하기 위한 제어 정보를 포함하는 데이터 스트림을 생성하는 과정; 및
    상기 데이터 스트림을 통신망을 통해 전송하는 과정을 포함하는 복합 미디어 컨텐트를 전송하는 방법.

  2. 제 1 항에 있어서,
    상기 단위 데이터는 M-Unit 데이터인 복합 미디어 컨텐트를 전송하는 방법.
  3. 제 2 항에 있어서,
    상기 M-Unit 데이터는 미디어 묶음의 특성 정보를 사용하여 데이터 타입을 나타내는 복합 미디어 컨텐트를 전송하는 방법.
  4. 제 1 항에 있어서,
    상기 제어 정보는 M-Unit 단위의 미디어 묶음 제어 정보를 포함하는 복합 미디어 컨텐트를 전송하는 방법.
  5. 제 2 항에 있어서,
    상기 데이터 스트림은 적어도 하나의 M-Unit 데이터를 포함하는 Asset 데이터인 복합 미디어 컨텐트를 전송하는 방법.
  6. 제 5 항에 있어서,
    미디어 묶음의 전송 특성 정보를 사용하여 해당 Asset들의 전송 단위 식별을 부여하는 복합 미디어 컨텐트를 전송하는 방법.
  7. 제 1 항에 있어서,
    상기 단위 데이터는 독립적으로 복호화될 수 있는 미디어 프래그먼트 유닛(Media Fragment Unit : MFU) 데이터인 복합 미디어 컨텐트를 전송하는 방법.
  8. 제 7 항에 있어서,
    상기 비디오의 한 화면에 표시되는 프레임은 적어도 하나의 슬라이스로 구성되고, 각 슬라이스의 데이터는 상기 MFU 데이터에 대응되는 복합 미디어 컨텐트를 전송하는 방법.
  9. 제 7 항에 있어서,
    M-Unit 데이터는 적어도 하나의 MFU 데이터를 포함하며, 상기 적어도 하나의 MFU 데이터에는 수신을 위한 제어 정보가 부가되는 복합 미디어 컨텐트를 전송하는 방법.
  10. 제 8 항에 있어서,
    상기 MFU 데이터가 하나의 슬라이스에 해당하는 경우 한 프레임이 하나의 M-Unit 데이터를 구성하고, 상기 MFU 데이터가 한 프레임에 해당하는 경우 하나의 M-Unit 데이터는 독자적인 복호화 최소 단위인 그룹 프레임(GOP)를 구성하는 복합 미디어 컨텐트를 전송하는 방법.
KR1020110104862A 2011-06-14 2011-10-13 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치 KR20120138604A (ko)

Priority Applications (20)

Application Number Priority Date Filing Date Title
KR1020110125458A KR20120138608A (ko) 2011-06-14 2011-11-28 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
AU2012270417A AU2012270417B2 (en) 2011-06-14 2012-06-13 Method and apparatus for transmitting/receiving media contents in multimedia system
EP22204979.3A EP4152730B1 (en) 2011-06-14 2012-06-13 Method for receiving media contents in a multimedia system
JP2014515746A JP6117193B2 (ja) 2011-06-14 2012-06-13 マルチメディアシステムにおけるメディアコンテンツを送受信する方法及び装置
PL12799847T PL2721814T3 (pl) 2011-06-14 2012-06-13 Sposób i urządzenie do przesyłania/odbierania treści multimedialnych w systemie multimedialnym
US13/495,429 US10110655B2 (en) 2011-06-14 2012-06-13 Method and apparatus for transmitting/receiving media contents in multimedia system
PCT/KR2012/004666 WO2012173389A2 (en) 2011-06-14 2012-06-13 Method and apparatus for transmitting/receiving media contents in multimedia system
ES21186798T ES2935286T3 (es) 2011-06-14 2012-06-13 Aparato para transmitir y aparato para recibir contenidos de medios en un sistema multimedia
RU2014100914/07A RU2601442C2 (ru) 2011-06-14 2012-06-13 Способ и устройство передачи/приема мультимедиа-содержимого в системе мультимедиа
CN201280029677.7A CN103621067B (zh) 2011-06-14 2012-06-13 用于在多媒体***中发送/接收媒体内容的方法和装置
EP21186798.1A EP3917137B1 (en) 2011-06-14 2012-06-13 Apparatus for transmitting and apparatus for receiving media contents in a multimedia system
EP12799847.4A EP2721814B1 (en) 2011-06-14 2012-06-13 Method and apparatus for transmitting/receiving media contents in multimedia system
KR1020150056636A KR101863410B1 (ko) 2011-06-14 2015-04-22 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
JP2017055919A JP6665126B2 (ja) 2011-06-14 2017-03-22 マルチメディアシステムにおけるメディアパケット復号方法及び復号装置
JP2017080313A JP6665127B2 (ja) 2011-06-14 2017-04-14 メディアパケット復号装置及び復号方法
KR1020180059290A KR101918658B1 (ko) 2011-06-14 2018-05-24 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
US16/166,904 US10447754B2 (en) 2011-06-14 2018-10-22 Method and apparatus for transmitting/receiving media contents in multimedia system
US16/166,983 US10542065B2 (en) 2011-06-14 2018-10-22 Method and apparatus for transmitting/receiving media contents in multimedia system
KR1020180136059A KR101973544B1 (ko) 2011-06-14 2018-11-07 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
JP2019075665A JP6743235B2 (ja) 2011-06-14 2019-04-11 マルチメディアシステムにおけるメディアパケット送信方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20110057714 2011-06-14
KR1020110057714 2011-06-14

Publications (1)

Publication Number Publication Date
KR20120138604A true KR20120138604A (ko) 2012-12-26

Family

ID=47905381

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020110104862A KR20120138604A (ko) 2011-06-14 2011-10-13 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
KR1020110125458A KR20120138608A (ko) 2011-06-14 2011-11-28 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
KR1020150056636A KR101863410B1 (ko) 2011-06-14 2015-04-22 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
KR1020180059290A KR101918658B1 (ko) 2011-06-14 2018-05-24 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
KR1020180136059A KR101973544B1 (ko) 2011-06-14 2018-11-07 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치

Family Applications After (4)

Application Number Title Priority Date Filing Date
KR1020110125458A KR20120138608A (ko) 2011-06-14 2011-11-28 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
KR1020150056636A KR101863410B1 (ko) 2011-06-14 2015-04-22 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
KR1020180059290A KR101918658B1 (ko) 2011-06-14 2018-05-24 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
KR1020180136059A KR101973544B1 (ko) 2011-06-14 2018-11-07 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치

Country Status (10)

Country Link
US (3) US10110655B2 (ko)
EP (3) EP4152730B1 (ko)
JP (4) JP6117193B2 (ko)
KR (5) KR20120138604A (ko)
CN (1) CN103621067B (ko)
AU (1) AU2012270417B2 (ko)
ES (1) ES2935286T3 (ko)
PL (1) PL2721814T3 (ko)
RU (1) RU2601442C2 (ko)
WO (1) WO2012173389A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160110373A (ko) * 2014-01-17 2016-09-21 소니 주식회사 통신 장치, 통신 데이터 생성 방법, 및 통신 데이터 처리 방법
WO2024043420A1 (ko) * 2022-08-23 2024-02-29 주식회사 팀그릿 실시간 데이터 송수신 방법 및 그 장치

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120084234A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 Ｍｐｅｇ ｍｅｄｉａ ｔｒａｎｓｐｏｒｔ（ｍｍｔ）에서 ｍｍｔ ａｕ를 전송하는 방법
EP3386139B1 (en) 2011-05-03 2021-09-22 Telefonaktiebolaget LM Ericsson (publ) Transmission and reception of control data in a communications system
US9813350B2 (en) * 2012-01-31 2017-11-07 Sharp Kabushiki Kaisha Generation device, reproduction device, data structure, generation method, reproduction method, control program, and recording medium
KR20140002447A (ko) * 2012-06-29 2014-01-08 삼성전자주식회사 멀티미디어 시스템에서 적응적 미디어 구조 송수신 방법 및 장치
KR101484843B1 (ko) * 2013-04-19 2015-01-20 삼성전자주식회사 멀티미디어 전송 시스템에서 미디어 전송 패킷 전송 방법 및 장치
WO2015012063A1 (ja) * 2013-07-22 2015-01-29 シャープ株式会社 情報処理装置
JP6498882B2 (ja) * 2013-07-22 2019-04-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 蓄積方法、再生方法、蓄積装置、および再生装置
JP6268066B2 (ja) 2013-09-20 2018-01-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
WO2015040824A1 (ja) 2013-09-20 2015-03-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置及び受信装置
KR20150047082A (ko) 2013-10-23 2015-05-04 한국전자통신연구원 Ｍｍｔ 페이로드 헤더 구성 장치 및 방법
WO2015060586A1 (ko) * 2013-10-23 2015-04-30 한국전자통신연구원 Ｍｍｔ 페이로드 헤더 구성 장치 및 방법
WO2015068352A1 (ja) 2013-11-08 2015-05-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、及び受信装置
JP6505413B2 (ja) 2013-11-08 2019-04-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置、及び受信装置
KR102138075B1 (ko) * 2014-01-09 2020-07-27 삼성전자주식회사 미디어 데이터를 전송하기 위한 가변 크기 데이터 패킷을 송수신하는 방법 및 장치
JP2015136057A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
JP2015136058A (ja) 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
JP5725235B1 (ja) * 2014-04-22 2015-05-27 ソニー株式会社 受信装置及び受信方法、並びに、送信装置及び送信方法
JP6558366B2 (ja) * 2014-06-10 2019-08-14 ソニー株式会社 送信装置、送信方法および受信装置
KR102196492B1 (ko) 2014-07-04 2020-12-30 삼성전자주식회사 통신 시스템에서 데이터 송수신 장치 및 방법
KR20160004858A (ko) 2014-07-04 2016-01-13 삼성전자주식회사 멀티미디어 통신 시스템에서 패킷 송/수신 장치 및 방법
JP5954751B2 (ja) 2014-09-29 2016-07-20 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ テープ上のデータをロールバックする方法及びファイルシステム
JP6450968B2 (ja) * 2014-11-25 2019-01-16 シャープ株式会社 受信装置、受信方法、及びプログラム
CN106572062B (zh) * 2015-10-10 2019-08-09 上海交通大学 一种异构媒体传输网络下的资源动态请求方法
CN106330820A (zh) * 2015-06-18 2017-01-11 上海交通大学 基于mmt协议传输及重组非时序媒体的包头设计方法
KR102210380B1 (ko) * 2015-11-10 2021-02-01 에스케이텔레콤 주식회사 복합 컨텐츠 패키지의 생성 및 활용을 위한 장치 및 방법
CN111107398A (zh) * 2019-12-27 2020-05-05 深圳市小溪流科技有限公司 一种流媒体数据的传输方法及接收方法、电子设备

Family Cites Families (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE500950C2 (sv) * 1993-02-18 1994-10-03 Info Dev & Patent Ab Förfarande vid informationsöverföring samt anordning för genomförande av förfarandet
CA2172263C (en) * 1993-10-26 2000-05-30 John G. Ellis Digital telecommunication link for efficiently transporting mixed classes of packets
US5812545A (en) * 1996-01-04 1998-09-22 Orion Atlantic, L.P. Full mesh satellite-based multimedia networking system
US5831662A (en) * 1996-04-04 1998-11-03 Hughes Electronics Corporation Near on-demand digital information delivery system and method using signal fragmentation and sequencing to reduce average bandwidth and peak bandwidth variability
JPH1198503A (ja) 1997-09-19 1999-04-09 Nec Corp 画像データの転送および再生方式
AUPP362498A0 (en) * 1998-05-19 1998-06-11 Curtin University Of Technology Method and apparatus for transfer of real time signals over packet network
JP2001078181A (ja) 1999-09-02 2001-03-23 Matsushita Electric Ind Co Ltd パケット伝送方法、パケット受信再生装置
US6891832B1 (en) * 2000-09-15 2005-05-10 Cisco Technology, Inc. Adaptive fragmentation techniques implemented on a data network
US6646983B1 (en) * 2000-11-21 2003-11-11 Transwitch Corporation Network switch which supports TDM, ATM, and variable length packet traffic and includes automatic fault/congestion correction
JP2002176432A (ja) * 2000-12-05 2002-06-21 Sony Corp 通信中継装置、通信中継方法、および通信端末装置、並びにプログラム記憶媒体
US6876669B2 (en) * 2001-01-08 2005-04-05 Corrigent Systems Ltd. Packet fragmentation with nested interruptions
US20020150100A1 (en) * 2001-02-22 2002-10-17 White Timothy Richard Method and apparatus for adaptive frame fragmentation
US20020129383A1 (en) 2001-03-08 2002-09-12 Wasilewski Louise Mary Apparatus for a cosumer controlled selective recording device for interactive television
DE60100478T2 (de) * 2001-11-30 2004-05-27 Alcatel IP Plattform für verbesserte Mehrpunkt-Zugriffsysteme
US8856416B2 (en) * 2001-12-06 2014-10-07 Intel Corporation Method and apparatus for processing latency sensitive electronic data with interrupt moderation
JP2003319389A (ja) * 2002-04-26 2003-11-07 Matsushita Electric Ind Co Ltd 画像データ復号装置、画像データ構造
DE10392598T5 (de) * 2002-04-29 2005-05-19 Sony Electronics Inc. Unterstützung von fortschrittlichen Codierungsformaten in Mediendateien
US7340392B2 (en) * 2002-06-06 2008-03-04 International Business Machines Corporation Multiple sound fragments processing and load balancing
JP3825719B2 (ja) 2002-06-13 2006-09-27 三洋電機株式会社 画像再生方法、画像再生装置、および画像記録装置
US7230918B1 (en) * 2002-09-18 2007-06-12 Cisco Technology, Inc. System for using special links in multi-link bundles
US7336283B2 (en) * 2002-10-24 2008-02-26 Hewlett-Packard Development Company, L.P. Efficient hardware A-buffer using three-dimensional allocation of fragment memory
US7483532B2 (en) * 2003-07-03 2009-01-27 Microsoft Corporation RTP payload format
KR100556911B1 (ko) 2003-12-05 2006-03-03 엘지전자 주식회사 무선 동영상 스트리밍 서비스를 위한 동영상 데이터의 구조
US20050201471A1 (en) 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
US20060184790A1 (en) 2004-03-26 2006-08-17 Microsoft Corporation Protecting elementary stream content
US7161909B2 (en) * 2004-04-23 2007-01-09 Samsung Electronics Co., Ltd. Method and system for acknowledging the receipt of a transmitted data stream in a wireless communication system
KR100631758B1 (ko) * 2004-05-04 2006-10-09 삼성전자주식회사 멀티 스트리밍 포맷을 지원하는 네트워크 ｉ/ｆ 카드 및그 방법
US7433314B2 (en) * 2004-06-01 2008-10-07 Samsung Electronics Co., Ltd. Method and system for acknowledging the receipt of a transmitted data stream in a wireless personal area network
JP4138840B2 (ja) 2004-06-02 2008-08-27 松下電器産業株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、および記録方法
KR100937045B1 (ko) * 2004-07-22 2010-01-15 한국전자통신연구원 Ｓａｆ 동기화 계층 패킷 구조
WO2006036043A1 (en) * 2004-08-17 2006-04-06 Samsung Electronics Co., Ltd. Method and system for forming and transmitting/receiving neighbor base station information in a bwa communication system
KR100724911B1 (ko) 2004-08-17 2007-06-04 삼성전자주식회사 통신 시스템에서 인접 기지국 정보의 구성과 송수신 방법 및 시스템
KR100651486B1 (ko) 2004-12-07 2006-11-29 삼성전자주식회사 네트워크를 통해 멀티미디어 컨텐츠를 전송하는 장치 및방법
KR100735218B1 (ko) * 2004-12-14 2007-07-03 삼성전자주식회사 디지털 방송수신기의 방송정보 표시장치 및 방법
US7613106B2 (en) * 2005-01-04 2009-11-03 Avaya Inc. Dial plan transparency for fragmented networks
DE602006011273D1 (de) * 2005-01-18 2010-02-04 Taiwan Semiconductor Mfg Verbesserte ip-datagramm-entkapselung
EP1694031A1 (en) * 2005-02-18 2006-08-23 Thomson Licensing S.A. Method for performing data transport over a serial bus using internet protocol and apparatus for use in the method
US7614068B2 (en) * 2005-03-18 2009-11-03 Nokia Corporation Prioritization of electronic service guide carousels
ATE375678T1 (de) * 2005-05-17 2007-10-15 Alcatel Lucent Verfahren zur bereitstellung einer echtzeitkommunikationsverbindung
US8316132B2 (en) * 2005-09-08 2012-11-20 Nokia Corporation Method to determine the completeness of a service guide
EP1935146B1 (en) * 2005-10-12 2012-01-11 Telefonaktiebolaget LM Ericsson (publ) Method and arrangement for link cost determination for routing in wireless networks
US7720096B2 (en) * 2005-10-13 2010-05-18 Microsoft Corporation RTP payload format for VC-1
CN101305540A (zh) * 2005-11-07 2008-11-12 艾利森电话股份有限公司 用于链路自适应的隐式信令
US8225164B2 (en) * 2006-01-05 2012-07-17 Telefonaktiebolaget Lm Ericsson (Publ) Media container file management
US7756055B2 (en) * 2006-05-05 2010-07-13 Roke Manor Research Limited Method of transmission
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US8024762B2 (en) 2006-06-13 2011-09-20 Time Warner Cable Inc. Methods and apparatus for providing virtual content over a network
KR100800857B1 (ko) * 2006-08-18 2008-02-04 삼성전자주식회사 Ｄｖｂ―ｈ시스템에서 통지 메시지를 제공하기 위한 방법및 이를 위한 시스템
US7684430B2 (en) 2006-09-06 2010-03-23 Hitachi, Ltd. Frame-based aggregation and prioritized channel access for traffic over wireless local area networks
CN101146212B (zh) 2006-09-11 2010-06-09 思华科技（上海）有限公司 视频点播网络的流媒体封包解包方法及***
US8346945B2 (en) * 2006-09-14 2013-01-01 Nokia Corporation Dynamic SDP update in IPDC over DVB-H
EP2084895A1 (en) 2006-10-25 2009-08-05 Telefonaktiebolaget LM Ericsson (PUBL) Rich media stream management
FR2910757B1 (fr) * 2006-12-22 2009-05-08 Thales Sa Procede de retransmission a redondance incrementale pour des paquets fragmentes.
US7912057B2 (en) * 2007-01-12 2011-03-22 Wi-Lan Inc. Convergence sublayer for use in a wireless broadcasting system
EP3041195A1 (en) 2007-01-12 2016-07-06 University-Industry Cooperation Group Of Kyung Hee University Packet format of network abstraction layer unit, and algorithm and apparatus for video encoding and decoding using the format
US7848237B2 (en) * 2007-01-18 2010-12-07 Ineoquest Technologies, Inc. System and method for selective packet discard for the transport of multiple transportation streams of streaming media in packet-based networks
US7870377B2 (en) * 2007-02-07 2011-01-11 Nokia Corporation Automatic electronic-service-guide selection
JP2010519814A (ja) * 2007-02-19 2010-06-03 フリースケール セミコンダクター インコーポレイテッド データ通信ユニット、データ通信ネットワーク、及び復号化方法
US20080225838A1 (en) * 2007-03-15 2008-09-18 Nokia Corporation Common Rate Matching Slot for Variable Bit Rate Services
US20080225892A1 (en) * 2007-03-15 2008-09-18 Nokia Corporation Using Forward Error Correction with Generic Stream Encapsulation in a Digital Broadcast Network
US7903574B2 (en) * 2007-03-15 2011-03-08 Nokia Corporation Service discovery mechanism in broadcast telecommunication network
US7978669B2 (en) * 2007-05-09 2011-07-12 Cisco Technology, Inc. Methods and apparatus for efficient MPEG transmission over 802.11
DE112008000552B4 (de) * 2007-05-14 2020-04-23 Samsung Electronics Co., Ltd. Verfahren und Vorrichtung zum Empfangen von Rundfunk
US8396082B2 (en) * 2007-06-05 2013-03-12 Core Wireless Licensing S.A.R.L. Time-interleaved simulcast for tune-in reduction
US7747558B2 (en) * 2007-06-07 2010-06-29 Motorola, Inc. Method and apparatus to bind media with metadata using standard metadata headers
DE102007045741A1 (de) * 2007-06-27 2009-01-08 Siemens Ag Verfahren und Vorrichtung zum Codieren und Decodieren von Multimediadaten
US20090028142A1 (en) 2007-07-25 2009-01-29 Schmidt Brian K Streaming data content in a network
US7742415B1 (en) * 2007-09-26 2010-06-22 The United States Of America As Represented By Secretary Of The Navy Non-intrusive knowledge suite for evaluation of latencies in IP networks
US8176252B1 (en) * 2007-11-23 2012-05-08 Pmc-Sierra Us, Inc. DMA address translation scheme and cache with modified scatter gather element including SG list and descriptor tables
CN101453463B (zh) 2007-11-28 2013-02-27 中兴通讯股份有限公司 一种移动多媒体广播***的数据包封装、发送和接收方法
US8363672B2 (en) * 2008-05-08 2013-01-29 Gilat Satellite Networks Ltd. Optimization of internet traffic based on application prioritization
CN101272383B (zh) 2008-05-08 2012-09-26 中兴通讯股份有限公司 一种实时音频数据传输方法
JP5070125B2 (ja) * 2008-05-19 2012-11-07 キヤノン株式会社 受信装置及びその方法、通信システム及びその方法、並びに、プログラム
KR101350723B1 (ko) 2008-06-16 2014-01-16 돌비 레버러토리즈 라이쎈싱 코오포레이션 비디오 코딩을 위한 슬라이스 종속성에 기초한 레이트 제어 모델 적응 방법
JP5517181B2 (ja) 2008-07-24 2014-06-11 日本電気株式会社 コンテンツ配信システム、コンテンツ受信方法および装置
KR101611168B1 (ko) * 2008-10-09 2016-04-12 삼성전자주식회사 파일 다운로드 또는 스트리밍 과정에서 핸드오버 또는 로밍을 위한 장치 및 방법
US7894481B2 (en) * 2008-12-31 2011-02-22 Silver Spring Networks, Inc. Methods and systems for dynamic fragmentation of packets by communication network nodes
JP5521385B2 (ja) * 2009-04-27 2014-06-11 株式会社リコー 無線通信装置及び無線通信方法
US8412841B1 (en) * 2009-08-17 2013-04-02 Adobe Systems Incorporated Media content streaming using stream message fragments
US8392748B2 (en) * 2009-10-06 2013-03-05 Microsoft Corporation Reliable media streaming
JP2010136441A (ja) 2010-02-17 2010-06-17 Fujitsu Ltd 情報配信システム及び情報配信装置及び端末装置
JP6290838B2 (ja) * 2015-09-15 2018-03-07 株式会社スクウェア・エニックス リズムゲームプログラム及びゲームシステム
JP2017080313A (ja) 2015-10-30 2017-05-18 株式会社セガゲームス プログラム及び情報処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160110373A (ko) * 2014-01-17 2016-09-21 소니 주식회사 통신 장치, 통신 데이터 생성 방법, 및 통신 데이터 처리 방법
WO2024043420A1 (ko) * 2022-08-23 2024-02-29 주식회사 팀그릿 실시간 데이터 송수신 방법 및 그 장치

Also Published As

Publication number Publication date
RU2601442C2 (ru) 2016-11-10
KR20180061106A (ko) 2018-06-07
EP2721814A4 (en) 2015-01-07
KR101973544B1 (ko) 2019-04-30
EP2721814A2 (en) 2014-04-23
KR20120138608A (ko) 2012-12-26
WO2012173389A2 (en) 2012-12-20
JP6117193B2 (ja) 2017-04-19
US10542065B2 (en) 2020-01-21
US10110655B2 (en) 2018-10-23
JP6743235B2 (ja) 2020-08-19
RU2014100914A (ru) 2015-07-20
EP2721814B1 (en) 2021-12-29
PL2721814T3 (pl) 2022-06-06
KR20150051970A (ko) 2015-05-13
JP6665127B2 (ja) 2020-03-13
CN103621067B (zh) 2018-04-27
JP2014519789A (ja) 2014-08-14
JP2019165456A (ja) 2019-09-26
US20190058748A1 (en) 2019-02-21
JP6665126B2 (ja) 2020-03-13
WO2012173389A3 (en) 2013-03-14
EP4152730B1 (en) 2023-11-29
AU2012270417B2 (en) 2016-05-26
US10447754B2 (en) 2019-10-15
ES2935286T3 (es) 2023-03-03
EP3917137B1 (en) 2022-11-16
CN103621067A (zh) 2014-03-05
JP2017153127A (ja) 2017-08-31
US20120320925A1 (en) 2012-12-20
KR101863410B1 (ko) 2018-05-31
EP3917137A1 (en) 2021-12-01
JP2017130966A (ja) 2017-07-27
KR101918658B1 (ko) 2019-02-08
AU2012270417A1 (en) 2013-12-12
US20190058749A1 (en) 2019-02-21
KR20180122995A (ko) 2018-11-14
AU2012270417A8 (en) 2014-01-09
EP4152730A1 (en) 2023-03-22

Similar Documents

Publication Publication Date Title
KR101973544B1 (ko) 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
CN109982154B (zh) 用于再现空间区域的图像的方法、设备及存储介质
EP2582142B1 (en) Method for providing fragment-based multimedia streaming service and device for same, and method for receiving fragment-based multimedia streaming service and device for same
KR101633576B1 (ko) 멀티뷰 비디오 코딩을 위한 가설의 참조 디코더
WO2014111547A1 (en) Method, device, and computer program for encapsulating partitioned timed media data
JP7200329B2 (ja) 送信方法、受信方法、送信装置及び受信装置
KR20190010661A (ko) 상호작용을 하는 클라이언트를 위한 파노라마 비디오 브로드캐스트 스트리밍
KR102519209B1 (ko) 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
JP2023164690A (ja) 送信装置、受信装置、送信方法及び受信方法
GB2608399A (en) Method, device, and computer program for dynamically encapsulating media content data
JP7257646B2 (ja) 送信方法、受信方法、送信装置及び受信装置
CN114125505B (en) Broadcast streaming of panoramic video for interactive clients
CN103931200A (zh) Mvc立体视图与用于3dtv的左或右眼显示器的关联