KR20170093637A - 이종 네트워크 환경에서 미디어 전송 스트림 버퍼링 방법 및 이를 이용한 영상 수신 장치 - Google Patents

이종 네트워크 환경에서 미디어 전송 스트림 버퍼링 방법 및 이를 이용한 영상 수신 장치 Download PDF

Info

Publication number
KR20170093637A
KR20170093637A KR1020160015291A KR20160015291A KR20170093637A KR 20170093637 A KR20170093637 A KR 20170093637A KR 1020160015291 A KR1020160015291 A KR 1020160015291A KR 20160015291 A KR20160015291 A KR 20160015291A KR 20170093637 A KR20170093637 A KR 20170093637A
Authority
KR
South Korea
Prior art keywords
image
segment
transport stream
network
transmission
Prior art date
Application number
KR1020160015291A
Other languages
English (en)
Inventor
윤국진
김철민
이광순
이영일
전준근
허남호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160015291A priority Critical patent/KR20170093637A/ko
Priority to US15/424,453 priority patent/US20170230672A1/en
Publication of KR20170093637A publication Critical patent/KR20170093637A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/0858—One way delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)

Abstract

이종 네트워크 환경에서 미디어 전송 스트림 버퍼링 방법 및 이를 이용한 영상 수신 장치가 제공된다. 제1 네트워크를 통하여 제1 영상에 대응하는 제1 전송 스트림을 수신하고, 제2 네트워크를 통하여 제2 영상에 대응하는 제2 전송 스트림을 수신한다. 그리고 제1 전송 스트림에 대응하는 제1 영상을 미리 설정된 최소 전송 지연 차이를 토대로 버퍼링 하고, 이후, 버퍼링된 제1 영상과, 제2 전송 스트림에 대응하는 제2 영상을 처리한다.

Description

이종 네트워크 환경에서 미디어 전송 스트림 버퍼링 방법 및 이를 이용한 영상 수신 장치{Method for buffering media transport stream in heterogeneous networks environment and image receiving apparatus using the method}
본 발명은 이종 네트워크 환경에서 미디어 전송 스트림 버퍼링 방법 및 이를 이용한 영상 수신 장치에 관한 것이다.
디지털 방송의 출현으로 방송국에서 일방적으로 송출한 신호를 시청하던 전통적 방송방식은 사용자가 원하는 시간에 원하는 콘텐츠만을 선택적으로 시청할 수 있는 형태로 변화하였다. 또한, 인터넷 망과의 연동으로 사용자는 방송을 시청하면서 대화형 데이터를 주고받을 수 있는 양방향 방송 서비스를 이용할 수 있게 되었다. 최근에는 광대역 전송 기술의 발전으로 대역폭 한계를 극복하면서 시청자에게 4K 이상의 고화질 실감미디어를 제공할 수 있는 실감형 방송서비스가 실현되고 있다.
최근 디지털 방송, 인터넷 등 고해상도 비디오 서비스가 보편화 됨에 따라 초고화질(Ultra High Definition, UHD) 비디오가 새로운 서비스로 부각되고 있으며, 더불어 이를 기반으로 한 3DTV(three dimensional television) 방송 서비스에 대한 기술 개발이 진행되고 있다. 이를 반영 하듯, ATSC(Advanced Television System Committee)는 4K UHD 방송서비스를 목적으로 표준화를 진행 중이다. 하지만, 방송망을 통해 4K UHD 방송서비스와 호환성을 유지하면서 3D 콘텐츠를 전송하기 위해서는 2DTV보다는 많은 대역폭이 필요함에 따라 별도의 채널을 융합한 3DTV 방송서브에 대한 표준화가 진행 중에 있다.
또한, 시청자에게 실감 미디어를 서비스하기 위하여 하이브리드 망(hybrid network, 이종 네트워크) 접목을 통하여 이를 서비스하기 위한 노력이 가속화 되고 있다. 하지만, 하이브리드 망을 통하여 전송되는 3차원 콘텐츠 또는 연동형 콘텐츠(예를 들어, A망으로 전송되는 특정 프로그램과 B망으로 전송되는 콘텐츠를 연동하여 재생되는 콘텐츠)는 전송망의 특성에 따라 수신기에 도착하는 시간이 서로 달라진다. 즉, 서로 다른 전송 지연(transmission delay)을 가짐으로써, 수신기에서 안정적인 서비스를 제공하기 위해서, 나중에 도착하는 스트림(stream)보다 먼저 도착한 스트림을 일정 시간동안 버퍼링(buffering)을 해야 한다.
이러한 버퍼링에 관련된 기술로는, 대한민국 공개특허 제2015-0045869호에 개시된 “전송스트림 시스템 타겟 디코더 모델에 기초한 하이브리드 서비스를 제공하는 영상 수신 장치” 가 있다. 이 기술에서는 방송망으로 전송되는 스트림과 인터넷 망으로 전송되는 스트림을 서로 동기화하여 3차원 비디오를 재생하기 위하여, 방송망의 전송 스트림을 임의의 시간동안 버퍼링하는 하이브리드 버퍼를 제안하고 있다. 그러나 이 기술은 하이브리드 버퍼링에 대한 시간 및 방법을 구체적으로 제안하지 못하고 있으므로, 보다 명확한 전송트림 버퍼링 방법이 요구된다.
또한, 최근에 청각 장애인의 방송 접근권 확대와 일반시청자의 TV 시청환경 제고를 위해, 방송 영상과 수화 영상을 방송망과 인터넷 망으로 각기 제공하여 TV 수신기가 두 영상을 수신하고 동기화하여 재생하는 스마트 수화방송이 국내표준으로 제정되었다. 이 표준에서는 방송망 및 인터넷 망으로 전송된 스트림을 동기화 하기 위하여, 방송망으로 전송된 스트림을 약 10초 정도 버퍼링하라는 권고안이 제시되고 있다. 이와 같이 서로 다른 이종 네트워크를 통하여 전송된 스트림은 송수신 시스템 구성 및 망 특성으로 인하여 발생하는 전송 지연이 상이함에 따라 이를 극복하기 위한 방법이 요구된다.
본 발명이 해결하고자 하는 과제는 서로 다른 네트워크 경로를 통해 수신되는 다양한 미디어 스트림에 대하여 안정적인 동기화 및 재생을 위한 버퍼링 방법 및 이를 이용한 영상 수신 장치를 제공하는 것이다.
본 발명의 특징에 따른 버퍼링 방법은, 서로 다른 네트워크 경로를 통해 수신되는 전송 스트림들을 버퍼링하는 방법에서, 제1 네트워크를 통하여 제1 영상에 대응하는 제1 전송 스트림을 수신하는 단계; 제2 네트워크를 통하여 제2 영상에 대응하는 제2 전송 스트림을 수신하는 단계; 상기 제1 전송 스트림에 대응하는 제1 영상을 미리 설정된 최소 전송 지연 차이를 토대로 버퍼링 하는 단계; 및 상기 버퍼링된 제1 영상과, 상기 제2 전송 스트림에 대응하는 제2 영상을 처리하는 단계를 포함하며, 상기 최소 전송 지연 차이는 상기 제1 영상 및 제2 영상의 송신 과정에서 발생되는 지연 중, 상기 제1 영상 및 상기 제2 영상의 송신을 위한 부호화 과정에서 발생하는 지연을 제외한 지연에 대응한다.
상기 제1 영상은 재생시 기준이 되는 기준 영상이고, 상기 제2 영상은 상기 기준 영상과 연동되어 재생되는 보조 정보 또는 데이터인 부가 연상일 수 있다.
상기 최소 전송 지연 차이는 세그먼트로 처리되어 전송되는 부가영상의 세그먼트 지속시간 및 통신 처리 규격에 따라 미리 설정되는 최소 세그먼트 버퍼링 시간을 토대로 결정될 수 있다. 또한, 상기 최소 전송 지연 차이는 세그먼트 윈도우 사이즈, 부가영상 세그먼트 전송시간, 및 기준영상 전송 스트림 전송시간을 추가적으로 고려하여 결정될 수 있다. 이 경우, 상기 최소 전송 지연 차이는
Figure pat00001
의 조건을 만족할 수 있으며, ΔT는 상기 최소 전송 지연 차이를 나타내며, S d 는 상기 부가영상 세그먼트 지속시간을 나타내고, i 는 상기 세그먼트 윈도우 사이즈를 나타내며, I R 은 상기 부가영상 세그먼트 전송시간을 나타내고, MinbufferTime 은 상기 최소 세그먼트 버퍼링 시간을 나타내며, B R 은 상기 기준영상 전송스트림 전송시간을 나타낸다.
상기 제1 네트워크는 방송망이고, 상기 제2 네트워크는 인터넷 망일 수 있다.
본 발명의 다른 특징에 따른 영상 수신 장치는, 서로 다른 네트워크 경로를 통해 수신되는 전송 스트림들을 수신하는 영상 수신 장치에서, 제1 네트워크를 통하여 제1 영상에 대응하는 제1 전송 스트림을 수신하는 제1 수신부; 제2 네트워크를 통하여 제2 영상에 대응하는 제2 전송 스트림을 수신하는 제2 수신부; 상기 제1 영상과, 상기 제2 영상을 처리하여 재생하는 처리부를 포함하며, 상기 제1 수신부는 상기 제1 전송 스트림에 대응하는 제1 영상을 미리 설정된 최소 전송 지연 차이를 토대로 버퍼링 하는 버퍼를 포함하며, 상기 최소 전송 지연 차이는 상기 제1 영상 및 제2 영상의 송신 과정에서 발생되는 지연 중, 상기 제1 영상 및 상기 제2 영상의 송신을 위한 부호화 과정에서 발생하는 지연을 제외한 지연에 대응한다.
상기 제1 영상은 재생시 기준이 되는 기준 영상이고, 상기 제2 영상은 상기 기준 영상과 연동되어 재생되는 보조 정보 또는 데이터인 부가 연상일 수 있다.
이러한 영상 수신 장치에서, 상기 최소 전송 지연 차이는, 세그먼트로 처리되어 전송되는 부가영상의 세그먼트 지속시간 및 통신 처리 규격에 따라 미리 설정되는 최소 세그먼트 버퍼링 시간을 토대로 결정될 수 있다. 또한, 상기 최소 전송 지연 차이는, 세그먼트 윈도우 사이즈, 부가영상 세그먼트 전송시간, 및 기준영상 전송 스트림 전송시간을 추가적으로 고려하여 결정될 수 있다. 또한, 상기 최소 전송 지연 차이는
Figure pat00002
의 조건을 만족할 수 있으며, ΔT는 상기 최소 전송 지연 차이를 나타내며, S d 는 상기 부가영상 세그먼트 지속시간을 나타내고, i 는 상기 세그먼트 윈도우 사이즈를 나타내며, I R 은 상기 부가영상 세그먼트 전송시간을 나타내고, MinbufferTime 은 상기 최소 세그먼트 버퍼링 시간을 나타내며, B R 은 상기 기준영상 전송스트림 전송시간을 나타낸다.
상기 영상 수신 장치는, 상기 제1 수신부는 상기 버퍼에서 버퍼링된 다음에 출력되는 제1 영상을 디코딩 처리하여 상기 처리부로 출력하는 디코딩부를 더 포함할 수 있으며, 상기 제2 수신부는 상기 수신되는 제2 전송 스트림에 대응하는 상기 제2 영상을 디코딩 처리하여 상기 처리부로 출력할 수 있다.
본 발명의 실시 예에 따르면, 이종 네트워크 기반으로 서비스되는 다양한 하이브리드 서비스 환경에서 서로의 전송 환경에 따른 지연 차이를 보상할 수 있다. 그러므로 수신 장치에서 이종 네트워크를 통하여 수신되는 각각의 전송 스트림들을 안정적으로 처리하여 재생할 수 있으며, 안정적인 서비스를 제공할 수 있다.
도 1은 서로 다른 이종 네트워크를 통하여 스트림이 전송되는 방송 환경을 나타낸 예시도이다.
도 2는 기준 영상의 송수신 과정 및 각 서브 과정별로 요구되는 지연을 나타낸 도이다.
도 3은 부가 영상의 송수신 과정 및 각 서브 과정별로 요구되는 요구되는 지연을 나타낸 도이다.
도 4는 본 발명의 실시 예에 따른 영상 수신 장치의 구조도이다.
도 5는 본 발명의 실시 예에 따른 전송 스트림의 버퍼링 방법의 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 도면을 참조하여 본 발명의 실시 예에 따른 이종 네트워크 환경에서 미디어 전송스트림 버퍼링 방법 및 이를 이용한 영상 수신 장치에 대하여 설명한다.
도 1은 서로 다른 이종 네트워크를 통하여 스트림이 전송되는 방송 환경을 나타낸 예시도이다.
첨부한 도 1에 예시된 바와 같이, 방송망을 통해 방송 영상을 전송하고, 인터넷을 통하여 수화 영상을 각각 전송하며, 수신기가 방송 영상과 수화 영상을 수신하고 동기화하여 재생한다. 이러한 재생 처리를 위하여, 방송망을 통하여 전송되는 방송 영상에 해당하는 스트림을 설정 시간 예를 들어, 약 10초 동안 버퍼링한다. 서로 다른 이종 네트워크를 통하여 전송된 스트림은 송수신 시스템 구성 및 망 특성으로 인하여 발생하는 전송 지연이 상이하다.
본 발명의 실시 예에서는 방송망 및 인터넷으로 전송되는 스트림의 전송 지연을 토대로 버퍼링을 수행하는 구체적인 방법을 제시한다.
본 발명의 실시 예에서 방송망에 적용되는 전송 스트림은 MPEG-2(moving pictures exports group-2) TS(transport stream) 또는 ROTUE(Real-time Object Delivery over Unidirectional Transport) 또는 MMTP(MPEG Media Transport Protocol)가 될 수 있다. ROUTE 및 MMTP는 현재 ATSC 3.0에서 표준화 진행 중인 방송망 전송스트림 다중화 규격을 나타낸다. 또한, 인터넷 망으로 전송되는 전송 스트림은 MPEG-DASH(Dynamic Adaptive Streaming over HTTP) 규격을 따른다. 그러나 본 발명은 반드시 이에 한정되는 것은 아니다.
도 2는 기준 영상의 송수신 과정 및 각 서브 과정별로 요구되는 지연을 나타낸 도이다.
재생시 기준이 되는 영상을 기준 영상이라고 명명할 수 있으며, 여기서 방송 영상은 기준 영상일 수 있다.
첨부한 도 2에서와 같이, 기준 영상 예를 들어 방송 영상은 영상 부호화(video encoding) 처리되고 다중화(multiplexing) 처리된 다음에 방송망을 통하여 전송된다. 방송망을 통해 전송된 방송 영상의 스트림은 수신기에 의해 수신되며, 이후, 역다중화(de-multiplexing) 처리된 다음에 영상 복호화(video decoding) 처리되어 방송 영상으로 재생된다.
위에 기술된 바와 같은, 영상 부호화 및 다중화, 방송망 전송, 그리고 역다중화 및 복호화 처리시 각각 발생하는 지연을 B E , B R , 그리고 B D 이라고 하면, 기준 영상의 영상 부호화를 시작으로 영상 복호화까지 요구되는 총 전송 지연(B Total )은 다음과 같이 정의할 수 있다.
Figure pat00003
여기에서 구체적으로, B E 는 기준 영상 부호화 및 시스템 인코딩(서비스를 제공하기 위한 시그널링(signaling) 및 스트림의 다중화 과정)시 발생되는 지연을 나타낸다. B R 는 방송망을 통한 전송 지연을 나타낸다. B D 는 기준 영상 복호화 및 시스템 디코딩(다중화 스트림의 역 다중화 과정)시 발생되는 지연을 나타낸다.
도 3은 부가 영상의 송수신 과정 및 각 서브 과정별로 요구되는 요구되는 지연을 나타낸 도이다.
부가 영상은 기준 영상과 연동되어 재생되는 보조 정보 또는 데이터를 나타낸다. 예를 들어 스마트 수화 방송의 경우 방송망으로 전송되는 스트림은 기준 영상이 되며 인터넷으로 전송되는 스트림은 부가 영상이 된다.
첨부한 도 3에 도시된 바와 같이, 부가 영상은 영상 부호화 처리되고 다중화 처리되며, 그리고 DASH(Dynamic Adaptive Streaming over HTTP) 부호화에 따라 다수의 세그먼트(segment)들로 분할되어 부호화된 다음에 전송되며, 예를 들어, 인터넷을 통하여 전송된다. 부가 영상의 세그먼트는 수신기에 의해 수신되며, 이후, 버퍼링(buffering) 처리되고 역다중화 처리된 다음에 복호화처리 되어 부가 영상으로 재생된다.
이와 같이, 부가 영상을 전송하기 위해서는 기준 영상의 송수신 과정에 비하여, MPEG-DASH 규격에 따라 세그먼트를 생성하는 대쉬 부호화 과정 및 수신기에서 인터넷을 통해 전송되는 세그먼트에 대하여 최소 요구되는 버퍼링 과정이 추가된다. 따라서, 기준 영상의 송수신 대비 추가적인 시스템 지연이 발생한다.
위에 기술된 바와 같은, 영상 부호화 및 다중화, 대쉬 부호화, 방송망 전송, 버퍼링 그리고 역다중화 및 복호화 처리시 각각 발생하는 지연을 I E , I S , I R , I MIN 라고 하면, 부가 영상의 영상 부호화를 시작으로 복호화까지 요구되는 총 전송 지연(I Total )은 다음과 같이 정의할 수 있다.
Figure pat00004
여기서, 구체적으로, I E 는 부가영상 부호화 및 시스템 인코딩 지연을 나타낸다. I S 는 MPEG-2 DASH 기반 부가영상 세그먼트 및 MPD(media presentation description) 생성에 따른 세그멘테이션 지연(segmentation delay)을 나타낸다. I R 은 인터넷을 통한 부가 영상 세그먼트의 전송 지연을 나타낸다. I MIN 는 수신기에서 요구되는 부가 영상 세그먼트의 최소 버퍼링 지연을 나타낸다. I D 는 부가영상 복호화 및 시스템 디코딩 지연을 나타낸다.
위에 기술된 기준 영상의 부호화 및 시스템 인코딩 그리고 시스템 디코딩 및 복호화 과정의 지연들과, 부가 영상의 부호화 및 시스템 인코딩 그리고 시스템 디코딩 및 복호화 과정의 지연들이 동일하다고 가정하면, 이종 네트워크를 통한 전송 지연 차이(ΔT )는 다음과 같이 나타낼 수 있다.
Figure pat00005
여기서, I S 는 MPEG-DASH 기반의 부가영상 세그먼트 및 MPD를 생성하기까지의 시간으로서, 이는 안정적으로 세그먼트를 송신하기 위하여 요구되는 최소 세그먼트 지속시간에 따라 달라진다. 또한, I R 은 인터넷을 통한 부가 영상 세그먼트의 전송 지연에 대응하며, 실제 수신기에서 요청된 부가영상 세그먼트를 전송하는 시간이다. 실제 부가영상 세그먼트를 전송하기 위하여 수신기에서 MPD를 요청하고 수신하기까지의 시간을 I MPD 로 정의하면, 수학식 3은 다음과 같이 나타낼 수 있다.
Figure pat00006
여기에서 S d 는 부가 영상의 실제 세그먼트 지속 시간을 나타내며, i 는 세그먼트를 생성하고 전송하는 구간인 세그먼트 윈도우 사이즈를 나타낸다. α 는 세그먼트 및 MPD 생성 시간을 나타내며, I MPD 는 수신기에서 MPD를 요청하고 수신하는 시간이다. α와 I MPD 를 모두 ‘0’으로 가정하면, 방송망에서 전송 스트림의 버퍼링 시간 ΔT는 다음과 같이 정의될 수 있다.
Figure pat00007
여기서, MinbufferTime 은 I MIN 을 나타낸다.
실제 세그먼트 지속시간(S d )에 따라, 하나의 세그먼트 및 MPD를 생성하고 수신기의 요청에 의하여 안정적으로 세그먼트를 전송할 수 있다면 i (세그먼트 윈도우 사이즈)는 1로 설정되나, 실험 환경 및 서비스 형태에 따라 보다 안정적인 세그먼트 송출을 제공하기 위해서는 i 는 증가될 수 있다.
세그먼트 지속시간(S d )은 MPEG-DASH 규격의 MPD에 기술된 것으로 실제 세그먼트 지속 시간 정보를 나타낸다. 예를 들어, S d = 1초 인 경우, 이것은 세그먼트가 1초짜리 스트림으로 구성된다는 의미이다.
또한 MinbufferTime 역시 MPEG-DASH 규격의 MPD에 기술된 수신기에서의 최소 세그먼트 버퍼렁 타임을 의미한 것으로, 수신기에서는 MPD에 기술된 MinbufferTime 만큼 버퍼링을 수행해야 한다. 일반적으로 요구되는 최소 세그먼트 버퍼링 시간은 MPD에 기술된 MinbufferTime 시간보다는 작게 된다. 즉, 요구되는 최소 세그먼트 버퍼링 시간은 전송 대역폭 및 부가영상 인코딩 레이트에 따라 달라진다. 만일 10M로 부호화된 스트림(S d = 1초)을 10M 대역폭을 통하여 전송한다면 요구되는 최소 MinbufferTime 은 1초가 된다. 하지만, 3M으로 부호화된 스트림(S d = 1초)을 10M 대역폭을 통하여 전송한다면 요구되는 최소 MinbufferTime 은 약 330ms가 된다.
따라서, 하이브리드 망을 통하여 발생하는 전송 지연 차이는 적용된 인터넷 망의 대역폭 상황에 따라 달라지나, 부가영상 세그먼트 지속시간(S d )과 최소 세그먼트 버퍼링 시간(MinbufferTime, I MIN )을 토대로 결정될 수 있으며, 또한 위의 수학식 5와 같이, 부가영상 세그먼트 지속시간(S d ), 안정적으로 송수신하기 위한 세그먼트 윈도우 사이즈(i), 부가영상 세그먼트 전송시간(I R ), 최소 세그먼트 버퍼링 시간(MinbufferTime, I MIN ) 및 기준영상 전송스트림 전송시간(B R )에 따라 결정될 수 있다.
그러므로 기준 영상 전송스트림을, 기준영상 및 부가영상의 부호화 과정에서 발생하는 딜레이를 제외하고, 최소 전송 지연 차이 즉, 최소 ΔT 만큼 버퍼링 시간을 가져야 안정적으로 관련 미디어를 재생할 수 있다.
도 4는 본 발명의 실시 예에 따른 영상 수신 장치의 구조도이다.
본 발명의 실시 예에 따른 영상 수신 장치(1800)는 도 4에 도시된 바와 같이, 제1 수신부(110), 제2 수신부(120) 및 처리부(130)를 포함한다.
영상 수신 장치(100)는 서로 다른 경로 예를 들어, 방송망 및 인터넷 망을 통해 하이브리드 전송 스트림을 수신할 수 있다. 여기서, 하이브리드 스트림은 위에 기술된 바와 같이 MPEG-2 (Moving Picture Experts Group-2) 표준방식에 따라 코딩된 비디오 및 오디오 등의 프로그램을 포함할 수 있다.
제1 수신부(110)는 제1 네트워크(예를 들어, 방송망)을 통해 기준 영상을 수신하여 처리하며, 제2 수신부(120)는 제2 네트워크(예를 들어, 인터넷 망)을 통해 부가 영상을 수신한다. 기준 영상은 제1 송신 장치(210)에 의하여 영상 부호화 및 다중화 처리된 다음에 제1 네트워크 즉, 방송망을 통하여 전송되며, 부가 영상은 제2 송신 장치(220)에 의하여 영상 부호화 및 다중화 처리되고 DASH 부호화된 다음에 제2 네트워크 즉, 인터넷 망을 통하여 전송된다. 기준 영상 및 부가 영상은 하나의 3DTV 컨텐츠에 대응할 수 있다.
제1 수신부(110)는 구체적으로 제1 버퍼(111) 및 제1 버퍼(111)로부터 출력되는 기준 영상의 디코딩을 수행하는 디코더부(112)를 포함한다.
제1 버퍼(111)는 하이브리드 망을 통하여 발생하는 전송 지연 차이를 보상하기 위하여, 수신되는 기준 영상을 버퍼링하며, 최소 ΔT 만큼 기준 영상을 버퍼링한 후 출력한다. 최소 ΔT는 부가영상 세그먼트 지속시간(S d )과 최소 세그먼트 버퍼링 시간(MinbufferTime, I MIN )을 토대로 결정되며, 이외에도, 안정적으로 송수신하기 위한 세그먼트 윈도우 사이즈(i), 부가영상 세그먼트 전송시간(I R ) 및 기준영상 전송스트림 전송시간(B R )을 추가적으로 고려하여 결정될 수 있다.
디코더부(112)는 제1 버퍼(111)로부터 버퍼링 후 출력되는 기준 영상의 디코딩을 수행한다. 이러한 디코딩을 위하여, 디코딩을 위하여 기준 영상 예를 들어, 기준 영상에 대응하는 기초 스트림, 기준 영상에 따른 오디오 스트림, 동기화를 위한 동기화 정보 등을 저장하는 별도의 버퍼를 더 포함할 수 있다.
제2 수신부(120)는 부가 영상의 디코딩을 수행하는 디코더부(121)를 포함한다. 디코더부(121)는 수신되는 부가 영상의 디코딩을 수행하며, 이러한 디코딩을 위하여, 디코딩을 위하여 부가 영상 예를 들어, 부가 영상에 대응하는 기초 스트림, 동기화를 위한 동기화 정보 등을 저장하는 별도의 버퍼를 더 포함할 수 있다.
도 5는 본 발명의 실시 예에 따른 전송 스트림의 버퍼링 방법의 흐름도이다.
제1 송신 장치(210)는 기준 영상을 부호화 하고 다중화 처리한 다음에 제1 네트워크(예: 방송망)을 통하여 전송하며, 제2 송신 장치(220)는 부가 영상을 부호화하고 다중화한 다음에 DASH 부호화하여 제2 네트워크(예: 인터넷 망)통하여 전송한다.
영상 수신 장치(100)는 이와 같이 전송되는 기준 영상 및 부가 영상에 각각 대응하는 전송 스트림들을 수신한다(S100, S110).
이후, 영상 수신 장치(100)는, 하이브리드 망을 통하여 발생하는 전송 지연 차이를 보상하기 위하여, 수신되는 기준 영상을 미리 설정된 최소 ΔT만큼 버퍼링한 후 출력한다(S120).
영상 수신 장치(100)는, 버퍼링된 다음에 출력되는 기준 영상에 대한 디코딩을 수행하고, 그리고 수신되는 부가 영상에 대한 디코딩을 수행한다(S130).
이후, 디코딩된 기준 영상과 부가 영상을 서로 동기화되어 재생된다(S140).
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (12)

  1. 서로 다른 네트워크 경로를 통해 수신되는 전송 스트림들을 버퍼링하는 방법에서,
    제1 네트워크를 통하여 제1 영상에 대응하는 제1 전송 스트림을 수신하는 단계;
    제2 네트워크를 통하여 제2 영상에 대응하는 제2 전송 스트림을 수신하는 단계;
    상기 제1 전송 스트림에 대응하는 제1 영상을 미리 설정된 최소 전송 지연 차이를 토대로 버퍼링 하는 단계; 및
    상기 버퍼링된 제1 영상과, 상기 제2 전송 스트림에 대응하는 제2 영상을 처리하는 단계
    를 포함하며,
    상기 최소 전송 지연 차이는 상기 제1 영상 및 제2 영상의 송신 과정에서 발생되는 지연 중, 상기 제1 영상 및 상기 제2 영상의 송신을 위한 부호화 과정에서 발생하는 지연을 제외한 지연에 대응하는, 버퍼링 방법.
  2. 제1항에 있어서,
    상기 제1 영상은 재생시 기준이 되는 기준 영상이고, 상기 제2 영상은 상기 기준 영상과 연동되어 재생되는 보조 정보 또는 데이터인 부가 연상인, 버퍼링 방법.
  3. 제2항에 있어서,
    상기 최소 전송 지연 차이는,
    세그먼트로 처리되어 전송되는 부가영상의 세그먼트 지속시간 및 통신 처리 규격에 따라 미리 설정되는 최소 세그먼트 버퍼링 시간을 토대로 결정되는, 버퍼링 방법.
  4. 제3항에 있어서,
    상기 최소 전송 지연 차이는 세그먼트 윈도우 사이즈, 부가영상 세그먼트 전송시간, 및 기준영상 전송 스트림 전송시간을 추가적으로 고려하여 결정되는, 버퍼링 방법.
  5. 제4항에 있어서,
    상기 최소 전송 지연 차이는
    Figure pat00008
    의 조건을 만족하며, ΔT는 상기 최소 전송 지연 차이를 나타내며, S d 는 상기 부가영상 세그먼트 지속시간을 나타내고, i 는 상기 세그먼트 윈도우 사이즈를 나타내며, I R 은 상기 부가영상 세그먼트 전송시간을 나타내고, MinbufferTime 은 상기 최소 세그먼트 버퍼링 시간을 나타내며, B R 은 상기 기준영상 전송스트림 전송시간을 나타내는, 버퍼링 방법.
  6. 제1항에 있어서,
    상기 제1 네트워크는 방송망이고, 상기 제2 네트워크는 인터넷 망인, 버퍼링 방법.
  7. 서로 다른 네트워크 경로를 통해 수신되는 전송 스트림들을 수신하는 영상 수신 장치에서,
    제1 네트워크를 통하여 제1 영상에 대응하는 제1 전송 스트림을 수신하는 제1 수신부;
    제2 네트워크를 통하여 제2 영상에 대응하는 제2 전송 스트림을 수신하는 제2 수신부;
    상기 제1 영상과, 상기 제2 영상을 처리하여 재생하는 처리부
    를 포함하며,
    상기 제1 수신부는
    상기 제1 전송 스트림에 대응하는 제1 영상을 미리 설정된 최소 전송 지연 차이를 토대로 버퍼링 하는 버퍼
    를 포함하며, 상기 최소 전송 지연 차이는 상기 제1 영상 및 제2 영상의 송신 과정에서 발생되는 지연 중, 상기 제1 영상 및 상기 제2 영상의 송신을 위한 부호화 과정에서 발생하는 지연을 제외한 지연에 대응하는, 영상 수신 장치.
  8. 제7항에 있어서,
    상기 제1 영상은 재생시 기준이 되는 기준 영상이고, 상기 제2 영상은 상기 기준 영상과 연동되어 재생되는 보조 정보 또는 데이터인 부가 연상인, 영상 수신 장치.
  9. 제8항에 있어서,
    상기 최소 전송 지연 차이는,
    세그먼트로 처리되어 전송되는 부가영상의 세그먼트 지속시간 및 통신 처리 규격에 따라 미리 설정되는 최소 세그먼트 버퍼링 시간을 토대로 결정되는, 영상 수신 장치.
  10. 제9항에 있어서,
    상기 최소 전송 지연 차이는, 세그먼트 윈도우 사이즈, 부가영상 세그먼트 전송시간, 및 기준영상 전송 스트림 전송시간을 추가적으로 고려하여 결정되는, 영상 수신 장치.
  11. 제10항에 있어서,
    상기 최소 전송 지연 차이는
    Figure pat00009
    의 조건을 만족하며, ΔT는 상기 최소 전송 지연 차이를 나타내며, S d 는 상기 부가영상 세그먼트 지속시간을 나타내고, i 는 상기 세그먼트 윈도우 사이즈를 나타내며, I R 은 상기 부가영상 세그먼트 전송시간을 나타내고, MinbufferTime 은 상기 최소 세그먼트 버퍼링 시간을 나타내며, B R 은 상기 기준영상 전송스트림 전송시간을 나타내는, 영상 수신 장치.
  12. 제7항에 있어서,
    상기 제1 수신부는 상기 버퍼에서 버퍼링된 다음에 출력되는 제1 영상을 디코딩 처리하여 상기 처리부로 출력하는 디코딩부
    를 더 포함하고,
    상기 제2 수신부는 상기 수신되는 제2 전송 스트림에 대응하는 상기 제2 영상을 디코딩 처리하여 상기 처리부로 출력하는 디코딩부
    를 포함하는, 영상 수신 장치.
KR1020160015291A 2016-02-05 2016-02-05 이종 네트워크 환경에서 미디어 전송 스트림 버퍼링 방법 및 이를 이용한 영상 수신 장치 KR20170093637A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160015291A KR20170093637A (ko) 2016-02-05 2016-02-05 이종 네트워크 환경에서 미디어 전송 스트림 버퍼링 방법 및 이를 이용한 영상 수신 장치
US15/424,453 US20170230672A1 (en) 2016-02-05 2017-02-03 Method for buffering media transport stream in heterogeneous network environment and image receiving apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160015291A KR20170093637A (ko) 2016-02-05 2016-02-05 이종 네트워크 환경에서 미디어 전송 스트림 버퍼링 방법 및 이를 이용한 영상 수신 장치

Publications (1)

Publication Number Publication Date
KR20170093637A true KR20170093637A (ko) 2017-08-16

Family

ID=59498142

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160015291A KR20170093637A (ko) 2016-02-05 2016-02-05 이종 네트워크 환경에서 미디어 전송 스트림 버퍼링 방법 및 이를 이용한 영상 수신 장치

Country Status (2)

Country Link
US (1) US20170230672A1 (ko)
KR (1) KR20170093637A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200071666A (ko) * 2018-12-11 2020-06-19 주식회사 디에스브로드캐스트 버퍼모델을 따르는 스트리밍을 위한 부가 정보 생성 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363700B2 (en) * 2009-07-01 2013-01-29 Harris Corporation Rake receiver for spread spectrum chaotic communications systems
KR20110124161A (ko) * 2010-05-10 2011-11-16 삼성전자주식회사 계층 부호화 영상의 송수신 방법 및 장치
US20150109411A1 (en) * 2012-04-26 2015-04-23 Electronics And Telecommunications Research Institute Image playback apparatus for 3dtv and method performed by the apparatus
US9432426B2 (en) * 2013-02-04 2016-08-30 Qualcomm Incorporated Determining available media data for network streaming
CN111537669A (zh) * 2013-09-25 2020-08-14 株式会社堀场制作所 分析装置和分析方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200071666A (ko) * 2018-12-11 2020-06-19 주식회사 디에스브로드캐스트 버퍼모델을 따르는 스트리밍을 위한 부가 정보 생성 방법 및 장치

Also Published As

Publication number Publication date
US20170230672A1 (en) 2017-08-10

Similar Documents

Publication Publication Date Title
EP2103148B1 (en) Transmitting/receiving digital realistic broadcasting involving beforehand transmisson of auxiliary information
KR101967818B1 (ko) 수신 장치 및 그 수신 방법
US20130258054A1 (en) Transmitter and receiver for transmitting and receiving multimedia content, and reproduction method therefor
US7646432B2 (en) Multimedia signal matching system and method for performing picture-in-picture function
EP1956848A2 (en) Image information transmission system, image information transmitting apparatus, image information receiving apparatus, image information transmission method, image information transmitting method, and image information receiving method
WO2007066868A1 (en) Method for providing dmb-based 3d image service, and decoding apparatus and method for dmb-based 3d image service
KR102361314B1 (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
KR101490005B1 (ko) 3-차원 비디오 콘텐츠로의 삽입을 위해 2-차원 비디오 콘텐츠를 변환하는 방법 및 장치
US20140002598A1 (en) Transport system and client system for hybrid 3d content service
US20230319371A1 (en) Distribution of Multiple Signals of Video Content Independently over a Network
KR20130121058A (ko) 3dtv를 위한 영상 재생 장치 및 상기 장치가 수행하는 방법
KR101697385B1 (ko) 채널 적응형 계층적 방송 장치 및 방법
KR20160098974A (ko) 3dtv 방송 송수신 장치
EP2235859A1 (en) A method for streaming video data
KR20170130883A (ko) 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치
KR20150040110A (ko) 모바일 융합형 3dtv 방송 송수신 장치 및 방법
US20110150355A1 (en) Method and system for dynamic contrast processing for 3d video
KR20170093637A (ko) 이종 네트워크 환경에서 미디어 전송 스트림 버퍼링 방법 및 이를 이용한 영상 수신 장치
KR20150114854A (ko) 하이브리드 방송 송수신 방법 및 장치
KR20150057149A (ko) 재전송망에 기초한 3ｄ 방송 서비스 제공 시스템 및 방법
KR101745652B1 (ko) 복호 정보 고속 취득이 가능한 방송 송신기와 수신기 및 그 방법
KR20140053777A (ko) 이종 비디오 코덱을 사용하는 영상 시스템에서의 디코더 버퍼링 방법 및 그 장치
KR100913397B1 (ko) Ｄｍｂ기반의 3차원 입체영상 서비스를 위한 객체 기술방법과, 그에 따른 3차원 입체영상 서비스 수신 및 영상포맷 변환 방법
Yun et al. Design of Synchronization and T‐STD Model for 3DTV Service over Hybrid Networks
KR20180000320A (ko) 하이브리드 방송 서비스를 위한 타임드 메타데이터 송신 방법 및 장치