KR102317938B1 - 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템 - Google Patents

타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템 Download PDF

Info

Publication number
KR102317938B1
KR102317938B1 KR1020190031046A KR20190031046A KR102317938B1 KR 102317938 B1 KR102317938 B1 KR 102317938B1 KR 1020190031046 A KR1020190031046 A KR 1020190031046A KR 20190031046 A KR20190031046 A KR 20190031046A KR 102317938 B1 KR102317938 B1 KR 102317938B1
Authority
KR
South Korea
Prior art keywords
image
resolution
resolution image
sub
bitstream
Prior art date
Application number
KR1020190031046A
Other languages
English (en)
Other versions
KR20200111410A (ko
Inventor
장준환
박우출
양진욱
김용화
이준석
윤상필
최민수
김현욱
조은경
양재영
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190031046A priority Critical patent/KR102317938B1/ko
Priority to PCT/KR2019/003179 priority patent/WO2020189817A1/ko
Publication of KR20200111410A publication Critical patent/KR20200111410A/ko
Application granted granted Critical
Publication of KR102317938B1 publication Critical patent/KR102317938B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

타일 기반 스트리밍을 위하여, DASH 프로토콜로 분할된 8K급 HEVC tiled 분할 영상과 2K급 다중 영상을 실시간으로 디코딩하는 분할영상 분산 디코딩 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 분할영상 분산 디코딩 방법은 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하며, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 단계; 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하는 단계; 및 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성하는 단계;를 포함한다. 이에 의해, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 할 수 있다. 또한, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상을 함께 스트리밍하여, 유연한 서비스 제공이 가능할 수 있다.

Description

타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템{Division video distributed decoding method and system for tiled streaming}
본 발명은 분할영상 분산 디코딩 방법 및 시스템에 관한 것으로, 더욱 상세하게는 타일 기반 스트리밍을 위하여, DASH 프로토콜로 분할된 8K급 HEVC(High-Efficiency Video Coding) tiled 분할 영상과 2K급 다중 영상을 실시간으로 디코딩하는 분할영상 분산 디코딩 방법 및 시스템에 관한 것이다.
8K(7680x4320)/16K(15360x8640)급 360VR 및 파노라마 영상과 같은 초대용량 비디오를 스트리밍 서비스하기 위해서는, 1) 네트웍 대역폭 부족, 2) 다수 클라이언트를 위한 스트리밍 서버의 초대용량 데이터 처리 능력 부족, 3) 소비가전 디바이스의 재생 능력 부족, 이라는 세 가지 문제를 해결하는 기술이 필요하다.
이러한 세 가지 문제를 해결하기 위해, 초대용량 영상 데이터를 한번에 스트리밍하기보다는 영상을 미리 분할 영상(타일)로 분할하여 사용자가 현재 보고 있는 영역만을 적응적으로 스트리밍하는 방법인 타일 기반 스트리밍 서비스 기술이 개발되었으나, 사용자의 FOV(Field of View) 뷰 스위칭시 새로운 타일을 스트리밍 받아야하므로 약간의 지연(latency)이 발생하는 단점을 가지게 된다.
이에, 타일 기반 스트리밍 서비스 기술을 적용하되, 사용자의 FOV 뷰 스위칭시 지연이 최소화되도록 하는 방안의 모색이 요구된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, DASH 프로토콜로 분할된 8K급 HEVC tiled 분할 영상과 2K급 다중 영상을 실시간으로 디코딩함으로써, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 하는 분할영상 분산 디코딩 방법 및 시스템을 제공함에 있다.
또한, 본 발명의 다른 목적은, 타일 기반 스트리밍 서비스 제공시, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상이 함께 스트리밍되는 분할영상 분산 디코딩 방법 및 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 분할영상 분산 디코딩 방법은 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하며, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 단계; 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하는 단계; 및 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성하는 단계;를 포함한다.
그리고 본 발명의 일 실시예에 따른, 분할영상 분산 디코딩 방법은 초고해상도 또는 고해상도 이미지 비트스트림이 생성된 이후, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계; 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 생성하는 단계; 및 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성하는 단계;를 더 포함할 수 있다.
또한, 서브 이미지는, 서브 미디어와 동일한 해상도의 이미지로 재구성되되, 서브 미디어 및 서브 이미지지는, 제1 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080일 수 있다.
그리고 서브 이미지는, 상업적인 목적을 갖는 광고정보 또는 해당 영상과 관련된 추천영상에 대한 정보가 포함되며, 제1 이미지의 주변영역에 배치되도록 부가될 수 있다.
또한, 본 발명의 일 실시예에 따른, 분할영상 분산 디코딩 방법은 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 파일로 저장하는 단계;를 더 포함하고, 이때, 파일로 저장하는 단계는, 초고해상도의 이미지 비트스트림의 파일정보에, HQ_tiles 태그가 부가되고, 고해상도의 이미지 비트스트림의 파일정보에, MQ_tiles 태그가 부가될 수 있다.
그리고 비디오는, 타일 기반 MPEG 영상이며, 초고해상도 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 512X512이고, 고해상도 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 256X256일 수 있다.
또한, 제1 이미지를 생성하는 단계는, 사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정할 수 있다.
그리고 제1 이미지를 생성하는 단계는, 사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성될 수 있다.
또한, 본 발명의 일 실시예에 따른, 분할영상 분산 디코딩 방법은 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림 중 적어도 하나가 생성되면, 비디오에 대한 오디오를 분산 처리하지 않고 트랜스코딩하는 단계;를 더 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 분할영상 분산 디코딩 시스템은, 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하며, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 트랜스코딩부; 및 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 이미지를 생성하는 디코딩부;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 분할영상 분산 디코딩 방법은, 분할영상 분산 디코딩 방법은 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하는 단계; 시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 또는 고해상도의 이미지 비트스트림을 생성하고, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계; 저해상도의 이미지 비트스트림 및 초고해상도 또는 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 병렬적으로 생성하는 단계; 및 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 주변영역에 서브 이미지가 부가된 이미지를 생성하는 단계;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 분할영상 분산 디코딩 시스템은, 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하고, 시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 또는 고해상도의 이미지 비트스트림을 생성하고, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 트랜스코딩부; 및 저해상도의 이미지 비트스트림 및 초고해상도 또는 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 병렬적으로 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 주변영역에 서브 이미지가 부가된 이미지를 생성하는 디코딩부;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 할 수 있다.
또한, 본 발명의 실시예들에 따르면, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상을 함께 스트리밍하여, 유연한 서비스 제공이 가능할 수 있다.
도 1은 본 발명의 일 실시예에 따른 타일 기반 스트리밍 서비스의 개념도,
도 2는 타일 기반 스트리밍 서비스를 통해 제공되는 화면이 예시된 도면,
도 3은 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 시스템의 설명에 제공된 도면,
도 4는 타일 기반 스트리밍을 위한 디먹싱 모듈의 설명에 제공된 도면,
도 5는 타일 기반 스트리밍을 위한 디코딩 모듈의 설명에 제공된 도면, 그리고
도 6은 디코딩 모듈을 더욱 상세히 설명하기 위해 제동된 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 타일 기반 스트리밍 서비스의 개념도이고, 도 2는 타일 기반 스트리밍 서비스를 통해 제공되는 화면이 예시된 도면이다.
본 발명의 일 실시예에 따른 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 시스템(이하에서는 '분할영상 분산 디코딩 시스템'으로 총칭하기로 함)은, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 하기 위해, 멀티 인코딩, 멀티 디코딩 구조로 구현될 수 있다.
즉, 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하고, 시간 분할된 비디오를 다운샘플링한 후, 서로 다른 해상도의 이미지 비트스트림으로 멀티 인코딩하고, 서로 다른 해상도의 이미지 비트스트림을 기반으로 서로 다른 해상도의 이미지를 생성하는 멀티 디코딩 과정을 수행할 수 있다.
이를 위해, 분할영상 분산 디코딩 시스템은, 트랜스코딩부(100), 서버(200) 및 디코딩부(300)를 포함할 수 있다.
트랜스코딩부(100)는 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하고, 시간 분할된 비디오를 다운샘플링한 후, 서로 다른 해상도의 이미지 비트스트림으로 멀티 인코딩하여 서버(200)에 전송할 수 있다.
구체적으로, 트랜스코딩부(100)는 입력 동영상을 분석하여 비트스트림 레벨에서 영상의 시간 분할(Time division)을 수행할 수 있다.
이때, 시간 분할 간격은 1~N초로 설정이 가능하고, 영상에 따라 기본 값은 3~5초이며, 시간 분할은 비디오 Key frame (HEVC 및 H264/AVC의 IDR picture, MPEG-1/2/4의 Intra frame, AV1의 Key frame 등) 에서만 가능하기 때문에, 영상 내에서비디오 Key frame 위치에 따라 시간 분할 간격은 조금씩 변동될 수 있다.
또한, 트랜스코딩부(100)는 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림 중 적어도 하나가 생성되면, 비디오에 대한 오디오를 분산 처리하지 않고 단독으로 트랜스코딩할 수 있다. 이는, 오디오는 오디오코덱의 포맷 특성상 분산 처리가 거의 불가능하고, 트랜스코딩 연산 부하가 낮아서 마스터 단독으로 처리 가능하기 때문이다.
그리고, 트랜스코딩부(100)는 시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성할 수 있다.
또한, 트랜스코딩부(100)는 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 및/또는 고해상도의 이미지 비트스트림을 생성할 수 있다.
구체적으로, 트랜스코딩부(100)는 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하고, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성할 수 있다. 이를 위해, 트랜스코딩부(100)는, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 비디오 인코더가 필요하다.
이때, 입력 동영상인 비디오는, 타일 기반 MPEG 영상이며, 초고해상도 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 512X512이고, 고해상도 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 256X256일 수 있다.
트랜스코딩부(100)는 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 파일로 저장하고, 서버(200)에 전송할 수 있다.
그리고 초고해상도의 이미지 비트스트림의 파일정보에, HQ_tiles 태그가 부가되고, 고해상도의 이미지 비트스트림의 파일정보에, MQ_tiles 태그가 부가되어, 서로 다른 해상도의 이미지 비트스트림을 식별할 수 있다.
디코딩부(300)는 서버(200)로부터 서로 다른 해상도의 이미지 비트스트림에 대한 데이터를 수신하여 서로 다른 해상도의 이미지 비트스트림을 기반으로 서로 다른 해상도의 이미지를 생성하는 멀티 디코딩 과정을 수행할 수 있다.
예를 들면, 트랜스코딩부(100)는 타일로 분할하여 트랜스코딩된 초고화질 또는 고화질 영상들과 원본 초고해상도 영상으로부터 다운샘플된 Full-HD급의 저해상도 전체 영상(low resolution full video)을 일반 영상으로 인코딩하여 서버(200)에 전송하고, 디코딩부(300)는, 4K급의 고화질 분할영상을 디코딩하고, 동시에 저해상도 전체 영상을 디코딩할 수 있다.
더불어, 분할영상 분산 디코딩 시스템은, 타일 기반 스트리밍 서비스 제공시, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상이 함께 스트리밍되도록 할 수 있다.
이를 위해, 트랜스코딩부(100)는 초고해상도 또는 고해상도 이미지 비트스트림이 생성된 이후, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성할 수 있으며, 디코딩부(300)는, 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 생성하고, 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성할 수 있다.
이때, 서브 미디어(멀티 뷰 미디어)의 재구성된 서브 이미지는, 도 2에 예시된 바와 같이 복수의 서브 이미지가 동시에 출력될 수 있으며, 서브 미디어와 동일한 해상도의 이미지로 재구성되되, 서브 미디어 및 서브 이미지는, 제1 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080일 수 있다.
도 3은 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 시스템의 설명에 제공된 도면이며, 도 4는 타일 기반 스트리밍을 위한 디먹싱 모듈(320)의 설명에 제공된 도면이고, 도 5 내지 도 6은 타일 기반 스트리밍을 위한 디코딩 모듈(330)의 설명에 제공된 도면이다.
본 발명의 일 실시예에 따른 디코딩부(300)는 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성할 수 있다.
또한, 디코딩부(300)는, 서브 이미지 비트스트림을 파싱하여, 서브 이미지를 생성하고, 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성할 수 있다. 이때, 서브 이미지는, 제1 이미지의 주변영역에 부가되어, 제2 이미지가 생성되도록 할 수 있다.
다른 예를 들면, 디코딩부(300)는, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 파싱 채널, 디먹싱 채널, 디코딩 채널이 마련되어, 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지가 모두 병렬적으로 생성되어, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되는 동시에 관심영역의 주변영역에 서브 이미지가 부가되어 제2 이미지가 생성될 수 있다.
이를 위해, 디코딩부(300)는, 파싱 모듈(310), 디먹싱 모듈(320), 디코딩 모듈(330), 랜더러 모듈(340)을 포함할 수 있다.
파싱 모듈(310)은, 해상도별(HQ, MQ, LQ) 파싱 채널이 마련되고, 서브 이미지 수만큼의 파싱 채널이 추가로 마련되어, 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림, 고해상도의 이미지 비트스트림 및 서브 이미지 비트스트림을 병렬적으로 파싱하여 디먹싱 모듈(320)에 전달할 수 있다.
다른 예를 들면, 파싱 모듈(310)은, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 파싱 채널이 마련되어, 저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림, 고해상도의 이미지 비트스트림 및 서브 이미지 비트스트림을 병렬적으로 파싱하여 디먹싱 모듈(320)에 전달할 수 있다.
이때, 각각의 이미지 비트스트림의 패킷은, 스트림의 타입이 초고해상도(HQ), 고해상도(MQ), 저해상도(LQ) 및 서브 이미지(SUB) 중 어느 타인인지 나타내는 Type, 초고해상도(HQ) 타일의 인텍스인 StreamIdx, 새그먼트의 인덱스인 SegIdx, 새그먼트의 수를 나타내는 SegNum, HEVC 스트림의 사이즈를 나타내는 Size, HEVC 스트림의 데이터가 저장되는 HEVC Stream 및 새그먼트 종료 플래그를 나타내는 EOS로 구성될 수 있다.
여기서, 스트림은, HQ 또는 MQ의 단위를 나타내며, LQ는 스트림 수가 1이며, 서브 이미지는 개수와 스트림 수가 동일하다. 또한, 새그먼트는 파서 버퍼에 담겨지는 단위를 나타내며, 하나의 새그먼트 안에 복수의 스트림이 포함될 수 있다.
디먹싱 모듈(320)은 해상도별(HQ, MQ, LQ) 디먹싱 채널이 마련되고, 서브 이미지 수만큼의 디먹싱 채널이 추가로 마련되어, 각각의 이미지 비트스트림을 디먹싱 하여 HEVC 스트림을 생성하고, 디코딩 모듈(330)에 전달할 수 있다.
다른 예들 들면, 디먹싱 모듈(320)은 파싱 채널의 수가 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개인 경우, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 디먹싱 채널이 마련되어, 각각의 이미지 비트스트림을 디먹싱 하여 HEVC 스트림을 생성하고, 디코딩 모듈(330)에 전달할 수 있다.
여기서, HEVC 스트림은, 비디오 코덱인 HEVC(High-Efficiency Video Coding)을 지원하는 미디어 스트림을 의미한다.
또한, 이때, 각각의 이미지 패킷은, 스트림의 타입이 초고해상도(HQ), 고해상도(MQ), 저해상도(LQ) 및 서브 이미지(SUB) 중 어느 타인인지 나타내는 Type, 초고해상도(HQ) 타일의 인텍스인 StreamIdx, 새그먼트의 인덱스인 SegIdx, 새그먼트의 수를 나타내는 SegNum, 현재 타임 스탬프를 나타내는 PTS, 스트림의 기간을 나타내는 Duration, 사용 중인 타입 스탬프의 Numerator 및 Denominator, HEVC 스트림의 데이터가 저장되는 HEVC Stream 및 HEVC 스트림의 크기를 나타내는 Stream Size로 구성될 수 있다.
디코딩 모듈(330)은 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지를 병렬적으로 생성할 수 있다.
구체적으로, 디코딩 모듈(330)은, 파싱 채널 및 디먹싱 채널의 수가 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개인 경우, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 디코딩 채널이 마련되어, 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지를 병렬적으로 생성할 수 있다.
랜더러 모듈(340)은 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성할 수 있다.
구체적으로 랜더러 모듈(340)은, 사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정하여, 제1 이미지를 생성할 수 있다.
다른 예를 들면, 랜더러 모듈(340)은, 사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성할 수 있다.
그리고 랜더러 모듈(340)은, 제1 이미지가 생성되면, 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성할 수 있다.
이를 통해, 타일 기반 스트리밍 서비스 제공시, 초고화질 영상을 제공하며, 사용자의 FOV 뷰 스위칭시 지연이 최소화 되도록 할 수 있으며, 상업적인 목적을 갖는 광고 또는 해당 영상과 관련된 추천영상을 함께 스트리밍하여, 유연한 서비스의 제공이 가능하도록 할 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 트랜스코딩부
200 : 서버
300 : 디코딩부
310 : 파싱 모듈
320 : 디먹싱 모듈
330 : 디코딩 모듈
340 : 렌더러 모듈

Claims (12)

  1. 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하며, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 단계;
    저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하는 단계; 및
    사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성하는 단계;를 포함하며,
    분할영상 분산 디코딩 방법은,
    초고해상도 또는 고해상도 이미지 비트스트림이 생성된 이후, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계;
    서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 생성하는 단계; 및
    제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성하는 단계;를 더 포함하고,
    서브 이미지는,
    서브 미디어와 동일한 해상도의 이미지로 재구성되되,
    서브 미디어 및 서브 이미지는,
    제1 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080이며,
    서브 이미지는,
    상업적인 목적을 갖는 광고정보 또는 해당 영상과 관련된 추천영상에 대한 정보가 포함되며,
    제1 이미지의 주변영역에 배치되도록 부가되고,
    분할영상 분산 디코딩 방법은,
    저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 파일로 저장하는 단계;를 더 포함하고,
    파일로 저장하는 단계는,
    초고해상도의 이미지 비트스트림의 파일정보에, HQ_tiles 태그가 부가되고,
    고해상도의 이미지 비트스트림의 파일정보에, MQ_tiles 태그가 부가되고,
    제1 이미지를 생성하는 단계는,
    사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정하며,
    제1 이미지를 생성하는 단계는,
    사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성되고,
    분할영상 분산 디코딩 방법은,
    저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림 중 적어도 하나가 생성되면, 비디오에 대한 오디오를 분산 처리하지 않고 트랜스코딩하는 단계;를 더 포함하며,
    병렬적으로 생성하는 단계는,
    사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되는 동시에 관심영역의 주변영역에 서브 이미지가 부가되어 제2 이미지가 생성되도록, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 파싱 채널, 디먹싱 채널 및 디코딩 채널이 마련되어, 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지가 각각 병렬적으로 생성되는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 청구항 1에 있어서,
    비디오는,
    타일 기반 MPEG 영상이며,
    초고해상도 이미지는,
    제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 512X512이고,
    고해상도 이미지는,
    제1 이미지의 해상도가 1024X1024인 경우, 각 타일당 해상도가 256X256인 것을 특징으로 하는 분할영상 분산 디코딩 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 비디오를 N1xM1개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도의 이미지 비트스트림을 생성하며, 비디오를 N2xM2개의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 고해상도의 이미지 비트스트림을 생성하는 트랜스코딩부; 및
    저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지, 초고해상도 이미지 및 고해상도 이미지를 병렬적으로 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되는 이미지를 생성하는 디코딩부;를 포함하며,
    트랜스코딩부는,
    초고해상도 또는 고해상도 이미지 비트스트림이 생성된 이후, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하고,
    디코딩부는,
    서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 생성하고, 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성하며,
    서브 이미지는,
    서브 미디어와 동일한 해상도의 이미지로 재구성되되,
    서브 미디어 및 서브 이미지는,
    제1 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080이며,
    서브 이미지는,
    상업적인 목적을 갖는 광고정보 또는 해당 영상과 관련된 추천영상에 대한 정보가 포함되며,
    제1 이미지의 주변영역에 배치되도록 부가되고,
    트랜스코딩부는,
    저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 파일로 저장하며,
    파일 저장 시, 초고해상도의 이미지 비트스트림의 파일정보에, HQ_tiles 태그가 부가되고, 고해상도의 이미지 비트스트림의 파일정보에, MQ_tiles 태그가 부가되고,
    디코딩부는,
    사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정하며,
    디코딩부는,
    사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성되고,
    트랜스코딩부는,
    저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림 중 적어도 하나가 생성되면, 비디오에 대한 오디오를 분산 처리하지 않고 트랜스코딩하며,
    디코딩부는,
    사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되는 동시에 관심영역의 주변영역에 서브 이미지가 부가되어 제2 이미지가 생성되도록, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 파싱 채널, 디먹싱 채널 및 디코딩 채널이 마련되어, 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지가 각각 병렬적으로 생성되는 것을 특징으로 하는 분할영상 분산 디코딩 시스템.
  11. 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하는 단계;
    시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 또는 고해상도의 이미지 비트스트림을 생성하고, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계;
    저해상도의 이미지 비트스트림 및 초고해상도 또는 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 병렬적으로 생성하는 단계; 및
    사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 주변영역에 서브 이미지가 부가된 이미지를 생성하는 단계;를 포함하며,
    분할영상 분산 디코딩 방법은,
    초고해상도 또는 고해상도 이미지 비트스트림이 생성된 이후, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 단계;
    서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 생성하는 단계; 및
    제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성하는 단계;를 더 포함하고,
    서브 이미지는,
    서브 미디어와 동일한 해상도의 이미지로 재구성되되,
    서브 미디어 및 서브 이미지는,
    제1 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080이며,
    서브 이미지는,
    상업적인 목적을 갖는 광고정보 또는 해당 영상과 관련된 추천영상에 대한 정보가 포함되며,
    제1 이미지의 주변영역에 배치되도록 부가되고,
    분할영상 분산 디코딩 방법은,
    저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 파일로 저장하는 단계;를 더 포함하고,
    파일로 저장하는 단계는,
    초고해상도의 이미지 비트스트림의 파일정보에, HQ_tiles 태그가 부가되고,
    고해상도의 이미지 비트스트림의 파일정보에, MQ_tiles 태그가 부가되고,
    제1 이미지를 생성하는 단계는,
    사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정하며,
    제1 이미지를 생성하는 단계는,
    사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성되고,
    분할영상 분산 디코딩 방법은,
    저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림 중 적어도 하나가 생성되면, 비디오에 대한 오디오를 분산 처리하지 않고 트랜스코딩하는 단계;를 더 포함하며,
    병렬적으로 생성하는 단계는,
    사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되는 동시에 관심영역의 주변영역에 서브 이미지가 부가되어 제2 이미지가 생성되도록, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 파싱 채널, 디먹싱 채널 및 디코딩 채널이 마련되어, 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지가 각각 병렬적으로 생성되는 것을 특징으로 하는 분할영상 분산 디코딩 방법.
  12. 입력 동영상을 분석하여 비트스트림 레벨에서 시간 분할하고, 시간 분할된 비디오를 다운샘플링한 후 하나의 비디오 인코더로 인코딩하여 저해상도의 이미지 비트스트림을 생성하고, 시간 분할된 비디오를 복수의 타일로 공간 분할한 후, 복수의 비디오 인코더로 인코딩하여 초고해상도 또는 고해상도의 이미지 비트스트림을 생성하고, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하는 트랜스코딩부; 및
    저해상도의 이미지 비트스트림 및 초고해상도 또는 고해상도의 이미지 비트스트림을 각각의 파싱 채널을 통해 파싱하여, 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 병렬적으로 생성하고, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 주변영역에 서브 이미지가 부가된 이미지를 생성하는 디코딩부;를 포함하며,
    트랜스코딩부는,
    초고해상도 또는 고해상도 이미지 비트스트림이 생성된 이후, 하나 이상의 서브 미디어를 인코딩하여 서브 이미지 비트스트림을 생성하고,
    디코딩부는,
    서브 이미지 비트스트림을 파싱하여, 서브 미디어가 재구성된 서브 이미지를 생성하고, 제1 이미지에 서브 이미지를 부가하여 제2 이미지를 생성하며,
    서브 이미지는,
    서브 미디어와 동일한 해상도의 이미지로 재구성되되,
    서브 미디어 및 서브 이미지는,
    제1 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080이며,
    서브 이미지는,
    상업적인 목적을 갖는 광고정보 또는 해당 영상과 관련된 추천영상에 대한 정보가 포함되며,
    제1 이미지의 주변영역에 배치되도록 부가되고,
    트랜스코딩부는,
    저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림을 파일로 저장하며,
    파일 저장 시, 초고해상도의 이미지 비트스트림의 파일정보에, HQ_tiles 태그가 부가되고, 고해상도의 이미지 비트스트림의 파일정보에, MQ_tiles 태그가 부가되고,
    디코딩부는,
    사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정하며,
    디코딩부는,
    사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성되고,
    트랜스코딩부는,
    저해상도의 이미지 비트스트림, 초고해상도의 이미지 비트스트림 및 고해상도의 이미지 비트스트림 중 적어도 하나가 생성되면, 비디오에 대한 오디오를 분산 처리하지 않고 트랜스코딩하며,
    디코딩부는,
    사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되는 동시에 관심영역의 주변영역에 서브 이미지가 부가되어 제2 이미지가 생성되도록, 초고해상도의 이미지 타일 개수 + 고해상도의 이미지 타일 개수 + 서브 이미지 개수 + 1 개의 파싱 채널, 디먹싱 채널 및 디코딩 채널이 마련되어, 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지가 각각 병렬적으로 생성되는 것을 특징으로 하는 분할영상 분산 디코딩 시스템.
KR1020190031046A 2019-03-19 2019-03-19 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템 KR102317938B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190031046A KR102317938B1 (ko) 2019-03-19 2019-03-19 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템
PCT/KR2019/003179 WO2020189817A1 (ko) 2019-03-19 2019-03-19 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190031046A KR102317938B1 (ko) 2019-03-19 2019-03-19 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20200111410A KR20200111410A (ko) 2020-09-29
KR102317938B1 true KR102317938B1 (ko) 2021-10-27

Family

ID=72520935

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190031046A KR102317938B1 (ko) 2019-03-19 2019-03-19 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR102317938B1 (ko)
WO (1) WO2020189817A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102499900B1 (ko) * 2020-11-18 2023-02-15 주식회사 엘지유플러스 고해상도 영상의 스트리밍을 위한 영상 전송 장치와 영상 재생 장치 및 그 동작 방법
CN112954398B (zh) * 2021-02-07 2023-03-24 杭州网易智企科技有限公司 编码方法、解码方法、装置、存储介质及电子设备
CN113453086A (zh) * 2021-03-29 2021-09-28 北京国际云转播科技有限公司 多机位同步云导播方法、***、存储介质和视频编码器
EP4329311A1 (en) * 2021-04-22 2024-02-28 LG Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
KR102516831B1 (ko) * 2021-04-26 2023-03-31 네이버 주식회사 싱글 스트림을 이용하여 관심 영역 고화질 영상을 제공하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
CN113344781B (zh) * 2021-05-20 2023-12-05 Tcl华星光电技术有限公司 视频播放***、组件及方法
US11694655B2 (en) 2021-05-20 2023-07-04 Tcl China Star Optoelectronics Technology Co., Ltd. Video play system, video play device, and video play method
KR102603220B1 (ko) * 2021-12-01 2023-11-16 주식회사 엘지유플러스 타일 기반 멀티뷰 영상을 재생하는 방법 및 이를 위한 장치
WO2023128491A1 (ko) * 2021-12-30 2023-07-06 주식회사 카이 다채널 영상을 전송하기 위한 시스템의 동작 방법 및 이를 수행하는 시스템
CN116634177B (zh) * 2023-06-16 2024-02-20 北京行者无疆科技有限公司 一种基于hdmi通信设备的视频通信解码处理方法
KR102641876B1 (ko) * 2023-06-27 2024-02-29 주식회사 인텔리빅스 관심비디오 동시재생 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012010117A (ja) * 2010-06-25 2012-01-12 Kddi Corp 映像コンテンツに重畳する付加情報の領域を決定する映像出力装置、プログラム及び方法
JP2018067966A (ja) * 2014-11-26 2018-04-26 ソニー株式会社 ライブ選択的適応帯域幅

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015102462A1 (ko) * 2014-01-06 2015-07-09 에스케이텔레콤 주식회사 다중 영상의 단일 비트 스트림 생성방법 및 생성장치
KR102313485B1 (ko) * 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
US11163358B2 (en) * 2016-03-17 2021-11-02 Sony Interactive Entertainment Inc. Spectating virtual (VR) environments associated with VR user interactivity
US10743000B2 (en) * 2016-07-01 2020-08-11 Sk Telecom Co., Ltd. Video bitstream generation method and device for high-resolution video streaming
US10313763B2 (en) * 2016-07-29 2019-06-04 Mediatek, Inc. Method and apparatus for requesting and receiving selected segment streams based on projection information
KR102524987B1 (ko) * 2016-07-29 2023-04-21 에스케이텔레콤 주식회사 스트리밍 컨텐츠 제공 방법, 스트리밍 컨텐츠 저장 방법 및 이를 위한 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012010117A (ja) * 2010-06-25 2012-01-12 Kddi Corp 映像コンテンツに重畳する付加情報の領域を決定する映像出力装置、プログラム及び方法
JP2018067966A (ja) * 2014-11-26 2018-04-26 ソニー株式会社 ライブ選択的適応帯域幅

Also Published As

Publication number Publication date
KR20200111410A (ko) 2020-09-29
WO2020189817A1 (ko) 2020-09-24

Similar Documents

Publication Publication Date Title
KR102317938B1 (ko) 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템
EP1374593B1 (en) Adaptive bandwidth system and method for video transmission
US6871006B1 (en) Processing of MPEG encoded video for trick mode operation
CN113498606A (zh) 用于视频编码和解码的装置、方法和计算机程序
US10623754B2 (en) Information processing device and method
WO2009073077A1 (en) An extension to the avc standard to support the encoding and storage of high resolution digital still pictures in parallel with video
JP2022521992A (ja) ビデオコーディングのための方法、装置及びコンピュータプログラム
KR20230128584A (ko) 비트 스트림 병합
TWI826969B (zh) 具輪廓與位階相依寫碼選項之編碼器與解碼器、編碼方法及解碼方法
CN114127800A (zh) 已编码视频流中跨层对齐的方法
Aksay et al. End-to-end stereoscopic video streaming with content-adaptive rate and format control
JP5734699B2 (ja) 配信映像の超解像化装置
CN112118443B (zh) 视频解码方法、***、计算机设备以及存储介质
CN112118454B (zh) 视频解码方法、设备和计算机可读存储介质
CN114514742A (zh) 采用已编码视频流中的子图片进行信号发送的用信号发送虚拟边界的方法
CN113966615A (zh) 基于子层输出层集的推导方法
CN113994664A (zh) 具有输出层集的图片输出方法
US20240048768A1 (en) Method and apparatus for generating and processing media file
KR102312668B1 (ko) 비디오 트랜스코딩 시스템
US11356683B2 (en) Creating different video stream representations
CN112118453A (zh) 视频解码方法和设备、计算机设备以及存储介质
JP6577426B2 (ja) トランスコードシステム、トランスコード方法、コンピュータ可読記録媒体、復号装置および符号化装置
Patel et al. Image segmentation approach for realizing zoomable streaming HEVC video
Saxena et al. Analysis of implementation strategies for video communication on some parameters
WO2023021362A1 (en) Video coding concept for handling of motion-vectors in streaming scenarios

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant