KR100799592B1 - 스케일러블 비디오 비트스트림의 계층 변조 송수신을 위한장치 및 그 방법 - Google Patents

스케일러블 비디오 비트스트림의 계층 변조 송수신을 위한장치 및 그 방법 Download PDF

Info

Publication number
KR100799592B1
KR100799592B1 KR1020070018079A KR20070018079A KR100799592B1 KR 100799592 B1 KR100799592 B1 KR 100799592B1 KR 1020070018079 A KR1020070018079 A KR 1020070018079A KR 20070018079 A KR20070018079 A KR 20070018079A KR 100799592 B1 KR100799592 B1 KR 100799592B1
Authority
KR
South Korea
Prior art keywords
bitstream
scalable video
scalable
layer
video bitstream
Prior art date
Application number
KR1020070018079A
Other languages
English (en)
Inventor
전동산
최해철
김재곤
임종수
홍진우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to MX2009005737A priority Critical patent/MX2009005737A/es
Priority to PCT/KR2007/005472 priority patent/WO2008066257A1/en
Application granted granted Critical
Publication of KR100799592B1 publication Critical patent/KR100799592B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/44—Arrangements characterised by circuits or components specially adapted for broadcast
    • H04H20/46—Arrangements characterised by circuits or components specially adapted for broadcast specially adapted for broadcast systems covered by groups H04H20/53-H04H20/95
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H2201/00—Aspects of broadcast communication
    • H04H2201/10—Aspects of broadcast communication characterised by the type of broadcast system
    • H04H2201/11—Aspects of broadcast communication characterised by the type of broadcast system digital multimedia broadcasting [DMB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명에 의한 스케일러블 비디오 비트스트림의 계층 변조 송수신을 위한 장치 및 그 방법은 하나의 상기 스케일러블 비디오 비트스트림에 포함된 복수개의 상기 스케일러블 계층 중 기본계층(Base Layer)을 기초로 높은 전송 우선순위(High Priority:HP)를 가지는 HP 비트스트림을 생성하는 HP 채널 생성부; 및 하나의 상기 스케일러블 비디오 비트스트림에 포함된 복수개의 상기 스케일러블 계층 중 확장계층(Enhancement Layer)을 기초로 낮은 전송 우선순위(Low Priority:LP)를 가지는 LP 비트스트림을 생성하는 LP 채널 생성부;를 구비한 스케일러블 비디오 비트스트림의 계층 변조 송신을 위한 스플리터(Splitter)를 포함한다. 본 발명은 기존 지상파 DMB 와 하향호환성을 유지하면서 향후 차세대 지상파 DMB 고도화 망에서 고품질 서비스를 제공한다.

Description

스케일러블 비디오 비트스트림의 계층 변조 송수신을 위한 장치 및 그 방법{Apparatus and Method of Hierarachical Modulation for Scalable Video Bit Stream}
도 1은 지상파 DMB 고도화 망(advanced T-DMB)에서 사용하는 계층 변조(Hierarchical Modulation)의 개념을 보여주는 도면이다.
도 2는 스케일러블 비디오 코딩(SVC: Scalable Video Coding)의 개념을 보여주는 도면이다.
도 3은 종래의 지상파 DMB 서비스의 구성을 보여주는 도면이다.
도 4는 지상파 DMB 고도화 망에서의 가용 채널 용량을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 의한 지상파 DMB 고도화 망에서 스케일러블 비디오를 적용한 구성을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 의한 지상파 DMB 고도화 망에서의 스케일러블 비디오 비트스트림의 계층 변조 송신을 위한 송신기의 구성을 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 의한 계층 변조 방식을 적용하기 위한 스케일러블 비디오 비트스트림의 구성을 보여주는 도면이다.
도 8a는 본 발명의 일 실시예에 의한 지상파 DMB 고도화 망에서의 스케일러블 비디오 비트스트림의 계층 변조 송신을 위한 스플리터(Splitter)의 구성을 보여 주는 도면이다.
도 8b는 본 발명의 일 실시예에 의한 지상파 DMB 고도화 망에서의 스케일러블 비디오 비트스트림의 계층 변조 송신을 위한 스플리터(Splitter)의 동작을 보여주는 도면이다.
도 8c는 본 발명의 일 실시예에 의한 지상파 DMB 고도화 망에서의 스케일러블 비디오 비트스트림의 계층 변조 송신을 위한 스플리터(Splitter)의 알고리즘을 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 의한 지상파 DMB 고도화 망에서의 스케일러블 비디오 비트스트림의 계층 변조 수신을 위한 수신기의 구성을 보여주는 도면이다.
도 10a는 본 발명의 일 실시예에 의한 지상파 DMB 고도화 망에서의 스케일러블 비디오 비트스트림의 계층 변조 수신을 위한 컴포지터(Compositor)의 구성을 보여주는 도면이다.
도 10b는 본 발명의 일 실시예에 의한 지상파 DMB 고도화 망에서의 스케일러블 비디오 비트스트림의 계층 변조 수신을 위한 컴포지터(Compositor)의 동작을 보여주는 도면이다.
도 10c는 본 발명의 일 실시예에 의한 지상파 DMB 고도화 망에서의 스케일러블 비디오 비트스트림의 계층 변조 수신을 위한 컴포지터(Compositor)의 알고리즘을 보여주는 도면이다.
본 발명은 스케일러블 비디오 비트스트림의 계층 변조 송수신을 위한 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 지상파 DMB 고도화 망에서 고품질 비디오 서비스를 위한 스케일러블 비디오 비트스트림의 계층 변조 송수신을 위한 장치 및 그 방법에 관한 것이다.
디지털 방송기술의 실현 이후 방송과 통신의 융합으로 전 세계적으로 언제 어디서나 고화질 디지털 TV 서비스와 고품질 오디오 및 영상을 포함한 부가 데이터서비스가 가능한 차세대 디지털 멀티미디어 전송방식 개발을 다양하게 시도하고 있다.
또한 방송매체의 다양화와 프로그램의 확대 및 이용자 취향에 따라 디지털 방송서비스의 사회적-기술적 변화가 급속히 이루어지고 있으며, 독립/고정적인 이용환경에서 통합/이동 이용환경으로, 서로 다른 정보형태(비디오/오디오/텍스트) 서비스 제공에서 통합 정보형태(멀티미디어)서비스 제공 방향으로 방송환경이 변화하고 있다.
이러한 방송 환경변화의 일환으로 이동환경에서 CD 수준의 고품질 오디오 서비스, 교통 및 광고 등 다양한 부가 데이터 서비스는 물론 선명한 화질의 영상 서비스를 언제 어디서나 제공할 수 있는 디지털 멀티미디어 방송(DMB: Digital Multimedia Broadcasting) 기술의 개발이 전 세계적으로 급격히 개발되고 있다.
디지털 멀티미디어 방송(DMB: Digital Multimedia Broadcasting)은 음성방송의 디지털화에 따라 종전의 AM과 FM라디오 형태를 넘어 고품질 CD 수준의 음질, 다 양한 데이터 서비스, 양방향성, 우수한 이동 수신 품질 등을 제공하는 차세대 디지털 방송 서비스이다.
더욱이 DMB는 기존의 라디오 방송의 '듣는 방송'의 개념을 '보고 듣는 방송'으로 확장시켰으며, 음악방송 외에도 뉴스, 교통정보, 기상정보, 지리위치정보, 동영상 정보 등 다양한 멀티미디어 정보를 문자, 그래픽 및 영상으로 전송할 수 있다.
이에 따라 국내의 디지털 라디오 방송(DAB)은 초기의 음성 및 데이터 서비스에서 동영상 멀티미디어 서비스까지 개념이 확대되어 2003년 초에 명칭도 디지털 오디오 방송(Digital Audio Broadcasting)'에서 '디지털 멀티미디어 방송(DMB)'로 변경하였다.
하지만, 기존 지상파 DMB가 제공할 수 있는 품질 및 기능을 크게 뛰어 넘는 대용량, 고품질의 실질적인 통신방송 융합형의 이동 멀티미디어 서비스를 다양한 단말을 통하여 서비스할 수 있는 기술에 대한 연구 및 개발로 세계표준화를 이끌어내어야만 지속적인 지상파 DMB 기술의 경쟁력을 유지할 수 있다.
이처럼, 기존 지상파 DMB와의 호환성을 유지하며 보다 나은 화질의 디지털 방송서비스와 광대역 네트워크의 보편화에 따른 수요자들의 요구에 부응하는 고품질의 이동 멀티미디어 서비스 기술의 개발이 필요하다.
기존의 지상파 DMB에서는 제한된 채널 용량으로 인해 최대 화면 해상도를 CIF(352X288)급으로 제한함으로써, 사용자들은 고해상도의 비디오 서비스를 제공받을 수 없었다.
기존 지상파 DMB에서 사용하는 비디오 압축 규격인 H.264 (ITU-T Rec. H.264 | ISO/IEC 14496-10 Annex A.2.1)은 대부분의 bit-rates에서 H.-263 혹은 MPEG-4 Part 2 Visual의 Simple Profile에서 50%이상의 압축율의 향상을 가져왔다.
H.264는 Deblocking filter 및 1/4 Pixel Motion vector 사용으로 고품질의 비디오 서비스가 가능하며, Multiple reference frame을 이용한 Motion compensation 및 SP(Switching P) / SI(Switching I) 프레임 사용 등으로 개선된 에러 강인성을 지니고 있다.
또한, H.264는 NAL(Network Abstraction Layer) 채택으로 H.264 비트스트림은 여러 다양한 Network을 통해 쉽게 전송할 수 있다.
하지만 H.264에서는 다양한 화면해상도/시간해상도/화질을 제공할 수 있는 Scalability 기능을 제공하지 못하며, 이로 인하여 지상파 DMB 고도화 망(Advanced T-DMB)에서 고품질의 비디오 서비스를 위한 One-Source Multi-Use 서비스를 제공할 수 없다.
본 발명이 이루고자 하는 기술적 과제는 기존 지상파 DMB 와 하향호환성을 유지하면서 지상파 DMB 고도화 망에서 고품질의 서비스를 제공하기 위한 스케일러블 비디오 비트스트림의 계층 변조 송수신 장치 및 그 방법을 제공하는 데 있다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 스케일러블 비디오 비트스트림을 위한 송신기는 하나의 스케일러블 비디오 비트스트림에 포함된 복수개의 상 기 스케일러블 계층 중 기본계층(Base Layer)을 기초로 높은 전송 우선순위(High Priority:HP)를 가지는 HP 비트스트림을 생성하는 HP 채널 생성부 및 하나의 상기 스케일러블 비디오 비트스트림에 포함된 복수개의 상기 스케일러블 계층 중 확장계층(Enhancement Layer)을 기초로 낮은 전송 우선순위(Low Priority:LP)를 가지는 LP 비트스트림을 생성하는 LP 채널 생성부를 구비한 스케일러블 비디오 비트스트림의 계층 변조 송신을 위한 스플리터(Splitter)를 포함한다.
보다 바람직하게는 상기 기술적 과제를 이루기 위한 본 발명에 따른 스케일러블 비디오 비트스트림을 위한 송신기의 상기 스플리터는 수신된 상기 스케일러블 비디오 비트스트림의 NAL(Network Layer Access) Unit에 포함되어 있는 NAL 헤더를 분석하여, 상기 수신된 상기 스케일러블 비디오 비트스트림을 상기 기본계층과 확장계층으로 구분하는 스플리터용 헤더 파싱부를 더 포함한다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 스케일러블 비디오 비트스트림을 위한 수신기는 상기 스케일러블 비디오 비트스트림을 분할하여 생성된 높은 전송 우선순위를 가지는 HP 비트스트림 및 낮은 전송 우선순위를 가지는 LP 비트스트림을 수신하여, 상기 스케일러블 비디오 비트스트림을 재구성하는 계층 변조된 스케일러블 비디오 비트스트림을 위한 컴포지터를 포함한다.
보다 바람직하게는 상기 기술적 과제를 이루기 위한 본 발명에 따른 스케일러블 비디오 비트스트림을 위한 수신기의 컴포지터는 상기 HP 비트스트림 및 상기 LP 비트스트림을 수신하는 비트스트림 수신부, 수신된 상기 HP 비트스트림 및 상기 LP 비트스트림의 NAL Unit에 포함되어 있는 NAL 헤더 및 슬라이스 헤더를 분석 하는 컴포지터용 헤더 파싱부 및 동일한 시간축에 해당하는 NAL Unit의 조합인 AU(Access Unit)별로 상기 스케일러블 비디오 비트스트림을 재구성하여 출력하는 비트스트림 재구성부를 포함한다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 스케일러블 비디오 비트스트림을 위한 송수신장치는 상기 스케일러블 비디오 비트스트림을 분할하여 복수개의 상기 스케일러블 계층 중 특정 계층을 기초로 생성된 서로 다른 전송 우선순위를 가지는 복수개의 비트스트림을 생성하는 스케일러블 비디오 비트스트림의 계층 변조 송신을 위한 스플리터를 구비한 송신기 및 복수개의 상기 스케일러블 계층 중 특정 계층을 기초로 생성된 서로 다른 전송 우선순위를 가지는 복수개의 비트스트림을 수신하여, 상기 스케일러블 비디오 비트스트림을 재구성하는 계층 변조된 스케일러블 비디오 비트스트림을 위한 컴포지터를 구비한 수신기를 포함한다.
보다 바람직하게는 상기 기술적 과제를 이루기 위한 본 발명에 따른 스케일러블 비디오 비트스트림을 위한 송수신장치의 송신기의 스플리터는 복수개의 상기 스케일러블 계층 중 기본계층을 기초로 높은 전송 우선순위를 가지는 HP 비트스트림을 생성하는 HP 채널 생성부, 복수개의 상기 스케일러블 계층 중 확장계층을 기초로 낮은 전송 우선순위를 가지는 LP 비트스트림을 생성하는 LP 채널 생성부 및 수신된 상기 스케일러블 비디오 비트스트림의 NAL Unit에 포함되어 있는 NAL 헤더를 분석하여, 상기 수신된 상기 스케일러블 비디오 비트스트림을 상기 기본계층과 확장계층으로 구분하는 스플리터용 헤더 파싱부를 포함한다.
보다 바람직하게는 상기 기술적 과제를 이루기 위한 본 발명에 따른 스케일 러블 비디오 비트스트림을 위한 송수신장치의 수신기의 컴포지터는 상기 스케일러블 계층 중 기본계층을 기초로 생성된 높은 전송 우선순위를 가지는 HP 비트스트림 및 확장계층을 기초로 생성된 낮은 전송 우선순위를 가지는 LP 비트스트림을 수신하는 비트스트림 수신부, 수신된 상기 HP 비트스트림 및 상기 LP 비트스트림의 NAL Unit에 포함되어 있는 NAL 헤더 및 슬라이스 헤더를 분석하는 컴포지터용 헤더 파싱부 및 동일한 시간축에 해당하는 NAL Unit의 조합인 AU별로 상기 스케일러블 비디오 비트스트림을 재구성하여 출력하는 비트스트림 재구성부를 포함한다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 스케일러블 비디오 비트스트림의 송신방법은 하나의 상기 스케일러블 비디오 비트스트림에 포함된 복수개의 상기 스케일러블 계층 중 기본계층을 기초로 높은 전송 우선순위를 가지는 HP 비트스트림을 생성하는 HP 채널 생성단계 및 하나의 상기 스케일러블 비디오 비트스트림에 포함된 복수개의 상기 스케일러블 계층 중 확장계층을 기초로 낮은 전송 우선순위를 가지는 LP 비트스트림을 생성하는 LP 채널 생성단계를 구비한 스플릿 단계를 포함한다.
보다 바람직하게는 상기 기술적 과제를 이루기 위한 본 발명에 따른 스케일러블 비디오 비트스트림의 송신방법의 상기 스플릿 단계는 수신된 상기 스케일러블 비디오 비트스트림의 NAL Unit에 포함되어 있는 NAL 헤더를 분석하여, 상기 수신된 상기 스케일러블 비디오 비트스트림을 상기 기본계층과 확장계층으로 구분하는 스플릿용 헤더 파싱단계를 더 포함한다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 스케일러블 비디오 비트스 트림의 수신방법은 상기 스케일러블 비디오 비트스트림을 분할하여 생성된 높은 전송 우선순위를 가지는 HP 비트스트림 및 낮은 전송 우선순위를 가지는 LP 비트스트림을 수신하여, 상기 스케일러블 비디오 비트스트림을 재구성하는 계층 변조된 스케일러블비디오 비트스트림을 위한 컴포짓 단계를 포함한다.
보다 바람직하게는 상기 기술적 과제를 이루기 위한 본 발명에 따른 스케일러블 비디오 비트스트림의 수신방법의 상기 컴포짓 단계는 상기 HP 비트스트림 및 상기 LP 비트스트림을 수신하는 비트스트림 수신단계, 수신된 상기 HP 비트스트림 및 상기 LP 비트스트림의 NAL Unit에 포함되어 있는 NAL 헤더 및 슬라이스 헤더를 분석하는 컴포짓용 파싱단계 및 동일한 시간축에 해당하는 NAL Unit의 조합인 AU별로 상기 스케일러블 비디오 비트스트림을 재구성하여 출력하는 비트스트림 재구성단계를 포함한다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 스케일러블 비디오 비트스트림의 송수신방법은 복수개의 상기 스케일러블 계층 중 특정 계층에 따라 서로 다른 전송 우선순위를 가지는 복수개의 비트스트림을 생성하는 스케일러블 비디오 비트스트림의 계층 변조 송신을 위한 송신단계 및 복수개의 상기 스케일러블 계층 중 특정 계층에 따라 서로 다른 전송 우선순위를 가지는 복수개의 비트스트림을 수신하여, 상기 스케일러블 비디오 비트스트림을 재구성하는 계층 변조된 스케일러블 비디오 비트스트림을 위한 수신단계를 포함한다.
보다 바람직하게는 상기 기술적 과제를 이루기 위한 본 발명에 따른 스케일러블 비디오 비트스트림의 송수신방법의 상기 송신단계는 복수개의 상기 스케일러 블 계층 중 기본계층을 기초로 높은 전송 우선순위를 가지는 HP 비트스트림을 생성하는 HP 채널 생성단계, 복수개의 상기 스케일러블 계층 중 확장계층을 기초로 낮은 전송 우선순위를 가지는 LP 비트스트림을 생성하는 LP 채널 생성단계 및 수신된 상기 스케일러블 비디오 비트스트림의 NAL Unit에 포함되어 있는 NAL 헤더를 분석하여, 상기 수신된 상기 스케일러블 비디오 비트스트림을 상기 기본계층과 확장계층으로 구분하는 스플릿용 헤더 파싱단계를 포함한다.
보다 바람직하게는 상기 기술적 과제를 이루기 위한 본 발명에 따른 스케일러블 비디오 비트스트림의 송수신방법의 상기 수신단계는 상기 스케일러블 계층 중 기본계층을 기초로 생성된 높은 전송 우선순위를 가지는 HP 비트스트림을 및 확장계층을 기초로 생성된 낮은 전송 우선순위를 가지는 LP 비트스트림을 수신하는 비트스트림 수신단계, 수신된 상기 HP 비트스트림 및 상기 LP 비트스트림의 NAL Unit에 포함되어 있는 NAL 헤더 및 슬라이스 헤더를 분석하는 컴포짓용 파싱단계 및 동일한 시간축에 해당하는 NAL Unit의 조합인 AU(Access Unit)별로 상기 스케일러블 비디오 비트스트림을 재구성하여 출력하는 비트스트림 재구성단계를 포함한다.
이처럼 본 발명은 지상파 DMB 고도화 망에서 두 개의 서브 비트스트림(HP 비트스트림, LP 비트스트림)을 생성 및 재구성하기 위하여 송신단에서 스케일러블 비디오 비트스트림을 분할(Split)하고, 수신단에서 스케일러블 비디오 비트스트림을 재구성(Composite)하는 스케일러블 비디오 비트스트림의 계층 변조(Hierarchical Modulation)송수신을 위한 장치 및 그 방법을 고안한다.
이하 첨부한 도면을 참조하여 본 발명에 의한 스케일러블 비디오 비트스트림 의 계층 변조 송수신을 위한 장치 및 그 방법을 상세히 설명한다.
도 1은 지상파 DMB 고도화 망(advanced T-DMB)에서 사용하는 계층 변조(Hierarchical Modulation)의 개념을 보여주는 도면이다.
기존 무선랜이 Wibro(Wireless Broadband Internet)로, 기존 이동통신망이 HSDPA(High Speed Downlink Packet Access)로 진화하듯이 기존 기술이 가지는 서비스의 한계를 뛰어 넘어 지상파 DMB 역시 앞으로는 고전송효율/고품질의 서비스를 제공할 수 있어야 한다.
이러한 고전송효율/고품질 서비스를 제공할 수 있는 지상파 DMB 고도화 망은 기존 지상파 DMB에서 제공하는 가용 채널용량에 대해 약 2배 이상 확장할 수 있는 계층 변조(Hierarchical Modulation) 방식을 이용한다.
도 1을 참조하면, 계층 변조 방식을 이용하면 HP(High Priority) 및 LP(Low Priority) 채널을 통해 하나의 비트스트림을 분리하여 두 개의 서브 비트스트림(HP 비트스트림 및 LP 비트스트림)을 생성할 수 있다.
이처럼, 계층 변조 방식에 의하면, 생성된 두 개의 서브 비트스트림(HP 비트스트림 및 LP 비트스트림)은 하나의 송신기를 통해 전송할 수 있다.
차세대 지상파 DMB인 지상파 DMB 고도화 망에서는 기존 지상파 DMB에서 사용할 수 있었던 가용 채널 용량(Useful Data Rate)인 1.062Mbps 대비 약 2Mbps에 대한 데이터를 전송할 수 있게 되었고 늘어난 가용 채널 용량을 기반으로 고품질/고해상도의 비디오 서비스가 가능하다.
계층 변조 방식을 사용하는 지상파 DMB 고도화 망에서는 HP(High Priority) 채널을 통해서는 최대 CIF(352X288)급 화면해상도의 기존 지상파 DMB 서비스를 제공함과 LP(Low Priority) 채널을 통해 고품질(고해상도)의 SD(720X480)급 화면 해상도를 가지는 지상파 DMB 서비스를 동시에 제공할 수 있다.
도 2는 스케일러블 비디오 코딩(SVC: Scalable Video Coding)의 개념을 보여주는 도면이다.
본 발명은 기존 대비 고품질(고해상도)의 멀티미디어 콘텐츠를 서비스하면서 기존 지상파 DMB와의 호환성을 유지하기 위해, 현재 JVT (MPEG&VCEG)에서 표준화가 진행 중인 SVC를 지상파 DMB 고도화 망에 적용하였다.
H.264의 확장형 부호화 기술인 SVC는 기존의 MPEG-2, MPEG-4등에서 시도한 계층 부호화 기반의 스케일러빌리티(Scalability)가 갖는 문제점인 낮은 압축효율, 복합 스케일러빌리티 지원 불가, 높은 구현 복잡도의 문제를 한꺼번에 해결하기 위하여 개발된 새로운 확장형 부호화 기법이다.
도 2를 참조하면, SVC는 여러 개의 비디오 계층을 하나의 비트열로 부호화한다. SVC의 계층은 하나의 기본계층(Base Layer)과 기본계층 위에 연속적으로 쌓을 수 있는 하나 이상의 확장계층(Enhancement Layer)으로 구성된다.
각 확장계층은 하위 계층 정보를 기반으로 각각에게 주어진 최대의 비트율 (bit rate), 화면율(frame rate) 및 해상도 (resolution)를 표현할 수 있다. SVC에서는 확장계층을 연속적으로 많이 쌓을수록 다양한 비트율, 화면율, 해상도의 지원이 가능하다.
이처럼, SVC는 이종의(heterogeneous) 망 환경에서 발생하는 대역폭의 다양성 문제, 수신 단말기 성능과 해상도의 다양성 문제, 콘텐츠 소비자의 다양한 선호도 문제 등을 복합적으로 해결할 수 있는 UMA(Universal Multimedia Access)환경의 멀티미디어 콘텐츠 서비스에 적합한 부호화 기술이다.
본 발명은 기존 지상파 DMB 와 하향호환성을 유지하면서 지상파 DMB 고도화 망에서 고품질의 서비스를 제공하기 위한 스케일러블 비디오 비트스트림의 계층 변조 송수신 장치 및 그 방법을 제안한다.
보다 상세하게는 본 발명은 지상파 DMB 고도화 망에서 두 개의 서브 비트스트림(HP 비트스트림, LP 비트스트림)을 생성 및 재구성하기 위하여 송신단에서 스케일러블 비디오 비트스트림을 분할(Split)하고, 수신단에서 스케일러블 비디오 비트스트림을 재구성(Composite)하는 스케일러블 비디오 비트스트림의 계층 변조(Hierarchical Modulation)송수신을 위한 장치 및 그 방법을 고안한다.
도 3은 종래의 지상파 DMB 서비스의 구성을 보여주는 도면이다. 도 3을 참조하면, 기존 지상파 DMB에서 한 사업자는 총 2Mbps의 최대 전송 데이터 용량에서 채널 주파수간의 간섭을 피한 1.536Mbps의 데이터 전송용량을 가질 수 있다.
1.536Mbps의 데이터 전송용량에서도 채널 코딩과 같은 외부호화를 제외하면 실질적으로 약 1.062 Mbps의 가용 채널용량을 사용할 수 있다.
따라서, 기존 지상파 DMB에서의 한 사업자는 주어진 가용 채널용량에서 최대 CIF(352X288)급에 해당하는 2개의 AV 프로그램, CD 품질 수준의 하나의 오디오 서비스 및 데이터 서비스가 가능하다.
이때 서비스되는 AV 프로그램의 경우 H.264 비디오 압축규격을 이용하며, 각 사업자 당 512Kbps ~ 548 Kbps 까지 AV 프로그램을 부호화하고 있다.
도 4는 지상파 DMB 고도화 망에서의 가용 채널 용량을 보여주는 도면이다. 도 4를 참조하면, 기존 지상파 DMB의 차세대인 지상파 DMB 고도화 망에서는 계층 변조 방식을 이용하여 기존보다 약 2배 늘어난 가용 채널 용량을 가질 수 있다.
지상파 DMB 고도화 망에서 HP(High Priority) 채널을 통해 기존 지상파 DMB 서비스를, LP(Low Priority) 채널을 통해 고전송효율/고품질의 서비스가 가능하다.
고전송효율 서비스의 경우 기존 대비 CIF(352x288)급 AV 프로그램에 대해 약 4개의 AV 프로그램을 전송할 수 있다.
고품질 서비스의 경우 기존 대비 하나의 CIF(352x288)급 AV 프로그램과 하나의 SD(720X480)급의 화면 해상도를 가지는 비디오 서비스를 제공할 수 있다.
도 5는 본 발명의 일 실시예에 의한 지상파 DMB 고도화 망에서 스케일러블 비디오를 적용한 구성을 보여주는 도면이다.
도 5를 참조하면, 스케일러블 비디오로 하나의 AV 프로그램을 계층적 부호화 할 경우, HP 채널에 기본계층에 해당하는 CIF(352X288)급으로, LP 채널에 향상 계층에 해당하는 SD(720X480)급으로 스케일러블 비디오 부호화한다.
기존 지상파 DMB 단말기는 HP 채널을 통해 CIF(352X288)급 서비스를 제공받음과 동시에 지상파 DMB 고도화망 전용단말기는 LP 채널을 통해 SD(720X480)급의 비디오 서비스를 추가로 제공받는다.
이처럼 본 발명에 의하면, 기존 지상파 DMB 와 하향호환성을 유지하면서 지상파 DMB 고도화 망에서 고품질의 DMB 서비스를 제공할 수 있다.
도 6은 본 발명의 일 실시예에 의한 지상파 DMB 고도화 망에서의 스케일러블 비디오 비트스트림의 계층 변조 송신을 위한 송신기의 구성을 보여주는 도면이다.
도 6을 참조하면, 본 발명에 의한 송신기는 기존 지상파 DMB와 동일하게 MPEG-4/MPEG-2 Systems 방식의 전송 프로토콜 규격, 외부호화(Reed Solomon), 및 외부 인터리버(Convolutional interleaver)를 하지만, 초기 비디오 부호화기에 스플리터(Splitter)(600)를 포함한다.
스플리터(600)는 계층적 구조로 된 스케일러블 비디오를 부호화 후, 각 채널별로 부호화된 스케일러블 비디오 비트스트림을 분할하는 역할을 한다.
구체적으로 스케일러블 비디오(SVC)는 여러 개의 비디오 계층을 하나의 비트스트림으로 부호화하며, 각 계층은 각각의 비트율, 프레임율, 영상 크기 및 화질을 가지고 있으므로, 스플리터(600)를 통해 계층 변조 방식의 송신을 위해 각 채널에 맞는 서브 비트스트림으로 분할하게 된다.
도 7은 본 발명의 일 실시예에 의한 계층 변조 방식을 적용하기 위한 스케일러블 비디오 비트스트림의 구성을 보여주는 도면이다.
도 7을 참조하면, 스케일러블 비디오 비트스트림은 HP 채널에 할당되는 기본계층 및 LP 채널에 할당되는 확장계층을 포함할 수 있다.
HP 채널에 할당되는 기본계층은 기존 지상파 DMB와의 하향호환성을 유지하기 위해 CIF급에 30 프레임율을 가지며 384Kbps로 부호화된다.
확장계층은 HP 채널에 할당되는 기본계층과 동시에 LP 채널에 할당된다.
확장계층은 SD급에 30 프레임율을 가지며 약 900Kbps로 부호화된다.
각 채널에 할당되는 Target bit rate을 맞추기 위해 H.264의 Rate control 알고리즘을 SVC에 적용하였으며, 기본계층 비디오 부호화는 H.264 규격을 따르고 있다.
지상파 DMB 고도화 망에서 스케일러블 비디오 부호화에 따른 Target bit rate는 각 사업자마다 전체 가용 채널 용량을 넘지 않은 범위 내에서 가변적일 수 있다.
추가적으로 LP 채널에 할당되는 확장계층은 콘텐츠의 종류에 따라 발생 비트율이 클 경우, Non-reference pictures를 사용하여 15 프레임율로 부호화가 가능하다.
이 경우에는 스플리터가 LP 채널에 할당되는 확장계층의 Reference pictures만을 출력으로 내보내어야 할 것이다.
또한 차세대 DMB 고도화 망에서는 스케일러블 비디오 복잡도 대비 단말의 성능을 고려하여 화질(FGS: fine granular scalability)에 대한 스케일러빌리티(Scalability)는 고려하지 않는다.
도 8a는 본 발명의 일 실시예에 의한 지상파 DMB 고도화 망에서의 스케일러블 비디오 비트스트림의 계층 변조 송신을 위한 스플리터(Splitter)의 구성을 보여주는 도면이다.
도 8a를 참조하면, 스플리터(810)는 스플리터용 헤더 파싱부(811), HP 채널 생성부(812) 및 LP 채널 생성부(813)를 포함할 수 있다.
스플리터(810)는 계층 변조 방식의 송신을 위해 하나의 스케일러블 비디오 비트스트림을 각 채널에 맞는 비트스트림으로 분할한다.
스케일러블 비디오 비트스트림은 하나의 비트스트림에 서로 다른 비트율, 화면율 및 해상도를 가지는 복수개의 스케일러블 계층을 포함하고 있다.
스플리터용 헤더 파싱부(811)는 스케일러블 비디오 비트스트림의 NAL Unit에 포함되어 있는 NAL 헤더를 파싱한다.
스플리터용 헤더 파싱부(811)는 NAL 헤더를 파싱하여 스케일러블 비디오 비트스트림을 기본계층과 확장계층으로 구분한다.
HP 채널 생성부(812)는 하나의 스케일러블 비디오 비트스트림에 포함된 복수개의 스케일러블 계층 중 기본계층을 기초로 높은 전송 우선 순위(High Priority:HP)를 가지는 HP 비트스트림을 생성한다.
LP 채널 생성부(813)는 하나의 스케일러블 비디오 비트스트림에 포함된 복수개의 스케일러블 계층 중 확장계층을 기초로 낮은 전송 우선순위(Low Priority:LP)를 가지는 LP 비트스트림을 생성한다.
지상파 DMB 고도화 망은 기존 지상파 DMB에서 제공하는 가용 채널용량에 대해 약 2배 이상 확장할 수 있는 계층 변조(Hierarchical modulation) 방식을 이용한다.
계층 변조 방식을 적용하기 위하여 본 발명에서는 하나의 스케일러블 비디오 비트스트림을 스플리터(810)를 통하여 HP(High Priority) 및 LP(Low Priority) 채널을 통해 분리하여 두 개의 서브 비트스트림(HP 스트림 및 LP 스트림)을 생성할 수 있다. 또한, 본 발명에 의하면 생성된 두 개의 비트스트림은 하나의 송신기를 통해 전송할 수 있다.
도 8b는 본 발명의 일 실시예에 의한 지상파 DMB 고도화 망에서의 스케일러블 비디오 비트스트림의 계층 변조 송신을 위한 스플리터(Splitter)의 동작을 보여주는 도면이다.
H.264는 비디오 부호화 후 NAL Unit으로 이루어진 하나의 비트스트림을 만들어 내며, 각각의 NAL Unit는 1바이트의 NAL 헤더를 가진다.
스케일러블 비디오도 H.264와 마찬가지로 기존 H.264의 1바이트 NAL 헤더 외에 별도로 2바이트의 스케일러빌리티 정보를 가지는 헤더를 가진다.
NAL 헤더의 각 필드는 국제 표준에 의하여 정하여 진다.
아래 표 1은 주요 NAL 헤더를 나타낸다.
Figure 112007015820849-pat00001
NAL 헤더의 주요 필드 중 하나인 Dependency_id는 기본계층과 확장계층을 구분할 수 있는 syntax이다.
따라서 스플리터(820)에서 수행되는 스플리터 알고리즘은 우선, 입력으로 들어오는 각각의 NAL 헤더를 분석(NAL 헤더 파싱)한다.
각각의 HP, LP 채널에 할당되는 2개의 서브 비트스트림(HP 비트스트림, LP 비트스트림)을 출력할 수 있다.
하나의 스케일러블 비디오 비트스트림에 포함된 스케일러블 계층 중 기본계층을 기초로 높은 전송 우선순위를 가지는 HP 채널(HP 비트스트림)을 생성한다.
스케일러블 계층 중 확장계층을 기초로 낮은 전송 우선순위를 가지는 LP 채널(LP 비트스트림)을 생성한다.
도 8c는 본 발명의 일 실시예에 의한 지상파 DMB 고도화 망에서의 스케일러블 비디오 비트스트림의 계층 변조 송신을 위한 스플리터(Splitter)의 알고리즘을 보여주는 도면이다.
스플리터 알고리즘에 대한 간단한 슈도 코드(pseudo-code)는 아래와 같다.
Case A) SD급 30 프레임율로 비트스트림 분할하는 경우의 슈도 코드
Figure 112007015820849-pat00002
Case B) Non-reference pictures를 사용한 SD급 15 프레임율로 비트스트림 분할하는 경우의 슈도 코드
Figure 112007015820849-pat00003
SPS 및 PPS는 각 계층에 대한 복호화 정보를 담고 있는 Sequence parameter set 및 Picture parameter set을 나타내는 파라미터 NAL Unit이다.
SEI는 Supplemental enhancement information으로 스케일러빌리티에 대한 정보를 나타내며, Lid는 Dependency_id를 나타내고 있다.
SPS 및 PPS 역시 NAL Unit type을 나타내는 것이며 해당 계층과 대응하는 SPS/PPS 역시 스플리터를 통해 출력된다.
각 nal_unit_type은 표 2와 같이 정의한다.
Figure 112007015820849-pat00004
스케일러블 비디오 비트스트림을 분할하기 위해서는 SVC NAL 헤더의 Syntax정보를 분석하는 과정이 필요하며, 이때 필요한 Syntax element는 다음과 같다.
(1) nal_unit_type: NAL 단위를 포함하는 패킷의 타입을 의미하며, SEI, SPS, PPS, Slice를 구별할 수 있도록 한다.
(2) dependency_id: H.264에서 확장된 NAL 헤더에 있는 정보로써 복호화 과정에서 사용되며, 계층 간 예측(inter-layer prediction)을 위해 사용된 하위계층을 나타낸다.
따라서 2개의 계층으로 부호화된 비트스트림에서 기본계층은 dependency_id=0, 향상계층은 dependency_id=1로 나타내어진다. 또한 그림 7에서 Lid는 계층 간 구별을 위한 dependency_id를 나타낸다.
스플리터(Splitter)를 이용하여 스케일러블 비트스트림을 분할하는 과정은 도 8c에 나타내었다.
우선 입력받은 비트스트림에 대한 NAL 헤더 파싱(NAL Header Parsing)을 통해 nal_unit_type과 dependency_id를 알 수 있다(S801, S802).
예외적으로 SEI(Supplemental Enhancement Information) 메시지인 경우, 실제 복호화 과정에 필요한 것이 아니라 SVC에서 지원하는 추출기(Extractor)에서 비트스트림을 추출할 때 사용되므로 스플리터(Splitter)분할 시 SEI 메시지는 전송하지 않는다(S803).
두 개의 계층을 가지는 비트스트림은 CIF 해상도를 갖는 기본계층의 dependency_id는 0을, 4CIF해상도를 갖는 향상 계층의 dependency_id는 1을 가질 수 있다. 따라서 dependency_id를 이용하여 비트스트림을 분할할 수 있다(S804).
참고로 향상 계층을 위한 PPS(Picture Parameter Set)는 single-loop 복호화시 Intra_BL MB mode를 Key-picture 및 non Key-picture에 따로 적용하기 위해 2개가 생성된다.
이처럼 스플리터(Splitter) 알고리즘을 통해 스케일러블 비디오의 기본계층기본계층층에 해당하는 2개의 비트스트림을 얻을 수 있으며 각각 HP 및 LP 채널을 통해 전송하게 된다(S805, S806).
도 9는 본 발명의 일 실시예에 의한 지상파 DMB 고도화 망에서의 스케일러블 비디오 비트스트림의 계층 변조 수신을 위한 수신기의 구성을 보여주는 도면이다.
도 9를 참조하면, 본 발명에 의한 수신기는 고품질/고해상도 AV 서비스를 받기 위해 수신 복호단 앞에서 HP, LP 채널에서 수신받은 2개의 서브 비트스트림(HP 비트스트림, LP 비트스트림)을 재구성하는 컴포지터(Compositor)(900)를 포함한다.
컴포지터(Compositor)(900)는 수신단에서 비디오 복호화 앞 단에서 두 개의 서브 비트스트림을 입력으로 받아 복호가 가능한 하나의 스케일러블 비디오 비트스트림을 재구성한다.
기존 지상파 DMB 단말의 경우 HP 채널만을 수신하여 기존 서비스를 제공받을 수 있다. 이처럼 본 발명은 기존 지상파 DMB 와 하향호환성을 제공한다.
지상파 DMB 고도화 전용 단말의 경우, 고품질/고해상도 AV 서비스를 받기 위해 수신 복호단 앞에서 HP, LP 채널에서 수신받은 2개의 서브 비트스트림(HP 비트스트림, LP 비트스트림)을 재구성하는 컴포지터(Compositor)(900)를 포함하여야 한다.
도 10a는 본 발명의 일 실시예에 의한 지상파 DMB 고도화 망에서의 스케일러블 비디오 비트스트림의 계층 변조 수신을 위한 컴포지터(Compositor)의 구성을 보여주는 도면이다.
스케일러블 비디오 비트스트림은 하나의 비트스트림에 서로 다른 비트율, 화면율 및 해상도를 가지는 복수개의 스케일러블 계층을 포함하고 있다.
계층 변조 방식을 적용하기 위하여 본 발명에 의한 송신기에서는 하나의 스케일러블 비디오 비트스트림을 스플리터(Splitter)(도 8a 및 도 8b 참조)를 통하여 HP(High Priority) 및 LP(Low Priority) 채널을 통해 분리하여 두 개의 서브 비트스트림(HP 스트림 및 LP 스트림)을 생성할 수 있다.
컴포지터(Compositor)(1010)는 수신기에서 비디오 복호화 앞 단에서 두 개의 서브 비트스트림을 입력으로 받아 복호가 가능한 하나의 스케일러블 비디오 비트스트림을 재구성하여 출력한다.
컴포지터(Compositor)(1010)는 비트스트림 수신부(1011), 컴포지터용 헤더 파싱부(1012) 및 비트스트림 재구성부(1013)를 포함한다.
비트스트림 수신부(1011)는 HP 비트스트림 및 LP 비트스트림을 수신한다.
컴포지터용 헤더 파싱부(1012)는 수신된 HP 비트스트림 및 LP 비트스트림의 NAL Unit에 포함되어 있는 NAL 헤더 및 슬라이스 헤더를 분석한다.
비트스트림 재구성부(1013)는 두 개의 서브 비트스트림(HP 비트스트림 및 LP 비트스트림)을 입력으로 받아 복호가 가능한 하나의 동일한 시간축에 해당하는 NAL Unit의 조합인 AU(Access Unit)별로 스케일러블 비디오 비트스트림을 재구성하여 출력한다.
도 10b는 본 발명의 일 실시예에 의한 지상파 DMB 고도화 망에서의 스케일러블 비디오 비트스트림의 계층 변조 수신을 위한 컴포지터(Compositor)의 동작을 보여주는 도면이다.
기본적으로 컴포지터(Compositor)(1020)는 NAL Unit들에 대한 NAL 헤더 정보 및 추가로 슬라이스 헤더를 파싱하여 해당 프레임(NAL Unit)의 Display order에 해당하는 POC(Picture Order Count)를 결정하게 된다.
컴포지터(Compositor)(1020)의 경우 기존 NAL 헤더의 Dependency_id, nal_ref_idc 및 nal_unit_type의 정보뿐만 아니라, 슬라이스(Slice) 헤더의 frame_num 정보를 이용하게 된다.
컴포지터(Compositor)(1020)의 최종 출력은 복호 가능한 하나의 스케일러블 비트스트림을 생성하는 것이다.
따라서 동일한 시간축에 해당하는 NAL Unit들의 조합인 AU(Access units)별로 비트스트림이 출력되기 위해서는 반드시 POC 정보가 필요하다. 이러한 POC 정보를 계산하는 것은 기존 SVC에서 제공하는 아래 슈도 코드를 따를 수 있다.
Figure 112007015820849-pat00005
결론적으로 컴포지터(Compositor)(1020)는 스플리터(Splitter)에서 사용된 해당 프레임의 헤더 정보를 이용하여 복호 가능한 비트스트림을 출력할 수 있다.
도 10c는 본 발명의 일 실시예에 의한 지상파 DMB 고도화 망에서의 스케일러블 비디오 비트스트림의 계층 변조 수신을 위한 컴포지터(Compositor)의 알고리즘을 보여주는 도면이다.
컴포지터(Compositor)는 HP채널과 LP채널을 통해 전송된 2개의 비트스트림을 복호 가능한 하나의 스케일러블 비트스트림으로 재구성하는 기능을 제공한다.
스케일러블 비트스트림을 재구성하기 위해 Splitter에서 사용한 Syntax element 뿐만 아니라 Slice header에 있는 frame_num element 정보를 이용한다. Compositor에서 사용되는 Syntax element는 다음과 같다.
(1) nal_unit_type
(2) frame_num: 각 Picture의 ID로써 사용되며 Slice header에서 사용된다.
컴포지터(Compositor)를 이용하여 비트스트림을 재구성하는 과정은 도 10c에 예시하였다.
컴포지터는 HP, LP 채널을 통해 일시 저장되는 buffer에서 NAL Unit을 순차적으로 획득한다(S1001).
스플리터(Splitter)에 의해 분할된 두 개의 입력 비트스트림에 대한 NAL 헤더 파싱(NAL header parsing)과정을 통해 nal_unit_type을 알 수 있다(S1002).
먼저 두 개의 입력 비트스트림에서 하나의 NAL씩 끊어서 읽어온 후, 도 10c의 첫 번째 조건문(S1003)을 사용하여 NAL 헤더의 nal_unit_type을 보고 SPS와 PPS와 같은 파라미터 NAL들을 구하여 HP 채널 및 LP 채널의 패킷을 선택(S1004)하여 비트스트림을 재구성한다(S1009).
단, 향상계층의 경우, PPS가 2개를 사용하므로 두 번째 PPS를 구하기 위해 도 10c의 두 번째 조건문(S1005)을 사용하여 LP 채널의 패킷을 사용하여 비트스트림을 재구성할 수 있다(S1009).
그 외 나머지의 경우 실제 슬라이스 (Slice)정보를 담은 NAL Units에 해당하므로 각각의 NAL units의 슬라이스 헤더를 파싱(S1007)하여, frame_num을 구하여 비트스트림을 재구성할 수 있다(S1008, S1009).
frame_num는 실제 비트스트림의 Display time에 해당하는 POC(Picture Order Count)를 나타낸다.
이처럼, 입력되는 NAL Unit의 NAL 헤더 Dependency_id 및 슬라이스 헤더 frame_num를 분석(NAL 헤더 및 슬라이스 헤더 파싱)하여 POC(Picture Order Count)를 계산할 수 있다.
동일한 POC에 해당하는 NAL units을 모아서 Dependency_id에 따라 비트스트림을 재구성할 수 있으며, HP 및 LP에서 얻은 Slice NAL Units들의 작은 frame_num을 가지는 NAL unit부터 비트스트림을 재구성할 수 있다.
이때 AU 별로 낮은 Dependency_id를 가지는 NAL Unit이 비트스트림 앞에 위치할 수 있다.
하나의 비트스트림으로 재구성하는 경우에, SEI/SPS/PPS의 경우 nal_unit_type을 판별한 후 비트스트림의 제일 전면에 위치할 수 있으며, 그 뒤에 실제 data에 해당하는 재구성한 NAL units 들이 위치할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명에 의한 스케일러블 비디오 비트스트림의 계층 변조 송수신 장치 및 그 방법은 기존 지상파 DMB 와 하향호환성을 유지하면서 향후 차세대 지상파 DMB 고도화 망에서 고품질 서비스를 제공한다.

Claims (15)

  1. 복수개의 스케일러블 계층을 포함하고 있는 스케일러블 비디오 비트스트림을 위한 송신기에 있어서,
    하나의 상기 스케일러블 비디오 비트스트림에 포함된 복수개의 상기 스케일러블 계층 중 기본계층(Base Layer)을 기초로 높은 전송 우선순위(High Priority:HP)를 가지는 HP 비트스트림을 생성하는 HP 채널 생성부; 및
    하나의 상기 스케일러블 비디오 비트스트림에 포함된 복수개의 상기 스케일러블 계층 중 확장계층(Enhancement Layer)을 기초로 낮은 전송 우선순위(Low Priority:LP)를 가지는 LP 비트스트림을 생성하는 LP 채널 생성부;를 구비한 스케일러블 비디오 비트스트림의 계층 변조 송신을 위한 스플리터(Splitter);를 포함하는 것을 특징으로 하는 송신기.
  2. 제 1항에 있어서, 상기 스플리터는
    수신된 상기 스케일러블 비디오 비트스트림의 NAL(Network Layer Access) Unit에 포함되어 있는 NAL 헤더를 분석하여, 상기 수신된 상기 스케일러블 비디오 비트스트림을 상기 기본계층과 확장계층으로 구분하는 스플리터용 헤더 파싱부;를 더 포함하는 것을 특징으로 하는 송신기.
  3. 제 1항에 있어서,
    상기 기본계층 및 상기 확장계층의 비디오 부호화는 H.264의 규격에 의하여, 상기 기본계층은 CIF급에 30프레임율 및 384Kbps로, 상기 확장계층은 SD급에 30프레임율 및 900Kbps로 부호화되는 것을 특징으로 하는 송신기.
  4. 복수개의 스케일러블 계층을 포함하고 있는 스케일러블 비디오 비트스트림을 위한 수신기에 있어서,
    상기 스케일러블 비디오 비트스트림을 분할하여 생성된 높은 전송 우선순위를 가지는 HP 비트스트림 및 낮은 전송 우선순위를 가지는 LP 비트스트림을 수신하여, 상기 스케일러블 비디오 비트스트림을 재구성하는 계층 변조된 스케일러블 비디오 비트스트림을 위한 컴포지터;를 포함하는 것을 특징으로 하는 수신기.
  5. 제 4항에 있어서, 상기 컴포지터는
    상기 HP 비트스트림 및 상기 LP 비트스트림을 수신하는 비트스트림 수신부;
    수신된 상기 HP 비트스트림 및 상기 LP 비트스트림의 NAL Unit에 포함되어 있는 NAL 헤더 및 슬라이스 헤더를 분석하는 컴포지터용 헤더 파싱부; 및
    동일한 시간축에 해당하는 NAL Unit의 조합인 AU(Access Unit)별로 상기 스케일러블 비디오 비트스트림을 재구성하여 출력하는 비트스트림 재구성부;를 포함하는 것을 특징으로 하는 수신기.
  6. 제 4항 또는 제 5항에 있어서,
    상기 HP 비트스트림은 상기 스케일러블 계층 중 기본계층을 기초로 생성되었으며, 상기 LP 비트스트림은 상기 스케일러블 계층 중 확장계층을 기초로 생성된 것을 특징으로 하는 수신기.
  7. 제 6항에 있어서,
    상기 기본계층 및 상기 확장계층은 H.264의 규격에 의하며, 상기 기본계층은 CIF급에 30프레임율 및 384Kbps로, 상기 확장계층은 SD급에 30프레임율 및 900Kbps로 부호화된 것을 특징으로 하는 수신기.
  8. 복수개의 스케일러블 계층을 포함하고 있는 스케일러블 비디오 비트스트림의 송신방법에 있어서,
    하나의 상기 스케일러블 비디오 비트스트림에 포함된 복수개의 상기 스케일러블 계층 중 기본계층을 기초로 높은 전송 우선순위를 가지는 HP 비트스트림을 생성하는 HP 채널 생성단계; 및
    하나의 상기 스케일러블 비디오 비트스트림에 포함된 복수개의 상기 스케일러블 계층 중 확장계층을 기초로 낮은 전송 우선순위를 가지는 LP 비트스트림을 생성하는 LP 채널 생성단계;를 구비한 스플릿 단계;를 포함하는 것을 특징으로 하는 송신방법.
  9. 제 8항에 있어서, 상기 스플릿 단계는
    수신된 상기 스케일러블 비디오 비트스트림의 NAL Unit에 포함되어 있는 NAL 헤더를 분석하여, 상기 수신된 상기 스케일러블 비디오 비트스트림을 상기 기본계층과 확장계층으로 구분하는 스플릿용 헤더 파싱단계;를 더 포함하는 것을 특징으로 하는 송신방법.
  10. 제 8항에 있어서,
    상기 기본계층 및 상기 확장계층의 비디오 부호화는 H.264의 규격에 의하여, 상기 기본계층은 CIF급에 30프레임율 및 384Kbps로, 상기 확장계층은 SD급에 30프레임율 및 900Kbps로 부호화되는 것을 특징으로 하는 송신방법.
  11. 복수개의 스케일러블 계층을 포함하고 있는 스케일러블 비디오 비트스트림을 위한 수신방법에 있어서,
    상기 스케일러블 비디오 비트스트림을 분할하여 생성된 높은 전송 우선순위를 가지는 HP 비트스트림 및 낮은 전송 우선순위를 가지는 LP 비트스트림을 수신하여, 상기 스케일러블 비디오 비트스트림을 재구성하는 계층 변조된 스케일러블비디오 비트스트림을 위한 컴포짓 단계;를 포함하는 것을 특징으로 하는 수신방법.
  12. 제 11항에 있어서, 상기 컴포짓 단계는
    상기 HP 비트스트림 및 상기 LP 비트스트림을 수신하는 비트스트림 수신단계;
    수신된 상기 HP 비트스트림 및 상기 LP 비트스트림의 NAL Unit에 포함되어 있는 NAL 헤더 및 슬라이스 헤더를 분석하는 컴포짓용 파싱단계; 및
    동일한 시간축에 해당하는 NAL Unit의 조합인 AU별로 상기 스케일러블 비디오 비트스트림을 재구성하여 출력하는 비트스트림 재구성단계;를 포함하는 것을 특징으로 하는 수신방법.
  13. 제 11항 또는 제 12항에 있어서,
    상기 HP 비트스트림은 상기 스케일러블 계층 중 기본계층을 기초로 생성되었으며, 상기 LP 비트스트림은 상기 스케일러블 계층 중 확장계층을 기초로 생성된 것을 특징으로 하는 수신방법.
  14. 제 13항에 있어서,
    상기 기본계층 및 상기 확장계층은 H.264의 규격에 의하며, 상기 기본계층은 CIF급에 30프레임율 및 384Kbps로, 상기 확장계층은 SD급에 30프레임율 및 900Kbps로 부호화된 것을 특징으로 하는 수신방법.
  15. 제 8항 내지 제 14항 중 어느 한 항에 기재된 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020070018079A 2006-11-30 2007-02-22 스케일러블 비디오 비트스트림의 계층 변조 송수신을 위한장치 및 그 방법 KR100799592B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
MX2009005737A MX2009005737A (es) 2006-11-30 2007-10-31 Aparato y metodo para la transmision de modulacion jerarquica y recepcion de corriente de bitios de video escalable.
PCT/KR2007/005472 WO2008066257A1 (en) 2006-11-30 2007-10-31 Apparatus and method for hierarchical modulation transmission and reception of scalable video bitstream

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020060120113 2006-11-30
KR20060120113 2006-11-30

Publications (1)

Publication Number Publication Date
KR100799592B1 true KR100799592B1 (ko) 2008-01-30

Family

ID=39219799

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070018079A KR100799592B1 (ko) 2006-11-30 2007-02-22 스케일러블 비디오 비트스트림의 계층 변조 송수신을 위한장치 및 그 방법

Country Status (3)

Country Link
KR (1) KR100799592B1 (ko)
CN (1) CN101595733A (ko)
MX (1) MX2009005737A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014092407A1 (ko) * 2012-12-10 2014-06-19 엘지전자 주식회사 영상의 디코딩 방법 및 이를 이용하는 장치
KR101824919B1 (ko) 2015-10-30 2018-02-02 서울과학기술대학교 산학협력단 스케일러블 다시점 비디오 송신 및 수신 장치
US10164740B2 (en) 2014-05-09 2018-12-25 Electronics And Telecommunications Research Institute Signal multiplexing apparatus using layered division multiplexing and signal multiplexing method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102131083B (zh) * 2010-01-18 2013-08-14 西安电子科技大学 可分级视频优先级传输方法及装置
WO2018006771A1 (en) * 2016-07-05 2018-01-11 Vishare Technology Limited Methods and systems for video streaming

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001065848A1 (en) 2000-03-02 2001-09-07 Koninklijke Philips Electronics N.V. System and method for improving video transmission over a wireless network.
JP2003102008A (ja) 2001-06-18 2003-04-04 At & T Corp 階層型ビデオ符号化情報の伝送方法
WO2005109895A1 (en) 2004-05-12 2005-11-17 Koninklijke Philips Electronics N.V. Scalable video coding for broadcasting

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001065848A1 (en) 2000-03-02 2001-09-07 Koninklijke Philips Electronics N.V. System and method for improving video transmission over a wireless network.
JP2003102008A (ja) 2001-06-18 2003-04-04 At & T Corp 階層型ビデオ符号化情報の伝送方法
WO2005109895A1 (en) 2004-05-12 2005-11-17 Koninklijke Philips Electronics N.V. Scalable video coding for broadcasting

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014092407A1 (ko) * 2012-12-10 2014-06-19 엘지전자 주식회사 영상의 디코딩 방법 및 이를 이용하는 장치
US9621906B2 (en) 2012-12-10 2017-04-11 Lg Electronics Inc. Method for decoding image and apparatus using same
US10015501B2 (en) 2012-12-10 2018-07-03 Lg Electronics Inc. Method for decoding image and apparatus using same
US10298940B2 (en) 2012-12-10 2019-05-21 Lg Electronics Inc Method for decoding image and apparatus using same
US10666958B2 (en) 2012-12-10 2020-05-26 Lg Electronics Inc. Method for decoding image and apparatus using same
US10972743B2 (en) 2012-12-10 2021-04-06 Lg Electronics Inc. Method for decoding image and apparatus using same
US10164740B2 (en) 2014-05-09 2018-12-25 Electronics And Telecommunications Research Institute Signal multiplexing apparatus using layered division multiplexing and signal multiplexing method
US10404414B2 (en) 2014-05-09 2019-09-03 Electronics And Telecommunications Research Institute Signal multiplexing apparatus using layered division multiplexing and signal multiplexing method
US10601548B2 (en) 2014-05-09 2020-03-24 Electronics And Telecommunications Research Institute Signal multiplexing apparatus using layered division multiplexing and signal multiplexing method
US10797830B2 (en) 2014-05-09 2020-10-06 Electronics And Telecommunications Research Institute Signal multiplexing apparatus using layered division multiplexing and signal multiplexing method
KR101824919B1 (ko) 2015-10-30 2018-02-02 서울과학기술대학교 산학협력단 스케일러블 다시점 비디오 송신 및 수신 장치

Also Published As

Publication number Publication date
MX2009005737A (es) 2009-06-08
CN101595733A (zh) 2009-12-02

Similar Documents

Publication Publication Date Title
US10405006B2 (en) Picture coding and decoding method and apparatuses with variable length code on a header and arithmetic decoding on a frame
KR100961443B1 (ko) 방송 서비스의 가용도 개선을 위한 계층적 전송/수신 장치및 그 방법
US20060197828A1 (en) Method and system for delivering dual layer hdtv signals through broadcasting and streaming
US20090222855A1 (en) Method and apparatuses for hierarchical transmission/reception in digital broadcast
WO2008066257A1 (en) Apparatus and method for hierarchical modulation transmission and reception of scalable video bitstream
KR20080092420A (ko) 스케일러블 비디오 코딩에서 픽쳐들의 역방향-호환 집합
KR20090066134A (ko) 계층적 부호화를 이용한 다중대역 방송 전송/수신 장치 및그 방법
KR20120018281A (ko) 다계층 영상 부호화 및 복호화 방법 및 장치
KR100799592B1 (ko) 스케일러블 비디오 비트스트림의 계층 변조 송수신을 위한장치 및 그 방법
KR20130127211A (ko) 다중 네트워크 환경 적응형 미디어 스트리밍 전송방법 및 그 장치
KR20160098974A (ko) 3dtv 방송 송수신 장치
KR20020082698A (ko) 가변 비트레이트를 적용한 디지털 방송 송신장치 및 그방법, 비디오 데이타 부호화장치 및 그 방법 그리고방송신호의 복호화 시스템 및 그 방법
KR100937590B1 (ko) 다중 품질 서비스 영상 콘텐츠 제공 시스템 및 그것의업그레이드 방법
JP7230981B2 (ja) 受信装置および受信方法
KR100933054B1 (ko) 고품질 비디오 서비스를 제공하는 방송 신호의 송신 및수신 방법
KR20080012377A (ko) 디지털 방송에서 계층적인 전송/수신을 위한 방법 및 장치
KR20070082672A (ko) 전송표준규격(ｔｐｅｇ)을 이용한 디엠비(ｄｍｂ) 콘텐츠서비스 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110104

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20111208

Year of fee payment: 20