KR102344096B1 - 송신 장치, 송신 방법, 수신 장치 및 수신 방법 - Google Patents

송신 장치, 송신 방법, 수신 장치 및 수신 방법 Download PDF

Info

Publication number
KR102344096B1
KR102344096B1 KR1020167021842A KR20167021842A KR102344096B1 KR 102344096 B1 KR102344096 B1 KR 102344096B1 KR 1020167021842 A KR1020167021842 A KR 1020167021842A KR 20167021842 A KR20167021842 A KR 20167021842A KR 102344096 B1 KR102344096 B1 KR 102344096B1
Authority
KR
South Korea
Prior art keywords
image data
layer
transmission
encoded
video stream
Prior art date
Application number
KR1020167021842A
Other languages
English (en)
Other versions
KR20160124761A (ko
Inventor
이쿠오 츠카고시
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20160124761A publication Critical patent/KR20160124761A/ko
Application granted granted Critical
Publication of KR102344096B1 publication Critical patent/KR102344096B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)

Abstract

본 발명은, HDR 화상 데이터 및 LDR 화상 데이터의 양쪽을 양호하게 전송 가능하게 한다. 종래의 LDR 화상의 백색 피크의 밝기에 대하여 0％ 내지 100％의 콘트라스트비를 갖는 제1 입력 화상 데이터에 광전 변환을 실시하여 얻어진 제1 전송 화상 데이터 및 종래의 백색 피크의 밝기를 초과하는 0％ 내지 100％*N(N은 1보다 큰 수)의 콘트라스트비를 갖는 제2 입력 화상 데이터에 광전 변환을 실시하여 얻어진 제2 전송 화상 데이터를 레이어 분리하여 부호화하고, 각 레이어의 픽처의 부호화 화상 데이터를 갖는 비디오 스트림을 생성한다. 이 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신한다.

Description

송신 장치, 송신 방법, 수신 장치 및 수신 방법{TRANSMISSION DEVICE, TRANSMISSION METHOD, RECEPTION DEVICE, AND RECEPTION METHOD}
본 기술은, 송신 장치, 송신 방법, 수신 장치 및 수신 방법에 관한 것이고, 상세하게는, 하이 다이내믹 레인지의 비디오 데이터를 취급하는 송신 장치 등에 관한 것이다.
종래, 모니터에, 그 특성과는 반대의 특성을 갖는 화상 데이터를 입력함으로써, 모니터의 감마 특성을 보정하는 감마 보정이 알려져 있다. 예를 들어, 비특허문헌 1에는, 0 내지 100％*N(N은 1보다 큼)의 레벨 범위를 갖는 HDR(High Dynamic Range) 화상 데이터에 광전 변환을 적용하여 얻어진 전송 화상 데이터를 부호화함으로써 얻어진 비디오 스트림을 송신하는 것 등이 기재되어 있다.
종래의 LDR(Low Dynamic Range) 화상은, 규정된 광전·전광 변환 특성에 기초하여, 주로 100cd/m**2의 밝기(휘도 레벨)를 참조하여 그것에 대한 콘트라스트비를 100:1이 되도록 하고, 그 최소가 되는 밝기를 블랙 레벨로서 운용하고 있다. HDR 화상은, 블랙측의 레벨은 섬세하고, 또한, 휘도 레벨을 신장시켜 표시시키는 것이 필요해져, 카메라 출력의 시점에서 HDR에 적합한 특수한 광전 변환이 사용되는 경우가 있다.
High Efficiency Video Coding (HEVC) ITU-T H.265 규격
본 기술의 목적은, HDR 화상 데이터 및 LDR 화상 데이터의 양쪽을 양호하게 전송 가능하게 하는 데 있다.
본 기술의 개념은,
종래의 LDR 화상의 백색 피크의 밝기에 대하여 0％ 내지 100％의 콘트라스트비를 갖는 제1 입력 화상 데이터에 광전 변환을 실시하여 얻어진 제1 전송 화상 데이터 및 종래의 백색 피크의 밝기를 초과하는 0％ 내지 100％*N(N은 1보다 큰 수)의 콘트라스트비를 갖는 제2 입력 화상 데이터에 광전 변환을 실시하여 얻어진 제2 전송 화상 데이터를 레이어 분리하여 부호화하고, 각 레이어의 픽처의 부호화 화상 데이터를 갖는 비디오 스트림을 생성하는 화상 부호화부와,
상기 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 송신부를 구비하는
송신 장치에 있다.
본 기술에 있어서, 화상 부호화부에 의해, 제1 전송 화상 데이터 및 제2 전송 화상 데이터가 레이어 분리되어 부호화되고, 각 레이어의 부호화 화상 데이터를 갖는 비디오 스트림이 생성된다. 제1 전송 화상 데이터는, 종래의 LDR 화상의 백색 피크의 밝기에 대하여 0％ 내지 100％의 콘트라스트비를 갖는 제1 입력 화상 데이터(LDR 화상 데이터)에 광전 변환을 실시하여 얻어진 것이다. 제2 전송 화상 데이터는, 종래의 백색 피크의 밝기를 초과하는 0％ 내지 100％*N(N은 1보다 큰 수)의 콘트라스트비를 갖는 제2 입력 화상 데이터(HDR 화상 데이터)에 광전 변환을 실시하여 얻어진 것이다.
송신부에 의해, 비디오 스트림을 포함하는 소정 포맷의 컨테이너가 송신된다. 예를 들어, 컨테이너는, 디지털 방송 규격으로 채용되고 있는 트랜스포트 스트림(MPEG-2TS)이어도 된다. 또한, 예를 들어, 컨테이너는, 인터넷의 배신 등에서 사용되는 MP4, 또는 그 이외의 포맷의 컨테이너여도 된다.
이렇게 본 기술에 있어서는, LDR 화상 데이터에 광전 변환을 실시하여 얻어진 제1 전송 화상 데이터와 HDR 화상 데이터에 광전 변환을 실시하여 얻어진 제2 전송 화상 데이터를 레이어 분리하여 부호화하고, 각 레이어의 픽처의 부호화 화상 데이터를 갖는 비디오 스트림을 포함하는 컨테이너를 송신하는 것이다. 그로 인해, HDR 화상 데이터 및 LDR 화상 데이터의 양쪽을 양호하게 송신 가능하게 된다.
또한, 본 기술에 있어서, 예를 들어, 화상 부호화부는, 제2 전송 화상 데이터와 제1 전송 화상 데이터의 사이에서 감산 처리를 행하여 차분 화상 데이터를 얻고, 제1 전송 화상 데이터를 부호화하여 제1 레이어의 부호화 화상 데이터로 하고, 차분 화상 데이터를 부호화하여 제2 레이어의 부호화 화상 데이터로 할 수 있다. 차분 화상 데이터를 부호화하여 제2 레이어의 부호화 화상 데이터로 하는 것이며, 부호화 효율의 향상이 가능하게 된다.
이 경우, 예를 들어, 화상 부호화부는, 제1 전송 화상 데이터의 각 픽처의 부호화 픽처 타입과, 차분 화상 데이터의 대응하는 각 픽처의 부호화 픽처 타입을 일치시킬 수 있다. 이렇게 픽처 타입을 일치시킴으로써, 수신측에서는, 제1 레이어의 부호화 화상 데이터의 각 픽처의 복호화와 제2 레이어의 부호화 화상 데이터의 대응하는 각 픽처의 복호화를 일괄의 타이밍에 진행시키는 것이 가능하게 되고, 제2 전송 화상 데이터를 얻을 때까지의 디코드 지연을 작게 억제하는 것이 가능하게 된다.
또한, 본 기술에 있어서, 예를 들어, 각 레이어의 픽처의 부호화 화상 데이터의 레이어 정보를 비디오 스트림의 레이어 또는 컨테이너의 레이어에 삽입하는 레이어 정보 삽입부를 더 구비할 수 있다. 이 경우, 예를 들어, 레이어 정보 삽입부는, 레이어 정보를 비디오 스트림의 레이어에 삽입할 경우, 이 레이어 정보를 NAL 유닛의 헤더에 삽입할 수 있다. 또한, 이 경우, 예를 들어, 컨테이너의 레이어에 삽입되는 레이어 정보는, 각 레이어에 대응하는 템포럴 ID를 나타낼 수 있다. 이렇게 레이어 정보가 삽입됨으로써, 수신측에서는, 비디오 스트림으로부터 각 레이어의 픽처의 부호화 화상 데이터를 취출하는 것이 용이하게 된다.
또한, 본 기술에 있어서, 예를 들어, 화상 부호화부는, 감산 처리를 행하여 차분 화상 데이터를 얻을 때, 제1 전송 화상 데이터 또는 제2 전송 화상 데이터에 레벨 조정을 실시할 수 있다. 이렇게 레벨 조정됨으로써, 차분 화상 데이터의 값을 작게 할 수 있고, 부호화 효율을 보다 높이는 것이 가능하게 된다. 이 경우, 예를 들어, 비디오 스트림의 레이어에, 레벨 조정의 특성 정보, 및/또는, 밝기의 레벨 정보와 콘트라스트 정보를 삽입하는 정보 삽입부를 더 구비할 수 있다. 이에 의해, 수신측에서는, 레벨 조정의 특성 정보에 기초하여 제1 전송 화상 데이터의 레벨을 조정하여 차분 화상 데이터에 가산함으로써, 제2 전송 화상 데이터를 양호하게 얻는 것이 가능하게 된다. 또한, 수신측에서는, 밝기의 레벨 정보와 콘트라스트 정보를 사용하여 표시 조정을 행하는 것이 가능하게 된다.
또한, 본 기술의 다른 개념은,
제1 전송 화상 데이터 및 제2 전송 화상 데이터가 레이어 분리되고 부호화되어 이루어지는 각 레이어의 픽처의 부호화 화상 데이터를 갖는 비디오 스트림을 포함하는 컨테이너를 수신하는 수신부를 구비하고,
상기 제1 전송 화상 데이터는, 종래의 LDR 화상의 백색 피크의 밝기에 대하여 0％ 내지 100％의 콘트라스트비를 갖는 제1 입력 화상 데이터에 광전 변환을 실시하여 얻어진 것이고,
상기 제2 전송 화상 데이터는, 종래의 백색 피크의 밝기를 초과하는 0％ 내지 100％*N(N은 1보다 큰 수)의 콘트라스트비를 갖는 제2 입력 화상 데이터에 광전 변환을 실시하여 얻어진 것이며,
상기 수신부에서 수신된 컨테이너에 포함되는 비디오 스트림을 처리하는 처리부를 더 구비하는
수신 장치에 있다.
본 기술에 있어서, 수신부에 의해, 제1 전송 화상 데이터 및 제2 전송 화상 데이터가 레이어 분리되고 부호화되어 이루어지는 각 레이어의 픽처의 부호화의 화상 데이터를 갖는 비디오 스트림을 포함하는 컨테이너가 수신된다. 제1 전송 화상 데이터는, 종래의 LDR 화상의 백색 피크의 밝기에 대하여 0％ 내지 100％의 콘트라스트비를 갖는 제1 입력 화상 데이터(LDR 화상 데이터)에 광전 변환을 실시하여 얻어진 것이다. 제2 전송 화상 데이터는, 종래의 백색 피크의 밝기를 초과하는 0％ 내지 100％*N(N은 1보다 큰 수)의 콘트라스트비를 갖는 제2 입력 화상 데이터(HDR 화상 데이터)에 광전 변환을 실시하여 얻어진 것이다.
처리부에 의해, 수신부에서 수신된 컨테이너에 포함되는 비디오 스트림이 처리된다. 예를 들어, 처리부는, 제1 전송 화상 데이터 또는 제2 전송 화상 데이터를 선택적으로 출력할 수 있다. 그 경우, 예를 들어, 처리부는, 표시부의 표시 능력에 따라, 제1 전송 화상 데이터 또는 제2 전송 화상 데이터를 출력할 수 있다. 그리고, 예를 들어, 처리부로부터 출력되는 제1 전송 화상 데이터 또는 제2 전송 화상 데이터에 대응하는 전광 변환을 실시하는 전광 변환부를 더 구비할 수 있다.
이렇게 본 기술에 있어서는, LDR 화상 데이터에 광전 변환을 실시하여 얻어진 제1 전송 화상 데이터와 HDR 화상 데이터에 광전 변환을 실시하여 얻어진 제2 전송 화상 데이터가 레이어 분리되고 부호화되어 이루어지는 각 레이어의 픽처의 부호화 화상 데이터를 갖는 비디오 스트림을 수신하는 것이다. 그로 인해, HDR 화상 데이터 및 LDR 화상 데이터의 양쪽을 양호하게 수신 가능하게 된다.
또한, 본 기술에 있어서, 예를 들어, 비디오 스트림은, 제1 전송 화상 데이터가 부호화되어 이루어지는 제1 레이어의 부호화 화상 데이터와, 제2 전송 화상 데이터와 제1 전송 화상 데이터 사이에서 감산 처리를 행하여 얻어진 차분 화상 데이터가 부호화되어 이루어지는 제2 레이어의 부호화 화상 데이터를 갖고, 처리부는, 제1 레이어의 부호화 화상 데이터를 복호화하여 제1 전송 비디오 데이터를 얻고, 제2 레이어의 부호화 화상 데이터를 복호화하여 얻어진 차분 화상 데이터에 제1 전송 화상 데이터를 가산하여 제2 전송 화상 데이터를 얻을 수 있다.
이 경우, 예를 들어, 비디오 스트림의 레이어 또는 컨테이너의 레이어에, 각 레이어의 픽처의 부호화 화상 데이터의 레이어 정보가 삽입되어 있고, 처리부는, 레이어 정보에 기초하여, 비디오 스트림으로부터, 제1 레이어의 부호화 화상 데이터 및 제2 부호화 화상 데이터를 취출할 수 있다. 이 경우, 비디오 스트림으로부터 각 레이어의 픽처의 부호화 화상 데이터를 용이하게 취출할 수 있다.
또한, 본 기술에 있어서, 예를 들어, 처리부는, 제2 전송 화상 데이터를 얻을 때, 제1 전송 화상 데이터 또는 가산 화상 데이터에 레벨 조정을 실시할 수 있다. 이 경우, 예를 들어, 비디오 스트림의 레이어에, 레벨 조정의 특성 정보가 삽입되어 있고, 처리부는, 이 레벨 조정의 특성 정보에 기초하여, 제1 전송 화상 데이터 또는 가산 화상 데이터에 레벨 조정을 실시할 수 있다. 레벨 조정을 실시함으로써, 제2 전송 화상 데이터를 양호하게 얻는 것이 가능하게 된다.
본 기술에 의하면, HDR 화상 데이터 및 LDR 화상 데이터의 양쪽을 양호하게 전송할 수 있다. 또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 또한 부가적인 효과가 있어도 된다.
도 1은 송수신 시스템의 구성예를 도시하는 블록도이다.
도 2는 송수신 시스템을 구성하는 송신 장치의 구성예를 도시하는 블록도이다.
도 3은 LDR 화상용, HDR 화상용의 광전 변환 특성(LDR OETF 커브, HDR OETF 커브)의 일례를 도시하는 도면이다.
도 4는 LDR 화상용, HDR 화상용의 광전 변환 특성(LDR OETF 커브, HDR OETF 커브)의 다른 일례를 도시하는 도면이다.
도 5는 송신 장치의 비디오 인코더에서 행해지는 계층 부호화의 일례를 도시하는 도면이다.
도 6은 NAL 유닛 헤더의 구조예 및 그 구조예에 있어서의 주요한 내용을 도시하는 도면이다.
도 7은 비디오 인코더의 구성예를 도시하는 블록도이다.
도 8은 제1 전송 화상 데이터 V1의 값을 제2 전송 화상 데이터 V2의 값에 근접시키기 위한 레벨 조정 커브(맵핑 커브)의 일례를 도시하는 도면이다.
도 9는 제1 전송 화상 데이터 V1의 값을 제2 전송 화상 데이터 V2의 값에 근접시키기 위한 레벨 조정 커브(맵핑 커브)의 다른 일례를 도시하는 도면이다.
도 10은 부호화 방식이 HEVC일 경우에 있어서의 GOP의 선두의 액세스 유닛을 도시하는 도면이다.
도 11은 「Level_Adjusting SEI message」의 구조예를 도시하는 도면이다.
도 12는 「Level_Adjusting_information_data()」의 구조예를 도시하는 도면이다.
도 13은 「Level_Adjusting_information_data()」의 구조예에 있어서의 주요한 내용을 도시하는 도면이다.
도 14는 레이어·히에라르키·디스크립터의 구조예를 도시하는 도면이다.
도 15는 레이어·히에라르키·디스크립터의 구조예에 있어서의 주요한 내용을 도시하는 도면이다.
도 16은 트랜스포트 스트림의 구성예를 도시하는 도면이다.
도 17은 송수신 시스템을 구성하는 수신 장치의 구성예를 도시하는 블록도이다.
도 18은 비디오 디코더의 구성예를 도시하는 블록도이다.
도 19는 비디오 스트림에 포함되는 제1 레이어의 부호화 화상 데이터 CV1과 제2 레이어의 부호화 화상 데이터 CV2를 나누기 위한 방법을 설명하기 위한 도면이다.
도 20은 비디오 인코더의 다른 구성예를 도시하는 블록도이다.
도 21은 비디오 디코더의 다른 구성예를 도시하는 블록도이다.
도 22는 송신 장치의 비디오 인코더에서 행해지는 계층 부호화의 다른 일례를 도시하는 도면이다.
이하, 발명을 실시하기 위한 구체적인 내용(이하, 「실시 형태」라 함)에 대하여 설명한다. 또한, 설명을 이하의 순서로 행한다.
1. 실시 형태
2. 변형예
<1. 실시 형태>
[송수신 시스템의 구성]
도 1은 실시 형태로서의 송수신 시스템(10)의 구성예를 도시하고 있다. 이 송수신 시스템(10)은, 송신 장치(100) 및 수신 장치(200)에 의해 구성되어 있다.
송신 장치(100)는, 컨테이너로서의 MPEG2의 트랜스포트 스트림 TS를 생성하고, 이 트랜스포트 스트림 TS를 방송파 또는 네트의 패킷에 실어서 송신한다. 이 트랜스포트 스트림 TS는, 제1 전송 화상 데이터 및 제2 전송 화상 데이터가 레이어 분리되고 부호화되어 이루어지는 각 레이어의 픽처의 부호화 화상 데이터를 갖는 비디오 스트림을 포함하는 것이다.
송신 장치(100)는, 종래의 LDR 화상의 백색 피크의 밝기에 대하여 0％ 내지 100％의 콘트라스트비를 갖는 제1 입력 화상 데이터(LDR 화상 데이터)에, LDR 화상용의 광전 변환 특성(LDR OETF 커브)을 적용하여, 제1 전송 화상 데이터를 얻는다. 또한, 송신 장치(100)는, 종래의 백색 피크의 밝기를 초과하는 0％ 내지 100％*N(N은 1보다 큰 수)의 콘트라스트비를 갖는 제2 입력 화상 데이터(HDR 화상 데이터)에, HDR 화상용 광전 변환 특성(HDR OETF 커브)을 적용하여, 제2 전송 화상 데이터를 얻는다.
송신 장치(100)는, 제1 전송 화상 데이터에 대해서는, 이 제1 전송 화상 데이터를 그대로 부호화하고, 제1 레이어의 부호화 화상 데이터로 한다. 한편, 제2 전송 화상 데이터에 대해서는, 이 제2 전송 화상 데이터로부터 제1 전송 화상 데이터를 감산하여 얻어진 차분 화상 데이터를 부호화하고, 제2 레이어의 부호화 화상 데이터로 한다. 이렇게 제2 전송 화상 데이터 그 자체의 부호화가 아니라, 제1 전송 화상 데이터와의 사이의 차분 화상 데이터의 부호화를 행함으로써, 부호화 효율을 높이는 것이 가능하게 된다.
송신 장치(100)는, 차분 화상 데이터를 얻을 때, 제1 전송 화상 데이터에 레벨 조정을 실시한다. 이렇게 레벨 조정을 실시함으로써, 제1 전송 화상 데이터의 값을 제2 전송 화상 데이터의 값에 근접시킬 수 있고, 부호화 효율을 더 높이는 것이 가능하게 된다.
송신 장치(100)는, 비디오 스트림의 레이어에, 이 레벨 조정의 특성 정보를 삽입한다. 이 레벨 조정의 특성 정보에 의해, 수신측에서는, 제2 전송 화상 데이터를 얻기 위하여 차분 화상 데이터에 가산하는 제1 전송 화상 데이터의 레벨을 송신측의 조정과 마찬가지로 조정하는 것이 가능하게 되고, 제2 전송 화상 데이터를 고정밀도로 얻는 것이 가능하게 된다.
송신 장치(100)는, 제1 전송 화상 데이터 및 차분 화상 데이터의 각 픽처를 복수의 계층으로 분류하여 부호화한다. 이 경우, 예를 들어, H.264/AVC, H.265/HEVC 등의 부호화가 실시되고, 예를 들어, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 낮은 계층에 소속되도록 부호화된다.
송신 장치(100)는, 제1 전송 화상 데이터의 각 픽처의 부호화 픽처 타입과, 차분 화상 데이터의 대응하는 각 픽처의 부호화 픽처 타입이 일치하도록 부호화한다. 이렇게 양쪽의 화상 데이터의 픽처 타입이 일치하도록 부호화를 행함으로써, 수신측에 있어서의 제2 전송 화상 데이터를 얻기 위한 디코드 지연을 작게 억제하는 것이 가능하게 된다.
송신 장치(100)는, 각 계층의 픽처의 부호화 화상 데이터에, 픽처마다, 소속 계층을 식별하기 위한 계층 식별 정보를 부가한다. 이 실시 형태에 있어서는, 각 픽처의 NAL 유닛(nal_unit)의 헤더 부분에, 계층 식별자(temporal_id)를 의미하는 "nuh_temporal_id_plus1"이 배치된다. 이렇게 계층 식별 정보를 부가함으로써, 수신측에서는, NAL 유닛의 레이어에 있어서 각 픽처의 계층 식별이 가능하게 된다.
송신 장치(100)는, 예를 들어, 제1 전송 화상 데이터의 각 픽처의 부호화 화상 데이터를 하위 계층에 할당하고, 차분 화상 데이터의 각 픽처의 부호화 화상 데이터를 상위 계층에 할당한다. 그리고, 송신 장치(100)는, 각 계층의 픽처의 부호화 화상 데이터에, 레이어를 식별하기 위한 레이어 정보를 부가한다. 이 실시 형태에 있어서는, 각 픽처의 NAL 유닛(nal_unit)의 헤더 부분에, 레이어 정보로서 레이어 식별자(Layer_id)가 배치된다.
송신 장치(100)는, 컨테이너(트랜스포트 스트림)의 레이어에, 각 계층의 픽처의 부호화 화상 데이터의 레이어를 식별하기 위한 레이어 정보를 삽입한다. 이 레이어 정보는, 예를 들어, 프로그램·맵·테이블의 관리 하의 비디오 엘리멘트리 스트림 루프 중의 디스크립터에 기술된다. 이 레이어 정보는, 각 레이어에 포함되는 계층 식별자(temporal_id)의 값을 나타내는 것이 된다.
이와 같이, 비디오 스트림의 레이어, 또는 컨테이너의 레이어에, 각 계층의 픽처의 부호화 화상 데이터에 레이어 정보를 부가 또는 삽입함으로써, 수신측에서는, 비디오 스트림으로부터 각 레이어의 픽처의 부호화 화상 데이터를 용이 또한 적확하게 취출하는 것이 가능하게 된다.
수신 장치(200)는, 송신 장치(100)로부터 방송파 또는 네트의 패킷에 실어서 보내져 오는 트랜스포트 스트림 TS를 수신한다. 이 트랜스포트 스트림 TS는, 상술한 바와 같이, 제1 전송 화상 데이터 및 제2 전송 화상 데이터가 레이어 분리되고 부호화되어 이루어지는 각 레이어의 픽처의 부호화 화상을 갖는 비디오 스트림을 포함하고 있다.
수신 장치(200)는, 비디오 스트림을 처리하고, 표시부의 표시 능력에 기초하여, 제1 전송 화상 데이터 또는 제2 전송 화상 데이터를 선택적으로 출력한다. 즉, 표시부가 LDR 화상의 표시 능력을 갖는 경우, 수신 장치(200)는, 제1 전송 화상 데이터를 출력하고, LDR 화상에 대응한 전광 변환을 실시하여, 표시부에 보낸다. 한편, 표시부가 HDR 화상의 표시 능력을 갖는 경우, 수신 장치(200)는, 제2 전송 화상 데이터를 출력하고, HDR 화상에 대응한 전광 변환을 실시하여, 표시부에 보낸다.
상술한 바와 같이, 비디오 스트림은, 제1 전송 화상 데이터가 부호화되어 이루어지는 제1 레이어의 부호화 화상 데이터와, 제2 전송 화상 데이터로부터 제1 전송 화상 데이터를 감산하여 얻어진 차분 화상 데이터가 부호화되어 이루어지는 제2 레이어의 부호화 화상 데이터를 갖는다. 수신 장치(200)는, 제1 레이어의 부호화 화상 데이터를 복호화하여 제1 전송 비디오 데이터를 얻고, 제2 레이어의 부호화 화상 데이터를 복호화하여 얻어진 차분 화상 데이터에 제1 전송 화상 데이터를 가산하여 제2 전송 화상 데이터를 얻는다.
상술한 바와 같이, 비디오 스트림의 레이어 또는 컨테이너의 레이어에, 각 레이어의 픽처의 부호화 화상 데이터의 레이어 정보가 삽입되어 있다. 수신 장치(200)는, 이 레이어 정보에 기초하여, 비디오 스트림으로부터, 제1 레이어의 부호화 화상 데이터 및 제2 레이어의 부호화 화상 데이터를 취출한다.
또한, 상술한 바와 같이, 비디오 스트림의 레이어에, 레벨 조정의 특성 정보가 삽입되어 있다. 수신 장치(200)는, 이 레벨 조정의 특성 정보에 의해, 제2 전송 화상 데이터를 얻기 위해 차분 화상 데이터에 가산하는 제1 전송 화상 데이터의 레벨을 송신측의 조정과 마찬가지로 조정한다.
「송신 장치의 구성」
도 2는 송신 장치(100)의 구성예를 도시하고 있다. 이 송신 장치(100)는, 제어부(101)와, LDR 카메라(102L)와, HDR 카메라(102H)와, LDR 광전 변환부(103L)와, HDR 광전 변환부(103H)와, 비디오 인코더(104)와, 시스템 인코더(105)와, 송신부(106)를 갖고 있다. 제어부(101)는, CPU(Central Processing Unit)를 구비하여 구성되고, 도시하지 않은 스토리지에 저장되어 있는 제어 프로그램에 기초하여, 송신 장치(100)의 각 부의 동작을 제어한다.
LDR 카메라(102L)는, 피사체를 촬상하고, LDR(Low Dynamic Range) 화상 데이터(LDR 비디오 데이터)를 출력한다. 이 LDR 화상 데이터는, 종래의 LDR 화상의 백색 피크의 밝기에 대하여 0％ 내지 100％의 콘트라스트비를 갖는다. HDR 카메라(102H)는, LDR 카메라(102L)의 피사체와 동일한 피사체를 촬상하여, HDR(High Dynamic Range) 화상 데이터(HDR 비디오 데이터)를 출력한다. 이 HDR 화상 데이터는, 0 내지 100％*N, 예를 들어 0 내지 400％ 또는 0 내지 800％ 등의 콘트라스트비를 갖는다. 여기서, 100％의 레벨은, 백색의 휘도값 100cd/m**2에 상당하는 것을 전제로 하는 경우가 있다.
LDR 광전 변환부(103L)는, 카메라(102L)로부터 얻어지는 LDR 화상 데이터에 대하여, LDR 화상용 광전 변환 특성(LDR OETF 커브)을 적용하여, 제1 전송 화상 데이터 V1을 얻는다. 도 3의 a1의 곡선은, LDR OETF 커브의 일례를 나타내고 있다. 또한, 도 4의 a2의 곡선은, LDR OETF 커브의 다른 일례를 나타내고 있다. HDR 광전 변환부(103H)는, 카메라(102H)로부터 얻어지는 HDR 화상 데이터에 대하여, HDR 화상용 광전 변환 특성(HDR OETF 커브)을 적용하여, 제2 전송 화상 데이터 V2를 얻는다. 도 3의 b1의 곡선은, HDR OETF 커브의 일례를 나타내고 있다. 또한, 도 4의 b2의 곡선은, HDR OETF 커브의 다른 일례를 나타내고 있다.
또한, 도 3, 도 4에 있어서, 횡축은, LDR 광전 변환부(103L), HDR 광전 변환부(103H)의 입력을 나타내고, 밝기 상대값[％]으로 나타내고 있다. 블랙 레벨(Black level)은 N*100:1의 콘트라스트비의 최솟값과 일치하는 것이다. 수신측에서의 표시 시에, 이 값을 참조할 수 있다. 피크 휘도(Peak brightness)는, HDR의 피크 휘도(최대 조도값)를 지정하고, 상대값 N*100의 대상으로 한다. 수신기는, 전광 변환(EOTF)을 행할 때, 이 값과, 표시 디바이스(표시부)의 표시 능력 사이에서 필요한 휘도 조정을 행할 수 있다. 또는, 최대의 휘도 레벨을 지정하는 대신, 밝기의 중간 레벨의 값과, 그 콘트라스트비의 값을 수신측으로 보냄으로써 마찬가지의 효과를 실현하는 것도 가능하다. 또한, 도 3, 도 4에 있어서, 종축은, LDR 광전 변환부(103L), HDR 광전 변환부(103H)의 출력인 진폭값(AMP)을 나타낸다.
비디오 인코더(104)는, 제1 전송 화상 데이터 V1 및 제2 전송 화상 데이터 V2를 레이어 분리하여 부호화하고, 각 레이어의 픽처의 부호화 화상 데이터를 갖는 비디오 스트림 VS를 생성한다. 이 경우, 제1 전송 화상 데이터 V1을 그대로 부호화하여 제1 레이어의 부호화 화상 데이터로 한다. 또한, 이 경우, 제2 전송 화상 데이터 V2로부터 제1 전송 화상 데이터 VD1을 감산하여 차분 화상 데이터 DV를 얻고, 이 차분 화상 데이터 DV를 부호화하여 제2 레이어의 부호화 화상 데이터로 한다.
비디오 인코더(104)는, 부호화 효율을 높이기 위해서, 차분 화상 데이터 DV를 얻을 때, 제1 전송 화상 데이터에 레벨 조정을 실시하고, 제1 전송 화상 데이터 V1의 값을 제2 전송 화상 데이터 V2의 값에 근접시킨다. 이 경우, 상세 설명은 후술하지만, LDR OETF 커브와 HDR OETF 커브와의 관계로부터 구해진 레벨 조정 커브(Level Coordination Curve)에 기초하여 조정된다. 이때, 비디오 인코더(104)는, 비디오 스트림의 레이어에, 레벨 조정의 특성 정보, 즉 레벨 조정 커브 정보를 삽입한다.
비디오 인코드(104)는, 제1 전송 화상 데이터 V1 및 차분 화상 데이터 DV의 각 픽처를 복수의 계층으로 분류하여 부호화한다. 이 경우, 제1 전송 화상 데이터 V1의 각 픽처의 부호화 화상 데이터는 하위 계층에 할당되고, 차분 화상 데이터 DV의 각 픽처의 부호화 화상 데이터는 상위 계층에 할당된다. 그리고, 이 경우, 제1 전송 화상 데이터 V1의 각 픽처의 부호화 픽처 타입과, 차분 화상 데이터 DV의 대응하는 각 픽처의 부호화 픽처 타입이 일치하도록 부호화된다.
비디오 인코더(104)는, 각 계층의 픽처의 부호화 화상 데이터에, 픽처마다, 소속 계층을 식별하기 위한 계층 식별 정보를 부가한다. 이 실시 형태에서는, 각 픽처의 NAL 유닛(nal_unit)의 헤더 부분에, 계층 식별자(temporal_id)를 의미하는 "nuh_temporal_id_plus1"이 배치된다. 또한, 비디오 인코더(104)는, 각 계층의 픽처의 부호화 화상 데이터에, 픽처마다, 부호화 레이어를 식별하기 위한 레이어 정보를 부가한다. 이 실시 형태에서는, 각 픽처의 NAL 유닛(nal_unit)의 헤더 부분에, 레이어 정보로서 레이어 식별자(Layer_id)가 배치된다.
도 5는 비디오 인코더(104)에서 행해지는 계층 부호화의 일례를 도시하고 있다. 이 예는, 0부터 5까지의 6계층으로 분류되고, 각 계층의 픽처의 화상 데이터에 대하여 부호화가 실시된 예이다. 종축은 계층을 나타내고 있다. 제1 전송 화상 데이터 V1의 각 픽처는 계층 0부터 2의 하위 계층을 구성하고, 차분 화상 데이터 DV의 각 픽처는 계층 3부터 5의 상위 계층을 구성한다.
계층 0부터 5의 픽처의 부호화 화상 데이터를 구성하는 NAL 유닛(nal_unit)의 헤더 부분에 배치되는 temporal_id(계층 식별 정보)로서, 각각, 0부터 5가 설정된다. 횡축은 표시순(POC: picture order of composition)을 나타내고, 좌측은 표시 시각이 앞이고, 우측은 표시 시각이 뒤가 된다.
도 6의 (a)는 NAL 유닛 헤더의 구조예(Syntax)를 나타내고, 도 6의 (b)는 그 구조예에 있어서의 주요한 파라미터의 내용(Semantics)을 나타내고 있다. 「Forbidden_zero_bit」의 1비트 필드는, 0이 필수적이다. 「nal_unit_type」의 6비트 필드는, NAL 유닛 타입을 나타낸다.
「nuh_layer_id」의 6비트 필드는, 레이어 식별자(Layer_id)를 나타낸다. "0"은, temporal_id(계층 식별 정보) 이외의 레이어(layer)를 마련하지 않는 것을 나타낸다. "1"은, temporal_id(계층 식별 정보) 이외의 레이어(layer)로서, 베이스 레이어(base layer), 즉 제1 레이어에 속하는 것을 나타낸다. "2"는, temporal_id(계층 식별 정보) 이외의 레이어(layer)로서, 인핸스 레이어(enhance layer), 즉 제2 레이어에 속하는 것을 나타낸다. 「nuh_temporal_id_plus1」의 3비트 필드는, temporal_id를 나타내고, 1을 더한 값(1 내지 6)을 나타낸다.
도 5로 되돌아가서, 직사각형 프레임 각각이 픽처를 나타내고, 숫자는, 부호화되어 있는 픽처의 순서, 즉 인코드순(수신측에서는 디코드순)을 나타내고 있다. 「1」부터 「4」의 4개의 픽처에 의해, 제1 전송 화상 데이터 V1의 어느 서브·픽처 그룹(Sub Pictures Group)이 구성되어 있고, 「1」은 그 서브·픽처 그룹의 선두 픽처가 된다. 「0」은 이전의 서브·픽처 그룹의 픽처이다. 또한, 「5」부터 「8」의 4개의 픽처에 의해, 제1 전송 화상 데이터 V1의 다음 서브·픽처 그룹(Sub Pictures Group)이 구성되어 있고, 「5」는 그 서브·픽처 그룹의 선두 픽처가 된다. 여기서, 「1」은 I 픽처(Intra picture)이고, 「5」는 P 픽처(Uni-prediction picture)이며, 기타는 B 픽처(Bi-prediction picture)이다.
또한, 「1'」부터 「4'」의 4개의 픽처에 의해, 차분 화상 데이터 DV의 어느 서브·픽처 그룹(Sub Pictures Group)이 구성되어 있고, 「1'」는 그 서브·픽처 그룹의 선두 픽처가 된다. 「0'」는 이전의 서브·픽처 그룹의 픽처이다. 또한, 「5'」부터 「8'」의 4개의 픽처에 의해, 차분 화상 데이터 DV의 다음 서브·픽처 그룹(Sub Pictures Group)이 구성되어 있고, 「5'」는 그 서브·픽처 그룹의 선두 픽처가 된다. 여기서, 「1'」는 I 픽처(Intra picture)이고, 「5'」는 P 픽처(Uni-prediction picture)이며, 기타는 B 픽처(Bi-prediction picture)이다.
도시와 같이, 제1 전송 화상 데이터 V1의 「1」부터 「8」의 픽처는, 각각, 차동 화상 데이터 DV의 「1'」부터 「8'」의 픽처와 대응하고 있지만, 제1 전송 화상 데이터 V1의 각 픽처의 부호화 픽처 타입과, 차분 화상 데이터 DV의 대응하는 각 픽처의 부호화 픽처 타입이 일치하도록 부호화되어 있다.
실선 화살표는, 부호화에 있어서의 픽처의 참조 관계를 나타내고 있다. 예를 들어, 「5」의 픽처는, P 픽처이며, 「1」의 픽처를 참조하여 부호화된다. 또한, 「6」의 픽처는, B 픽처이며, 「1」, 「5」의 픽처를 참조하여 부호화된다. 마찬가지로, 기타 픽처는, 표시순으로 가까운 픽처를 참조하여 부호화된다.
도 7은 비디오 인코더(104)의 구성예를 나타내고 있다. 비디오 인코더(104)는, 움직임 예측 변환 부호화/양자화부(141)와, 엔트로피 부호화부(142)와, 레벨 조정부(143)와, 감산부(144)와, 움직임 예측 변환 부호화/양자화부(145)와, 엔트로피 부호화부(146)와, 스트림 패킹부(147)를 갖고 있다.
움직임 예측 변환 부호화/양자화부(141)는, 제1 전송 화상 데이터 V1에 대하여, 움직임 예측 변환 부호화를 행하여 시간축 데이터로부터 주파수 축 데이터로 변환하고, 또한 이 주파수 축 데이터에 대하여 양자화를 행하여 양자화 데이터를 얻는다. 엔트로피 부호화부(142)는, 움직임 예측 변환 부호화/양자화부(141)에서 얻어지는 양자화 데이터에 대하여, 엔트로피 부호화를 행하고, 제1 레이어의 부호화 화상 데이터 CV1을 얻는다.
레벨 조정부(143)는, 부호화 효율을 높이기 위해, 제1 전송 화상 데이터 V1에 레벨 조정을 실시하고, 제1 전송 화상 데이터 V1의 값을 제2 전송 화상 데이터 V2의 값에 근접시킨다. 레벨 조정부(143)는, LDR OETF 커브와 HDR OETF 커브와의 관계로부터 구해진 레벨 조정 커브(Level Coordination Curve)에 기초하여, 제1 전송 화상 데이터의 레벨을 조정한다.
레벨 조정에 대하여 추가로 설명한다. 도 3의 LDR OETF 커브 및 HDR OETF 커브를 참조하여 설명한다. 레벨 조정에서는, LDR의 밝기 상대값(횡축의 입력 범위)의 PL의 범위 내에 있어서, LDR의 AMP값(제1 전송 화상 데이터 V1의 값)을 HDR의 AMP값(제2 전송 화상 데이터 V2의 값)에 근접하도록, LDR의 AMP값에 보정을 가한다. 이 경우, 보정 대상의 LDR의 AMP값(제1 전송 화상 데이터 V1의 값)인 Px_A를 Px_B에 매핑한다.
도 8의 곡선 c1은, 그 때의 맵핑 커브를 나타내고 있다. 이 맵핑 커브는, 도 3의 LDR OETF 커브 및 HDR OETF 커브가 사용된 경우에 있어서의 레벨 조정 커브를 구성한다. 레벨 조정부(143)는, 이 맵핑 커브에 기초하여, LDR의 AMP값(제1 전송 화상 데이터 V1의 값)인 Px_A를 Px_B에 매핑하고, 제1 전송 화상 데이터 V1의 값을 제2 전송 화상 데이터 V2의 값에 근접시킨다.
또한, LDR OETF 커브 및 HDR OETF 커브가 다른 조합이어도, 마찬가지로 하여, 레벨 조정 커브를 구성하는 맵핑 커브를 구할 수 있고, 레벨 조정부(143)는, 그 맵핑 커브에 기초하여, LDR의 AMP값(제1 전송 화상 데이터 V1의 값)인 Px_A를 Px_B에 매핑함으로써, 제1 전송 화상 데이터 V1의 값을 제2 전송 화상 데이터 V2의 값에 근접시킬 수 있다. 예를 들어, 도 9의 곡선 c2는, 도 4의 LDR OETF 커브 및 HDR OETF 커브가 사용된 경우에 있어서의 맵핑 커브를 나타내고 있다.
도 7로 되돌아가서, 감산부(144)는, 제2 전송 화상 데이터 V2로부터, 레벨 조정부(143)에서 레벨 조정된 후의 제1 전송 화상 데이터 V1을 감산하여, 차분 화상 데이터 DV를 얻는다. 또한, 이 차분 화상 데이터 DV의 생성 시에, 차분 정보가 작아지도록, 움직임 예측 변환 부호화/양자화부(145)와 마찬가지의, 움직임 벡터를 이용한 예측 처리를 행하고, 차분 데이터와 함께 움직임 벡터를 전송한다. 움직임 예측 변환 부호화/양자화부(145)는, 이 차분 화상 데이터 DV에 대하여, 움직임 예측 변환 부호화를 행하여 시간축 데이터로부터 주파수 축 데이터로 변환하고, 또한 이 주파수 축 데이터에 대하여 양자화를 행하여 양자화 데이터를 얻는다. 엔트로피 부호화부(146), 움직임 예측 변환 부호화/양자화부(145)에서 얻어지는 양자화 데이터에 대하여, 엔트로피 부호화를 행하여, 제2 레이어의 부호화 화상 데이터 CV2를 얻는다.
스트림 패킹부(147)는, 제1 레이어의 부호화 화상 데이터 CV1 및 제2 레이어의 부호화 화상 데이터 CV2를 포함하는 비디오 스트림(비디오 엘리멘터리 스트림) VS를 생성한다. 이때, 각 픽처의 NAL 유닛(nal_unit)의 헤더 부분에, 계층 식별자(temporal_id)를 의미하는 "nuh_temporal_id_plus1"이 배치됨과 함께, 레이어 식별자(Layer_id)가 배치된다. 또한, 이때, 비디오 스트림의 레이어에, 레벨 조정의 특성 정보가 삽입된다. 이 특성 정보는, 예를 들어, 예측 화상을 포함한 표시 액세스 단위인 GOP(Group Of Picture) 단위로 삽입된다.
도 2로 되돌아가서, 시스템 인코더(105)는, 비디오 인코더(104)에서 생성된 비디오 스트림 VS를 포함하는 트랜스포트 스트림 TS를 생성한다. 그리고, 송신부(106)는, 이 트랜스포트 스트림 TS를, 방송파 또는 네트의 패킷에 싣고, 수신 장치(200)에 송신한다.
이때, 시스템 인코더(105)는, 컨테이너(트랜스포트 스트림)의 레이어에, 각 계층의 픽처의 부호화 화상 데이터의 레이어를 식별하기 위한 레이어 정보를 삽입한다. 이 레이어 정보는, 예를 들어, 프로그램·맵·테이블의 관리 하의 비디오 엘리멘트리 스트림 루프 중의 디스크립터에 기술된다. 이 레이어 정보는, 각 레이어에 포함되는 계층 식별자(temporal_id)의 값을 나타내는 것이 된다.
도 2에 도시하는 송신 장치(100)의 동작을 간단하게 설명한다. LDR 카메라(102L)로 촬상되어서 얻어진 LDR 화상 데이터(LDR 비디오 데이터)는, LDR 광전 변환부(103L)에 공급된다. 이 LDR 광전 변환부(103L)에서는, 이 LDR 화상 데이터에 대하여 LDR 화상용 광전 변환 특성(LDR OETF 커브)이 적용되어, 제1 전송 화상 데이터 V1이 얻어진다. 이 제1 전송 화상 데이터 V1은, 비디오 인코더(104)에 공급된다.
또한, HDR 카메라(102H)로 촬상되어서 얻어진 HDR 화상 데이터(HDR 비디오 데이터)는, HDR 광전 변환부(103H)에 공급된다. 이 HDR 광전 변환부(103H)에서는, 이 HDR 화상 데이터에 대하여 HDR 화상용 광전 변환 특성(LDR OETF 커브)이 적용되어서, 제2 전송 화상 데이터 V2가 얻어진다. 이 제2 전송 화상 데이터 V2는, 비디오 인코더(104)에 공급된다.
비디오 인코더(104)에서는, 제1 전송 화상 데이터 V1 및 제2 전송 화상 데이터 V2가 레이어 분리되어서 부호화되어, 각 레이어의 픽처의 부호화 화상을 갖는 비디오 스트림 VS가 생성된다. 이 경우, 제1 전송 화상 데이터 V1은 그대로 부호화되어서 제1 레이어의 부호화 화상 데이터로 된다. 또한, 이 경우, 제2 전송 화상 데이터 V2로부터 제1 전송 화상 데이터 VD1이 감산되어 얻어진 차분 화상 데이터 DV가 부호화되어서 제2 레이어의 부호화 화상 데이터로 된다.
여기서, 부호화 효율을 높이기 위해서, 차분 화상 데이터 DV를 얻을 때, 제1 전송 화상 데이터에 대하여, LDR OETF 커브와 HDR OETF 커브와의 관계로부터 구해진 레벨 조정 커브(맵핑 커브)에 기초하여 레벨 조정이 실시되고, 제1 전송 화상 데이터 V1의 값이 제2 전송 화상 데이터 V2의 값에 근접된다.
또한, 비디오 인코더(104)에서는, 각 계층의 픽처의 부호화 화상 데이터에, 픽처마다, 소속 계층을 식별하기 위한 계층 식별 정보가 부가된다. 또한, 비디오 인코더(104)에서는, 각 계층의 픽처의 부호화 화상 데이터에, 픽처마다, 레이어를 식별하기 위한 레이어 정보가 부가된다.
비디오 인코더(104)에서 생성된 비디오 스트림 VS는, 시스템 인코더(105)에 공급된다. 이 시스템 인코더(105)에서는, 비디오 스트림을 포함하는 MPEG2의 트랜스포트 스트림 TS가 생성된다. 이때, 시스템 인코더(105)에서는, 컨테이너(트랜스포트 스트림)의 레이어에, 각 계층의 픽처의 부호화 화상 데이터의 레이어를 식별하기 위한 레이어 정보가 삽입된다. 이 트랜스포트 스트림 TS는, 송신부(106)에 의해, 방송파 또는 네트의 패킷에 싣고, 수신 장치(200)에 송신된다.
[레벨 조정 특성 정보, 레이어 정보, TS 구성]
상술한 바와 같이, 비디오 스트림의 레이어에, 레벨 조정 특성 정보가 삽입된다. 예를 들어, 부호화 방식이 HEVC일 경우, 이 레벨 조정 특성 정보는, 액세스 유닛(AU)의 "SEIs"의 부분에, 레벨 어저스팅·SEI 메시지(Level_Adjusting SEI message)로서 삽입된다.
도 10은, 부호화 방식이 HEVC일 경우에 있어서의 GOP(Group Of Pictures)의 선두의 액세스 유닛을 도시하고 있다. HEVC의 부호화 방식의 경우, 화소 데이터가 부호화되어 있는 슬라이스(slices) 앞에 디코드용 SEI 메시지 군 「Prefix_SEIs」가 배치되고, 이 슬라이스(slices)의 뒤에 표시용 SEI 메시지 군 「Suffix_SEIs」가 배치된다. 레벨 어저스팅·SEI 메시지는, SEI 메시지 군 「Suffix_SEIs」로서 배치된다.
도 11의 (a)는, 「Level_Adjusting SEI message」의 구조예(Syntax)를 도시하고 있다. 「uuid_iso_iec_11578」은, "ISO/IEC 11578: 1996AnnexA."로 나타나는 UUID값을 가진다. 「user_data_payload_byte」의 필드에, 「Level_Adjusting_SEI()」이 삽입된다. 도 11의 (b)는, 「Level_Adjusting_SEI()」의 구조예(Syntax)를 나타내고 있고, 이 중에, 레벨 조정 특성 정보로서의 「Level_Adjusting_information_data()」가 삽입된다. 「userdata_id」는, 부호 없이 16비트로 나타나는 레벨 조정 특성 정보의 식별자이다. 「Level_Adjusting_SEI_length」의 8비트 필드는, 이 필드 이후의 「Level_Adjusting_information_data()」의 바이트 사이즈를 나타낸다.
도 12는, 「Level_Adjusting_information_data()」의 구조예(Syntax)를 도시하고 있다. 도 13은, 도 12에 도시하는 구조예에 있어서의 각 정보의 내용(Semantics)을 도시하고 있다. 「peak_brightness_level」의 8비트 필드는, 대상으로 하는 피크의 밝기 레벨을 나타낸다. 이 경우, 피크의 밝기 레벨은, peak_brightness_level * 100(cd/m**2)이 된다.
「Contrast_ratio」의 8비트 필드는, 0부터 peak_brightness_level까지의 다이내믹 레인지를 나타낸다. 이 경우, 흑색 레벨의 밝기는, peak_brightness_level *(1/(black_level * 100))이 된다. "1"은, peak_brightness_level의 1/100의 레벨인 것을 나타낸다. "4"는, peak_brightness_level의 1/400의 레벨인 것을 나타낸다. "16"은, peak_brightness_level의 1/1600의 레벨인 것을 나타낸다. "64"는, peak_brightness_level의 1/6400의 레벨인 것을 나타낸다. 또한 "128"은, peak_brightness_level의 1/12800의 레벨인 것을 나타낸다.
「coded_bit_extension_minus1」의 4비트 필드는, 전송하는 화소의 컴포넌트(component)당 비트(bit) 폭의 확장을 나타낸다. "0"은, 1비트 확장(8bit +1bit =9bits)을 나타낸다. "1"은, 2비트 확장(8bit +2bit =10bits)을 나타낸다. "2"는, 3비트 확장(8bit +3bit =11bits)을 나타낸다. "3"은, 4비트 확장(8bit +4bit =12bits)을 나타낸다. 「level_adjust [i]」의 16비트 필드는, 입력 i의 보정값을 부호 딸린 값으로 나타낸다.
또한, 상술한 바와 같이, 컨테이너(트랜스포트 스트림)의 레이어에, 각 계층의 픽처의 부호화 화상 데이터의 레이어를 식별하기 위한 레이어 정보가 삽입된다. 이 실시 형태에 있어서는, 예를 들어, PMT(Program Map Table)의 관리 하에, 레이어 정보를 포함하는 기술자인 레이어·히에라르키·디스크립터(Layer_hierarchy descriptor)가 삽입된다.
도 14는, 이 레이어·히에라르키·디스크립터의 구조예(Syntax)를 도시하고 있다. 도 15는, 도 14에 도시하는 구조예에 있어서의 각 정보의 내용(Semantics)을 도시하고 있다. 「Layer_hierarchy_tag」의 8비트 필드는, 디스크립터 타입을 나타내고, 여기에서는, 레이어·히에라르키·디스크립터인 것을 나타낸다. 「Layer_hierarchy_length」의 8비트 필드는, 디스크립터의 길이(사이즈)를 나타내고, 디스크립터의 길이로서 이후의 바이트수를 나타낸다.
「Layer_id_for _full_decoding」의 3비트 필드는, 대응하는 비디오 스트림을 풀로 디코딩할 경우의 최대 템포럴 ID(temporal_id)를 나타낸다. 「Layer_id_for _base_decoding」의 3비트 필드는, 대응하는 비디오 스트림의 베이스 레이어(제1 레이어) 부분을 디코딩할 경우의 최대 템포럴 ID(temporal_id)를 나타낸다. 「NAL_layer_signaling」의 1비트 필드는, NAL unit header에, nuh_layer_id에 의한 레이어 시그널링이 행해지는 것을 나타낸다.
도 16은, 트랜스포트 스트림 TS의 구성예를 도시하고 있다. 트랜스포트 스트림 TS에는, 비디오 엘리멘터리 스트림의 PES 패킷 「PID1: video PES1」이 포함되어 있다. 이 비디오 엘리멘터리 스트림에, 상술한 레벨 어저스팅·SEI 메시지(Level_Adjusting SEI message)가 삽입되어 있다. 또한, NAL 유닛의 헤더 부분에, 계층 식별자(temporal_id)를 의미하는 "nuh_temporal_id_plus1"이 배치되어 있음과 함께, 레이어 정보로서 레이어 식별자(Layer_id)가 배치되어 있다.
또한, 트랜스포트 스트림 TS에는, PSI(Program Specific Information)로서, PMT(Program Map Table)가 포함되어 있다. PSI는, 트랜스포트 스트림에 포함되는 각 엘리멘터리 스트림이 어느 프로그램에 속해 있는지를 기재한 정보이다. 또한, 트랜스포트 스트림 TS에는, 이벤트(프로그램) 단위의 관리를 행하는 SI(Serviced Information)로서의 EIT(Event Information Table)가 포함되어 있다.
PMT에는, 각 엘리멘터리 스트림에 관련된 정보를 갖는 엘리멘터리·루프가 존재한다. 이 구성예에서는, 비디오 엘리멘터리·루프(Video ES loop)가 존재한다. 이 비디오 엘리멘터리·루프에는, 상술한 비디오 엘리멘터리 스트림에 대응하여, 스트림 타입, 패킷 식별자(PID) 등의 정보가 배치됨과 함께, 그 비디오 엘리멘터리 스트림에 관련되는 정보를 기술하는 디스크립터도 배치된다. 이 PMT의 비디오 엘리멘터리·루프(Video ES loop)의 관리 하에, 상술한 레이어·히에라르키·디스크립터(Layer_hierarchy descriptor)가 배치된다.
「수신 장치의 구성」
도 17은, 수신 장치(200)의 구성예를 도시하고 있다. 수신 장치(200)는, 제어부(201)와, 수신부(202)와, 시스템 디코더(203)와, 비디오 디코더(204)와, 전환부(205)와, LDR 전광 변환부(206L)와, HDR 전광 변환부(206H)와, 표시부(표시 디바이스)(207)를 갖고 있다. 제어부(201)는, CPU(Central Processing Unit)를 구비하여 구성되고, 도시하지 않은 스토리지에 저장되어 있는 제어 프로그램에 기초하여, 수신 장치(200)의 각 부의 동작을 제어한다.
수신부(202)는, 송신 장치(100)로부터 방송파 또는 네트의 패킷에 실어서 보내져 오는 트랜스포트 스트림 TS를 수신한다. 시스템 디코더(203)는, 이 트랜스포트 스트림 TS로부터 비디오 스트림(엘리멘터리 스트림) VS를 추출한다. 또한, 시스템 디코더(203)는, 컨테이너(트랜스포트 스트림)의 레이어에 삽입되어 있는 여러 가지 정보를 추출하여, 제어부(201)에 보낸다. 이 정보에는, 상술한 레이어·히에라르키·디스크립터도 포함된다.
비디오 디코더(204)는, 시스템 디코더(203)에서 추출되는 비디오 스트림 VS에 대하여 복호화 처리 등을 행하고, 예를 들어, 표시부(207)의 표시 능력에 따라, 제1 전송 비디오 데이터 V1 또는 제2 전송 비디오 데이터 V2를 선택적으로 출력한다. 즉, 표시부(207)가 LDR 화상의 표시 능력을 갖는 경우, 비디오 디코더(204)는, 제1 전송 화상 데이터 V1을 출력한다. 한편, 표시부(207)가 HDR 화상의 표시 능력을 갖는 경우, 비디오 디코더(204)는, 제2 전송 화상 데이터 V2를 출력한다.
또한, 비디오 디코더(204)는, 비디오 스트림 VS에 삽입되어 있는 SEI 메시지를 추출하여, 제어부(201)에 보낸다. 이 SEI 메시지에는, 상술한 레벨 조정 특성 정보를 갖는 레벨 어저스팅·SEI 메시지도 포함된다.
도 18은, 비디오 디코더(204)의 구성예를 도시하고 있다. 비디오 디코더(204)는, 스트림 언패킹부(241)와, 엔트로피 복호화부(242)와, 역양자화/움직임 보상 복호화부(243)와, 엔트로피 복호화부(244)와, 역양자화/움직임 보상 복호화부(245)와, 레벨 조정부(246)와, 가산부(247)와, 전환부(248)를 갖고 있다.
스트림 언패킹부(241)는, 비디오 스트림 VS로부터, 제1 레이어의 부호화 화상 데이터 CV1과 제2 레이어의 부호화 화상 데이터 CV2를 나누어 취출한다. 이 경우, 스트림 언패킹부(241)는, 비디오 스트림의 레이어 또는 컨테이너의 레이어에 삽입되어 있는, 각 레이어의 픽처의 부호화 화상 데이터의 레이어 정보에 기초하여, 제1 레이어의 부호화 화상 데이터 CV1과 제2 레이어의 부호화 화상 데이터 CV2를 나눈다. 수신기가 LDR 표시를 행할 때는, 스트림 언패킹부(241)로부터는 CV1만을 엔트로피 복호화부(242)에 보내고, 한편, 수신기가 HDR 표시를 행할 때는, 스트림 언패킹부(241)로부터는 CV1을 엔트로피 복호화부(242)에 보냄과 함께, CV2를 엔트로피 복호화부(244)에 보낸다.
이 경우, 스트림 언패킹부(241)는, 레이어·히에라르키·디스크립터(도 14 참조)의 「NAL_layer_signaling」의 1비트 필드에 기초하여, "방법 A" 또는 "방법 B"를 선택하고, 제1 레이어의 부호화 화상 데이터 CV1과 제2 레이어의 부호화 화상 데이터 CV2를 나눈다.
예를 들어, 「NAL_layer_signaling」의 1비트 필드가 "1"이며 NAL unit header에 nuh_layer_id에 의한 레이어 시그널링이 행해지는 것을 나타낼 때는, "방법 A"를 채용한다. 이때, NAL 유닛의 해석(parsing)으로 취득되는 「nuh_layer_id」, 「nuh_temporal_id_plus1」은, 도 19의 "방법 A"측에 나타내는 상태로 되어 있다.
즉, 「nuh_temporal_id_plus1」이 0, 1, 2인 제1 레이어(베이스 레이어)의 각 픽처에 있어서, 「nuh_layer_id」는 1, 1, 1이 된다. 한편, 「nuh_temporal_id_plus1」이 3, 4, 5인 제2 레이어(인핸스 레이어)의 각 픽처에 있어서, 「nuh_layer_id」는 2, 2, 2가 된다. 따라서, 이 "방법 A"에서는, 「nuh_layer_id」의 값에 의해, 제1 레이어의 부호화 화상 데이터 CV1과 제2 레이어의 부호화 화상 데이터 CV2를 나눈다.
한편, 「NAL_layer_signaling」의 1비트 필드가 "0"이며 NAL unit header에 nuh_layer_id에 의한 레이어 시그널링이 행해지지 않는 것을 나타낼 때는, "방법 B"를 채용한다. 이때, NAL 유닛의 해석(parsing)으로 취득되는 「nuh_layer_id」, 「nuh_temporal_id_plus1」은, 도 19의 "방법 B"측에 나타내는 상태로 되어 있다.
즉, 「nuh_temporal_id_plus1」이 0, 1, 2인 제1 레이어(베이스 레이어)의 각 픽처에 있어서, 「nuh_layer_id」는 0, 0, 0이 된다. 한편, 「nuh_temporal_id_plus1」이 3, 4, 5인 제2 레이어(베이스 레이어)의 각 픽처에 있어서도, 「nuh_layer_id」는 0, 0, 0이 된다. 그로 인해, 「nuh_layer_id」의 값에 의해, 제1 레이어의 부호화 화상 데이터 CV1과 제2 레이어의 부호화 화상 데이터 CV2를 나눌 수 없다.
그러나, 레이어·히에라르키·디스크립터에는, 「Layer_id_for _full_decoding」, 「Layer_id_for _base_decoding」이 존재한다. 상술한 바와 같이, 「Layer_id_for _full_decoding」의 3비트 필드는, 대응하는 비디오 스트림을 풀로 디코딩할 경우의 최대 템포럴 ID(temporal_id)를 나타낸다. 또한, 「Layer_id_for _base_decoding」의 3비트 필드는, 대응하는 비디오 스트림의 베이스 레이어(제1 레이어) 부분을 디코딩할 경우의 최대 템포럴 ID(temporal_id)를 나타낸다. 따라서, 이 "방법 B"에서는, 「Layer_id_for _full_decoding」, 「Layer_id_for _base_decoding」의 값과, 「nuh_temporal_id_plus1」의 값에 의해, 제1 레이어의 부호화 화상 데이터 CV1과 제2 레이어의 부호화 화상 데이터 CV2를 나눈다.
또한, 도 18로 되돌아가서, 스트림 언패킹부(241)는, 비디오 스트림 VS에 삽입되어 있는 SEI 메시지를 추출하여, 제어부(201)에 보낸다. 이 SEI 메시지에는, 상술한 레벨 조정 특성 정보를 갖는 레벨 어저스팅·SEI 메시지도 포함되어 있다.
엔트로피 복호화부(242)는, 스트림 언패킹부(241)에서 취출되는 제1 레이어의 부호화 화상 데이터 CV1에 대하여, 엔트로피 복호화를 행하여 양자화 데이터를 얻는다. 역양자화/움직임 보상 변환 복호화부(243)는, 그 양자화 데이터에 역양자화를 실시하고, 또한 움직임 보상 변환 복호화를 행하여 주파수축 데이터로부터 시간축 데이터로 변환하여, 제1 전송 화상 데이터 V1을 얻는다.
엔트로피 복호화부(244)는, 스트림 언패킹부(241)에서 취출되는 제2 레이어의 부호화 화상 데이터 CV2에 대하여, 엔트로피 복호화를 행하여 양자화 데이터를 얻는다. 역양자화/움직임 보상 변환 복호화부(245)는, 그 양자화 데이터에 역양자화를 실시하고, 또한 움직임 보상 변환 복호화를 행하여 주파수축 데이터로부터 시간축 데이터로 변환하고, 차분 화상 데이터 DV를 얻는다.
레벨 조정부(246)는, 제1 전송 화상 데이터 V1에 레벨 조정을 실시한다. 이 경우, 레벨 조정부(246)는, 스트림 언패킹부(241)에서 추출된 레벨 어저스팅·SEI 메시지에 포함되어 있는 레벨 조정 특성 정보에 기초하여, 상술한 송신 장치(100)의 비디오 인코더(104)의 레벨 조정부(143)에 있어서와 마찬가지의 맵핑 커브(레벨 조정 커브)를 사용하여 보정을 가한다.
가산부(247)는, 차분 화상 데이터 DV에, 레벨 조정부(246)에서 레벨 조정된 후의 제1 전송 화상 데이터 V1을 가산하여, 제2 전송 화상 데이터 V2를 얻는다. 또한, 가산 시에는, 레이어 간의 예측 벡터를 이용한 예측·보상이 행해진다. 전환부(248)는, 제어부(201)의 제어 하에, 예를 들어, 표시부(표시 디바이스)(207)의 표시 능력에 따라, 제1 전송 화상 데이터 V1 또는 제2 전송 화상 데이터 V2를 선택적으로 출력한다. 즉, 표시부(207)가 LDR 화상의 표시 능력을 갖는 경우, 전환부(248)는 제1 전송 화상 데이터 V1을 출력한다. 한편, 표시부(207)가 HDR 화상의 표시 능력을 갖는 경우, 전환부(248)는 제2 전송 화상 데이터 V2를 출력한다.
도 17로 되돌아가서, 전환부(205)는, 비디오 디코더(204)의 출력 화상 데이터를, LDR 전광 변환부(206L) 또는 HDR 전광 변환부(206H)에, 선택적으로 보낸다. 이 경우, 전환부(205)는, 비디오 디코더(204)의 출력 화상 데이터가 제1 전송 화상 데이터 V1일 경우에는, 그 제1 전송 화상 데이터 V1을 LDR 전광 변환부(206L)에 보낸다. 한편, 전환부(205)는, 비디오 디코더(204)의 출력 화상 데이터가 제2 전송 화상 데이터 V2일 경우에는, 그 제2 전송 화상 데이터 V2를 HDR 전광 변환부(206H)에 보낸다.
LDR 전광 변환부(206L)는, 제1 전송 화상 데이터 V1에, 상술한 송신 장치(100)에 있어서의 LDR 광전 변환부(103L)에 있어서의 광전 변환 특성과는 역특성의 전광 변환을 실시하고, LDR 화상을 표시하기 위한 출력 화상 데이터를 얻는다. 또한, HDR 전광 변환부(206H)는, 제2 전송 화상 데이터 V2에, 상술한 송신 장치(100)에 있어서의 HDR 광전 변환부(103H)에 있어서의 광전 변환 특성과는 역특성의 전광 변환을 실시하여, HDR 화상을 표시하기 위한 출력 화상 데이터를 얻는다.
표시부(207)는, 예를 들어, LCD(Liquid Crystal Display), 유기 EL(Organic Electro-Luminescence) 패널 등으로 구성되어 있다. 표시부(207)는, LDR 화상의 표시 능력을 갖는 경우, LDR 전광 변환부(206L)에서 얻어지는 출력 화상 데이터에 의한 LDR 화상을 표시한다. 한편, 표시부(207)는, HDR 화상의 표시 능력을 갖는 경우, HDR 전광 변환부(206H)에서 얻어지는 출력 화상 데이터에 의한 HDR 화상을 표시한다. 또한, 이 표시부(207)는, 수신 장치(200)에 접속되는 외부 기기여도 된다.
도 17에 도시하는 수신 장치(200)의 동작을 간단하게 설명한다. 수신부(202)에서는, 송신 장치(100)로부터 방송파 또는 네트의 패킷에 실려 보내져 오는 트랜스포트 스트림 TS가 수신된다. 이 트랜스포트 스트림 TS는, 시스템 디코더(203)에 공급된다. 시스템 디코더(203)에서는, 이 트랜스포트 스트림 TS로부터 비디오 스트림(엘리멘터리 스트림) VS가 추출된다. 또한, 시스템 디코더(203)에서는, 컨테이너(트랜스포트 스트림)의 레이어에 삽입되어 있는 다양한 정보가 추출되어, 제어부(201)에 보내진다. 이 정보에는, 상술한 레이어·히에라르키·디스크립터도 포함된다.
시스템 디코더(203)에서 추출된 비디오 스트림 VS는, 비디오 디코더(204)에 공급된다. 이 비디오 스트림 VS에는, 제1 전송 화상 데이터 V1이 부호화되어 이루어지는 제1 레이어의 부호화 화상 데이터 CV1과, 제2 전송 화상 데이터 V2로부터 제1 전송 화상 데이터 V1을 감산하여 얻어진 차분 화상 데이터 DV가 부호화되어 이루어지는 제2 레이어의 부호화 화상 데이터 CV2가 포함되어 있다.
비디오 디코더(204)에서는, 비디오 스트림의 레이어 또는 컨테이너의 레이어에 삽입되어 있는, 각 레이어의 픽처의 부호화 화상 데이터의 레이어 정보에 기초하여, 비디오 스트림 VS로부터, 제1 레이어의 부호화 화상 데이터 CV1과 제2 레이어의 부호화 화상 데이터 CV2가 나뉘어 취출된다.
그리고, 비디오 디코더(204)에서는, 제1 레이어의 부호화 화상 데이터 CV1이 복호화되어서 제1 전송 비디오 데이터 V1이 얻어진다. 또한, 비디오 디코더(204)에서는, 제2 레이어의 부호화 화상 데이터 CV2가 복호화되어서 얻어진 차분 화상 데이터 DV에 제1 전송 화상 데이터 V1이 가산되어서 제2 전송 화상 데이터 V2가 얻어진다. 여기서, 차분 화상 데이터 DV에 가산되는 제1 전송 화상 데이터 V1에 대하여, 레벨 어저스팅·SEI 메시지에 포함되어 있는 레벨 조정 특성 정보에 기초하여, 레벨 조정이 실시된다.
비디오 디코더(204)의 출력 화상 데이터가 제1 전송 화상 데이터 V1일 때, 이 제1 전송 화상 데이터 V1은 전환부(205)를 통하여 LDR 전광 변환부(206L)에 공급된다. 이 LDR 전광 변환부(206L)에서는, 제1 전송 화상 데이터 V1에, 상술한 송신 장치(100)에 있어서의 광전 변환과는 역특성의 전광 변환이 실시되어, LDR 화상을 표시하기 위한 출력 화상 데이터가 얻어진다. 이 출력 화상 데이터는 표시부(207)에 보내지고, 이 표시부(207)에 LDR 화상이 표시된다.
한편, 비디오 디코더(204)의 출력 화상 데이터가 제2 전송 화상 데이터 V2일 때, 이 제2 전송 화상 데이터 V2는 전환부(205)를 통하여 HDR 전광 변환부(206H)에 공급된다. 이 HDR 전광 변환부(206H)에서는, 제2 전송 화상 데이터 V2에, 상술한 송신 장치(100)에 있어서의 광전 변환과는 역특성의 전광 변환이 실시되어서, HDR 화상을 표시하기 위한 출력 화상 데이터가 얻어진다. 이 출력 화상 데이터는 표시부(207)에 보내지고, 이 표시부(207)에, HDR 화상이 표시된다.
상술한 바와 같이, 도 1에 도시하는 송수신 시스템(10)에 있어서는, LDR 화상 데이터에 광전 변환을 실시하여 얻어진 제1 전송 비디오 데이터와 HDR 화상 데이터에 광전 변환을 실시하여 얻어진 제2 전송 비디오 데이터를 레이어 분리하여 부호화하고, 각 레이어의 픽처의 부호화 화상 데이터를 갖는 비디오 스트림을 포함하는 컨테이너를 송신하는 것이다. 따라서, HDR 화상 데이터 및 LDR 화상 데이터의 양쪽을 양호하게 송신하는 것이 가능하게 된다.
또한, 도 1에 도시하는 송수신 시스템(10)에 있어서는, 제2 전송 비디오 데이터로부터 제1 전송 화상 데이터를 감산하여 차분 화상 데이터를 얻고, 제1 전송 화상 데이터를 부호화하여 제1 레이어의 부호화 화상 데이터로 하고, 차분 화상 데이터를 부호화하여 제2 레이어의 부호화 화상 데이터로 하는 것이다. 그로 인해, 부호화 효율의 향상이 가능하게 된다.
또한, 도 1에 도시하는 송수신 시스템(10)에 있어서는, 제1 전송 화상 데이터의 각 픽처의 부호화 픽처 타입과, 차분 화상 데이터의 대응하는 각 픽처의 부호화 픽처 타입을 일치시키는 것이다. 그로 인해, 수신측에서는, 제1 레이어의 부호화 화상 데이터의 각 픽처의 복호화와 제2 레이어의 부호화 화상 데이터의 대응하는 각 픽처의 복호화를 동일한 타이밍에 진행시키는 것이 가능하게 되고, 제2 전송 화상 데이터를 얻기 위한 디코드 지연을 작게 억제하는 것이 가능하게 된다.
또한, 도 1에 도시하는 송수신 시스템(10)에 있어서는, 각 레이어의 픽처의 부호화 화상 데이터의 레이어 정보를 비디오 스트림의 레이어 또는 컨테이너의 레이어에 삽입하여 송신하는 것이다. 그로 인해, 수신측에서는, 비디오 스트림으로부터 각 레이어의 픽처의 부호화 화상 데이터를 취출하는 것이 용이하게 된다.
또한, 도 1에 도시하는 송수신 시스템(10)에 있어서는, 차분 화상 데이터를 얻을 때, 제1 전송 화상 데이터에 레벨 조정을 실시하여, 제2 전송 화상 데이터에 근접시키는 것이다. 그로 인해, 차분 화상 데이터의 값을 작게 할 수 있고, 부호화 효율을 보다 높이는 것이 가능하게 된다.
또한, 도 1에 도시하는 송수신 시스템(10)에 있어서는, 비디오 스트림의 레이어에, 레벨 조정의 특성 정보를 삽입하여 송신하는 것이다. 그로 인해, 수신측에서는, 이 레벨 조정의 특성 정보에 기초하여 제1 전송 화상 데이터의 레벨 조정을 행한 후에 차분 화상 데이터에 가산함으로써, 제2 전송 화상 데이터를 양호하게 얻는 것이 가능하게 된다.
<2. 변형예>
또한, 상술 실시 형태에 있어서는, 제2 전송 화상 데이터 V2로부터 레벨 조정된 제1 전송 화상 데이터 V1을 감산하여 얻어진 차분 화상 데이터 DV를 부호화하여 제2 레이어의 부호화 화상 데이터 CV2로 하는 예를 나타냈다. 그러나, (1) 레벨 조정된 제2 전송 화상 데이터 V2로부터 제1 전송 화상 데이터 V1을 감산하여 얻어진 차분 화상 데이터 DV를 부호화하여 제2 레이어의 부호화 화상 데이터 CV2로 하는 것도 생각할 수 있다. 또한, (2) 제2 전송 화상 데이터 V2 그 자체를 부호화하여 제2 레이어의 부호화 화상 데이터 CV2로 하는 것도 생각할 수 있다.
도 20은, 상술한 (1), (2)에 대응한 비디오 인코더(104A)의 구성예를 도시하고 있다. 이 도 20에 있어서, 도 7과 대응하는 부분에는 동일 부호를 붙이고, 적절히, 그 상세 설명을 생략한다. 레벨 조정부(143)는, 제2 전송 화상 데이터 V2에 레벨 조정을 실시하고, 제2 전송 화상 데이터 V2의 값을 제1 전송 화상 데이터 V1의 값에 근접시킨다. 감산부(144)는, 레벨 조정된 제2 전송 화상 데이터 V2로부터 제1 전송 화상 데이터 V1을 감산하여 차분 화상 데이터 DV를 얻는다. 또한, 감산 시에는, 레이어 간의 예측 벡터를 이용한 예측·보상이 행해진다.
전환부(148)는, 제2 화상 데이터 V2 또는 차분 화상 데이터 DV를 선택적으로, 움직임 예측 변환 부호화/양자화부(145)에 보낸다. 여기서, 차분 화상 데이터 DV가 선택된 경우, 제2 레이어의 부호화 화상 데이터 CV2는, 레벨 조정된 제2 전송 화상 데이터 V2로부터 제1 전송 화상 데이터 V1을 감산하여 얻어진 차분 화상 데이터 DV를 부호한 것이 된다. 한편, 제2 화상 데이터 V2가 선택된 경우, 제2 레이어의 부호화 화상 데이터 CV2는, 제2 전송 화상 데이터 V2 그 자체를 부호화한 것이 된다.
도 21은, 도 20의 비디오 인코더(104A)에 대응한 비디오 디코더(204A)의 구성예를 도시하고 있다. 이 도 21에 있어서, 도 18과 대응하는 부분에는 동일 부호를 붙이고, 적절히 그 상세 설명을 생략한다. 역양자화/움직임 보상 변환 복호화부(245)는, 송신측으로부터 보내져 오는 제2 레이어의 부호화 화상 데이터 CV2가 차분 화상 데이터 DV를 부호화한 것인 경우, 그 차분 화상 데이터 DV를 출력한다.
이 경우, 가산부(247)는, 그 차분 화상 데이터 DV와 제1 전송 화상 데이터 V1을 가산한다. 또한, 가산 시에는, 레이어 간의 예측 벡터를 이용한 예측·보상이 행해진다. 그리고, 레벨 조정부(246)는, 그 가산 데이터에, 상술한 비디오 인코더(204A)에 있어서의 레벨 조정부(143)와는 반대의 레벨 조정을 실시하여, 제2 전송 화상 데이터 V2를 얻는다. 그리고, 이 경우, 전환부(249)는, 레벨 조정부(246)로부터 얻어지는 제2 전송 화상 데이터 V2를 출력으로 하도록 전환한다.
한편, 역양자화/움직임 보상 변환 복호화부(245)는, 송신측으로부터 보내져 오는 제2 레이어의 부호화 화상 데이터 CV2가 제2 전송 화상 데이터 V2를 부호화한 것인 경우, 그 제2 전송 화상 데이터 V2를 출력한다. 그리고, 이 경우, 전환부(249)는, 그 제2 전송 화상 데이터 V2를 출력으로 하도록 전환한다.
또한, 상술 실시 형태에 있어서는, 제1 전송 화상 데이터 V1의 각 픽처의 부호화 픽처 타입과 차분 화상 데이터 DV의 대응하는 각 픽처의 부호화 픽처 타입을 일치시키는 예를 나타냈다(도 5 참조). 그러나, 본 기술은, 부호화 픽처 타입을 일치시키지 않는 경우에도 적용할 수 있다.
도 22는, 그 경우에 있어서의 계층 부호화의 일례를 도시하고 있다. 이 예는, 0부터 3까지의 4 계층으로 분류되어, 각 계층의 픽처의 화상 데이터에 대하여 부호화가 실시된 예이다. 종축은 계층을 나타내고 있다. 제1 전송 화상 데이터 V1의 각 픽처는 계층 0부터 2의 하위 계층을 구성하고, 차분 화상 데이터 DV의 각 픽처는 계층 3의 상위 계층을 구성한다.
계층 0부터 3의 픽처의 부호화 화상 데이터를 구성하는 NAL 유닛(nal_unit)의 헤더 부분에 배치되는 temporal_id(계층 식별 정보)로서, 각각, 0부터 3이 설정된다. 횡축은 표시순(POC: picture order of composition)을 나타내고, 좌측은 표시 시각이 앞이고, 우측은 표시 시각이 뒤가 된다. 직사각형 프레임 각각이 픽처를 나타내고, 숫자는, 부호화되어 있는 픽처의 순서, 즉 인코드순(수신측에서는 디코드순)을 나타내고 있다.
또한, 상술한 실시 형태에 있어서는, 트랜스포트 스트림 TS에, 제1 레이어(베이스 레이어) 및 제2 레이어(인핸스 레이어)의 각 픽처의 부호화 화상 데이터를 갖는 하나의 비디오 스트림 VS가 포함되는 예를 나타냈다. 그러나, 트랜스포트 스트림 TS에, 제1 레이어(베이스 레이어)의 각 픽처의 부호화 화상 데이터를 갖는 비디오 스트림과, 제2 레이어(인핸스 레이어)의 각 픽처의 부호화 화상 데이터를 갖는 비디오 스트림의 2개가 포함되도록 해도 된다.
또한, 본 기술은, 이하와 같은 구성을 취할 수도 있다.
(1) 종래의 LDR 화상의 백색 피크의 밝기에 대하여 0％ 내지 100％의 콘트라스트비를 갖는 제1 입력 화상 데이터에 광전 변환을 실시하여 얻어진 제1 전송 화상 데이터 및 종래의 백색 피크의 밝기를 초과하는 0％ 내지 100％*N(N은 1보다 큰 수)의 콘트라스트비를 갖는 제2 입력 화상 데이터에 광전 변환을 실시하여 얻어진 제2 전송 화상 데이터를 레이어 분리하여 부호화하고, 각 레이어의 픽처의 부호화 화상 데이터를 갖는 비디오 스트림을 생성하는 화상 부호화부와,
상기 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 송신부를 구비하는
송신 장치.
(2) 상기 화상 부호화부는,
상기 제2 전송 화상 데이터와 상기 제1 전송 화상 데이터의 사이에서 감산 처리를 행하여 차분 화상 데이터를 얻고,
상기 제1 전송 화상 데이터를 부호화하여 제1 레이어의 부호화 화상 데이터로 하고, 상기 차분 화상 데이터를 부호화하여 제2 레이어의 부호화 화상 데이터로 하는
상기 (1)에 기재된 송신 장치.
(3) 상기 화상 부호화부는,
상기 감산 처리를 행하여 상기 차분 화상 데이터를 얻을 때, 상기 제1 전송 화상 데이터 또는 상기 제2 전송 화상 데이터에 레벨 조정을 실시하는
상기 (2)에 기재된 송신 장치.
(4) 상기 비디오 스트림의 레이어에, 상기 레벨 조정의 특성 정보, 및/또는, 밝기의 레벨 정보와 콘트라스트 정보를 삽입하는 정보 삽입부를 더 구비하는
상기 (3)에 기재된 송신 장치.
(5) 상기 화상 부호화부는,
상기 제1 전송 화상 데이터의 각 픽처의 부호화 픽처 타입과, 상기 차분 화상 데이터의 대응하는 각 픽처의 부호화 픽처 타입을 일치시키는
상기 (2) 내지 (4) 중 어느 하나에 기재된 송신 장치.
(6) 상기 화상 부호화부는,
상기 제1 전송 화상 데이터를 부호화하여 제1 레이어의 부호화 화상 데이터로 하고, 상기 제2 전송 화상 데이터를 부호화하여 제2 레이어의 부호화 화상 데이터로 하는
상기 (1)에 기재된 송신 장치.
(7) 상기 각 레이어의 픽처의 부호화 화상 데이터의 레이어 정보를 상기 비디오 스트림의 레이어 또는 상기 컨테이너의 레이어에 삽입하는 레이어 정보 삽입부를 더 구비하는
상기 (1) 내지 (6) 중 어느 하나에 기재된 송신 장치.
(8) 상기 레이어 정보 삽입부는,
상기 레이어 정보를 상기 비디오 스트림의 레이어에 삽입할 경우, 당해 레이어 정보를 NAL 유닛의 헤더에 삽입하는
상기 (7)에 기재된 송신 장치.
(9) 상기 컨테이너의 레이어에 삽입되는 레이어 정보는, 각 레이어에 대응하는 템포럴 ID의 값을 나타내는
상기 (7)에 기재된 송신 장치.
(10) 종래의 LDR 화상의 백색 피크의 밝기에 대하여 0％ 내지 100％의 콘트라스트비를 갖는 제1 입력 화상 데이터에 광전 변환을 실시하여 얻어진 제1 전송 화상 데이터 및 종래의 백색 피크의 밝기를 초과하는 0％ 내지 100％*N(N은 1보다 큰 수)의 콘트라스트비를 갖는 제2 입력 화상 데이터에 광전 변환을 실시하여 얻어진 제2 전송 화상 데이터를 레이어 분리하여 부호화하고, 각 레이어의 픽처의 부호화 화상 데이터를 갖는 비디오 스트림을 생성하는 화상 부호화 스텝과,
송신부에 의해, 상기 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 송신 스텝을 갖는
송신 방법.
(11) 제1 전송 화상 데이터 및 제2 전송 화상 데이터가 레이어 분리되고 부호화되어 이루어지는 각 레이어의 픽처의 부호화 화상 데이터를 갖는 비디오 스트림을 포함하는 컨테이너를 수신하는 수신부를 구비하고,
상기 제1 전송 화상 데이터는, 종래의 LDR 화상의 백색 피크의 밝기에 대하여 0％ 내지 100％의 콘트라스트비를 갖는 제1 입력 화상 데이터에 광전 변환을 실시하여 얻어진 것이며,
상기 제2 전송 화상 데이터는, 종래의 백색 피크의 밝기를 초과하는 0％ 내지 100％*N(N은 1보다 큰 수)의 콘트라스트비를 갖는 제2 입력 화상 데이터에 광전 변환을 실시하여 얻어진 것이며,
상기 수신부에서 수신된 컨테이너에 포함되는 비디오 스트림을 처리하는 처리부를 더 구비하는
수신 장치.
(12) 상기 처리부는,
상기 제1 전송 화상 데이터 또는 상기 제2 전송 화상 데이터를 선택적으로 출력하는
상기 (11)에 기재된 수신 장치.
(13) 상기 처리부는,
표시부의 표시 능력 정보에 기초하여, 상기 제1 전송 화상 데이터 또는 상기 제2 전송 화상 데이터를 출력하는
상기 (12)에 기재된 수신 장치.
(14) 상기 처리부로부터 출력되는 상기 제1 전송 화상 데이터 또는 상기 제2 전송 화상 데이터에 대응하는 전광 변환을 실시하는 전광 변환부를 더 구비하는
상기 (12) 또는 (13)에 기재된 수신 장치.
(15) 상기 비디오 스트림은, 상기 제1 전송 화상 데이터가 부호화되어 이루어지는 제1 레이어의 부호화 화상 데이터와, 상기 제2 전송 화상 데이터와 상기 제1 전송 화상 데이터의 사이에서 감산 처리를 행하여 얻어진 차분 화상 데이터가 부호화되어 이루어지는 제2 레이어의 부호화 화상 데이터를 갖고,
상기 처리부는,
상기 제1 레이어의 부호화 화상 데이터를 복호화하여 상기 제1 전송 비디오 데이터를 얻고,
상기 제2 레이어의 부호화 화상 데이터를 복호화하여 얻어진 차분 화상 데이터에 상기 제1 전송 화상 데이터를 가산하여 상기 제2 전송 화상 데이터를 얻는
상기 (11) 내지 (14) 중 어느 하나에 기재된 수신 장치.
(16) 상기 처리부는,
상기 제2 전송 화상 데이터를 얻을 때, 상기 제1 전송 화상 데이터 또는 가산 화상 데이터에 레벨 조정을 실시하는
상기 (15)에 기재된 수신 장치.
(17) 상기 비디오 스트림의 레이어에, 레벨 조정의 특성 정보가 삽입되어 있고,
상기 처리부는,
상기 레벨 조정의 특성 정보에 기초하여, 상기 제1 전송 화상 데이터 또는 가산 화상 데이터에 레벨 조정을 실시하는
상기 (16)에 기재된 수신 장치.
(18) 상기 비디오 스트림의 레이어 또는 상기 컨테이너의 레이어에, 상기 각 레이어의 픽처의 부호화 화상 데이터의 레이어 정보가 삽입되어 있고,
상기 처리부는,
상기 레이어 정보에 기초하여, 상기 비디오 스트림으로부터, 상기 제1 레이어의 부호화 화상 데이터 및 상기 제2 레이어의 부호화 화상 데이터를 취출하는,
상기 (15) 내지 (17) 중 어느 하나에 기재된 수신 장치.
(19) 수신부에 의해, 제1 전송 화상 데이터 및 제2 전송 화상 데이터가 레이어 분리되고 부호화되어 이루어지는 각 레이어의 부호화 화상 데이터를 갖는 비디오 스트림을 포함하는 컨테이너를 수신하는 수신 스텝을 갖고,
상기 제1 전송 화상 데이터는, 종래의 LDR 화상의 백색 피크의 밝기에 대하여 0％ 내지 100％의 콘트라스트비를 갖는 제1 입력 화상 데이터에 광전 변환을 실시하여 얻어진 것이고,
상기 제2 전송 화상 데이터는, 종래의 백색 피크의 밝기를 초과하는 0％ 내지 100％*N(N은 1보다 큰 수)의 콘트라스트비를 갖는 제2 입력 화상 데이터에 광전 변환을 실시하여 얻어진 것이며,
상기 수신 스텝에서 수신된 컨테이너에 포함되는 비디오 스트림을 처리하는 처리 스텝을 더 갖는
수신 방법.
본 기술의 주된 특징은, LDR 화상 데이터에 광전 변환을 실시하여 얻어진 제1 전송 화상 데이터와 HDR 화상 데이터에 광전 변환을 실시하여 얻어진 제2 전송 화상 데이터를 레이어 분리하여 부호화하고, 각 레이어의 픽처의 부호화 화상 데이터를 갖는 비디오 스트림을 포함하는 컨테이너를 송신함으로써, HDR 화상 데이터 및 LDR 화상 데이터의 양쪽을 양호하게 전송 가능하게 한 것이다(도 5 참조).
10: 송수신 시스템
100: 송신 장치
101: 제어부
102L: LDR 카메라
102H: HDR 카메라
103L: LDR 광전 변환부
103H: HDR 광전 변환부
104, 104A: 비디오 인코더
105: 시스템 인코더
106: 송신부
141: 움직임 예측 변환 부호화/양자화부
142: 엔트로피 부호화부
143: 레벨 조정부
144: 감산부
145: 움직임 예측 변환 부호화/양자화부
146: 엔트로피 부호화부
147: 스트림 패킹부
148: 전환부
200: 수신 장치
201: 제어부
202: 수신부
203: 시스템 디코더
204, 204A: 비디오 디코더
205: 전환부
206L: LDR 전광 변환부
206H: HDR 전광 변환부
207: 표시부
241: 스트림 언패킹부
242: 엔트로피 복호화부
243: 역양자화/움직임 보상 변환 복호화부
244: 엔트로피 복호화부
245: 역양자화/움직임 보상 변환 복호화부
246: 레벨 조정부
247: 가산부
248, 249: 전환부

Claims (19)

  1. 제1 다이내믹 레인지의 제1 화상 데이터에 상기 제1 다이내믹 레인지용의 광전 변환 특성을 적용하여 제1 전송용 화상 데이터를 얻고, 상기 제1 다이내믹 레인지보다 넓은 제2 다이내믹 레인지의 제2 화상 데이터에 상기 제2 다이내믹 레인지용의 광전 변환 특성을 적용하여 제2 전송용 화상 데이터를 얻고, 상기 제1 전송용 화상 데이터를 부호화하여 제1 레이어의 부호화 화상 데이터를 얻고, 상기 제2 전송용 화상 데이터로부터 상기 제1 전송용 화상 데이터를 감산하여 얻어진 차분 화상 데이터를 부호화하여 제2 레이어의 부호화 화상 데이터를 얻고, 상기 제1 레이어의 부호화 화상 데이터 및 상기 제2 레이어의 부호화 화상 데이터를 갖는 비디오 스트림을 생성하는 화상 부호화부와,
    상기 비디오 스트림을 포함하는 컨테이너를 송신하는 송신부와,
    상기 비디오 스트림에 포함되는 각 픽처의 부호화 화상 데이터가 각각 상기 제1 레이어에 속하는지 상기 제2 레이어에 속하는지를 식별하기 위한 레이어 정보를 상기 비디오 스트림의 레이어 또는 상기 컨테이너의 레이어에 삽입하는 레이어 정보 삽입부를 구비하고,
    상기 화상 부호화부는,
    상기 감산을 행하여 상기 차분 화상 데이터를 얻을 때, 상기 제1 전송용 화상 데이터의 값이 상기 제2 전송용 화상 데이터의 값에 가까워지도록, 상기 제1 전송용 화상 데이터에 레벨 조정을 하는, 송신 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 비디오 스트림의 레이어에, 상기 레벨 조정의 특성 정보, 및/또는, 밝기의 레벨 정보와 콘트라스트 정보를 삽입하는 정보 삽입부를 더 구비하는 송신 장치.
  5. 제1항에 있어서,
    상기 화상 부호화부는,
    상기 제1 전송용 화상 데이터의 각 픽처의 부호화 픽처 타입과, 상기 차분 화상 데이터의 대응하는 각 픽처의 부호화 픽처 타입을 일치시키는 송신 장치.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 레이어 정보 삽입부는,
    상기 레이어 정보를 상기 비디오 스트림의 레이어에 삽입할 경우, 당해 레이어 정보를 NAL 유닛의 헤더에 삽입하는 송신 장치.
  9. 제1항에 있어서,
    상기 컨테이너의 레이어에 삽입되는 레이어 정보는, 상기 제1 레이어 및 상기 제2 레이어 각각에 대응하는 템포럴 ID의 값을 나타내는 송신 장치.
  10. 제1 다이내믹 레인지의 제1 화상 데이터에 상기 제1 다이내믹 레인지용의 광전 변환 특성을 적용하여 제1 전송용 화상 데이터를 얻고, 상기 제1 다이내믹 레인지보다 넓은 제2 다이내믹 레인지의 제2 화상 데이터에 상기 제2 다이내믹 레인지용의 광전 변환 특성을 적용하여 제2 전송용 화상 데이터를 얻고, 상기 제1 전송용 화상 데이터를 부호화하여 제1 레이어의 부호화 화상 데이터를 얻고, 상기 제2 전송용 화상 데이터로부터 상기 제1 전송용 화상 데이터를 감산하여 얻어진 차분 화상 데이터를 부호화하여 제2 레이어의 부호화 화상 데이터를 얻고, 상기 제1 레이어의 부호화 화상 데이터 및 상기 제2 레이어의 부호화 화상 데이터를 갖는 비디오 스트림을 생성하는 화상 부호화 스텝과,
    상기 비디오 스트림을 포함하는 컨테이너를 송신하는 송신 스텝과,
    상기 비디오 스트림에 포함되는 각 픽처의 부호화 화상 데이터가 각각 상기 제1 레이어에 속하는지 상기 제2 레이어에 속하는지를 식별하기 위한 레이어 정보를 상기 비디오 스트림의 레이어 또는 상기 컨테이너의 레이어에 삽입하는 레이어 정보 삽입 스텝을 갖고,
    상기 화상 부호화 스텝은,
    상기 감산을 행하여 상기 차분 화상 데이터를 얻을 때, 상기 제1 전송용 화상 데이터의 값이 상기 제2 전송용 화상 데이터의 값에 가까워지도록, 상기 제1 전송용 화상 데이터에 레벨 조정을 하는, 송신 방법.
  11. 제1 전송용 화상 데이터를 부호화하여 얻어진 제1 레이어의 부호화 화상 데이터, 및 제2 전송용 화상 데이터로부터 상기 제1 전송용 화상 데이터를 감산하여 얻어진 차분 화상 데이터를 부호화하여 얻어진 제2 레이어의 부호화 화상 데이터를 갖는 비디오 스트림을 포함하는 컨테이너를 수신하는 수신부를 구비하고,
    상기 제1 전송용 화상 데이터는, 제1 다이내믹 레인지의 제1 화상 데이터에 상기 제1 다이내믹 레인지용의 광전 변환 특성을 적용하여 얻어진 것이고,
    상기 제2 전송용 화상 데이터는, 상기 제1 다이내믹 레인지보다 넓은 제2 다이내믹 레인지의 제2 화상 데이터에 상기 제2 다이내믹 레인지용의 광전 변환 특성을 적용하여 얻어진 것이며,
    상기 비디오 스트림의 레이어 또는 상기 컨테이너의 레이어에, 상기 비디오 스트림에 포함되는 각 픽처의 부호화 화상 데이터가 각각 상기 제1 레이어에 속하는지 상기 제2 레이어에 속하는지를 식별하기 위한 레이어 정보가 삽입되어 있고,
    상기 감산을 행하여 상기 차분 화상 데이터를 얻을 때, 상기 제1 전송용 화상 데이터의 값이 상기 제2 전송용 화상 데이터의 값에 가까워지도록, 상기 제1 전송용 화상 데이터에 레벨 조정이 되어 있으며,
    상기 레이어 정보에 기초하여, 상기 비디오 스트림으로부터, 상기 제1 레이어의 부호화 화상 데이터, 또는 상기 제1 레이어의 부호화 화상 데이터 및 상기 제2 레이어의 부호화 화상 데이터를 선택적으로 취출하여 처리를 행하여 상기 제1 전송용 화상 데이터 또는 상기 제2 전송용 화상 데이터를 얻는 처리부를 더 구비하고,
    상기 처리부는,
    상기 제1 레이어의 부호화 화상 데이터를 복호화하여 상기 제1 전송용 화상 데이터를 얻고, 상기 제2 레이어의 부호화 화상 데이터를 복호화하여 얻어진 차분 화상 데이터에 상기 제1 전송용 화상 데이터를 가산하여 상기 제2 전송용 화상 데이터를 얻고,
    상기 제2 전송용 화상 데이터를 얻을 때, 상기 차분 화상 데이터에 가산되는 상기 제1 전송용 화상 데이터에 상기 레벨 조정에 대응한 레벨 조정을 하는 수신 장치.
  12. 삭제
  13. 제11항에 있어서,
    상기 처리부는,
    표시부의 표시 능력 정보에 기초하여, 상기 제1 전송용 화상 데이터 또는 상기 제2 전송용 화상 데이터를 얻는 수신 장치.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 제11항에 있어서,
    상기 비디오 스트림의 레이어에, 레벨 조정의 특성 정보가 삽입되어 있으며,
    상기 처리부는,
    상기 레벨 조정의 특성 정보에 기초하여, 상기 제1 전송용 화상 데이터에 레벨 조정을 하는, 수신 장치.
  18. 삭제
  19. 제1 전송용 화상 데이터를 부호화하여 얻어진 제1 레이어의 부호화 화상 데이터, 및 제2 전송용 화상 데이터로부터 상기 제1 전송용 화상 데이터를 감산하여 얻어진 차분 화상 데이터를 부호화하여 얻어진 제2 레이어의 부호화 화상 데이터를 갖는 비디오 스트림을 포함하는 컨테이너를 수신하는 수신 스텝을 갖고,
    상기 제1 전송용 화상 데이터는, 제1 다이내믹 레인지의 제1 화상 데이터에 상기 제1 다이내믹 레인지용의 광전 변환 특성을 적용하여 얻어진 것이고,
    상기 제2 전송용 화상 데이터는, 상기 제1 다이내믹 레인지보다 넓은 제2 다이내믹 레인지의 제2 화상 데이터에 상기 제2 다이내믹 레인지용의 광전 변환 특성을 적용하여 얻어진 것이며,
    상기 비디오 스트림의 레이어 또는 상기 컨테이너의 레이어에, 상기 비디오 스트림에 포함되는 각 픽처의 부호화 화상 데이터가 각각 상기 제1 레이어에 속하는지 상기 제2 레이어에 속하는지를 식별하기 위한 레이어 정보가 삽입되어 있고,
    상기 감산을 행하여 상기 차분 화상 데이터를 얻을 때, 상기 제1 전송용 화상 데이터의 값이 상기 제2 전송용 화상 데이터의 값에 가까워지도록, 상기 제1 전송용 화상 데이터에 레벨 조정이 되어 있으며,
    상기 레이어 정보에 기초하여, 상기 비디오 스트림으로부터, 상기 제1 레이어의 부호화 화상 데이터, 또는 상기 제1 레이어의 부호화 화상 데이터 및 상기 제2 레이어의 부호화 화상 데이터를 선택적으로 취출하여 처리를 행하여 상기 제1 전송용 화상 데이터 또는 상기 제2 전송용 화상 데이터를 얻는 처리 스텝을 더 갖고,
    상기 처리 스텝은,
    상기 제1 레이어의 부호화 화상 데이터를 복호화하여 상기 제1 전송용 화상 데이터를 얻고, 상기 제2 레이어의 부호화 화상 데이터를 복호화하여 얻어진 차분 화상 데이터에 상기 제1 전송용 화상 데이터를 가산하여 상기 제2 전송용 화상 데이터를 얻고,
    상기 제2 전송용 화상 데이터를 얻을 때, 상기 차분 화상 데이터에 가산되는 상기 제1 전송용 화상 데이터에 상기 레벨 조정에 대응한 레벨 조정을 하는 수신 방법.
KR1020167021842A 2014-02-21 2015-02-16 송신 장치, 송신 방법, 수신 장치 및 수신 방법 KR102344096B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2014-032354 2014-02-21
JP2014032354 2014-02-21
PCT/JP2015/054074 WO2015125719A1 (ja) 2014-02-21 2015-02-16 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
KR20160124761A KR20160124761A (ko) 2016-10-28
KR102344096B1 true KR102344096B1 (ko) 2021-12-29

Family

ID=53878223

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167021842A KR102344096B1 (ko) 2014-02-21 2015-02-16 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Country Status (9)

Country Link
US (3) US10674181B2 (ko)
EP (1) EP3110154B1 (ko)
JP (1) JP6583260B2 (ko)
KR (1) KR102344096B1 (ko)
CN (1) CN106031174B (ko)
CA (1) CA2939065C (ko)
MX (1) MX366333B (ko)
RU (1) RU2683628C1 (ko)
WO (1) WO2015125719A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102360613B1 (ko) 2014-11-07 2022-02-09 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP6519441B2 (ja) * 2015-10-22 2019-05-29 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6132006B1 (ja) * 2015-12-02 2017-05-24 日本電気株式会社 映像符号化装置、映像システム、映像符号化方法、及び映像符号化プログラム
JP6710970B2 (ja) 2015-12-28 2020-06-17 ソニー株式会社 送信装置および送信方法
JP6241558B2 (ja) * 2017-02-03 2017-12-06 日本電気株式会社 映像符号化装置、映像システム、映像符号化方法、及び映像符号化プログラム
JP6241565B2 (ja) * 2017-08-07 2017-12-06 日本電気株式会社 映像符号化装置、映像システム、映像符号化方法、及び映像符号化プログラム
US10735683B1 (en) * 2019-04-09 2020-08-04 Obsidian Sensors, Inc. Systems and methods for low-power image digitization
JP7092162B2 (ja) * 2020-05-22 2022-06-28 ソニーグループ株式会社 受信装置および受信方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007243942A (ja) * 2006-02-24 2007-09-20 Sharp Corp 画像データの符号化方法、復号化方法、およびコーデックシステム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
EP1810249A4 (en) * 2004-10-15 2014-09-10 Seadragon Software Inc SYSTEM AND METHOD FOR COMMUNICATION MANAGEMENT AND / OR STORAGE OF IMAGE DATA
US8050512B2 (en) * 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
JP4321496B2 (ja) 2005-06-16 2009-08-26 ソニー株式会社 画像データ処理装置、画像データ処理方法およびプログラム
CN101507284B (zh) 2006-07-17 2012-06-27 汤姆森许可贸易公司 用于对视频颜色增强数据进行编码的方法和设备，以及用于对视频颜色增强数据进行解码的方法和设备
BRPI1009443B1 (pt) * 2009-03-13 2021-08-24 Dolby Laboratories Licensing Corporation Método de geração de parâmetros de mapeamento de tons inverso, método de compactação de dados de vídeo e método para geração de um fluxo de bits de saída a partir de um fluxo de bits de entrada
EP2636222A1 (en) * 2010-11-04 2013-09-11 Koninklijke Philips Electronics N.V. Generation of depth indication maps
JP5992997B2 (ja) 2011-04-28 2016-09-14 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 映像符号化信号を発生する方法及び装置
US9357197B2 (en) 2012-05-24 2016-05-31 Dolby Laboratories Licensing Corporation Multi-layer backwards-compatible video delivery for enhanced dynamic range and enhanced resolution formats
IN2014MN02408A (ko) * 2012-06-28 2015-08-21 Sony Corp
AR091515A1 (es) * 2012-06-29 2015-02-11 Sony Corp Dispositivo y metodo para el procesamiento de imagenes
US9609329B2 (en) * 2013-06-25 2017-03-28 Samsung Electronics Co., Ltd Dynamic voltage/frequency scaling for video processing using embedded complexity metrics

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007243942A (ja) * 2006-02-24 2007-09-20 Sharp Corp 画像データの符号化方法、復号化方法、およびコーデックシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
High efficiency video coding. ITU-T Recommendation H.265. Apr. 2013, pp.1-300*

Also Published As

Publication number Publication date
US10735771B2 (en) 2020-08-04
JP6583260B2 (ja) 2019-10-02
US11330303B2 (en) 2022-05-10
CN106031174A (zh) 2016-10-12
US20190335206A1 (en) 2019-10-31
EP3110154A1 (en) 2016-12-28
KR20160124761A (ko) 2016-10-28
EP3110154B1 (en) 2021-08-25
EP3110154A4 (en) 2017-10-11
US20200322641A1 (en) 2020-10-08
CA2939065A1 (en) 2015-08-27
BR112016018509A2 (pt) 2018-05-08
MX366333B (es) 2019-07-05
US20160345023A1 (en) 2016-11-24
CN106031174B (zh) 2019-10-29
WO2015125719A1 (ja) 2015-08-27
CA2939065C (en) 2023-02-28
MX2016010503A (es) 2016-11-07
JPWO2015125719A1 (ja) 2017-03-30
RU2683628C1 (ru) 2019-03-29
US10674181B2 (en) 2020-06-02

Similar Documents

Publication Publication Date Title
KR102344096B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP6888717B2 (ja) 送信方法および送信装置
KR102077435B1 (ko) 송신 장치, 송신 방법, 수신 장치, 수신 방법, 표시 장치 및 표시 방법
KR102489757B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
KR20170084035A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
KR20170120578A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP7416164B2 (ja) 送信方法、送信装置、受信装置および受信方法
JP6801662B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP2021101566A (ja) 送信方法および送信装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right