KR102223751B1 - 재생 장치, 재생 방법, 및 기록 매체 - Google Patents
재생 장치, 재생 방법, 및 기록 매체 Download PDFInfo
- Publication number
- KR102223751B1 KR102223751B1 KR1020157034849A KR20157034849A KR102223751B1 KR 102223751 B1 KR102223751 B1 KR 102223751B1 KR 1020157034849 A KR1020157034849 A KR 1020157034849A KR 20157034849 A KR20157034849 A KR 20157034849A KR 102223751 B1 KR102223751 B1 KR 102223751B1
- Authority
- KR
- South Korea
- Prior art keywords
- luminance
- video
- graphic
- data
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000006243 chemical reaction Methods 0.000 claims description 243
- 238000012545 processing Methods 0.000 claims description 168
- 230000015572 biosynthetic process Effects 0.000 claims description 102
- 238000003786 synthesis reaction Methods 0.000 claims description 102
- 230000002194 synthesizing effect Effects 0.000 claims description 45
- 230000009466 transformation Effects 0.000 claims description 5
- 230000000153 supplemental effect Effects 0.000 claims description 2
- 238000011069 regeneration method Methods 0.000 claims 2
- 238000005516 engineering process Methods 0.000 abstract description 16
- 230000001131 transforming effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 93
- 238000013507 mapping Methods 0.000 description 90
- 230000006870 function Effects 0.000 description 73
- 230000003287 optical effect Effects 0.000 description 52
- 238000004891 communication Methods 0.000 description 35
- 238000007726 management method Methods 0.000 description 28
- 238000000605 extraction Methods 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 14
- 239000000203 mixture Substances 0.000 description 9
- 239000000284 extract Substances 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N11/00—Colour television systems
- H04N11/24—High-definition television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
- H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2541—Blu-ray discs; Blue laser DVR discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
- H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Picture Signal Circuits (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
본 기술은, 휘도의 다이내믹 레인지가 넓은 비디오 상에 적절한 밝기의 그래픽을 표시시킬 수 있도록 하는 재생 장치, 재생 방법, 및 기록 매체에 관한 것이다. 본 기술의 일 측면의 재생 장치가 재생하는 기록 매체에는, 제1 휘도 범위보다 넓은 제2 휘도 범위의 비디오인 확장 비디오의 부호화 데이터, 확장 비디오의 휘도 특성을 나타내는 휘도 특성 정보, 및 확장 비디오에 중첩되는, 제1 휘도 범위의 그래픽 데이터가 기록된다. 재생 장치는, 그래픽의 제1 화소값을, 그래픽의 휘도 특성 상에서 제1 화소값이 나타내는 휘도와 동일한 휘도를 나타내는, 휘도 특성 정보에 의해 나타나는 확장 비디오의 휘도 특성 상에 있어서의 제2 화소값으로 변환하고, 부호화 데이터를 복호하여 얻어진 확장 비디오와, 제2 화소값의 그래픽을 합성한다. 본 기술은, 콘텐츠를 재생하는 플레이어에 적용할 수 있다.
Description
본 기술은, 재생 장치, 재생 방법, 및 기록 매체에 관한 것으로서, 특히, 휘도의 다이내믹 레인지가 넓은 비디오 상에 적절한 밝기의 그래픽을 표시시킬 수 있도록 한 재생 장치, 재생 방법, 및 기록 매체에 관한 것이다.
영화 등의 콘텐츠의 기록 미디어로서 Blu-ray(등록 상표) Disc(이하, 적절히, BD라고 한다)가 있다. 종래, BD에 수록하는 비디오의 오소링은, 표준 휘도(100nit=100cd/㎡)의 모니터로 시청하는 것을 전제로, 마스터의 비디오 다이내믹 레인지를 압축하여 행하여지고 있다.
마스터가 되는 비디오는, 고품질의 카메라로 촬영된 것으로서, 표준 휘도 모니터로 표시 가능한 다이내믹 레인지 이상의 다이내믹 레인지를 갖고 있다. 압축됨으로써, 마스터의 비디오 다이내믹 레인지는 당연 손상되게 된다.
유기 EL(Electroluminescence) 디스플레이나 LCD(Liquid Crystal Display) 등의 디스플레이 기술의 진보에 따라, 500nit나 1000nit와 같은, 표준보다도 밝은 모니터가 시판되고 있다. 이러한 넓은 다이내믹 레인지를 갖는 모니터의 성능을 충분히 활용하는 콘텐츠에 대한 요구가 있다.
BD에 있어서는 자막 등의 그래픽을 비디오에 겹쳐서 표시시키는 것이 가능하게 되어 있지만, 다이내믹 레인지가 넓은 비디오에 대하여 마찬가지로 다이내믹 레인지가 넓은 그래픽을 겹쳤을 경우, 그래픽이 보기 불편해질 가능성이 있다.
본 기술은 이러한 상황을 감안하여 이루어진 것으로서, 휘도의 다이내믹 레인지가 넓은 비디오 상에 적절한 밝기의 그래픽을 표시시킬 수 있도록 하는 것이다.
본 기술의 일 측면의 재생 장치는, 제1 휘도 범위보다 넓은 제2 휘도 범위의 비디오인 확장 비디오의 부호화 데이터, 상기 확장 비디오의 휘도 특성을 나타내는 휘도 특성 정보, 및 상기 확장 비디오에 중첩되는, 상기 제1 휘도 범위의 그래픽 데이터를 기록한 기록 매체로부터, 상기 부호화 데이터, 상기 휘도 특성 정보, 및 상기 그래픽의 데이터를 판독하는 판독부와, 상기 부호화 데이터를 복호하는 제1 복호부와, 상기 그래픽의 데이터를 복호하는 제2 복호부와, 복호하여 얻어진 상기 그래픽의 제1 화소값을, 상기 그래픽의 휘도 특성 상에서 상기 제1 화소값이 나타내는 휘도와 동일한 휘도를 나타내는, 상기 휘도 특성 정보에 의해 나타나는 상기 확장 비디오의 휘도 특성 상에 있어서의 제2 화소값으로 변환하는 제1 변환부와, 상기 부호화 데이터를 복호하여 얻어진 상기 확장 비디오와, 상기 제2 화소값의 그래픽을 합성하는 합성부를 구비한다.
상기 확장 비디오를 표시 가능한 표시 장치에 대하여 상기 그래픽을 합성한 상기 확장 비디오의 데이터와 상기 휘도 특성 정보를 출력하는 출력부를 더 설치할 수 있다.
상기 확장 비디오를, 상기 제1 휘도 범위의 비디오인 표준 비디오로 변환하는 제2 변환부를 더 설치할 수 있다. 이 경우, 상기 판독부에 대해서는, 상기 기록 매체에 기록되어 있는, 상기 확장 비디오로부터 상기 표준 비디오로의 휘도 변환을 행할 때에 사용되는 휘도 변환 정의 정보를 또한 판독시키고, 상기 제2 변환부에는, 상기 기록 매체로부터 판독된 상기 휘도 변환 정의 정보에 기초하여, 상기 확장 비디오를 상기 표준 비디오로 변환시킬 수 있다.
상기 합성부에는, 상기 표준 비디오와, 상기 제1 화소값의 상기 그래픽을 합성시킬 수 있다.
상기 확장 비디오를 표시할 수 없는 표시 장치에 대하여 상기 그래픽을 합성한 상기 표준 비디오의 데이터를 출력하는 출력부를 더 설치할 수 있다.
상기 휘도 특성 정보와 상기 휘도 변환 정의 정보가, 상기 부호화 데이터를 포함하는 스트림에 상기 부호화 데이터의 보조 정보로서 삽입되고, 상기 기록 매체에 기록되도록 할 수 있다.
상기 부호화 데이터는 HEVC의 부호화 데이터이며, 상기 휘도 특성 정보와 상기 휘도 변환 정의 정보는 HEVC 스트림의 SEI이도록 할 수 있다.
본 기술의 일 측면에 있어서는, 제1 휘도 범위보다 넓은 제2 휘도 범위의 비디오인 확장 비디오의 부호화 데이터, 상기 확장 비디오의 휘도 특성을 나타내는 휘도 특성 정보, 및 상기 확장 비디오에 중첩되는, 상기 제1 휘도 범위의 그래픽 데이터를 기록한 기록 매체로부터, 상기 부호화 데이터, 상기 휘도 특성 정보, 및 상기 그래픽의 데이터가 판독되고, 상기 부호화 데이터가 복호되어, 상기 그래픽의 데이터가 복호되고, 복호하여 얻어진 상기 그래픽의 제1 화소값이, 상기 그래픽의 휘도 특성 상에서 상기 제1 화소값이 나타내는 휘도와 동일한 휘도를 나타내는, 상기 휘도 특성 정보에 의해 나타나는 상기 확장 비디오의 휘도 특성 상에 있어서의 제2 화소값으로 변환되고, 상기 부호화 데이터를 복호하여 얻어진 상기 확장 비디오와, 상기 제2 화소값의 그래픽이 합성된다.
본 기술의 다른 측면의 재생 장치는, 제1 휘도 범위보다 넓은 제2 휘도 범위의 비디오인 확장 비디오의 휘도 변환을 행하여 얻어진, 상기 제1 휘도 범위의 비디오인 표준 비디오의 부호화 데이터, 상기 확장 비디오의 휘도 특성을 나타내는 휘도 특성 정보, 상기 표준 비디오로부터 상기 확장 비디오로의 휘도 변환을 행할 때에 사용되는 휘도 변환 정의 정보, 및 상기 확장 비디오에 중첩되는, 상기 제1 휘도 범위의 그래픽 데이터를 기록한 기록 매체로부터, 상기 부호화 데이터, 상기 휘도 특성 정보, 상기 휘도 변환 정의 정보, 및 상기 그래픽의 데이터를 판독하는 판독부와, 상기 부호화 데이터를 복호하는 제1 복호부와, 상기 부호화 데이터를 복호하여 얻어진 상기 표준 비디오를, 상기 휘도 변환 정의 정보에 기초하여 상기 확장 비디오로 변환하는 제1 변환부와, 상기 그래픽의 데이터를 복호하는 제2 복호부와, 상기 그래픽의 데이터를 복호하여 얻어진 상기 그래픽의 제1 화소값을, 상기 그래픽의 휘도 특성 상에서 상기 제1 화소값이 나타내는 휘도와 동일한 휘도를 나타내는, 상기 휘도 특성 정보에 의해 나타나는 상기 확장 비디오의 휘도 특성 상에 있어서의 제2 화소값으로 변환하는 제2 변환부와, 상기 표준 비디오를 변환하여 얻어진 상기 확장 비디오와, 상기 제2 화소값의 그래픽을 합성하는 합성부를 구비한다.
상기 확장 비디오를 표시 가능한 표시 장치에 대하여 상기 그래픽을 합성한 상기 확장 비디오의 데이터와 상기 휘도 특성 정보를 출력하는 출력부를 더 설치할 수 있다.
상기 합성부에는, 상기 부호화 데이터를 복호하여 얻어진 상기 표준 비디오와, 상기 제1 화소값의 상기 그래픽을 합성시킬 수 있다.
상기 확장 비디오를 표시할 수 없는 표시 장치에 대하여 상기 그래픽을 합성한 상기 표준 비디오의 데이터를 출력하는 출력부를 더 설치할 수 있다.
상기 휘도 특성 정보와 상기 휘도 변환 정의 정보를, 상기 부호화 데이터를 포함하는 스트림에 상기 부호화 데이터의 보조 정보로서 삽입하고, 상기 기록 매체에 기록할 수 있다.
상기 부호화 데이터는 HEVC의 부호화 데이터이며, 상기 휘도 특성 정보와 상기 휘도 변환 정의 정보는 HEVC 스트림의 SEI이도록 할 수 있다.
본 기술의 다른 측면에 있어서는, 제1 휘도 범위보다 넓은 제2 휘도 범위의 비디오인 확장 비디오의 휘도 변환을 행하여 얻어진, 상기 제1 휘도 범위의 비디오인 표준 비디오의 부호화 데이터, 상기 확장 비디오의 휘도 특성을 나타내는 휘도 특성 정보, 상기 표준 비디오로부터 상기 확장 비디오로의 휘도 변환을 행할 때에 사용되는 휘도 변환 정의 정보, 및 상기 확장 비디오에 중첩되는, 상기 제1 휘도 범위의 그래픽 데이터를 기록한 기록 매체로부터, 상기 부호화 데이터, 상기 휘도 특성 정보, 상기 휘도 변환 정의 정보, 및 상기 그래픽의 데이터가 판독된다. 또한, 상기 부호화 데이터가 복호되고, 상기 부호화 데이터를 복호하여 얻어진 상기 표준 비디오가, 상기 휘도 변환 정의 정보에 기초하여 상기 확장 비디오로 변환된다. 또한, 상기 그래픽의 데이터가 복호되고, 상기 그래픽의 데이터를 복호하여 얻어진 상기 그래픽의 제1 화소값이, 상기 그래픽의 휘도 특성 상에서 상기 제1 화소값이 나타내는 휘도와 동일한 휘도를 나타내는, 상기 휘도 특성 정보에 의해 나타나는 상기 확장 비디오의 휘도 특성 상에 있어서의 제2 화소값으로 변환되고, 상기 표준 비디오를 변환하여 얻어진 상기 확장 비디오와, 상기 제2 화소값의 그래픽이 합성된다.
본 기술에 의하면, 휘도의 다이내믹 레인지가 넓은 비디오 상에 적절한 밝기의 그래픽을 표시시킬 수 있다.
도 1은 본 기술의 일 실시 형태에 따른 기록·재생 시스템의 구성예를 도시하는 도면이다.
도 2는 mode-i에 있어서의 비디오의 신호 처리예를 도시하는 도면이다.
도 3은 mode-i에 있어서 처리되는 비디오의 신호 흐름을 도시하는 도면이다.
도 4는 mode-ii에 있어서의 비디오의 신호 처리예를 도시하는 도면이다.
도 5는 mode-ii에 있어서 처리되는 비디오의 신호 흐름을 도시하는 도면이다.
도 6은 HEVC의 액세스 유닛의 구성을 도시하는 도면이다.
도 7은 Tone mapping information의 신택스를 도시하는 도면이다.
도 8은 tone mapping 정의 정보와 HDR 정보로서 사용되는 정보의 예를 도시하는 도면이다.
도 9는 tone_map_model_id=0의 Tone mapping information에 의해 나타나는 톤 커브의 예를 도시하는 도면이다.
도 10은 tone_map_model_id=2의 Tone mapping information에 의해 나타나는 계단 함수의 예를 도시하는 도면이다.
도 11은 tone_map_model_id=3의 Tone mapping information에 의해 나타나는 꺾은선 함수의 예를 도시하는 도면이다.
도 12는 HDR 정보에 포함되는 각 정보의 예를 도시하는 도면이다.
도 13은 BD 그래픽의 감마 함수의 예를 도시하는 도면이다.
도 14는 비디오의 감마 함수의 예를 도시하는 도면이다.
도 15는 화소값의 할당의 개념을 도시하는 도면이다.
도 16은 HDR 합성용 그래픽의 생성 처리의 예를 도시하는 도면이다.
도 17은 할당용 함수의 예를 도시하는 도면이다.
도 18은 합성 처리의 예를 도시하는 도면이다.
도 19는 STD 비디오와 BD 그래픽의 합성 처리의 예를 도시하는 도면이다.
도 20은 BD-ROM 포맷에 있어서의 AV 스트림의 관리 구조의 예를 도시하는 도면이다.
도 21은 Main Path와 Sub Path의 구조를 도시하는 도면이다.
도 22는 파일의 관리 구조의 예를 도시하는 도면이다.
도 23은 PlayList 파일의 신택스를 도시하는 도면이다.
도 24는 Clip Information 파일의 신택스를 도시하는 도면이다.
도 25는 도 24의 ProgramInfo()의 신택스를 도시하는 도면이다.
도 26은 도 25의 StreamCodingInfo의 신택스를 도시하는 도면이다.
도 27은 기록 장치의 구성예를 도시하는 블록도이다.
도 28은 PG 스트림과 IG 스트림의 구성예를 도시하는 도면이다.
도 29는 도 27의 비디오 부호화 처리부의 구성예를 도시하는 블록도이다.
도 30은 HDR-STD 변환부에 의한 신호 처리의 예를 도시하는 도면이다.
도 31은 tone mapping의 예를 도시하는 도면이다.
도 32는 재생 장치의 구성예를 도시하는 블록도이다.
도 33은 플레인 합성의 예를 도시하는 도면이다.
도 34는 도 32의 비디오 복호 처리부의 구성예를 도시하는 블록도이다.
도 35는 도 32의 그래픽 처리부의 구성예를 도시하는 블록도이다.
도 36은 표시 장치의 구성예를 도시하는 블록도이다.
도 37은 기록 장치의 기록 처리에 대하여 설명하는 흐름도이다.
도 38은 도 37의 스텝 S2에 있어서 행하여지는 mode-i에서의 부호화 처리에 대하여 설명하는 흐름도이다.
도 39는 도 37의 스텝 S3에 있어서 행하여지는 mode-ii에서의 부호화 처리에 대하여 설명하는 흐름도이다.
도 40은 도 37의 스텝 S4에 있어서 행하여지는 Data Base 정보 생성 처리에 대하여 설명하는 흐름도이다.
도 41은 재생 장치의 재생 처리에 대하여 설명하는 흐름도이다.
도 42는 도 41의 스텝 S45에 있어서 행하여지는 mode-i에서의 복호 처리에 대하여 설명하는 흐름도이다.
도 43은 도 41의 스텝 S46에 있어서 행하여지는 mode-ii에서의 복호 처리에 대하여 설명하는 흐름도이다.
도 44는 도 42의 스텝 S65, 또는 도 43의 스텝 S86에 있어서 행하여지는 HDR 합성용 그래픽 생성 처리에 대하여 설명하는 흐름도이다.
도 45는 표시 장치의 표시 처리에 대하여 설명하는 흐름도이다.
도 46은 BD-J 오브젝트에 기초하여 표시되는 화면의 예를 도시하는 도면이다.
도 47은 BD-J 그래픽에 기초하는 HDR 합성용 그래픽의 생성 처리의 예를 도시하는 도면이다.
도 48은 합성 처리의 예를 도시하는 도면이다.
도 49는 STD 비디오와 BD-J 그래픽의 합성 처리의 예를 도시하는 도면이다.
도 50은 기록 장치의 다른 구성예를 도시하는 블록도이다.
도 51은 재생 장치의 다른 구성예를 도시하는 블록도이다.
도 52는 그래픽 처리부의 다른 구성예를 도시하는 블록도이다.
도 53은 CLUT의 가공을 행하여 HDR 합성용 그래픽을 생성하는 처리의 예를 도시하는 도면이다.
도 54는 CLUT의 가공을 행하는 그래픽 처리부의 구성을 도시하는 블록도이다.
도 55는 도 42의 스텝 S65, 또는 도 43의 스텝 S86에 있어서 행하여지는 다른 HDR 합성용 그래픽 생성 처리에 대하여 설명하는 흐름도이다.
도 56은 화소값의 할당의 개념을 도시하는 도면이다.
도 57은 컴퓨터의 구성예를 도시하는 블록도이다.
도 2는 mode-i에 있어서의 비디오의 신호 처리예를 도시하는 도면이다.
도 3은 mode-i에 있어서 처리되는 비디오의 신호 흐름을 도시하는 도면이다.
도 4는 mode-ii에 있어서의 비디오의 신호 처리예를 도시하는 도면이다.
도 5는 mode-ii에 있어서 처리되는 비디오의 신호 흐름을 도시하는 도면이다.
도 6은 HEVC의 액세스 유닛의 구성을 도시하는 도면이다.
도 7은 Tone mapping information의 신택스를 도시하는 도면이다.
도 8은 tone mapping 정의 정보와 HDR 정보로서 사용되는 정보의 예를 도시하는 도면이다.
도 9는 tone_map_model_id=0의 Tone mapping information에 의해 나타나는 톤 커브의 예를 도시하는 도면이다.
도 10은 tone_map_model_id=2의 Tone mapping information에 의해 나타나는 계단 함수의 예를 도시하는 도면이다.
도 11은 tone_map_model_id=3의 Tone mapping information에 의해 나타나는 꺾은선 함수의 예를 도시하는 도면이다.
도 12는 HDR 정보에 포함되는 각 정보의 예를 도시하는 도면이다.
도 13은 BD 그래픽의 감마 함수의 예를 도시하는 도면이다.
도 14는 비디오의 감마 함수의 예를 도시하는 도면이다.
도 15는 화소값의 할당의 개념을 도시하는 도면이다.
도 16은 HDR 합성용 그래픽의 생성 처리의 예를 도시하는 도면이다.
도 17은 할당용 함수의 예를 도시하는 도면이다.
도 18은 합성 처리의 예를 도시하는 도면이다.
도 19는 STD 비디오와 BD 그래픽의 합성 처리의 예를 도시하는 도면이다.
도 20은 BD-ROM 포맷에 있어서의 AV 스트림의 관리 구조의 예를 도시하는 도면이다.
도 21은 Main Path와 Sub Path의 구조를 도시하는 도면이다.
도 22는 파일의 관리 구조의 예를 도시하는 도면이다.
도 23은 PlayList 파일의 신택스를 도시하는 도면이다.
도 24는 Clip Information 파일의 신택스를 도시하는 도면이다.
도 25는 도 24의 ProgramInfo()의 신택스를 도시하는 도면이다.
도 26은 도 25의 StreamCodingInfo의 신택스를 도시하는 도면이다.
도 27은 기록 장치의 구성예를 도시하는 블록도이다.
도 28은 PG 스트림과 IG 스트림의 구성예를 도시하는 도면이다.
도 29는 도 27의 비디오 부호화 처리부의 구성예를 도시하는 블록도이다.
도 30은 HDR-STD 변환부에 의한 신호 처리의 예를 도시하는 도면이다.
도 31은 tone mapping의 예를 도시하는 도면이다.
도 32는 재생 장치의 구성예를 도시하는 블록도이다.
도 33은 플레인 합성의 예를 도시하는 도면이다.
도 34는 도 32의 비디오 복호 처리부의 구성예를 도시하는 블록도이다.
도 35는 도 32의 그래픽 처리부의 구성예를 도시하는 블록도이다.
도 36은 표시 장치의 구성예를 도시하는 블록도이다.
도 37은 기록 장치의 기록 처리에 대하여 설명하는 흐름도이다.
도 38은 도 37의 스텝 S2에 있어서 행하여지는 mode-i에서의 부호화 처리에 대하여 설명하는 흐름도이다.
도 39는 도 37의 스텝 S3에 있어서 행하여지는 mode-ii에서의 부호화 처리에 대하여 설명하는 흐름도이다.
도 40은 도 37의 스텝 S4에 있어서 행하여지는 Data Base 정보 생성 처리에 대하여 설명하는 흐름도이다.
도 41은 재생 장치의 재생 처리에 대하여 설명하는 흐름도이다.
도 42는 도 41의 스텝 S45에 있어서 행하여지는 mode-i에서의 복호 처리에 대하여 설명하는 흐름도이다.
도 43은 도 41의 스텝 S46에 있어서 행하여지는 mode-ii에서의 복호 처리에 대하여 설명하는 흐름도이다.
도 44는 도 42의 스텝 S65, 또는 도 43의 스텝 S86에 있어서 행하여지는 HDR 합성용 그래픽 생성 처리에 대하여 설명하는 흐름도이다.
도 45는 표시 장치의 표시 처리에 대하여 설명하는 흐름도이다.
도 46은 BD-J 오브젝트에 기초하여 표시되는 화면의 예를 도시하는 도면이다.
도 47은 BD-J 그래픽에 기초하는 HDR 합성용 그래픽의 생성 처리의 예를 도시하는 도면이다.
도 48은 합성 처리의 예를 도시하는 도면이다.
도 49는 STD 비디오와 BD-J 그래픽의 합성 처리의 예를 도시하는 도면이다.
도 50은 기록 장치의 다른 구성예를 도시하는 블록도이다.
도 51은 재생 장치의 다른 구성예를 도시하는 블록도이다.
도 52는 그래픽 처리부의 다른 구성예를 도시하는 블록도이다.
도 53은 CLUT의 가공을 행하여 HDR 합성용 그래픽을 생성하는 처리의 예를 도시하는 도면이다.
도 54는 CLUT의 가공을 행하는 그래픽 처리부의 구성을 도시하는 블록도이다.
도 55는 도 42의 스텝 S65, 또는 도 43의 스텝 S86에 있어서 행하여지는 다른 HDR 합성용 그래픽 생성 처리에 대하여 설명하는 흐름도이다.
도 56은 화소값의 할당의 개념을 도시하는 도면이다.
도 57은 컴퓨터의 구성예를 도시하는 블록도이다.
이하, 본 기술을 실시하기 위한 형태에 대하여 설명한다. 설명은 이하의 순서로 행한다.
1. 기록·재생 시스템에 대해서
2. HEVC에 대해서
3. BD 그래픽의 합성에 대해서
4. BD 포맷에 대해서
5. 각 장치의 구성에 대해서
6. 각 장치의 동작에 대해서
7. BD-J 그래픽의 합성에 대해서
8. 변형예
<1. 기록·재생 시스템에 대해서>
도 1은, 본 기술의 일 실시 형태에 따른 기록·재생 시스템의 구성예를 도시하는 도면이다.
도 1의 기록·재생 시스템은, 기록 장치(1), 재생 장치(2), 및 표시 장치(3)로 구성된다. 재생 장치(2)와 표시 장치(3)는 HDMI(등록 상표)(High Definition Multimedia Interface) 케이블(4)을 통하여 접속된다. 재생 장치(2)와 표시 장치(3)가 다른 규격의 케이블을 통하여 접속되도록 해도 되고, 무선에 의한 통신을 통하여 접속되도록 해도 된다.
기록 장치(1)는 콘텐츠를 기록하고, 재생 장치(2)는 콘텐츠를 재생한다. 기록 장치(1)로부터 재생 장치(2)에 대한 콘텐츠의 제공은 광 디스크(11)를 사용하여 행하여진다. 광 디스크(11)는 예를 들어 BD-ROM(Blu-ray(등록 상표) Disc Read-Only) 포맷으로 콘텐츠가 기록된 디스크이다.
광 디스크(11)에 대한 콘텐츠의 기록이 BD-R, -RE 등의 다른 포맷으로 행하여지도록 해도 된다. 또한, 기록 장치(1)로부터 재생 장치(2)에 대한 콘텐츠의 제공이, 플래시 메모리를 탑재한 메모리 카드 등의, 광 디스크 이외의 리무버블 미디어를 사용하여 행하여지도록 해도 된다.
광 디스크(11)가 BD-ROM의 디스크일 경우, 기록 장치(1)는 예를 들어 콘텐츠의 제작자가 사용하는 장치가 된다. 이하, 적절히, 기록 장치(1)에 의해 콘텐츠가 기록된 광 디스크(11)가 재생 장치(2)에 제공되는 것으로서 설명하지만, 실제로는, 기록 장치(1)에 의해 콘텐츠가 기록된 마스터 원판에 기초하여 광 디스크가 복제되고, 그 중 하나인 광 디스크(11)가 재생 장치(2)에 제공된다.
기록 장치(1)에 대해서는, 표준 휘도 모니터로 표시 가능한 다이내믹 레인지(휘도 범위) 이상의 다이내믹 레인지를 갖는 비디오인 HDR(High Dynamic Range) 비디오가 입력된다. 표준 휘도는 예를 들어 100cd/㎡(=100nit)이다.
기록 장치(1)는 입력된 마스터의 HDR 비디오를 HDR 비디오 그대로, 즉 표준 휘도를 갖는 모니터로 표시 가능한 다이내믹 레인지 이상의 다이내믹 레인지를 갖는 비디오 그대로, 광 디스크(11)에 기록한다. 이 경우, 광 디스크(11)에는, 마스터의 HDR 비디오의 휘도 특성을 나타내는 정보와, HDR 비디오를 STD 비디오로 변환할 때에 사용되는 정보도 기록된다.
STD 비디오(standard 비디오)는 표준 휘도를 갖는 모니터로 표시 가능한 다이내믹 레인지의 비디오이다. STD 비디오의 다이내믹 레인지를 0 내지 100％라 하면, HDR 비디오의 다이내믹 레인지는 0 내지 500％, 0 내지 1000％와 같이, 0％ 내지 101％ 이상의 범위로서 표현된다.
또한, 기록 장치(1)는 입력된 마스터의 HDR 비디오를 STD 비디오로 변환하고, 즉 표준 휘도를 갖는 모니터로 표시 가능한 다이내믹 레인지를 갖는 비디오로 변환하고, 광 디스크(11)에 기록한다. 이 경우, 광 디스크(11)에는, 마스터의 HDR 비디오의 휘도 특성을 나타내는 정보와, STD 비디오를 HDR 비디오로 변환할 때에 사용되는 정보도 기록된다.
기록 장치(1)가 기록하는 HDR 비디오, 또는 HDR 비디오를 변환하여 얻어진 STD 비디오는, 예를 들어, 가로×세로의 해상도가 4096×2160, 3840×2160 화소 등의 소위 4K 해상도의 비디오이다. 기록 장치(1)에 의한 비디오 데이터의 부호화에는 예를 들어 HEVC(High Efficiency Video Coding)가 사용된다.
마스터의 HDR 비디오의 휘도 특성을 나타내는 정보와, HDR 비디오를 STD 비디오로, 또는 STD 비디오를 HDR 비디오로 변환할 때에 사용되는 정보는, SEI(Supplemental Enhancement Information)로서 HEVC의 부호화 데이터에 삽입된다. HEVC의 부호화 데이터에 SEI를 삽입한 HEVC 스트림이, BD 포맷으로 광 디스크(11)에 기록된다.
광 디스크(11)에는, HDR 비디오, 또는 STD 비디오에 중첩되는 그래픽의 데이터도 기록 장치(1)에 의해 기록된다. BD의 그래픽에는, PG(Presentation Graphic) 스트림, IG(Interactive Graphic) 스트림, 텍스트 서브타이틀(TextST) 스트림을 사용한 그래픽과, BD-J 그래픽이 있다.
PG 스트림은, 비디오 스트림과 동기하여 재생되는 비트맵의 자막 데이터의 스트림이다. IG 스트림은, 비디오 스트림과 동기하여 재생되는 메뉴 버튼 등의 화상 데이터의 스트림이다. TextST 스트림은, 비디오 스트림과 동기하여 재생되는 자막의 텍스트 데이터의 스트림이다.
BD-J 그래픽은, BD-J 모드 시에 Java(등록 상표)의 애플리케이션에 의해 표시되는 그래픽이다. BD-ROM player로서의 재생 장치(2)의 재생 모드에는, HDMV(High Definition Movie) 모드와 BD-J 모드가 있다.
이하, 적절히, PG, IG, TextST를 각각 구별할 필요가 없을 경우, 통합하여 BD 그래픽이라고 한다. BD 그래픽에는, PG, IG, TextST 스트림에 의한 그래픽 중 적어도 어느 하나가 포함된다.
후술하는 바와 같이, 광 디스크(11)에 기록되는 BD 그래픽, BD-J 그래픽은, 표준 휘도를 갖는 모니터로 표시 가능한 다이내믹 레인지의 그래픽이다.
재생 장치(2)는 HDMI 케이블(4)을 통하여 표시 장치(3)와 통신을 행하고, 표시 장치(3)의 표시 성능에 관한 정보를 취득한다. 재생 장치(2)는 표시 장치(3)가 HDR 비디오의 표시가 가능한 모니터인 HDR 모니터를 갖는 장치인지, STD 비디오의 표시 밖에 할 수 없는 모니터인 STD 모니터를 갖는 장치인지를 특정한다.
또한, 재생 장치(2)는 드라이브를 구동하고, 광 디스크(11)에 기록된 HEVC 스트림을 판독하여 복호한다.
예를 들어, 재생 장치(2)는 복호하여 얻어진 비디오 데이터가 HDR 비디오의 데이터이며, 표시 장치(3)가 HDR 모니터를 갖는 경우, HEVC 스트림을 복호하여 얻어진 HDR 비디오의 데이터를 표시 장치(3)로 출력한다. 이 경우, 재생 장치(2)는 HDR 비디오의 데이터와 함께, 마스터의 HDR 비디오의 휘도 특성을 나타내는 정보를 표시 장치(3)로 출력한다.
한편, 재생 장치(2)는 복호하여 얻어진 비디오 데이터가 HDR 비디오의 데이터이며, 표시 장치(3)가 STD 모니터를 갖는 경우, HEVC 스트림을 복호하여 얻어진 HDR 비디오를 STD 비디오로 변환하고, STD 비디오의 데이터를 출력한다. HDR 비디오의 STD 비디오로의 변환은, 광 디스크(11)에 기록되어 있는, HDR 비디오를 STD 비디오로 변환할 때에 사용되는 정보를 사용하여 행하여진다.
재생 장치(2)는 복호하여 얻어진 비디오 데이터가 STD 비디오의 데이터이며, 표시 장치(3)가 HDR 모니터를 갖는 경우, HEVC 스트림을 복호하여 얻어진 STD 비디오를 HDR 비디오로 변환하고, HDR 비디오의 데이터를 표시 장치(3)로 출력한다. STD 비디오의 HDR 비디오로의 변환은, 광 디스크(11)에 기록되어 있는, STD 비디오를 HDR 비디오로 변환할 때에 사용되는 정보를 사용하여 행하여진다. 이 경우, 재생 장치(2)는 HDR 비디오와 함께, 마스터의 HDR 비디오의 휘도 특성을 나타내는 정보를 표시 장치(3)로 출력한다.
한편, 재생 장치(2)는 복호하여 얻어진 비디오 데이터가 STD 비디오의 데이터이며, 표시 장치(3)가 STD 모니터를 갖는 경우, HEVC 스트림을 복호하여 얻어진 STD 비디오의 데이터를 표시 장치(3)로 출력한다.
재생 장치(2)가 출력하는 HDR 비디오, 또는 STD 비디오에는, 적절히, 그래픽이 합성되어 있다. HDR 비디오에 합성되는 그래픽과 STD 비디오에 합성되는 그래픽은, 모두 표준의 다이내믹 레인지 그래픽이다.
표시 장치(3)는 재생 장치(2)로부터 송신된 비디오 데이터를 수신하고, 콘텐츠의 영상을 모니터에 표시한다. 재생 장치(2)로부터는 콘텐츠의 오디오 데이터도 송신되어 온다. 표시 장치(3)는 재생 장치(2)로부터 송신되어 온 오디오 데이터에 기초하여, 콘텐츠의 음성을 스피커로부터 출력시킨다.
예를 들어, 표시 장치(3)는 마스터의 HDR 비디오의 휘도 특성을 나타내는 정보(화소값과 휘도의 관계를 나타내는 정보)가 비디오 데이터와 함께 송신되어 온 경우, 재생 장치(2)로부터 송신되어 온 비디오 데이터가 HDR 비디오의 데이터라고 인식한다. 상술한 바와 같이, HDR 모니터를 갖는 표시 장치(3)에 대해서는, HDR 비디오의 데이터와 함께, 마스터의 HDR 비디오의 휘도 특성을 나타내는 정보가 송신되어 온다.
이 경우, 표시 장치(3)는 HDR 비디오의 영상을, 마스터의 HDR 비디오의 휘도 특성을 나타내는 정보에 의해 지정되는 특성에 따라서 표시한다. 즉, 표시 장치(3)는 자신이 갖는 모니터가 0 내지 500％의 다이내믹 레인지를 갖는 모니터이며, 마스터의 HDR 비디오의 휘도 특성을 나타내는 정보에 의해, HDR 비디오의 다이내믹 레인지가 0 내지 500％의 소정의 특성이라고 지정된 경우, 그 소정의 특성에 따라, 0 내지 500％의 범위에서 휘도를 조정하여 영상을 표시한다.
마스터의 HDR 비디오의 휘도 특성을 지정할 수 있도록 함으로써, 콘텐츠의 제작자(Author)는 의도한 바의 휘도로 영상을 표시시키는 것이 가능해진다.
통상, TV 등의 표시 장치는, 외부로부터 입력된 비디오를 0 내지 100％의 다이내믹 레인지를 갖는 비디오로서 인식한다. 또한, 표시 장치는, 자신의 모니터가 그것보다 넓은 다이내믹 레인지를 갖는 경우에는, 모니터의 특성에 따라서 휘도를 스스로 확장하여 영상을 표시시켜버린다. 휘도의 특성을 지정하고, 지정한 특성에 따라서 HDR 비디오의 휘도를 조정시킴으로써, 제작자가 의도하지 않은 휘도 조정이 표시 장치측에서 행하여지는 것을 방지하는 것이 가능해진다.
또한, 통상, TV 등의 표시 장치에 비디오를 출력하는 재생 장치는, 전송로의 특성에 따라서 휘도를 변환하고 나서 비디오를 출력한다. 그 비디오를 수신한 표시 장치는, 수신한 비디오의 휘도를 모니터의 특성에 따라서 변환하고, 영상을 표시시키게 된다. 재생 장치(2)에 있어서 휘도의 변환을 행하지 않고, 재생 장치(2)로부터 HDR 비디오 그대로 표시 장치(3)로 출력시킴으로써, 휘도 변환의 횟수를 저감시킬 수 있어, 마스터에 보다 가까운 휘도의 영상을 표시 장치(3)에 표시시키는 것이 가능해진다.
한편, 표시 장치(3)는 재생 장치(2)로부터 송신된 비디오 데이터가 STD 비디오의 데이터일 경우, STD 비디오의 영상을 표시한다. 재생 장치(2)로부터 STD 비디오가 송신되어 온다고 하는 것은, 표시 장치(3)는 STD 모니터를 갖는 장치이다.
이하, 적절히, 마스터의 HDR 비디오를 HDR 비디오 그대로 광 디스크(11)에 기록하는 모드를 mode-i이라고 한다. mode-i의 경우, 광 디스크(11)에는, 마스터의 HDR 비디오의 휘도 특성을 나타내는 정보와, HDR 비디오를 STD 비디오로 변환할 때에 사용되는 정보가 기록된다.
또한, 마스터의 HDR 비디오를 STD 비디오로 변환하여 광 디스크(11)에 기록하는 모드를 mode-ii라고 한다. mode-ii의 경우, 광 디스크(11)에는, 마스터의 HDR 비디오의 휘도 특성을 나타내는 정보와, STD 비디오를 HDR 비디오로 변환할 때에 사용되는 정보가 기록된다.
[mode-i에 있어서의 신호 처리]
먼저, 비디오의 처리에 대하여 설명한다.
도 2는, mode-i에 있어서의 비디오의 신호 처리예를 도시하는 도면이다.
실선 L1로 둘러싸서 나타내는 좌측의 처리가 기록 장치(1)에 있어서 행하여지는 부호화 처리를 나타내고, 실선 L2로 둘러싸서 나타내는 우측의 처리가 재생 장치(2)에 있어서 행하여지는 복호 처리를 나타낸다.
마스터의 HDR 비디오가 입력된 경우, 기록 장치(1)는 마스터의 HDR 비디오의 휘도를 검출하고, 화살표 #1의 끝에 도시한 바와 같이, 마스터의 HDR 비디오의 휘도 특성을 나타내는 정보인 HDR 정보를 생성한다. 또한, 기록 장치(1)는 화살표 #2의 끝에 도시한 바와 같이, 마스터의 HDR 비디오를 HEVC로 부호화한다.
기록 장치(1)는 화살표 #3의 끝에 도시한 바와 같이, 마스터의 HDR 비디오를 STD 비디오로 변환한다. 변환하여 얻어진 STD 비디오의 영상은 도시하지 않은 모니터에 표시된다. HDR 비디오의 STD 비디오로의 변환은, 적절히, 변환 후의 STD 비디오의 영상을 제작자가 눈으로 확인하고, 변환 파라미터를 조정하면서 행하여진다.
제작자에 의한 조정에 기초하여, 기록 장치(1)는 화살표 #4의 끝에 도시한 바와 같이, HDR 비디오를 STD 비디오로 변환할 때에 사용되는 정보인 HDR-STD 변환용의 tone mapping 정의 정보를 생성한다.
tone mapping 정의 정보는, 표준의 다이내믹 레인지보다 넓은 0 내지 400％ 등의 다이내믹 레인지의 밝기를 나타내는 각 화소값과, 표준의 다이내믹 레인지인 0 내지 100％의 다이내믹 레인지의 밝기를 나타내는 각 화소값의 대응 관계를 정의하는 정보이다.
기록 장치(1)는 화살표 #5의 끝에 도시한 바와 같이, HDR 정보와 tone mapping 정의 정보를 SEI로서 HEVC의 부호화 데이터에 삽입하여, HEVC 스트림을 생성한다. 기록 장치(1)는 생성한 HEVC 스트림을 BD 포맷으로 광 디스크(11)에 기록하고, 화살표 #11에 도시한 바와 같이 재생 장치(2)에 제공한다.
이와 같이, 마스터의 HDR 비디오의 휘도 특성을 나타내는 정보와 HDR 비디오를 STD 비디오로 변환할 때에 사용되는 정보는, HEVC의 SEI를 사용하여, 스트림 내에 삽입하는 형태로 재생 장치(2)에 제공된다.
재생 장치(2)는 광 디스크(11)로부터 HEVC 스트림을 판독하고, 화살표 #21, #22의 끝에 도시한 바와 같이, HEVC 스트림의 SEI로부터 HDR 정보와 tone mapping 정의 정보를 추출한다.
또한, 재생 장치(2)는 화살표 #23의 끝에 도시한 바와 같이, HEVC의 부호화 데이터를 복호한다. 재생 장치(2)는 표시 장치(3)가 HDR 모니터를 갖는 경우, 화살표 #24의 끝에 도시한 바와 같이, 부호화 데이터를 복호하여 얻어진 HDR 비디오의 데이터에 HDR 정보를 부가하고, 화살표 #25의 끝에 도시한 바와 같이 표시 장치(3)로 출력한다.
한편, 재생 장치(2)는 표시 장치(3)가 STD 모니터를 갖는 경우, 화살표 #26의 끝에 도시한 바와 같이, HEVC 스트림으로부터 추출된 HDR-STD 변환용의 tone mapping 정의 정보를 사용하여, 부호화 데이터를 복호하여 얻어진 HDR 비디오를 STD 비디오로 변환한다. 재생 장치(2)는 화살표 #27의 끝에 도시한 바와 같이, 변환하여 얻어진 STD 비디오의 데이터를 표시 장치(3)로 출력한다.
이와 같이, HEVC의 부호화 데이터를 복호하여 얻어진 HDR 비디오의 데이터는, HDR 정보와 함께, HDR 모니터를 갖는 표시 장치(3)로 출력된다. 또한, HEVC의 부호화 데이터를 복호하여 얻어진 HDR 비디오의 데이터는, STD 비디오로 변환된 후, STD 모니터를 갖는 표시 장치(3)로 출력된다.
도 3은, 마스터의 HDR 비디오가 기록 장치(1)에 입력되고 나서, 재생 장치(2)로부터 비디오 데이터가 출력될 때까지의 처리의 흐름을 도시하는 도면이다.
마스터의 HDR 비디오는, 백색 화살표 #51의 끝에 도시한 바와 같이, 마스터의 HDR 비디오에 기초하여 기록 장치(1)에 있어서 생성된 HDR 정보와 HDR-STD 변환용의 tone mapping 정의 정보와 함께 재생 장치(2)에 제공된다. HDR 정보에는 예를 들어 다이내믹 레인지가 0 내지 400％의 범위로 확장되어 있음을 나타내는 정보가 포함된다.
표시 장치(3)가 HDR 모니터를 갖는 경우, 재생 장치(2)에 있어서는, 화살표 #52, #53의 끝에 도시한 바와 같이, HEVC의 부호화 데이터를 복호하여 얻어진 HDR 비디오의 데이터에 HDR 정보가 부가된다. 또한, HDR 정보가 부가된 HDR 비디오의 데이터가 화살표 #54의 끝에 도시한 바와 같이 표시 장치(3)로 출력된다.
한편, 표시 장치(3)가 STD 모니터를 갖는 경우, 재생 장치(2)에 있어서는, 화살표 #55, #56의 끝에 도시한 바와 같이, HEVC의 부호화 데이터를 복호하여 얻어진 HDR 비디오가 HDR-STD 변환용의 tone mapping 정의 정보를 사용하여 STD 비디오로 변환된다. 또한, 변환하여 얻어진 STD 비디오의 데이터가 화살표 #57의 끝에 도시한 바와 같이 표시 장치(3)로 출력된다. 도 3에 있어서, HDR 비디오를 나타내는 파형의 진폭과 STD 비디오를 나타내는 파형의 진폭은 각각 다이내믹 레인지를 나타낸다.
이와 같이, mode-i에 있어서는, 마스터의 HDR 비디오가 HDR 비디오 그대로 광 디스크(11)에 기록된다. 또한, 출력처가 되는 표시 장치(3)의 성능에 따라, 부호화 데이터를 복호하여 얻어진 HDR 비디오를 그대로 HDR 정보를 부가하여 출력하는 할지, HDR 비디오를 STD 비디오로 변환하여 출력할지가 전환된다.
[mode-ii에 있어서의 신호 처리]
도 4는, mode-ii에 있어서의 비디오의 신호 처리예를 도시하는 도면이다.
마스터의 HDR 비디오가 입력된 경우, 기록 장치(1)는 마스터의 HDR 비디오의 휘도를 검출하고, 화살표 #71의 끝에 도시한 바와 같이 HDR 정보를 생성한다.
기록 장치(1)는 화살표 #72의 끝에 도시한 바와 같이, 마스터의 HDR 비디오를 STD 비디오로 변환한다. 변환하여 얻어진 STD 비디오의 영상은 도시하지 않은 모니터에 표시된다.
제작자에 의한 조정에 기초하여, 기록 장치(1)는 화살표 #73의 끝에 도시한 바와 같이, STD 비디오를 HDR 비디오로 변환할 때에 사용되는 정보인 STD-HDR 변환용의 tone mapping 정의 정보를 생성한다.
또한, 기록 장치(1)는 화살표 #74의 끝에 도시한 바와 같이, 마스터의 HDR 비디오를 변환하여 얻어진 STD 비디오를 HEVC로 부호화한다.
기록 장치(1)는 화살표 #75의 끝에 도시한 바와 같이, HDR 정보와 tone mapping 정의 정보를 SEI로서 HEVC의 부호화 데이터에 삽입하여, HEVC 스트림을 생성한다. 기록 장치(1)는 생성한 HEVC 스트림을 BD 포맷으로 광 디스크(11)에 기록하고, 화살표 #91에 도시한 바와 같이 재생 장치(2)에 제공한다.
재생 장치(2)는 광 디스크(11)로부터 HEVC 스트림을 판독하고, 화살표 #101, #102의 끝에 도시한 바와 같이, HEVC 스트림의 SEI로부터 HDR 정보와 tone mapping 정의 정보를 추출한다.
또한, 재생 장치(2)는 화살표 #103의 끝에 도시한 바와 같이, HEVC의 부호화 데이터를 복호한다. 재생 장치(2)는 표시 장치(3)가 STD 모니터를 갖는 경우, 화살표 #104의 끝에 도시한 바와 같이, 부호화 데이터를 복호하여 얻어진 STD 비디오의 데이터를 표시 장치(3)로 출력한다.
한편, 재생 장치(2)는 표시 장치(3)가 HDR 모니터를 갖는 경우, 화살표 #105의 끝에 도시한 바와 같이, HEVC 스트림으로부터 추출된 STD-HDR 변환용의 tone mapping 정의 정보를 사용하여, 부호화 데이터를 복호하여 얻어진 STD 비디오를 HDR 비디오로 변환한다. 재생 장치(2)는 화살표 #106의 끝에 도시한 바와 같이, 변환하여 얻어진 HDR 비디오의 데이터에 HDR 정보를 부가하고, 화살표 #107의 끝에 도시한 바와 같이 표시 장치(3)로 출력한다.
이와 같이, HEVC의 부호화 데이터를 복호하여 얻어진 STD 비디오의 데이터는, HDR 비디오로 변환된 후, HDR 정보와 함께, HDR 모니터를 갖는 표시 장치(3)로 출력된다. 또한, HEVC의 부호화 데이터를 복호하여 얻어진 STD 비디오의 데이터는, STD 모니터를 갖는 표시 장치(3)에 그대로 출력된다.
도 5는, 마스터의 HDR 비디오가 기록 장치(1)에 입력되고 나서, 재생 장치(2)로부터 비디오 데이터가 출력될 때까지의 처리의 흐름을 도시하는 도면이다.
마스터의 HDR 비디오는, 백색 화살표 #121의 끝에 도시한 바와 같이, STD 비디오로 변환된 후, 마스터의 HDR 비디오에 기초하여 기록 장치(1)에 있어서 생성된 HDR 정보와 STD-HDR 변환용의 tone mapping 정의 정보와 함께 재생 장치(2)에 제공된다.
표시 장치(3)가 HDR 모니터를 갖는 경우, 재생 장치(2)에 있어서는, 화살표 #122, #123의 끝에 도시한 바와 같이, HEVC의 부호화 데이터를 복호하여 얻어진 STD 비디오가 STD-HDR 변환용의 tone mapping 정의 정보를 사용하여 HDR 비디오로 변환된다. 또한, 화살표 #124, #125의 끝에 도시한 바와 같이, STD 비디오를 변환하여 얻어진 HDR 비디오의 데이터에 HDR 정보가 부가되어, 화살표 #126의 끝에 도시한 바와 같이 표시 장치(3)로 출력된다.
한편, 표시 장치(3)가 STD 모니터를 갖는 경우, 재생 장치(2)에 있어서는, 화살표 #127의 끝에 도시한 바와 같이, HEVC의 부호화 데이터를 복호하여 얻어진 STD 비디오가 표시 장치(3)로 출력된다.
이와 같이, mode-ii에 있어서는, 마스터의 HDR 비디오가 STD 비디오로 변환되어서 광 디스크(11)에 기록된다. 또한, 출력처가 되는 표시 장치(3)의 성능에 따라, 부호화 데이터를 복호하여 얻어진 STD 비디오가 HDR 비디오로 변환되고, HDR 정보를 부가하여 출력할지, STD 비디오를 그대로 출력할지가 전환된다.
이상과 같은 기록 장치(1)와 재생 장치(2)의 구성과 동작의 상세에 대해서는 후술한다.
<2.HEVC에 대해서>
여기서, HEVC에 대하여 설명한다.
도 6은, HEVC의 액세스 유닛의 구성을 도시하는 도면이다.
HEVC 스트림은, NAL(Network Abstraction Layer) 유닛의 집합인 액세스 유닛으로 구성된다. 하나의 액세스 유닛에는 1 픽처의 비디오 데이터가 포함된다.
도 6에 도시한 바와 같이, 하나의 액세스 유닛은, AU 딜리미터(Access Unit delimiter), VPS(Video Parameter Set), SPS(Sequence Parameter Set), PPS(Picture Parameter Set), SEI, VCL(Video Coding Layer), EOS(End of Sequence), 및 EOS(End of Stream)로 구성된다.
AU 딜리미터는, 액세스 유닛의 선두를 나타낸다. VPS는, 비트 스트림의 내용을 나타내는 메타데이터를 포함한다. SPS는, 픽처 사이즈, CTB(Coding Tree Block) 사이즈 등의, HEVC 디코더가 시퀀스의 복호 처리를 통하여 참조할 필요가 있는 정보를 포함한다. PPS는, HEVC 디코더가 픽처의 복호 처리를 실행하기 위하여 참조할 필요가 있는 정보를 포함한다. VPS, SPS, PPS가 헤더 정보로서 사용된다.
SEI는, 각 픽처의 타이밍 정보나 랜덤 액세스에 관한 정보 등을 포함하는 보조 정보이다. HDR 정보와 tone mapping 정의 정보는, SEI의 하나인 Tone mapping information에 포함된다. VCL은 1 픽처의 데이터이다. EOS(End of Sequence)는 시퀀스의 종료 위치를 나타내고, EOS(End of Stream)는 스트림의 종료 위치를 나타낸다.
도 7은, Tone mapping information의 신택스를 도시하는 도면이다.
Tone mapping information을 사용하여, 디코딩하여 얻어진 픽처의 밝기나 색이, 픽처의 출력처가 되는 모니터의 성능에 맞춰서 변환된다. 또한, 도 7의 좌측 행 번호와 콜론(:)은 설명의 편의상 나타내는 것이며, Tone mapping information에 포함되는 정보가 아니다. Tone mapping information에 포함되는 주된 정보에 대하여 설명한다.
2행째의 tone_map_id는, Tone mapping information의 식별 정보이다. tone_map_id에 의해, Tone mapping information의 목적이 식별된다.
예를 들어, mode-i용의 ID와 mode-ii용의 ID가 확보된다. 기록 모드가 mode-i일 경우, HDR 비디오의 부호화 데이터의 SEI에 삽입되는 Tone mapping information의 tone_map_id에는 mode-i용의 ID가 설정된다. 또한, 기록 모드가 mode-ii일 경우, STD 비디오의 부호화 데이터의 SEI에 삽입되는 Tone mapping information의 tone_map_id에는 mode-ii용의 ID가 설정된다. 광 디스크(11)의 tone_map_id에는, mode-i용의 ID와 mode-ii용의 ID 중 어느 하나의 ID가 설정된다.
8행째의 tone_map_model_id는, 부호화 데이터(coded data)의 변환에 사용하는 tone map의 모델을 나타낸다.
기록 장치(1)에 있어서는, tone_map_model_id로서 0, 2, 3 중 어느 하나의 값이 설정된 하나의 Tone mapping information과, tone_map_model_id로서 4의 값이 설정된 하나의 Tone mapping information이 생성된다.
도 8에 도시한 바와 같이, tone_map_model_id로서 0, 2, 3 중 어느 하나의 값이 설정된 Tone mapping information이, HDR-STD 변환용 또는 STD-HDR 변환용의 tone mapping 정의 정보로서 사용된다. 또한, tone_map_model_id로서 4의 값이 설정된 Tone mapping information에 포함되는 정보가, HDR 정보로서 사용된다.
도 7의 9 내지 11행째가 tone_map_model_id=0에 관한 기술이다. tone_map_model_id=0일 경우, min_value와 max_value가 기술된다.
도 9는, tone_map_model_id=0의 Tone mapping information에 의해 나타나는 톤 커브의 예를 도시하는 도면이다.
도 9의 횡축이 coded_data(변환 전의 RGB값)를 나타내고, 종축이target_data(변환 후의 RGB값)를 나타낸다. 도 9의 톤 커브를 사용한 경우, 부호화 데이터 D1 이하의 RGB값은, 백색 화살표 #151로 나타내는 바와 같이 min_value에 의해 나타나는 RGB값으로 변환된다. 또한, 부호화 데이터 D2 이상의 RGB값은, 백색 화살표 #152로 나타내는 바와 같이 max_value에 의해 나타나는 RGB값으로 변환된다.
tone_map_model_id=0의 Tone mapping information은, HDR-STD 변환용의 tone mapping 정의 정보로서 사용된다. tone_map_model_id=0의 Tone mapping information을 사용한 경우, max_value 이상과 min_value 이하의 휘도(RGB값에 의해 표현되는 휘도)가 상실되게 되지만, 변환 처리의 부하는 가벼워진다.
도 7의 15 내지 17행째가 tone_map_model_id=2에 관한 기술이다. tone_map_model_id=2일 경우, 계단 함수를 나타내는, max_target_data의 수와 동일 수의 start_of_coded_interval[i]이 기술된다.
도 10은, tone_map_model_id=2의 Tone mapping information에 의해 나타나는 계단 함수의 예를 도시하는 도면이다.
도 10의 계단 함수를 사용한 경우, 예를 들어 coded_data=5는 target_data=3으로 변환된다. start_of_coded_interval[i]이 {1, 3, 4, 5, 5, 5, 7, 7, ···}이라 하면, coded_data-target_data 변환 테이블은 {0, 1, 1, 2, 3, 5, 5, ···}로서 표현된다.
tone_map_model_id=2의 Tone mapping information은, STD-HDR 변환용 또는 HDR-STD 변환용의 tone mapping 정의 정보로서 사용된다. tone_map_model_id=2의 Tone mapping information은, 데이터양이 많기 때문에, 그 작성 시에 변환 테이블에의 중첩을 행할 필요가 있지만, 변환 처리의 부하는 가볍다.
도 7의 18 내지 23행째가 tone_map_model_id=3에 관한 기술이다. tone_map_model_id=3일 경우, 꺾은선 함수를 나타내는, num_pivots에 의해 지정되는 수의 coded_pivot_value[i]과 target_pivot_value[i]이 기술된다.
도 11은, tone_map_model_id=3의 Tone mapping information에 의해 나타나는 꺾은선 함수의 예를 도시하는 도면이다.
도 11의 꺾은선 함수를 사용한 경우, 예를 들어 coded_data=D11은 target_data=D11'으로 변환되고, coded_data=D12는 target_data=D12'으로 변환된다. tone_map_model_id=3의 Tone mapping information은, STD-HDR 변환용 또는 HDR-STD 변환용의 tone mapping 정의 정보로서 사용된다.
이와 같이, tone_map_model_id로서 0, 2, 3 중 어느 하나의 값이 설정된 Tone mapping information이, STD-HDR 변환용 또는 HDR-STD 변환용의 tone mapping 정의 정보로서 사용되고, 기록 장치(1)로부터 재생 장치(2)로 전송된다.
도 7의 24 내지 39행째가 tone_map_model_id=4에 관한 기술이다. tone_map_model_id=4에 관한 정보 중, ref_screen_luminance_white, extended_range_white_level, nominal_black_level_code_value, nominal_white_level_code_value, 및 extended_white_level_code_value가, HDR 정보를 구성하는 파라미터가 된다.
도 12는, HDR 정보에 포함되는 각 정보의 예를 도시하는 도면이다.
도 12의 횡축은, RGB의 각 화소값을 나타낸다. 비트 길이가 10bit일 경우, 각 화소값은 0 내지 1023의 값이 된다. 도 12의 종축은 밝기(휘도)를 나타낸다. 함수 F1이, 표준 휘도 모니터에 있어서의 화소값과 밝기의 관계를 나타내는 감마 함수가 된다. 표준 휘도 모니터 다이내믹 레인지는 0 내지 100％이다.
ref_screen_luminance_white는, 표준이 되는 모니터의 밝기(cd/㎡)를 나타낸다. extended_range_white_level은, 확장 후의 다이내믹 레인지의 밝기의 최댓값을 나타낸다. 도 12의 예의 경우, extended_range_white_level의 값으로서 400이 설정된다.
nominal_black_level_code_value는, 흑색(밝기 0％)의 화소값을 나타내고, nominal_white_level_code_value는, 표준 휘도 모니터에 있어서의 백색(밝기 100％)의 화소값을 나타낸다. extended_white_level_code_value는, 확장 후의 다이내믹 레인지에 있어서의 백색의 화소값을 나타낸다.
도 12의 예의 경우, 백색 화살표 #161로 나타내는 바와 같이, 0 내지 100％의 다이내믹 레인지는, extended_range_white_level의 값에 따라, 0 내지 400％의 다이내믹 레인지로 확장된다. 또한, 400％의 밝기에 상당하는 화소값이, extended_white_level_code_value에 의해 지정된다.
HDR 비디오의 휘도 특성은, nominal_black_level_code_value, nominal_white_level_code_value, extended_white_level_code_value의 값이 각각 밝기 0％, 100％, 400％를 나타내는 특성이 된다. 이 HDR 비디오의 휘도 특성이, HDR 비디오의 감마 함수인 함수 F2에 의해 표현된다.
이와 같이, tone_map_model_id로서 4의 값이 설정된 Tone mapping information에 의해, 마스터의 HDR 비디오의 휘도 특성이 나타나고, 기록 장치(1)로부터 재생 장치(2)로 전송된다.
<3. BD 그래픽의 합성에 대해서>
상술한 바와 같이, 광 디스크(11)에는, 표준의 다이내믹 레인지 그래픽 데이터가 기록되어 있다. 재생 장치(2)는 HEVC 스트림을 디코딩하여 얻어진 HDR 비디오 또는 STD 비디오에 PG, IG 등의 그래픽을 합성하고, 표시 장치(3)로 출력한다.
[HDR 비디오와 BD 그래픽의 합성]
먼저, HDR 비디오와 BD 그래픽의 합성에 대하여 설명한다.
도 13은, BD 그래픽의 감마 함수의 예를 도시하는 도면이다.
도 13의 횡축은 RGB의 각 화소값을 나타낸다. 각 화소값은 8bit로 표시되고, 0 내지 255의 값을 취한다. 도 13의 종축은 밝기를 나타낸다. BD 그래픽의 다이내믹 레인지는 0 내지 100％이다.
함수 F11은, 광 디스크(11)에 기록되어 있는 데이터에 기초하여 취득되는 BD 그래픽의 감마 함수이다. 이와 같이, BD 그래픽에 대해서는 감마 변환이 실시되어 있다. 예를 들어, 2K-HD의 비디오를 BD에 기록하는 경우에 비디오에 실시되는 감마 변환과 동일하게, ITU-709로 규정되는 감마 변환이 BD 그래픽에 대하여 실시되어 있다.
도 14는, 비디오의 감마 함수의 예를 도시하는 도면이다.
도 14의 횡축은 RGB의 각 화소값을 나타낸다. 각 화소값은 10bit로 표시되고, 0 내지 1023의 값을 취한다. 도 14의 종축은 밝기를 나타낸다. 도 14의 예에 있어서는, HDR 비디오의 다이내믹 레인지는, 도 12에 도시하는 다이내믹 레인지와 같은 0 내지 400％로 되어 있다. STD 비디오의 다이내믹 레인지는 0 내지 100％이다. 함수 F1은 STD 비디오의 감마 함수이며, 함수 F2는 HDR 비디오의 감마 함수이다.
재생 장치(2)는 HEVC 스트림을 디코딩하여 얻어진 HDR 비디오와 BD 그래픽을 합성할 때, HDR 정보에 기초하여, 함수 F2에 의해 표현되는 HDR 비디오의 화소값과 휘도의 특성을 특정한다.
또한, 재생 장치(2)는 화살표 #171의 끝에 도시한 바와 같이, 0 내지 255의 범위 값인 BD 그래픽의 RGB의 각 화소값을, HDR 비디오의 감마 함수계에 있어서의, 밝기가 0 내지 100％의 범위 내의 화소값에 할당한다. 도 14의 예에 있어서는, 할당 전의 오리지날의 BD 그래픽에 8bit의 각 화소값은, 값 V1로부터 값 V2까지의 범위의 10bit의 화소값에 할당된다.
재생 장치(2)는 HDR 비디오의 감마 함수계에 있어서의 화소값에 의해 표현되는 스케일링 후의 BD 그래픽을, HDR 비디오에 합성한다.
도 15는, 화소값의 할당의 개념을 도시하는 도면이다.
도 15의 우측에 도시한 바와 같이, 오리지날인 BD 그래픽의 화소값인 값 V11은, 값 V11이 나타내는 휘도와 동일한 0 내지 100％의 범위 내의 휘도를 나타내는, HDR 비디오의 감마 함수계에 있어서의 화소값인 값 V12에 할당된다.
이와 같이, 0 내지 400％의 다이내믹 레인지를 갖는 HDR 비디오에 합성하는 경우에도, 다이내믹 레인지의 확장은 행하여지지 않고, 표준의 다이내믹 레인지의 BD 그래픽이 HDR 비디오와의 합성에 사용된다.
도 16은, HDR 합성용 그래픽의 생성 처리의 예를 도시하는 도면이다. HDR 합성용 그래픽은, HDR 비디오와의 합성에 사용되는 그래픽이다.
재생 장치(2)는 화살표 #201의 끝에 도시한 바와 같이, HDR 정보에 기초하여, 할당용 함수를 계산한다. 할당용 함수는, 도 14, 도 15를 참조하여 설명한 바와 같은, BD 그래픽의 각 화소값의 할당에 사용되는 함수이다.
도 17은, 할당용 함수의 예를 도시하는 도면이다.
재생 장치(2)는 HDR 비디오의 각 화소값과 휘도의 관계를 나타내는 함수 F2를 HDR 정보에 기초하여 특정하고, 화살표 #211의 끝에 도시한 바와 같은, 밝기를 입력, 화소값을 출력으로 하는, 화소값의 할당용의 함수인 함수 F2'를 계산에 의해 구한다. 함수 F2'의 입력이 되는 밝기는, BD 그래픽의 할당 전의 8bit의 화소값이 나타내는 휘도이며, 출력이 되는 화소값은, HDR 비디오의 감마 함수계에 있어서 동일한 휘도를 나타내는 10bit의 화소값이다.
재생 장치(2)는 도 16의 화살표 #202의 끝에 도시한 바와 같이, 예를 들어 PG 스트림을 디코딩하여 얻어진 BD 그래픽에 대하여 CLUT(Color Lookup Table)에 의한 변환을 실시한다. CLUT 변환 후의 BD 그래픽은 각 8bit의 YCrCb의 화소값에 의해 표현된다.
재생 장치(2)는 화살표 #203의 끝에 도시한 바와 같이, YCrCb의 BD 그래픽을, 각 8bit의 RGB의 BD 그래픽으로 변환한다.
BD 그래픽에 대해서는 감마 변환이 실시되어 있기 때문에, 재생 장치(2)는 화살표 #204의 끝에 도시한 바와 같이, BD 그래픽에 역감마 변환을 실시한다. 역감마 변환 후의 BD 그래픽은 각 8bit의 R'G'B'값에 의해 표현된다. R'G'B'값과 휘도는 선형의 관계를 갖는다.
재생 장치(2)는 화살표 #205의 끝에 도시한 바와 같이, 역감마 변환 후의 BD 그래픽의 화소값인 R'G'B'값을 각각 할당용 함수의 입력으로 하여, 출력으로서의 R"G"B"를 각각 구한다(화소값의 할당을 행한다).
여기서, 할당용 함수의 구체예에 대하여 설명한다.
HDR 정보에 기초하여 특정되는 HDR 비디오의 감마 함수를, 화소값과 휘도의 관계를 하기 수학식 1에 의해 나타내는 함수로 한다.
수학식 1에 있어서, X는, 정규화한 입력값(화소값)이다. X는 0 내지 1의 범위 값을 취한다. γ은 감마 계수이며, 예를 들어 2.2이다. α은, 휘도 신장의 계수이며, 1 내지 예를 들어 4의 값을 취한다. α은, extended_range_white_level의 값을 100으로 나눔으로써 구해진다. L은 휘도이며, 0 내지 α의 값을 취한다.
이 경우, 감마 함수의 역함수는 하기 수학식 2에 의해 표현된다.
화소값의 할당 입력이 되는 BD 그래픽의 화소값을 8bit의 값 d, 출력이 되는 화소값을 10bit의 값 t라 한다. BD 그래픽의 감마 함수(도 15)는 수학식 2에 있어서 α=1의 함수이기 때문에, BD 그래픽의 밝기를 Lg라 하면, t, Lg는 각각 하기 수학식 3, 4에 의해 표현된다.
예를 들어, γ=2.2, d=128, α=4일 때, Lg≒0.2176, t≒272.6으로서 구해진다. 즉, 이 경우, 재생 장치(2)는 입력이 되는 화소값이 128일 때에는, 272.6의 화소값을 구하게 된다.
재생 장치(2)는 이러한 화소값의 할당을, BD 그래픽의 각 화소값인 R'G'B'값의 각각을 입력으로서 행하여, R"G"B"를 구한다.
재생 장치(2)는 도 16의 화살표 #206의 끝에 도시한 바와 같이, R"G"B"의 BD 그래픽을, 각 10bit의 Y'Cr'Cb'의 BD 그래픽으로 변환한다. 변환에 의해 얻어진 Y'Cr'Cb'의 BD 그래픽이, HDR 합성용 그래픽이 된다.
도 18은, 합성 처리의 예를 도시하는 도면이다.
재생 장치(2)는 화살표 #221, #222의 끝에 도시한 바와 같이, HDR 합성용 그래픽과 HDR 비디오를 합성하고, 화살표 #223의 끝에 도시한 바와 같이, 합성 후의 HDR 비디오를 HDR 정보와 함께 표시 장치(3)로 출력한다. HDR 합성용 그래픽과의 합성에 사용되는 HDR 비디오는, 도 3 또는 도 5에 도시하는 바와 같이 하여 생성된 HDR 비디오이다.
이와 같이, 표준의 다이내믹 레인지의 BD 그래픽을 HDR 비디오에 합성함으로써, 더 보기 편한 그래픽의 표시가 가능하게 된다.
가령, BD 그래픽의 다이내믹 레인지를 HDR 비디오의 다이내믹 레인지에 맞춰서 예를 들어 0 내지 400％까지 확장하고, HDR 비디오에 합성했을 경우, 자막 등의 그래픽이 눈부셔서 보기 불편해지는 경우가 있는데, 그러한 것을 방지할 수 있다.
통상, 비디오는 영화 등의 일반 화원이므로, 고휘도 부분의 면적이 큰 화상이 되는 경우는 드물지만, 그래픽에서는 최대 휘도 부분의 면적이 큰 화상을 간단히 작성해버리게 된다. 최대 휘도 부분의 면적이 큰 화상은 보기 불편한 화상이 되는 경우가 있는 점에서, 비디오가 HDR 비디오여도, 그래픽에 대해서는 0 내지 100％의 휘도의 범위 내에서 표시하는 편이 바람직하다고 생각된다.
[STD 비디오와 BD 그래픽의 합성]
도 19는, STD 비디오와 BD 그래픽의 합성 처리의 예를 도시하는 도면이다.
재생 장치(2)는 화살표 #231의 끝에 도시한 바와 같이, 예를 들어 PG 스트림을 디코딩하여 얻어진 BD 그래픽에 대하여 CLUT에 의한 변환 처리를 실시한다. CLUT 변환 후의 BD 그래픽은 각 8bit의 YCrCb값에 의해 표현된다. 각 8bit의 YCrCb는 각각 10bit로 시프트된다.
또한, 재생 장치(2)는 화살표 #232, #233의 끝에 도시한 바와 같이, 각 10bit의 YCrCb의 BD 그래픽과 STD 비디오를 합성하고, 화살표 #234의 끝에 도시한 바와 같이, 합성 후의 STD 비디오를 표시 장치(3)로 출력한다. BD 그래픽의 다이내믹 레인지는 0 내지 100％이기 때문에, CLUT 변환 후의 BD 그래픽이 그대로 STD 비디오와의 합성에 사용된다. BD 그래픽과의 합성에 사용되는 STD 비디오는, 도 3 또는 도 5에 도시하는 바와 같이 하여 생성된 STD 비디오이다.
이와 같이, BD 그래픽을 합성한 STD 비디오는, HDR 비디오를 STD 비디오로 변환한 후에 BD 그래픽을 합성하는 형태로 취득된다. 이에 의해, BD 그래픽의 합성을 먼저 행하고, BD 그래픽의 합성 후의 HDR 비디오를 STD 비디오로 변환하는 경우와 비교하여, BD 그래픽의 화소값 할당 등이 불필요하게 되기 때문에, 처리가 용이해진다.
<4. BD 포맷에 대해서>
여기서, BD-ROM 포맷에 대하여 설명한다.
[데이터의 관리 구조]
도 20은, BD-ROM 포맷에 있어서의 AV 스트림의 관리 구조의 예를 도시하는 도면이다.
HEVC 스트림을 포함하는 AV 스트림의 관리는, PlayList와 Clip의 2개의 레이어를 사용하여 행하여진다. AV 스트림은, 광 디스크(11)뿐만 아니라, 재생 장치(2)의 로컬 스토리지에 기록되는 경우도 있다.
하나의 AV 스트림과, 거기에 부수되는 정보인 Clip Information의 페어가 하나의 오브젝트로서 관리된다. AV 스트림과 Clip Information의 페어를 Clip이라 한다.
AV 스트림은 시간축 상에 전개되고, 각 Clip의 액세스 포인트는, 주로, 타임 스탬프로 PlayList에 있어서 지정된다. Clip Information은, AV 스트림 중의 디코드를 개시해야 할 어드레스를 찾기 위한 경우 등에 사용된다.
PlayList는 AV 스트림의 재생 구간의 집합이다. AV 스트림 중의 하나의 재생 구간은 PlayItem이라고 불린다. PlayItem은, 시간축 상의 재생 구간의 IN점과 OUT점의 페어로 표시된다. 도 20에 도시한 바와 같이, PlayList는 하나 또는 복수의 PlayItem에 의해 구성된다.
도 20의 좌측으로부터 1번째의 PlayList는 2개의 PlayItem으로 구성되고, 그 2개의 PlayItem에 의해, 좌측의 Clip에 포함되는 AV 스트림의 전반 부분과 후반 부분이 각각 참조된다.
좌측으로부터 2번째의 PlayList는 하나의 PlayItem으로 구성되고, 그것에 의하여, 우측의 Clip에 포함되는 AV 스트림 전체가 참조된다.
좌측으로부터 3번째의 PlayList는 2개의 PlayItem으로 구성되고, 그 2개의 PlayItem에 의해, 좌측의 Clip에 포함되는 AV 스트림이 있는 부분과, 우측의 Clip에 포함되는 AV 스트림이 있는 부분이 각각 참조된다.
예를 들어, 좌측으로부터 1번째의 PlayList에 포함되는 좌측의 PlayItem이 재생 대상으로서 디스크 네비게이션 프로그램에 의해 지정된 경우, 그 PlayItem이 참조하는, 좌측의 Clip에 포함되는 AV 스트림의 전반 부분의 재생이 행하여진다. 이와 같이, PlayList는, AV 스트림의 재생을 관리하기 위한 재생 관리 정보로서 사용된다.
PlayList 중에서, 하나 이상의 PlayItem의 배열에 의해 만들어지는 재생 패스를 메인 패스(Main Path)라고 한다. 또한, PlayList 중에서, Main Path에 병행하여, 하나 이상의 SubPlayItem의 배열에 의해 만들어지는 재생 패스를 서브 패스(Sub Path)라고 한다.
도 21은, Main Path와 Sub Path의 구조를 도시하는 도면이다.
PlayList는, 하나의 Main Path와 하나 이상의 Sub Path를 갖는다. 도 21의 PlayList는, 3개의 PlayItem의 배열에 의해 만들어지는 하나의 Main Path와 3개의 Sub Path를 갖는다.
Main Path를 구성하는 PlayItem에는, 선두로부터 순서대로 각각 ID가 설정된다. Sub Path에도, 선두로부터 순서대로 Subpath_id=0, Subpath_id=1, 및 Subpath_id=2의 ID가 설정된다.
도 21의 예에 있어서는, Subpath_id=0의 Sub Path에는 하나의 SubPlayItem이 포함되고, Subpath_id=1의 Sub Path에는 2개의 SubPlayItem이 포함된다. 또한, Subpath_id=2의 Sub Path에는 하나의 SubPlayItem이 포함된다.
하나의 PlayItem이 참조하는 AV 스트림에는, 적어도 비디오 스트림(메인 화상 데이터)이 포함된다. AV 스트림에는, AV 스트림에 포함되는 비디오 스트림과 동일한 타이밍에 (동기하여) 재생되는 오디오 스트림이 하나 이상 포함되어도 되고, 포함되지 않아도 된다.
AV 스트림에는, AV 스트림에 포함되는 비디오 스트림과 동기하여 재생되는 비트맵의 자막 데이터(PG(Presentation Graphic))의 스트림이 하나 이상 포함되어도 되고, 포함되지 않아도 된다.
AV 스트림에는, AV 스트림 파일에 포함되는 비디오 스트림과 동기하여 재생되는 IG(Interactive Graphic)의 스트림이 하나 이상 포함되어도 되고, 포함되지 않아도 된다. IG의 스트림은, 유저에 의해 조작되는 버튼 등의 그래픽을 표시시키기 위하여 사용된다.
하나의 PlayItem이 참조하는 AV 스트림에는, 비디오 스트림과, 그것과 동기하여 재생되는 오디오 스트림, PG 스트림 등의 그래픽 스트림이 다중화된다.
또한, 하나의 SubPlayItem은, PlayItem이 참조하는 AV 스트림과는 다른 스트림의, 비디오 스트림, 오디오 스트림, 그래픽 스트림 등을 참조한다.
이와 같이, HEVC 스트림을 포함하는 AV 스트림의 재생은 PlayList와 Clip Information을 사용하여 행하여진다. AV 스트림의 재생에 관한 정보를 포함하는 PlayList와 Clip Information을, 적절히, Data Base 정보라고 한다.
[디렉토리 구조]
도 22는, 광 디스크(11)에 기록되는 파일의 관리 구조의 예를 도시하는 도면이다.
광 디스크(11)에 기록되는 각 파일은 디렉토리 구조에 의해 계층적으로 관리된다. 광 디스크(11) 상에는 하나의 root 디렉토리가 작성된다.
root 디렉토리 밑에는 BDMV 디렉토리가 놓인다.
BDMV 디렉토리 밑에는, 「Index.bdmv」의 이름이 설정된 파일인 Index 파일과, 「MovieObject.bdmv」의 이름이 설정된 파일인 Movie Object 파일이 저장된다.
Index 파일에는, 예를 들어, 광 디스크(11)에 기록되어 있는 타이틀의 번호 일람과, 그 타이틀의 번호에 대응하여 실행되는 오브젝트의 종류 및 번호가 기술된다. 오브젝트의 종류로서는, 무비 오브젝트(Movie Object)와 BD-J 오브젝트(BD-J Object)의 2종류가 있다.
무비 오브젝트는, PlayList의 재생 등에 사용되는 커맨드인 내비게이션 커맨드가 기술되는 오브젝트이다. BD-J 오브젝트는, BD-J 애플리케이션이 기술되는 오브젝트이다. Movie Object 파일에는, 무비 오브젝트가 기술된다.
BDMV 디렉토리 하에는, PLAYLIST 디렉토리, CLIPINF 디렉토리, STREAM 디렉토리, BDJO 디렉토리가 설치된다.
PLAYLIST 디렉토리에는, PlayList를 기술한 PlayList 파일이 저장된다. 각PlayList 파일에는, 5자리의 숫자와 확장자 「.mpls」를 조합한 이름이 설정된다. 도 22에 도시하는 하나의 PlayList 파일에는 「00000.mpls」의 파일명이 설정되어 있다.
CLIPINF 디렉토리에는 Clip Information 파일이 저장된다. 각 Clip Information 파일에는, 5자리의 숫자와 확장자 「.clpi」를 조합한 이름이 설정된다. 도 22에 3개의 Clip Information 파일에는, 각각, 「00001.clpi」, 「00002.clpi」, 「00003.clpi」의 파일명이 설정되어 있다.
STREAM 디렉토리에는 스트림 파일이 저장된다. 각 스트림 파일에는, 5자리의 숫자와 확장자 「.m2ts」를 조합한 이름이 설정된다. 도 22에 3개의 스트림 파일에는, 각각, 「00001.m2ts」, 「00002.m2ts」, 「00003.m2ts」의 파일명이 설정되어 있다.
동일한 5자리의 숫자가 파일명에 설정되어 있는 Clip Information 파일과 스트림 파일이 하나의 Clip을 구성하는 파일이 된다. 「00001.m2ts」의 스트림 파일의 재생 시에는 「00001.clpi」의 Clip Information 파일이 사용되고, 「00002.m2ts」의 스트림 파일의 재생 시에는 「00002.clpi」의 Clip Information 파일이 사용된다. 후술하는 바와 같이, HEVC 스트림을 포함하는 AV 스트림의 재생에 사용되는 Clip Information 파일에는 HDR 비디오의 처리에 관한 정보가 포함된다.
BDJO 디렉토리에는, BD-J 오브젝트가 기술되는 BD-J 오브젝트 파일이 저장된다. 각 BD-J 오브젝트 파일에는, 5자리의 숫자와 확장자 「.bdjo」를 조합한 이름이 설정된다. 도 22에 3개의 BD-J 오브젝트 파일에는, 각각, 「00001.bdjo」, 「00002.bdjo」, 「00003.bdjo」의 파일명이 설정되어 있다.
[각 파일의 신택스]
여기서, 각 파일의 신택스의 주된 기술에 대하여 설명한다.
도 23은, PlayList 파일의 신택스를 도시하는 도면이다.
PlayList 파일은, 도 22의 PLAYLIST 디렉토리에 저장되는, 확장자 「.mpls」가 설정되는 파일이다.
AppInfoPlayList()에는, 재생 제한 등의, PlayList의 재생 컨트롤에 관한 파라미터가 저장된다.
PlayList()에는, Main Path나 Sub Path에 관한 파라미터가 저장된다.
PlayListMark()에는, PlayList의 마크 정보, 즉, 챕터 점프 등을 명령하는 유저 오퍼레이션 또는 커맨드 등에 있어서의 점프처(점프 포인트)인 마크에 관한 정보가 저장된다.
도 24는, Clip Information 파일의 신택스를 도시하는 도면이다.
Clip Information 파일은, 도 22의 CLIPINF 디렉토리에 저장되는, 확장자 「.clpi」가 설정되는 파일이다.
ClipInfo()에는, Clip을 구성하는 AV 스트림의 타입을 나타내는 정보, AV 스트림의 기록 레이트를 나타내는 정보 등이 저장된다.
SequenceInfo()에는, AV 스트림을 구성하는 source packet의 시간축 상의 위치를 나타내는 정보, 표시 시각을 나타내는 정보 등이 포함된다.
ProgramInfo()에는, Clip을 구성하는 AV 스트림의 PID, AV 스트림의 부호화에 관한 정보 등이 포함된다.
도 25는, 도 24의 ProgramInfo()의 신택스를 도시하는 도면이다.
number_of_program_sequences는, ProgramInfo()에 기술되는 프로그램 시퀀스의 수를 나타낸다. 프로그램 시퀀스는, 프로그램을 구성하는 소스 패킷의 배열에 의해 구성된다.
SPN_program_sequence_start[i]은, 프로그램 시퀀스의 선두 소스 패킷의 번호(source packet number)를 나타낸다.
StreamCodingInfo에는, Clip을 구성하는 AV 스트림의 부호화에 관한 정보가 포함된다.
도 26은, 도 25의 StreamCodingInfo의 신택스를 도시하는 도면이다.
stream_coding_type는, AV 스트림에 포함되는 elementary stream의 부호화 방식을 나타낸다. 예를 들어, HEVC 스트림의 재생에 사용되는 Clip Information의 StreamCodingInfo에 있어서는, 부호화 방식이 HEVC인 것을 나타내는 값이stream_coding_type로서 설정된다.
video_format는, 비디오의 주사 방식을 나타낸다. HEVC 스트림의 재생에 사용되는 video_format에는, 2160p(2160 라인 프로그레시브) 등의 4K의 주사 방식을 나타내는 값이 stream_coding_type로서 설정된다.
frame_rate는, 비디오 스트림의 프레임 레이트를 나타낸다.
aspect_ratio는, 비디오의 애스펙트비를 나타낸다.
cc_flag은 1비트의 플래그이며, 클로즈드 캡션의 데이터가 비디오 스트림에 포함되어 있는지 여부를 나타낸다.
HDR_flag은 1비트의 플래그이며, HDR 비디오를 마스터로 한 기록이 행해졌는지 여부를 나타낸다. 예를 들어, HDR_flag=1은, HDR 비디오를 마스터로 한 기록이 행해졌음을 나타낸다. 또한, HDR_flag=0은, STD 비디오를 마스터로 한 기록이 행해졌음을 나타낸다.
mode_flag은 1비트의 플래그이며, HEVC 스트림의 기록 모드를 나타낸다. mode_flag은, HDR_flag=1일 경우에 유효하게 된다. 예를 들어, mode_flag=1은, 기록 모드가 mode-i인 것을 나타낸다. 또한, mode_flag=0은, 기록 모드가 mode-ii인 것을 나타낸다.
이와 같이, Clip Information에는, 그 Clip Information을 사용하여 재생이 행하여지는 AV 스트림에 포함되는 HEVC 스트림이 마스터를 HDR 비디오로 하는 스트림인지 여부를 나타내는 플래그, 및 HEVC 스트림의 기록 모드를 나타내는 플래그가 포함된다.
재생 장치(2)는 Clip Information에 포함되는 플래그를 참조함으로써, HEVC 스트림을 실제로 해석하지 않고, 마스터의 비디오가 HDR 비디오인지 등을 특정하는 것이 가능해진다.
<5. 각 장치의 구성에 대해서>
여기서, 각 장치의 구성에 대하여 설명한다.
[기록 장치(1)의 구성]
도 27은, 기록 장치(1)의 구성예를 도시하는 블록도이다.
기록 장치(1)는 컨트롤러(21), 비디오 부호화 처리부(22), 그래픽 인코더(23), 다중화부(24), 및 디스크 드라이브(25)로 구성된다. 마스터의 HDR 비디오가 비디오 부호화 처리부(22)에 입력되고, BD 그래픽의 데이터가 그래픽 인코더(23)에 입력된다.
컨트롤러(21)는 CPU(Central Processing Unit), ROM(Read Only Memory), RAM(Random Access Memory) 등으로 구성된다. 컨트롤러(21)는 소정의 프로그램을 실행하여, 기록 장치(1)의 전체 동작을 제어한다.
컨트롤러(21)에 있어서는, 소정의 프로그램이 실행됨으로써 Data Base 정보 생성부(21A)가 실현된다. Data Base 정보 생성부(21A)는, Data Base 정보인 PlayList와 Clip Information을 생성하고, 디스크 드라이브(25)로 출력한다.
비디오 부호화 처리부(22)는 마스터의 HDR 비디오의 부호화를 행한다. 비디오 부호화 처리부(22)는 마스터의 HDR 비디오를 부호화하여 얻어진 HEVC 스트림을 다중화부(24)로 출력한다.
그래픽 인코더(23)는 입력된 BD 그래픽의 데이터를 부호화하고, 그래픽 스트림을 다중화부(24)로 출력한다.
도 28은, PG 스트림과 IG 스트림의 구성예를 도시하는 도면이다.
도 28에 도시한 바와 같이, PG 스트림과 IG 스트림은, 1화면분의 그래픽에 관한 데이터인 디스플레이 세트를 모아서 구성된다. 하나의 디스플레이 세트는 복수의 세그먼트로 구성된다.
도 28의 A는, PG 스트림의 디스플레이 세트를 나타낸다. PG 스트림의 디스플레이 세트는, PCS(Presentation Composition Segment), WDS(Window Definition Segment), PDS(Palette Definition Segment), ODS(Object Definition Segment), 및 END(End of Display Set Segment)에 의해 구성된다.
PCS는 1화면분의 자막의 세그먼트이다. PCS에는, 각 ODS에 대응하는 자막에 부여된 ID 등이 기술된다. WDS에는, 자막의 표시 범위를 나타내는 윈도우의 위치나 사이즈 등의 구조를 나타내는 정보 등이 기술된다. PDS에는, 자막의 색으로서 사용 가능한 색을 지정하는 정보 등의, 그래픽의 색에 관한 정보를 포함하는 팔레트 정보가 기술된다. ODS에는, 자막의 형상을 나타내는 정보가 기술된다. END는, 디스플레이 세트의 종단부를 나타내는 세그먼트이다.
도 28의 B는, IG 스트림의 디스플레이 세트를 나타낸다. IG 스트림의 디스플레이 세트는, ICS(Interactive Composition Segment), PDS, ODS, 및 END에 의해 구성된다.
ICS는, 1화면분의 메뉴 버튼의 세그먼트이다. ICS에는, 메뉴 버튼의 조작에 의해 실행되는 커맨드, 각 ODS에 대응하는 메뉴 버튼의 고유 ID 등이 기술된다. PDS에는, 메뉴 버튼의 색으로서 사용 가능한 색을 지정하는 정보 등의, 그래픽의 색에 관한 정보를 포함하는 팔레트 정보가 기술된다. ODS에는, 메뉴 버튼의 형상을 나타내는 정보가 기술된다. END는, 디스플레이 세트의 종단부를 나타내는 세그먼트이다.
이러한 데이터 구조를 갖는 그래픽 스트림이 그래픽 인코더(23)로부터 다중화부(24)에 공급된다. 도시는 생략하지만, TextST 스트림도, PG, IG 스트림과 마찬가지로 복수의 세그먼트로 구성된다.
다중화부(24)는 비디오 부호화 처리부(22)로부터 공급된 HEVC 스트림과 그래픽 인코더(23)로부터 공급된 그래픽 스트림을 다중화하고, 다중화 스트림을 디스크 드라이브(25)로 출력한다.
디스크 드라이브(25)는 컨트롤러(21)로부터 공급된 PlayList, Clip Information과, 다중화부(24)로부터 공급된 다중화 스트림을 저장하는 파일을, 도 22의 디렉토리 구조에 따라서 광 디스크(11)에 기록한다.
도 29는, 도 27의 비디오 부호화 처리부(22)의 구성예를 도시하는 블록도이다.
비디오 부호화 처리부(22)는 HDR 정보 생성부(31), HEVC 인코더(32), HDR-STD 변환부(33), 정의 정보 생성부(34), 및 HEVC 스트림 생성부(35)로 구성된다.
HDR 정보 생성부(31)는 입력된 마스터의 HDR 비디오의 휘도를 검출하고, 도 12를 참조하여 설명한 각 정보를 포함하는 HDR 정보를 생성한다. HDR 정보 생성부(31)는 생성한 HDR 정보를 HEVC 스트림 생성부(35)로 출력한다.
HEVC 인코더(32)는 기록 모드가 mode-i일 경우, 입력된 마스터의 HDR 비디오를 HEVC로 부호화한다. 또한, HEVC 인코더(32)는 기록 모드가 mode-ii일 경우, HDR-STD 변환부(33)로부터 공급된 STD 비디오를 HEVC로 부호화한다. HEVC 인코더(32)는 HDR 비디오의 부호화 데이터, 또는 STD 비디오의 부호화 데이터를 HEVC 스트림 생성부(35)로 출력한다.
HDR-STD 변환부(33)는 입력된 마스터의 HDR 비디오를 STD 비디오로 변환한다. HDR-STD 변환부(33)에 의한 변환은, 적절히, 제작자에 의해 입력된 변환 파라미터에 따라서 행하여진다. HDR-STD 변환부(33)는 HDR 비디오의 RGB 신호를 input data, STD 비디오의 RGB 신호를 output data로 한 input data와 output data의 대응 관계를 나타내는 정보를 정의 정보 생성부(34)로 출력한다.
도 30은, HDR-STD 변환부(33)에 의한 신호 처리의 예를 도시하는 도면이다.
HDR-STD 변환부(33)는 화살표 #301의 끝에 도시한 바와 같이, 입력된 마스터의 HDR 비디오의 YCrCb 신호를 RGB 신호로 변환하고, RGB의 각 신호를 대상으로 하여, STD 비디오의 RGB의 각 신호로의 변환(tone mapping)을 행한다.
HDR-STD 변환부(33)는 input data인 HDR 비디오의 RGB값과 output data인 STD 비디오의 RGB값의 대응 관계를 나타내는 정보를 정의 정보 생성부(34)로 출력한다. 정의 정보 생성부(34)로 출력된 정보는, 화살표 #302의 끝에 도시한 바와 같이 tone mapping 정의 정보의 생성에 사용된다.
또한, HDR-STD 변환부(33)는 화살표 #303의 끝에 도시한 바와 같이, STD 비디오의 RGB 신호를 YCrCb 신호로 변환하고, 출력한다.
도 31은, tone mapping의 예를 도시하는 도면이다.
HDR 비디오의 RGB 신호는, 예를 들어 도 31에 도시한 바와 같이, 고휘도 성분을 압축하고, 중·저역 휘도 성분을 신장하도록 하여 STD 비디오의 RGB 신호로 변환된다. 도 31에 도시한 바와 같은 HDR 비디오의 RGB 신호와 STD 비디오의 RGB 신호를 대응짓는 함수 F를 나타내는 정보가, 정의 정보 생성부(34)에 의해 생성된다. 또한, 도 31에 도시하는 함수 F는, 도 11을 참조하여 설명한, coded_data와 target_data의 관계를 꺾은선 함수에 의해 나타내는 tone_map_model_id=3의 Tone mapping information이다.
도 29의 설명으로 돌아가서, 또한, HDR-STD 변환부(33)는 기록 모드가 mode-ii일 경우, HDR 비디오를 변환하여 얻어진 STD 비디오를 HEVC 인코더(32)로 출력한다.
정의 정보 생성부(34)는 HDR-STD 변환부(33)로부터 공급된 정보에 기초하여, HDR-STD 변환용의 tone mapping 정의 정보를 생성한다.
예를 들어, 정의 정보 생성부(34)는 tone_map_model_id=0이 사용되는 경우, 도 9의 min_value와 max_value의 값을 포함하는 Tone mapping information을 HDR-STD 변환용의 tone mapping 정의 정보로서 생성한다.
또한, 정의 정보 생성부(34)는 tone_map_model_id=2가 사용되는 경우, 도 10의 start_of_coded_interval[i]을 포함하는 Tone mapping information을 HDR-STD 변환용의 tone mapping 정의 정보로서 생성한다.
또한, 정의 정보 생성부(34)는 tone_map_model_id=3이 사용되는 경우, 도 11의 num_pivots에 의해 지정되는 수의 coded_pivot_value[i]과 target_pivot_value[i]을 포함하는 Tone mapping information을 HDR-STD 변환용의 tone mapping 정의 정보로서 생성한다.
HEVC 스트림 생성부(35)는 HDR 정보 생성부(31)로부터 공급된 HDR 정보를 포함하는 Tone mapping information과, 정의 정보 생성부(34)로부터 공급된 tone mapping 정의 정보를 포함하는 Tone mapping information의 tone_map_id에, 기록 모드에 따른 동일값을 설정한다. 또한, HEVC 스트림 생성부(35)는 HDR 정보를 포함하는 Tone mapping information과 tone mapping 정의 정보를 포함하는 Tone mapping information을 SEI로서 부호화 데이터에 삽입하여, HEVC 스트림을 생성한다. HEVC 스트림 생성부(35)는 생성한 HEVC 스트림을 디스크 드라이브(25)로 출력한다.
[재생 장치(2)의 구성]
도 32는, 재생 장치(2)의 구성예를 도시하는 블록도이다.
재생 장치(2)는 컨트롤러(51), 디스크 드라이브(52), 메모리(53), 로컬 스토리지(54), 네트워크 인터페이스(55), 조작 입력부(56), 분리부(57), 비디오 복호 처리부(58), 그래픽 처리부(59), 합성부(60), 및 HDMI 통신부(61)로 구성된다.
컨트롤러(51)는 CPU, ROM, RAM 등으로 구성된다. 컨트롤러(51)는 소정의 프로그램을 실행하여, 재생 장치(2)의 전체 동작을 제어한다.
디스크 드라이브(52)는 광 디스크(11)로부터 데이터를 판독하고, 판독한 데이터를, 컨트롤러(51), 메모리(53), 또는 분리부(57)로 출력한다. 예를 들어, 디스크 드라이브(52)는 광 디스크(11)로부터 판독한 Data Base 정보를 컨트롤러(51)로 출력하고, 다중화 스트림을 분리부(57)로 출력한다.
메모리(53)는 컨트롤러(51)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등을 기억한다. 메모리(53)에는, PSR(Player Status Register)인 레지스터(53A)가 형성된다. 레지스터(53A)에는, BD Player인 재생 장치(2)가 광 디스크(11)의 재생 시에 참조하는 각종 정보가 기억된다.
로컬 스토리지(54)는 예를 들어 HDD(Hard Disk Drive)에 의해 구성된다. 로컬 스토리지(54)에는, 서버로부터 다운로드된 스트림 등이 기록된다.
네트워크 인터페이스(55)는 인터넷 등의 네트워크를 통하여 서버와 통신을 행하고, 서버로부터 다운로드한 데이터를 로컬 스토리지(54)에 공급한다.
분리부(57)는 디스크 드라이브(52)로부터 공급된 다중화 스트림으로부터, HEVC 스트림의 데이터와 그래픽 스트림의 데이터를 분리한다. 분리부(57)는 분리한 HEVC 스트림의 데이터를 비디오 복호 처리부(58)로 출력하고, 그래픽 스트림의 데이터를 그래픽 처리부(59)로 출력한다.
비디오 복호 처리부(58)는 분리부(57)로부터 공급된 데이터를 포함하는 HEVC 스트림을 복호하고, HDR 비디오 또는 STD 비디오의 데이터를 합성부(60)로 출력한다. 또한, 비디오 복호 처리부(58)는 HDR 비디오를 합성부(60)로 출력할 경우, HDR 정보를 HDMI 통신부(61)로 출력한다. 비디오 복호 처리부(58)는 HDR 정보를 그래픽 처리부(59)에 대해서도 출력한다.
그래픽 처리부(59)는 분리부(57)로부터 공급된 그래픽 스트림을 복호하고, 표준의 다이내믹 레인지의 BD 그래픽의 데이터를 합성부(60)로 출력한다.
합성부(60)는 비디오 복호 처리부(58)로부터 공급된 HDR 비디오 또는 STD 비디오와, 그래픽 처리부(59)로부터 공급된 BD 그래픽을 합성하고, 합성 후의 HDR 비디오 또는 STD 비디오의 데이터를 HDMI 통신부(61)로 출력한다.
도 33은, 합성부(60)에 의한 플레인 합성의 예를 도시하는 도면이다.
비디오와 그래픽의 합성은, 도 33에 도시한 바와 같이 플레인끼리를 겹치도록 하여 행하여진다. 비디오 플레인은, 비디오의 1화면분의 데이터이며, 그래픽 플레인(PG/IG 플레인)은 그래픽의 1화면분의 데이터이다.
도 33에 도시한 바와 같이, 합성부(60)는 비디오 플레인의 상에 PG 스트림을 디코딩하여 얻어진, 자막 등을 표시하는 PG 그래픽 플레인을 합성한다. 또한, 합성부(60)는 PG 그래픽 플레인의 상에 IG 스트림을 디코딩하여 얻어진, 메뉴 버튼 등을 표시하는 IG 그래픽 플레인을 합성한다.
도 32의 HDMI 통신부(61)는 HDMI 케이블(4)을 통하여 표시 장치(3)와의 사이에서 통신을 행한다. 예를 들어, HDMI 통신부(61)는 표시 장치(3)가 갖는 모니터의 성능에 관한 정보를 취득하고, 컨트롤러(51)로 출력한다. 또한, HDMI 통신부(61)는 합성부(60)로부터 공급된 HDR 비디오 또는 STD 비디오의 데이터를 표시 장치(3)로 출력한다. HDMI 통신부(61)는 HDR 비디오의 데이터를 출력할 경우, 비디오 복호 처리부(58)로부터 공급된 HDR 정보를 HDR 비디오의 데이터와 함께 출력한다.
도 34는, 도 32의 비디오 복호 처리부(58)의 구성예를 도시하는 블록도이다.
비디오 복호 처리부(58)는 파라미터 추출부(71), HEVC 디코더(72), HDR-STD 변환부(73), STD-HDR 변환부(74), 및 출력부(75)로 구성된다. 출력부(75)는 HDR 비디오 출력부(75A)와 STD 비디오 출력부(75B)로 구성된다.
분리부(57)로부터 출력된 HEVC 스트림은 파라미터 추출부(71)에 입력된다. 비디오 복호 처리부(58)에 대해서는, 예를 들어, Clip Information에 포함되는 mode_flag에 의해 특정되는 기록 모드를 나타내는 정보와, 표시 장치(3)로부터 취득된 정보에 의해 특정되는, 표시 장치(3)가 갖는 모니터의 성능에 관한 정보가 컨트롤러(51)로부터 공급된다.
파라미터 추출부(71)는 HEVC 스트림의 SEI로부터 HDR 정보와 tone mapping 정의 정보를 추출한다. 예를 들어, 파라미터 추출부(71)는 기록 모드가 mode-i이며, 표시 장치(3)로 HDR 비디오를 출력할 경우, HDR 정보를 HDMI 통신부(61)로 출력한다. 또한, 파라미터 추출부(71)는 기록 모드가 mode-i이며, 표시 장치(3)로 STD 비디오를 출력할 경우, HDR-STD 변환용의 tone mapping 정의 정보를 HDR-STD 변환부(73)로 출력한다.
한편, 파라미터 추출부(71)는 기록 모드가 mode-ii이며, 표시 장치(3)로 HDR 비디오를 출력할 경우, HDR 정보를 HDMI 통신부(61)로 출력함과 함께, STD-HDR 변환용의 tone mapping 정의 정보를 STD-HDR 변환부(74)로 출력한다. 기록 모드가 mode-ii이며, 표시 장치(3)로 STD 비디오를 출력할 경우, 추출된 HDR 정보와 tone mapping 정의 정보는 사용되지 않는다.
HDR 비디오를 출력할 경우에 파라미터 추출부(71)에 의해 추출된 HDR 정보는, 그래픽 처리부(59)에 대해서도 출력된다.
또한, 파라미터 추출부(71)는 HEVC 스트림에 포함되는 부호화 데이터를 HEVC 디코더(72)로 출력한다.
HEVC 디코더(72)는 파라미터 추출부(71)로부터 공급된 HEVC의 부호화 데이터를 복호한다. HEVC 디코더(72)는 기록 모드가 mode-i일 경우, 복호하여 얻어진 HDR 비디오를 HDR-STD 변환부(73)와 HDR 비디오 출력부(75A)로 출력한다. 또한, HEVC 디코더(72)는 기록 모드가 mode-ii일 경우, 복호하여 얻어진 STD 비디오를 STD-HDR 변환부(74)와 STD 비디오 출력부(75B)로 출력한다.
HDR-STD 변환부(73)는 HEVC 디코더(72)로부터 공급된 HDR 비디오를, 파라미터 추출부(71)로부터 공급된 HDR-STD 변환용의 tone mapping 정의 정보에 기초하여STD 비디오로 변환한다. HDR-STD 변환부(73)는 변환하여 얻어진 STD 비디오를 STD 비디오 출력부(75B)로 출력한다.
STD-HDR 변환부(74)는 HEVC 디코더(72)로부터 공급된 STD 비디오를, 파라미터 추출부(71)로부터 공급된 STD-HDR 변환용의 tone mapping 정의 정보에 기초하여 HDR 비디오로 변환한다. STD-HDR 변환부(74)는 변환하여 얻어진 HDR 비디오를 HDR 비디오 출력부(75A)로 출력한다.
출력부(75)의 HDR 비디오 출력부(75A)는, 표시 장치(3)로 HDR 비디오를 출력할 경우, HEVC 디코더(72)로부터 공급된 HDR 비디오, 또는 STD-HDR 변환부(74)로부터 공급된 HDR 비디오를 HDMI 통신부(61)로 출력한다.
STD 비디오 출력부(75B)는, 표시 장치(3)로 STD 비디오를 출력할 경우, HEVC 디코더(72)로부터 공급된 STD 비디오, 또는 HDR-STD 변환부(73)로부터 공급된 STD 비디오를 HDMI 통신부(61)로 출력한다.
도 35는, 도 32의 그래픽 처리부(59)의 구성예를 도시하는 블록도이다.
그래픽 처리부(59)는 TS 버퍼(91), 그래픽 디코더(92), 그래픽 플레인 생성부(93), CLUT 관리부(94), RGB 변환부(95), 역감마 변환부(96), HDR 정보 취득부(97), 계산부(98), 할당부(99), 및 YCrCb 변환부(100)로 구성된다. 그래픽 디코더(92)는 ES 버퍼(111), 프로세서(112), 디코더 버퍼(113), 콤포지션 버퍼(114), 및 그래픽 컨트롤러(115)로 구성된다. 분리부(57)로부터 공급된 그래픽 스트림의 데이터인 TS 패킷은 TS 버퍼(91)에 입력된다. 비디오 복호 처리부(58)로부터 공급된 HDR 정보는 HDR 정보 취득부(97)에 입력된다.
TS 버퍼(Transport Stream)(91)는, 분리부(57)로부터 공급된 그래픽 스트림의 TS 패킷을 기억한다. TS 버퍼(91)는 기억되어 있는 TS 패킷을 포함하는 ES(Elementary Stream)를 그래픽 디코더(92)로 출력한다.
그래픽 디코더(92)의 ES 버퍼(111)는 TS 버퍼(91)로부터 공급된 TS 패킷을 포함하는 ES를 기억한다.
프로세서(112)는 ES 버퍼(111)로부터 ES를 판독하고, 그 ES에 포함되는 그래픽의 제어 데이터를 콤포지션 버퍼(114)에 공급한다. 예를 들어, ES가 PG 스트림인 경우, 프로세서(112)는 PG 스트림에 포함되는 PCS, WDS, 및 PDS를 콤포지션 버퍼(114)에 공급한다. 한편, ES가 IG 스트림인 경우, 프로세서(112)는 IG 스트림에 포함되는 ICS와 PDS를 콤포지션 버퍼(114)에 공급한다.
또한, 프로세서(112)는 ES에 포함되는 실데이터를 복호하고, 디코더 버퍼(113)에 공급하여 유지시킨다. 예를 들어, ES가 PG 스트림 또는 IG 스트림인 경우, 프로세서(112)는 ODS를 복호하고, 복호하여 얻어진 그래픽의 데이터를 디코더 버퍼(113)에 공급한다.
디코더 버퍼(113)는 프로세서(112)로부터 공급된 그래픽의 데이터를 기억한다.
콤포지션 버퍼(114)는, 프로세서(112)로부터 공급된 제어 데이터를 기억한다.
그래픽 컨트롤러(115)는, 콤포지션 버퍼(114)로부터 제어 데이터를 판독한다. 그래픽 컨트롤러(115)는, 판독한 제어 데이터 중의 PCS나 WDS에 기초하여, 디코더 버퍼(113)와 그래픽 플레인 생성부(93)에 있어서의 판독 타이밍을 제어한다. 또한, 그래픽 컨트롤러(115)는, PDS에 포함되는 팔레트 정보를 CLUT 관리부(94)에 공급한다.
그래픽 플레인 생성부(93)는 그래픽 컨트롤러(115)에 의한 제어 타이밍에 따라 디코더 버퍼(113)로부터 판독한 데이터에 기초하여 그래픽 플레인을 생성한다. 그래픽 플레인 생성부(93)는 생성한 그래픽 플레인의 데이터를, 그래픽 컨트롤러(115)에 의한 제어 타이밍에 따라서 CLUT 관리부(94)로 출력한다.
CLUT 관리부(94)는 그래픽 컨트롤러(115)로부터 공급되는 팔레트 정보에 기초하여 정의되는 CLUT를 기억한다. CLUT는, 입력값과 YCrCb의 각 화소값을 대응지은 테이블이다. CLUT 관리부(94)는 CLUT에 기초하여, 그래픽 플레인 생성부(93)로부터 공급된 그래픽 플레인을 각 8bit의 YCrCb값을 포함하는 데이터로 변환한다.
CLUT 관리부(94)는 BD 그래픽을 HDR 비디오에 합성하는 경우, YCrCb의 BD 그래픽의 데이터를 RGB 변환부(95)로 출력한다. 한편, BD 그래픽을 STD 비디오에 합성하는 경우, CLUT 관리부(94)는 YCrCb의 BD 그래픽을 합성부(60)로 출력한다. CLUT 관리부(94)가 출력하는 YCrCb의 화소값에는, 투명도의 값도 부가된다.
RGB 변환부(95)는 CLUT 관리부(94)로부터 공급된 YCrCb의 BD 그래픽을, 각 8bit의 RGB의 BD 그래픽으로 변환하고, 역감마 변환부(96)로 출력한다.
역감마 변환부(96)는 BD 그래픽에 대하여 역감마 변환을 실시하고, 할당부(99)로 출력한다. 역감마 변환 후의 RGB값과 휘도는 선형의 관계를 갖는다.
HDR 정보 취득부(97)는 비디오 복호 처리부(58)로부터 공급된 HDR 정보를 취득하고, 계산부(98)로 출력한다.
계산부(98)는 BD 그래픽의 각 화소값을 입력으로 하고, 그 화소값이 나타내는 휘도와 동일한 휘도를 나타내는, HDR 비디오의 감마 함수계에 있어서의 10bit의 화소값을 출력으로 하는 할당용 함수를, HDR 정보 취득부(97)에 의해 취득된 HDR 정보에 기초하여 계산한다. 계산부(98)는 계산에 의해 구한 할당용 함수를 할당부(99)로 출력한다.
할당부(99)는 화소값의 변환부로서 기능하고, 계산부(98)에 의해 구해진 할당용 함수에 기초하여, 역감마 변환 후의 BD 그래픽의 RGB의 각 화소값을, HDR 비디오의 감마 함수계에 있어서의 화소값에 할당한다. 할당부(99)는 할당 후의 각 10bit의 RGB값에 의해 표현되는 BD 그래픽을 YCrCb 변환부(100)로 출력한다.
YCrCb 변환부(100)는 할당부(99)로부터 공급된 RGB의 BD 그래픽을, 각 10bit의 YCrCb의 BD 그래픽으로 변환하고, HDR 합성용 그래픽으로서 합성부(60)로 출력한다.
[표시 장치(3)의 구성]
도 36은, 표시 장치(3)의 구성예를 도시하는 블록도이다.
표시 장치(3)는 컨트롤러(131), HDMI 통신부(132), 신호 처리부(133), 및 모니터(134)로 구성된다. 컨트롤러(131)는 메모리(131A)를 갖는다.
컨트롤러(131)는 CPU, ROM, RAM 등으로 구성된다. 컨트롤러(131)는 소정의 프로그램을 실행하여, 표시 장치(3)의 전체 동작을 제어한다.
예를 들어, 컨트롤러(131)는 모니터(134)의 성능을 나타내는 EDID(Extended display identification data)를 메모리(131A)에 기억시켜서 관리한다. 컨트롤러(131)는 재생 장치(2)와의 인증시, 메모리(131A)에 기억시켜둔 EDID를 HDMI 통신부(132)로 출력하고, 재생 장치(2)에 대하여 송신시킨다. EDID에 기초하여, 표시 장치(3)의 모니터(134)의 성능이 재생 장치(2)에 의해 특정된다.
HDMI 통신부(132)는 HDMI 케이블(4)을 통하여 재생 장치(2)와의 사이에서 통신을 행한다. HDMI 통신부(132)는 재생 장치(2)로부터 송신되어 온 비디오 데이터를 수신하고, 신호 처리부(133)로 출력한다. 또한, HDMI 통신부(132)는 컨트롤러(131)로부터 공급된 EDID를 재생 장치(2)로 송신한다.
신호 처리부(133)는 HDMI 통신부(132)로부터 공급된 비디오 데이터의 처리를 행하고, 영상을 모니터(134)에 표시시킨다.
<6. 각 장치의 동작에 대해서>
여기서, 이상과 같은 구성을 갖는 각 장치의 동작에 대하여 설명한다.
[기록 처리]
먼저, 도 37의 흐름도를 참조하여, 기록 장치(1)의 기록 처리에 대하여 설명한다. 도 37의 처리는, 마스터의 HDR 비디오와 BD 그래픽의 데이터가 기록 장치(1)에 입력되었을 때에 개시된다.
스텝 S1에 있어서, 기록 장치(1)의 컨트롤러(21)는 기록 모드가 mode-i인지 여부를 판정한다. 기록 모드는 예를 들어 제작자에 의해 설정된다.
기록 모드가 mode-i이라고 스텝 S1에서 판정된 경우, 스텝 S2에 있어서, 비디오 부호화 처리부(22)는 mode-i에서의 부호화 처리를 행한다. mode-i에서의 부호화 처리에 의해 생성된 HEVC 스트림은 다중화부(24)에 공급된다.
한편, 기록 모드가 mode-ii라고 스텝 S1에서 판정된 경우, 스텝 S3에 있어서, 비디오 부호화 처리부(22)는 mode-ii에서의 부호화 처리를 행한다. mode-ii에서의 부호화 처리에 의해 생성된 HEVC 스트림은 다중화부(24)에 공급된다.
스텝 S4에 있어서, Data Base 정보 생성부(21A)는 Data Base 정보 생성 처리를 행한다. Data Base 정보 생성 처리에 의해 생성된 PlayList 파일과 Clip Information 파일은 디스크 드라이브(25)에 공급된다.
스텝 S5에 있어서, 그래픽 인코더(23)는 BD 그래픽의 데이터 부호화를 행하고, 그래픽 스트림을 다중화부(24)로 출력한다.
스텝 S6에 있어서, 다중화부(24)는 비디오 부호화 처리부(22)로부터 공급된 HEVC 스트림과 그래픽 인코더(23)로부터 공급된 그래픽 스트림을 다중화하고, 다중화 스트림을 디스크 드라이브(25)로 출력한다.
스텝 S7에 있어서, 디스크 드라이브(25)는 PlayList 파일, Clip Information 파일, 및 다중화 스트림 파일을 광 디스크(11)에 기록한다. 그 후, 처리는 종료된다.
이어서, 도 38의 흐름도를 참조하여, 도 37의 스텝 S2에 있어서 행하여지는 mode-i에서의 부호화 처리에 대하여 설명한다.
스텝 S11에 있어서, 비디오 부호화 처리부(22)의 HDR 정보 생성부(31)는 마스터의 HDR 비디오의 휘도를 검출하고, HDR 정보를 생성한다.
스텝 S12에 있어서, HEVC 인코더(32)는 마스터의 HDR 비디오를 대상으로 하여 HEVC에 의한 부호화를 행하여, HDR 비디오의 부호화 데이터를 생성한다.
스텝 S13에 있어서, HDR-STD 변환부(33)는 입력된 마스터의 HDR 비디오를 STD 비디오로 변환한다. HDR 비디오의 RGB 신호를 input data, STD 비디오의 RGB 신호를 output data로 한 input data와 output data의 대응 관계를 나타내는 정보는 정의 정보 생성부(34)에 공급된다.
스텝 S14에 있어서, 정의 정보 생성부(34)는 HDR-STD 변환부(33)로부터 공급된 정보에 기초하여 HDR-STD 변환용의 tone mapping 정의 정보를 생성한다.
스텝 S15에 있어서, HEVC 스트림 생성부(35)는 HDR 정보 생성부(31)에 의해 생성된 HDR 정보를 포함하는 Tone mapping information과, 정의 정보 생성부(34)에 의해 생성된 tone mapping 정의 정보를 포함하는 Tone mapping information의 tone_map_id에, mode-i용의 ID를 설정한다. 또한, HEVC 스트림 생성부(35)는 HDR 정보를 포함하는 Tone mapping information과 tone mapping 정의 정보를 포함하는 Tone mapping information을 부호화 데이터에 삽입하여, HEVC 스트림을 생성한다. 그 후, 도 37의 스텝 S2로 복귀되어, 그 이후의 처리가 행하여진다.
이어서, 도 39의 흐름도를 참조하여, 도 37의 스텝 S3에 있어서 행하여지는 mode-ii에서의 부호화 처리에 대하여 설명한다.
스텝 S21에 있어서, 비디오 부호화 처리부(22)의 HDR 정보 생성부(31)는 마스터의 HDR 비디오의 휘도를 검출하고, HDR 정보를 생성한다.
스텝 S22에 있어서, HDR-STD 변환부(33)는 입력된 마스터의 HDR 비디오를 STD 비디오로 변환한다. HDR 비디오의 RGB 신호를 input data, STD 비디오의 RGB 신호를 output data로 한 input data와 output data의 대응 관계를 나타내는 정보는 정의 정보 생성부(34)에 공급된다.
스텝 S23에 있어서, 정의 정보 생성부(34)는 HDR-STD 변환부(33)로부터 공급된 정보에 기초하여 STD-HDR 변환용의 tone mapping 정의 정보를 생성한다.
스텝 S24에 있어서, HEVC 인코더(32)는 마스터의 HDR 비디오를 변환하여 얻어진 STD 비디오를 대상으로 하여 HEVC에 의한 부호화를 행하여, STD 비디오의 부호화 데이터를 생성한다.
스텝 S25에 있어서, HEVC 스트림 생성부(35)는 HDR 정보 생성부(31)에 의해 생성된 HDR 정보를 포함하는 Tone mapping information과, 정의 정보 생성부(34)에 의해 생성된 tone mapping 정의 정보를 포함하는 Tone mapping information의 tone_map_id에, mode-ii용의 ID를 설정한다. 또한, HEVC 스트림 생성부(35)는 HDR 정보를 포함하는 Tone mapping information과 tone mapping 정의 정보를 포함하는 Tone mapping information을 부호화 데이터에 삽입하여, HEVC 스트림을 생성한다. 그 후, 도 37의 스텝 S3으로 복귀되어, 그 이후의 처리가 행하여진다.
이어서, 도 40의 흐름도를 참조하여, 도 37의 스텝 S4에 있어서 행하여지는 Data Base 정보 생성 처리에 대하여 설명한다.
스텝 S31에 있어서, 컨트롤러(21)의 Data Base 정보 생성부(21A)는, 도 23을 참조하여 설명한 각 정보를 포함하는 PlayList를 생성한다. Data Base 정보 생성부(21A)가 생성하는 PlayList에는, HEVC 스트림을 재생 구간으로서 지정하는 PlayItem에 관한 정보가 포함된다.
스텝 S32에 있어서, Data Base 정보 생성부(21A)는, HDR_flag과 mode_flag을 ProgramInfo()의 StreamCodingInfo에 포함하는 Clip Information을 생성한다. 이 예에 있어서는 마스터의 비디오가 HDR 비디오이기 때문에, Data Base 정보 생성부(21A)는, HDR_flag의 값으로서, 그것을 나타내는 값인 1을 설정한다.또한, 도 37의 스텝 S2에 있어서 mode-i에서의 부호화 처리가 행해진 경우, Data Base 정보 생성부(21A)는, mode_flag의 값으로서, 기록 모드가 mode-i인 것을 나타내는 값인 1을 설정한다. 한편, Data Base 정보 생성부(21A)는, 도 37의 스텝 S3에 있어서 mode-ii에서의 부호화 처리가 행해진 경우, mode_flag의 값으로서, 기록 모드가 mode-ii인 것을 나타내는 값인 0을 설정한다. 그 후, 도 37의 스텝 S4로 복귀되어, 그 이후의 처리가 행하여진다.
기록 장치(1)에 있어서는, 이상의 처리에 의해 생성된 HEVC 스트림과 Data Base 정보가 광 디스크(11)에 기록된다.
[재생 처리]
이어서, 도 41의 흐름도를 참조하여, 재생 장치(2)의 재생 처리에 대하여 설명한다.
광 디스크(11)의 재생을 개시하기 전 등의 소정의 타이밍에 있어서, 재생 장치(2)의 컨트롤러(51)는 HDMI 통신부(61)를 제어하여 표시 장치(3)와 통신을 행하고, 표시 장치(3)의 메모리(131A)로부터 EDID를 판독한다. 컨트롤러(51)는 표시 장치(3)가 갖는 모니터의 성능을 나타내는 정보를 레지스터(53A)에 기억시켜서 관리한다.
스텝 S41에 있어서, 컨트롤러(51)는 디스크 드라이브(52)를 제어하여, Data Base 정보인 PlayList와 Clip Information을 광 디스크(11)로부터 판독한다. 또한, 컨트롤러(51)는 재생하는 HEVC 스트림과 그래픽 스트림을 PlayList에 포함되는 정보에 기초하여 특정한다. 컨트롤러(51)는 특정한 HEVC 스트림과 그래픽 스트림을 포함하는 다중화 스트림을, 디스크 드라이브(52)를 제어하여 광 디스크(11)로부터 판독한다.
스텝 S42에 있어서, 분리부(57)는 광 디스크(11)로부터 판독된 다중화 스트림을, HEVC 스트림의 데이터와 그래픽 스트림의 데이터로 분리한다.
스텝 S43에 있어서, 컨트롤러(51)는 Clip Information에 포함되는 HDR_flag과 mode_flag을 참조한다. 이 예에 있어서는, 마스터를 HDR 비디오로 한 기록이 행하여지고 있음을 나타내는 값이 HDR_flag에 설정되어 있다. 이에 의해, 재생 장치(2)의 상태는, HDR 비디오, 또는, HDR 비디오를 변환하여 얻어진 STD 비디오를 재생하는 상태로 된다.
스텝 S44에 있어서, 컨트롤러(51)는 기록 모드가 mode-i인지 여부를 mode_flag의 값에 기초하여 판정한다.
기록 모드가 mode-i이라고 스텝 S44에서 판정된 경우, 스텝 S45에 있어서, 비디오 복호 처리부(58)는 mode-i에서의 복호 처리를 행한다.
한편, 기록 모드가 mode-ii라고 스텝 S44에서 판정된 경우, 스텝 S46에 있어서, 비디오 복호 처리부(58)는 mode-ii에서의 복호 처리를 행한다.
스텝 S45 또는 스텝 S46에 있어서 복호 처리가 행하여진 후, 처리는 종료된다.
또한, 여기에서는, 기록 모드가 mode-i인지 여부의 판정이 mode_flag의 값에 기초하여 행하여지는 것으로 했지만, HEVC 스트림에 삽입되어 있는 Tone mapping information의 tone_map_id에 기초하여 행하여지도록 해도 된다.
이어서, 도 42의 흐름도를 참조하여, 도 41의 스텝 S45에 있어서 행하여지는 mode-i에서의 복호 처리에 대하여 설명한다.
스텝 S61에 있어서, 비디오 복호 처리부(58)의 파라미터 추출부(71)는 HEVC 스트림의 SEI로부터 HDR 정보와 tone mapping 정의 정보를 추출한다. 파라미터 추출부(71)는 HEVC 스트림에 포함되는 HEVC의 부호화 데이터를 HEVC 디코더(72)로 출력한다.
스텝 S62에 있어서, HEVC 디코더(72)는 HEVC의 부호화 데이터를 복호하고, 복호하여 얻어진 HDR 비디오를 HDR-STD 변환부(73)와 HDR 비디오 출력부(75A)로 출력한다.
스텝 S63에 있어서, 컨트롤러(51)는 레지스터(53A)에 기억시켜 둔 정보에 기초하여, 표시 장치(3)가 갖는 모니터가 HDR 모니터인지 여부를 판정한다. 상술한 바와 같이, 레지스터(53A)에는, 표시 장치(3)로부터 판독된 HDMI의 EDID에 기초하여, 표시 장치(3)가 갖는 모니터의 성능에 관한 정보가 기억되어 있다.
표시 장치(3)가 갖는 모니터가 HDR 모니터라고 스텝 S63에서 판정된 경우, 스텝 S64에 있어서, HDR 비디오 출력부(75A)는, HEVC 디코더(72)로부터 공급된 HDR 비디오를 합성부(60)로 출력한다. 파라미터 추출부(71)에 의해 추출된 HDR 정보는 HDMI 통신부(61)로 출력된다.
스텝 S65에 있어서, 그래픽 처리부(59)는 HDR 합성용 그래픽 생성 처리를 행한다. HDR 합성용 그래픽 생성 처리에 의해 생성된 HDR 합성용 그래픽은 합성부(60)에 공급된다.
스텝 S66에 있어서, 합성부(60)는 비디오 복호 처리부(58)로부터 공급된 HDR 비디오와, 그래픽 처리부(59)로부터 공급된 HDR 합성용 그래픽을 합성하고, BD 그래픽의 합성 후의 HDR 비디오의 데이터를 HDMI 통신부(61)로 출력한다.
스텝 S67에 있어서, HDMI 통신부(61)는 BD 그래픽의 합성 후의 HDR 비디오의 데이터와, 비디오 복호 처리부(58)로부터 공급된 HDR 정보를 표시 장치(3)로 출력한다.
한편, 표시 장치(3)가 갖는 모니터가 HDR 모니터가 아니고, STD 모니터라고 스텝 S63에서 판정된 경우, 스텝 S68에 있어서, HDR-STD 변환부(73)는 HEVC 디코더(72)로부터 공급된 HDR 비디오를, 파라미터 추출부(71)로부터 공급된 HDR-STD 변환용의 tone mapping 정의 정보에 기초하여 STD 비디오로 변환한다.
스텝 S69에 있어서, STD 비디오 출력부(75B)는, HDR-STD 변환부(73)에 의해 변환이 행해짐으로써 얻어진 STD 비디오를 합성부(60)로 출력한다.
스텝 S70에 있어서, 그래픽 처리부(59)는 그래픽 스트림을 디코딩하고, BD 그래픽의 데이터를 합성부(60)로 출력한다. 즉, 그래픽 처리부(59)의 그래픽 디코더(92)에 있어서, 프로세서(112)는 ES 버퍼(111)에 기억된 그래픽 스트림을 디코딩하고, 디코딩하여 얻어진 BD 그래픽의 데이터를 디코더 버퍼(113)에 기억시킨다. 그래픽 플레인 생성부(93)는 디코더 버퍼(113)에 기억된 데이터에 기초하여, BD 그래픽 플레인을 생성한다. CLUT 관리부(94)는 BD 그래픽 플레인의 CLUT 변환을 행하고, CLUT 변환 후의 BD 그래픽의 데이터를, STD 합성용의 데이터로서 합성부(60)로 출력한다.
스텝 S71에 있어서, 합성부(60)는 비디오 복호 처리부(58)로부터 공급된 STD 비디오와 그래픽 처리부(59)로부터 공급된 BD 그래픽을 합성한다.
스텝 S72에 있어서, HDMI 통신부(61)는 BD 그래픽의 합성 후의 STD 비디오의 데이터를 표시 장치(3)로 출력한다.
스텝 S67에 있어서 BD 그래픽의 합성 후의 HDR 비디오가 출력된 후, 또는, 스텝 S72에 있어서 BD 그래픽의 합성 후의 STD 비디오가 출력된 후, 스텝 S73에 있어서, 컨트롤러(51)는 재생 종료인지 여부를 판정한다.
재생 종료가 아니라고 스텝 S73에 있어서 판정한 경우, 컨트롤러(51)는 스텝 S61로 복귀되고, 이상의 처리를 반복하여 실행한다. 재생 종료라고 스텝 S73에서 판정된 경우, 도 41의 스텝 S45로 복귀되어, 그 이후의 처리가 행하여진다.
이어서, 도 43의 흐름도를 참조하여, 도 41의 스텝 S46에 있어서 행하여지는 mode-ii에서의 복호 처리에 대하여 설명한다.
스텝 S81에 있어서, 비디오 복호 처리부(58)의 파라미터 추출부(71)는 HEVC 스트림의 SEI로부터 HDR 정보와 tone mapping 정의 정보를 추출한다. 파라미터 추출부(71)는 HEVC 스트림에 포함되는, HEVC의 부호화 데이터를 HEVC 디코더(72)로 출력한다.
스텝 S82에 있어서, HEVC 디코더(72)는 HEVC의 부호화 데이터를 복호하고, 복호하여 얻어진 STD 비디오를 STD-HDR 변환부(74)와 STD 비디오 출력부(75B)로 출력한다.
스텝 S83에 있어서, 컨트롤러(51)는 레지스터(53A)에 기억시켜 둔 정보에 기초하여, 표시 장치(3)가 갖는 모니터가 HDR 모니터인지 여부를 판정한다.
표시 장치(3)가 갖는 모니터가 HDR 모니터라고 스텝 S83에서 판정된 경우, 스텝 S84에 있어서, STD-HDR 변환부(74)는 HEVC 디코더(72)로부터 공급된 STD 비디오를, 파라미터 추출부(71)로부터 공급된 STD-HDR 변환용의 tone mapping 정의 정보에 기초하여 HDR 비디오로 변환한다.
스텝 S85에 있어서, HDR 비디오 출력부(75A)는, STD-HDR 변환부(74)에 의해 변환이 행해짐으로써 얻어진 HDR 비디오를 합성부(60)로 출력한다. 파라미터 추출부(71)에 의해 추출된 HDR 정보는 HDMI 통신부(61)로 출력된다.
스텝 S86에 있어서, 그래픽 처리부(59)는 HDR 합성용 그래픽 생성 처리를 행한다. HDR 합성용 그래픽 생성 처리에 의해 생성된 HDR 합성용 그래픽은 합성부(60)에 공급된다.
스텝 S87에 있어서, 합성부(60)는 비디오 복호 처리부(58)로부터 공급된 HDR 비디오와, 그래픽 처리부(59)로부터 공급된 HDR 합성용 그래픽을 합성하고, BD 그래픽의 합성 후의 HDR 비디오의 데이터를 HDMI 통신부(61)로 출력한다.
스텝 S88에 있어서, HDMI 통신부(61)는 BD 그래픽의 합성 후의 HDR 비디오의 데이터와, 비디오 복호 처리부(58)로부터 공급된 HDR 정보를 표시 장치(3)로 출력한다.
한편, 표시 장치(3)가 갖는 모니터가 STD 모니터라고 스텝 S83에서 판정된 경우, 스텝 S89에 있어서, STD 비디오 출력부(75B)는, HEVC 디코더(72)로부터 공급된 STD 비디오를 합성부(60)로 출력한다.
스텝 S90에 있어서, 그래픽 처리부(59)는 그래픽 스트림을 디코딩하고, STD 합성용의 BD 그래픽의 데이터를 합성부(60)로 출력한다.
스텝 S91에 있어서, 합성부(60)는 비디오 복호 처리부(58)로부터 공급된 STD 비디오와 그래픽 처리부(59)로부터 공급된 BD 그래픽을 합성한다.
스텝 S92에 있어서, HDMI 통신부(61)는 BD 그래픽의 합성 후의 STD 비디오의 데이터를 표시 장치(3)로 출력한다.
스텝 S88에 있어서 BD 그래픽의 합성 후의 HDR 비디오가 출력된 후, 또는, 스텝 S92에 있어서 BD 그래픽의 합성 후의 STD 비디오가 출력된 후, 스텝 S93에 있어서, 컨트롤러(51)는 재생 종료인지 여부를 판정한다.
재생 종료가 아니라고 스텝 S93에 있어서 판정한 경우, 컨트롤러(51)는 스텝 S81로 복귀되고, 이상의 처리를 반복하여 실행한다. 재생 종료라고 스텝 S93에서 판정된 경우, 도 41의 스텝 S46으로 복귀되어, 그 이후의 처리가 행하여진다.
이어서, 도 44의 흐름도를 참조하여, 도 42의 스텝 S65, 또는 도 43의 스텝 S86에 있어서 행하여지는 HDR 합성용 그래픽 생성 처리에 대하여 설명한다.
스텝 S111에 있어서, 그래픽 처리부(59)의 HDR 정보 취득부(97)는 비디오 복호 처리부(58)의 파라미터 추출부(71)에 의해 추출된 HDR 정보를 취득한다.
스텝 S112에 있어서, 계산부(98)는 BD 그래픽이 오리지날인 각 화소값을 입력으로 하고, 그 화소값이 나타내는 휘도와 동일한 휘도를 나타내는, HDR 비디오의 감마 함수계에 있어서의 10bit의 화소값을 출력으로 하는 할당용 함수를 HDR 정보에 기초하여 계산한다.
스텝 S113에 있어서, 그래픽 디코더(92)는 그래픽 스트림을 디코딩한다. 그래픽 스트림을 디코딩함으로써 얻어진 데이터에 기초하여, 그래픽 플레인 생성부(93)에 의해 BD 그래픽 플레인이 생성된다.
스텝 S114에 있어서, CLUT 관리부(94)는 CLUT에 기초하여, BD 그래픽의 변환을 행한다.
스텝 S115에 있어서, RGB 변환부(95)는 CLUT 관리부(94)에 의한 변환에 의해 얻어진 YCrCb의 BD 그래픽을, 각 8bit의 RGB의 BD 그래픽으로 변환한다.
스텝 S116에 있어서, 역감마 변환부(96)는 BD 그래픽에 대하여 역감마 변환을 실시한다.
스텝 S117에 있어서, 할당부(99)는 계산부(98)에 의해 구해진 할당용 함수에 기초하여, 역감마 변환 후의 BD 그래픽의 RGB의 각 화소값을, HDR 비디오의 감마 함수계에 있어서의 화소값에 할당한다.
스텝 S118에 있어서, YCrCb 변환부(100)는 할당부(99)에 의한 할당 후의 RGB의 BD 그래픽을, 각 10bit의 YCrCb값을 포함하는 BD 그래픽으로 변환하고, HDR 합성용 그래픽으로서 합성부(60)로 출력한다. 그 후, 도 42의 스텝 S65, 또는 도 43의 스텝 S86으로 복귀되어, 그 이후의 처리가 행하여진다.
[표시 처리]
이어서, 도 45의 흐름도를 참조하여, 표시 장치(3)의 표시 처리에 대하여 설명한다.
여기에서는, 표시 장치(3)가 갖는 모니터(134)가 HDR 모니터일 경우에 대하여 설명한다. HDR 모니터를 갖는 표시 장치(3)에 대해서는, HDR 정보가 부가된 HDR 비디오가 재생 장치(2)로부터 송신되어 온다. 재생 장치(2)로부터 송신되어 오는 HDR 비디오는, BD 그래픽이 합성된 비디오이다.
스텝 S131에 있어서, 표시 장치(3)의 HDMI 통신부(132)는 재생 장치(2)로부터 송신되어 온 HDR 비디오와 HDR 정보를 수신한다.
스텝 S132에 있어서, 컨트롤러(131)는 HDR 정보를 참조하여, 재생 장치(2)로부터 송신되어 온 HDR 비디오를 그대로 표시 가능한지 여부를 판정한다. HDR 정보에는, 마스터의 HDR 비디오, 즉 재생 장치(2)로부터 송신되어 온 HDR 비디오의 휘도 특성을 나타내는 정보가 포함된다. 스텝 S132에 있어서의 판정은, HDR 정보에 의해 특정되는 HDR 비디오의 휘도 특성과, 모니터(134)의 표시 성능을 비교함으로써 행하여진다.
예를 들어, HDR 정보에 의해 특정되는 HDR 비디오의 다이내믹 레인지가 0 내지 400％이며, 모니터(134)의 다이내믹 레인지가 0 내지 500％(예를 들어 100％의 밝기를 100cd/㎡라 하면 500cd/㎡)일 경우, HDR 비디오를 그대로 표시 가능하다고 판정된다. 한편, HDR 정보에 의해 특정되는 HDR 비디오의 다이내믹 레인지가 0 내지 400％이며, 모니터(134)의 다이내믹 레인지가 0 내지 300％일 경우, HDR 비디오를 그대로 표시할 수 없다고 판정된다.
HDR 비디오를 그대로 표시 가능하다고 스텝 S132에서 판정된 경우, 스텝 S133에 있어서, 신호 처리부(133)는 HDR 비디오의 영상을, HDR 정보에 의해 지정되는 휘도에 따라서 모니터(134)에 표시시킨다. 예를 들어, 도 12의 곡선 L12로 나타내는 휘도의 특성이 HDR 정보에 의해 지정되어 있는 경우, 각 화소값은 곡선 L12로 나타내는 0 내지 400％의 범위의 밝기를 나타낸다.
한편, HDR 비디오를 그대로 표시시킬 수 없다고 스텝 S132에서 판정된 경우, 스텝 S134에 있어서, 신호 처리부(133)는 모니터(134)의 표시 성능에 따라서 휘도를 조정하고, 휘도를 조정한 HDR 비디오의 영상을 표시시킨다. 예를 들어, 도 12의 곡선 L12로 나타내는 휘도의 특성이 HDR 정보에 의해 지정되어 있고, 모니터(134)의 다이내믹 레인지가 0 내지 300％일 경우, 각 화소값이 0 내지 300％의 범위의 밝기를 나타내도록 압축된다.
스텝 S133, 또는 스텝 S134에 있어서 HDR 비디오의 영상이 표시된 후, 스텝 S135에 있어서, 컨트롤러(131)는 표시를 종료할 것인지 여부를 판정하고, 종료하지 않는다고 판정한 경우, 스텝 S131 이후의 처리를 반복한다. 스텝 S135에 있어서 표시를 종료한다고 판정한 경우, 컨트롤러(131)는 처리를 종료시킨다.
이상의 일련의 처리에 의해, 기록 장치(1)는 마스터의 HDR 비디오를 HDR 비디오 그대로 광 디스크(11)에 기록하고, 재생 장치(2)에 재생시켜서 HDR 비디오의 영상을 표시 장치(3)에 표시시킬 수 있다.
또한, 기록 장치(1)는 마스터의 HDR 비디오를 STD 비디오로 변환하여 광 디스크(11)에 기록하고, 재생 장치(2)에 HDR 비디오로 복원시켜서 HDR 비디오의 영상을 표시 장치(3)에 표시시킬 수 있다.
HDR 비디오를 재생할 때, 마스터의 HDR 비디오의 휘도 특성을 HDR 정보에 의해 지정할 수 있도록 함으로써, 콘텐츠의 제작자는, 의도한 바의 휘도로 HDR 비디오의 영상을 표시시키는 것이 가능해진다.
또한, BD 그래픽에 대해서는, 표준의 다이내믹 레인지 휘도로 표시되는 점에서, 자막 등의 그래픽이 보기 불편해진다고 하는 것을 방지하는 것이 가능해진다.
또한, 모니터(134)가 STD 모니터일 경우, 표시 장치(3)의 HDMI 통신부(132)는 재생 장치(2)로부터 송신되어 온, BD 그래픽이 합성된 STD 비디오를 수신한다. 신호 처리부(133)는 HDMI 통신부(132)에 의해 수신된 STD 비디오를, 그대로 모니터(134)에 표시시켜버린다.
<7. BD-J 그래픽의 합성에 대해서>
도 46은, BD-J 오브젝트에 기초하여 표시되는 화면의 예를 도시하는 도면이다.
도 46에 있어서 화살표로 나타낸 바와 같이, BD-J 오브젝트(BD-J 오브젝트에 기술된 BD-J애플리케이션)가 실행됨으로써, 예를 들어 BD-J 그래픽 플레인과 배경 플레인이 생성된다. BD-J 그래픽 플레인은, 비디오 플레인보다 앞쪽에 합성되고, 배경 플레인은 비디오 플레인보다 안쪽에 합성된다.
[HDR 비디오와 BD-J 그래픽의 합성]
도 47은, BD-J 그래픽에 기초하는 HDR 합성용 그래픽의 생성 처리의 예를 도시하는 도면이다.
BD-J 오브젝트를 실행함으로써 얻어지는 BD-J 그래픽은, 각 8bit의 RGB값에 의해 표현된다. 도 16을 참조하여 설명한 CLUT 변환 후의 BD 그래픽은 YCrCb값에 의해 표현되는 점에서, 화소값의 할당 전에 RGB 변환을 행할 필요가 있지만, BD-J 그래픽을 HDR 비디오에 합성하는 경우, RGB 변환은 불필요하게 된다.
RGB 변환이 불필요하게 되는 점을 제외하고, BD-J 그래픽을 HDR 비디오에 합성하는 처리는, BD 그래픽을 HDR 비디오에 합성하는 처리와 기본적으로 동일한 처리이다. 중복되는 설명에 대해서는 적절히 생략한다.
재생 장치(2)의 그래픽 처리부(59)를 구성하는 계산부(98)(도 35)는 화살표 #301의 끝에 도시한 바와 같이, HDR 정보 취득부(97)에 의해 취득된 HDR 정보에 기초하여 할당용 함수를 계산한다.
역감마 변환부(96)는 화살표 #302의 끝에 도시한 바와 같이, RGB의 BD-J 그래픽에 역감마 변환을 실시한다. BD 그래픽과 마찬가지로, BD-J 그래픽에 대해서도 감마 변환이 실시되어 있다. 역감마 변환 후의 BD-J 그래픽은 각 8bit의 R'G'B'값에 의해 표현된다. R'G'B'값과 휘도는 선형의 관계를 갖는다.
할당부(99)는 화살표 #303의 끝에 도시한 바와 같이, 역감마 변환 후의 BD-J 그래픽의 화소값인 R'G'B'값을 각각 할당용 함수의 입력으로 하고, 출력으로서의 각 10bit의 R"G"B"를 각각 구한다(화소값의 할당을 행한다).
YCrCb 변환부(100)는 화살표 #304의 끝에 도시한 바와 같이, R"G"B"의 BD 그래픽을, 각 10bit의 Y'Cr'Cb'의 BD 그래픽으로 변환한다. 변환에 의해 얻어진 Y'Cr'Cb'의 BD-J 그래픽이, HDR 합성용 그래픽이 된다.
도 48은, 합성 처리의 예를 도시하는 도면이다.
재생 장치(2)의 합성부(60)는 화살표 #321, #322의 끝에 도시한 바와 같이, BD-J 그래픽에 기초하여 생성된 HDR 합성용 그래픽과, HEVC 스트림을 디코딩하여 얻어진 HDR 비디오를 합성한다. HDMI 통신부(61)는 화살표 #323의 끝에 도시한 바와 같이, 합성 후의 HDR 비디오를 HDR 정보와 함께 표시 장치(3)로 출력한다.
이와 같이, 표준의 다이내믹 레인지 BD-J 그래픽을 HDR 비디오에 합성함으로써, 더 보기 편한 그래픽의 표시가 가능하게 된다.
[STD 비디오와 BD-J 그래픽의 합성]
도 49는, STD 비디오와 BD-J 그래픽의 합성 처리의 예를 도시하는 도면이다.
재생 장치(2)의 그래픽 처리부(59)를 구성하는 YCrCb 변환부(100)는 화살표 #331의 끝에 도시한 바와 같이, BD-J 오브젝트를 실행함으로써 얻어진 RGB의 BD-J 그래픽에 대하여 YCrCb 변환을 실시한다. YCrCb 변환 후의 BD-J 그래픽은 각 8bit의 YCrCb값에 의해 표현된다. 각 8bit의 YCrCb는 각각 10bit로 시프트된다.
합성부(60)는 화살표 #332, #333의 끝에 도시한 바와 같이, 각 10bit의 YCrCb의 BD-J 그래픽과 STD 비디오를 합성한다. HDMI 통신부(61)는 화살표 #334의 끝에 도시한 바와 같이, 합성 후의 STD 비디오를 표시 장치(3)로 출력한다.
[각 장치의 구성에 대해서]
여기서, 이상과 같은 BD-J 그래픽의 합성을 실현하는 각 장치의 구성에 대하여 설명한다. 상술한 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복되는 설명에 대해서는 적절히 생략한다.
도 50은, 기록 장치(1)의 구성예를 도시하는 블록도이다.
컨트롤러(21)에 있어서는, 소정의 프로그램이 실행됨으로써 Data Base 정보 생성부(21A)와 BD-J 오브젝트 생성부(21B)가 실현된다. Data Base 정보 생성부(21A)는, Data Base 정보인 PlayList와 Clip Information을 생성하고, 디스크 드라이브(25)로 출력한다.
BD-J 오브젝트 생성부(21B)는, 입력된 그래픽의 데이터에 기초하여, BD-J 그래픽의 재생 커맨드를 기술하는 BD-J 오브젝트를 생성한다. BD-J 오브젝트 생성부(21B)는, 생성한 BD-J 오브젝트를 디스크 드라이브(25)로 출력한다.
비디오 부호화 처리부(22)는 마스터의 HDR 비디오의 부호화를 행한다. 비디오 부호화 처리부(22)는 마스터의 HDR 비디오를 부호화하여 얻어진 HEVC 스트림을 다중화부(24)로 출력한다.
다중화부(24)는 비디오 부호화 처리부(22)로부터 공급된 HEVC 스트림과 각종 데이터를 다중화하고, 다중화 스트림을 디스크 드라이브(25)로 출력한다.
디스크 드라이브(25)는 컨트롤러(21)로부터 공급된 PlayList, Clip Information, 및 BD-J 오브젝트와, 다중화부(24)로부터 공급된 다중화 스트림을 저장하는 파일을, 도 22의 디렉토리 구조에 따라서 광 디스크(11)에 기록한다.
도 51은, 재생 장치(2)의 구성예를 도시하는 블록도이다.
컨트롤러(51)에 있어서는, 디스크 드라이브(52)로부터 공급되는 BD-J 오브젝트가 실행됨으로써 BD-J 오브젝트 실행부(51A)가 실현된다. BD-J 오브젝트 실행부(51A)는, BD-J 그래픽의 복호부로서 기능하고, 재생 커맨드에 따라서 BD-J 그래픽의 데이터를 생성한다. BD-J 오브젝트 실행부(51A)는, 생성한 BD-J 그래픽의 데이터를 그래픽 처리부(59)로 출력한다.
디스크 드라이브(52)는 광 디스크(11)로부터 판독한 Data Base 정보와 BD-J 오브젝트를 컨트롤러(51)로 출력하고, 다중화 스트림을 분리부(57)로 출력한다.
분리부(57)는 디스크 드라이브(52)로부터 공급된 다중화 스트림으로부터, HEVC 스트림의 데이터를 분리한다. 분리부(57)는 분리한 HEVC 스트림의 데이터를 비디오 복호 처리부(58)로 출력한다.
그래픽 처리부(59)는 BD-J 오브젝트 실행부(51A)로부터 공급된 BD-J 그래픽의 데이터를 처리하고, BD-J 그래픽의 데이터를 합성부(60)로 출력한다.
합성부(60)는 비디오 복호 처리부(58)로부터 공급된 HDR 비디오 또는 STD 비디오와, 그래픽 처리부(59)로부터 공급된 BD-J 그래픽을 합성하고, BD-J 그래픽의 합성 후의 HDR 비디오 또는 STD 비디오의 데이터를 HDMI 통신부(61)로 출력한다.
도 52는, 그래픽 처리부(59)의 구성예를 도시하는 블록도이다.
BD-J 오브젝트 실행부(51A)로부터 공급된 BD-J 그래픽의 데이터는 역감마 변환부(96)와 YCrCb 변환부(100)에 입력된다. 비디오 복호 처리부(58)로부터 공급된 HDR 정보는 HDR 정보 취득부(97)에 입력된다.
역감마 변환부(96)는 BD-J 그래픽에 대하여 역감마 변환을 실시하고, 할당부(99)로 출력한다.
HDR 정보 취득부(97)는 비디오 복호 처리부(58)로부터 공급된 HDR 정보를 취득하고, 계산부(98)로 출력한다.
계산부(98)는 BD-J 그래픽의 각 화소값을 입력으로 하고, 그 화소값이 나타내는 휘도와 동일한 휘도를 나타내는, HDR 비디오의 감마 함수계에 있어서의 10bit의 화소값을 출력으로 하는 할당용 함수를, HDR 정보 취득부(97)에 의해 취득된 HDR 정보에 기초하여 계산한다. 계산부(98)는 계산에 의해 구한 할당용 함수를 할당부(99)로 출력한다.
할당부(99)는 계산부(98)에 의해 구해진 할당용 함수에 기초하여, 역감마 변환 후의 BD-J 그래픽의 RGB의 각 화소값을, HDR 비디오의 감마 함수계에 있어서의 화소값에 할당한다. 할당부(99)는 할당 후의 각 10bit의 RGB값에 의해 표현되는 BD-J 그래픽을 YCrCb 변환부(100)로 출력한다.
YCrCb 변환부(100)는 할당부(99)로부터 공급된 RGB의 BD 그래픽을, 각 10bit의 YCrCb의 BD 그래픽으로 변환하고, HDR 합성용 그래픽으로서 합성부(60)로 출력한다.
또한, YCrCb 변환부(100)는 BD-J 그래픽을 STD 비디오에 합성하는 경우, BD-J 오브젝트 실행부(51A)로부터 공급된 RGB의 BD-J 그래픽을 YCrCb의 BD-J 그래픽으로 변환한다. YCrCb 변환부(100)는 비트 시프트 후의 각 10bit의 YCrCb의 BD-J 그래픽을 STD 합성용 그래픽으로서 합성부(60)로 출력한다.
또한, BD-J 그래픽에 관한 처리를 실현하는 도 50의 각 구성을 도 27의 기록 장치(1)에 설치하는 것도 가능하다. 또한, BD-J 그래픽에 관한 처리를 실현하는 도 51의 각 구성을 도 32의 재생 장치(2)에 설치하는 것도 가능하다.
<8. 변형예>
[CLUT를 가공하는 예]
BD 그래픽을 HDR 비디오에 합성하는 경우, BD 그래픽의 각 화소값을 HDR 비디오의 감마 함수계에 있어서의 화소값에 할당하여 HDR 합성용의 데이터를 생성하는 것으로 했지만, CLUT를 HDR 정보에 기초하여 가공하고, 가공 후의 CLUT를 사용하여 변환을 행함으로써 HDR 합성용의 데이터를 생성하도록 해도 된다.
이 경우, 그래픽 스트림에 포함되는 팔레트 정보에 기초하여 정의되는 CLUT는, HDR 비디오의 감마 함수계에 있어서의 각 10bit의 화소값을 출력하는 것이 되도록 HDR 정보에 기초하여 가공된다.
도 53은, CLUT의 가공을 행하여 HDR 합성용 그래픽을 생성하는 처리의 예를 도시하는 도면이다.
재생 장치(2)의 그래픽 처리부(59)를 구성하는 CLUT 관리부(94)는 화살표 #351의 끝에 도시한 바와 같이, 팔레트 정보에 기초하여 정의되는 CLUT를, HDR 정보에 기초하여, HDR 비디오의 감마 함수계에 있어서의 각 10bit의 화소값을 출력하는 CLUT로 가공한다. 팔레트 정보에 기초하여 정의되는 가공 전의 CLUT는, 입력값에 대하여 BD 그래픽의 감마 함수계에 있어서의 각 8bit의 YCrCb를 출력하는 테이블이다.
CLUT 관리부(94)는 화살표(352)의 끝에 도시한 바와 같이, 예를 들어 PG 스트림을 디코딩하여 얻어진 BD 그래픽에 대하여 가공 후의 CLUT를 사용한 변환을 실시한다. CLUT 변환 후의 BD 그래픽은, 각 10bit의 Y'Cr'Cb'의 화소값에 의해 표현된다. CLUT 변환 후의 Y'Cr'Cb'의 BD 그래픽이, HDR 합성용 그래픽으로서 사용된다.
합성부(60)는 화살표 #353, #354의 끝에 도시한 바와 같이, HDR 합성용 그래픽과 HDR 비디오를 합성하고, 화살표 #355의 끝에 도시한 바와 같이, 합성 후의 HDR 비디오를 HDR 정보와 함께 표시 장치(3)로 출력한다.
이와 같이, HDR 정보에 기초하여 CLUT를 가공하고, 가공 후의 CLUT를 사용하여 변환을 행함으로써 HDR 합성용의 BD 그래픽을 생성하도록 하는 것도 가능하다.
도 54는, CLUT의 가공을 행하는 그래픽 처리부(59)의 구성을 도시하는 블록도이다. 도 54의 그래픽 처리부(59)를 포함하는 재생 장치(2)의 구성은, 도 32에 도시하는 구성과 동일한 구성이다.
도 54에 도시하는 구성 중, 도 35에 도시하는 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복되는 설명에 대해서는 적절히 생략한다.
CLUT 관리부(94)는 그래픽 컨트롤러(115)로부터 공급되는 팔레트 정보에 기초하여 정의되는 CLUT를 기억한다. 가공 전의 CLUT는, 입력값과 각 8bit의 YCrCb의 각 화소값을 대응지은 테이블이다.
CLUT 관리부(94)는 BD 그래픽을 HDR 비디오에 합성하는 경우, HDR 정보 취득부(97)로부터 공급되는 HDR 정보에 기초하여, 기억되어 있는 CLUT를, HDR 비디오의 감마 함수계에 있어서의 각 10bit의 YCrCb(도 53의 Y'Cr'Cb')의 화소값을 출력하는 CLUT로 가공한다. CLUT 관리부(94)는 가공 후의 CLUT에 기초하여, 그래픽 플레인 생성부(93)로부터 공급된 BD 그래픽 플레인의 데이터를 각 10bit의 YCrCb값을 포함하는 데이터로 변환하고, HDR 합성용 그래픽으로서 출력한다.
한편, BD 그래픽을 STD 비디오에 합성하는 경우, CLUT 관리부(94)는 팔레트 정보에 기초하여 정의되는 CLUT에 기초하여, 그래픽 플레인 생성부(93)로부터 공급된 BD 그래픽 플레인의 데이터를 각 8bit의 YCrCb값을 포함하는 데이터로 변환한다. CLUT 관리부(94)는 각 8bit의 YCrCb값을 포함하는 BD 그래픽 플레인의 데이터를 STD 합성용 그래픽으로서 출력한다.
HDR 정보 취득부(97)는 비디오 복호 처리부(58)로부터 공급된 HDR 정보를 취득하고, CLUT 관리부(94)로 출력한다.
이와 같은 구성을 갖는 그래픽 처리부(59)를 포함하는 재생 장치(2)의 처리는, HDR 합성용 그래픽을 생성하는 처리를 제외하고, 도 41 내지 도 43의 처리와 동일한 처리이다.
도 55의 흐름도를 참조하여, 도 42의 스텝 S65, 또는 도 43의 스텝 S86에 있어서 행하여지는 다른 HDR 합성용 그래픽 생성 처리에 대하여 설명한다.
스텝 S201에 있어서, 그래픽 처리부(59)의 HDR 정보 취득부(97)는 비디오 복호 처리부(58)의 파라미터 추출부(71)에 의해 추출된 HDR 정보를 취득한다.
스텝 S202에 있어서, CLUT 관리부(94)는 HDR 정보 취득부(97)에 의해 취득된 HDR 정보에 기초하여 CLUT를 가공한다.
스텝 S203에 있어서, 그래픽 디코더(92)는 그래픽 스트림을 디코딩한다. 그래픽 스트림을 디코딩함으로써 얻어진 데이터에 기초하여, 그래픽 플레인 생성부(93)에 의해 BD 그래픽 플레인이 생성된다.
스텝 S204에 있어서, CLUT 관리부(94)는 가공 후의 CLUT에 기초하여, BD 그래픽 플레인을 각 10bit의 YCrCb값을 포함하는 데이터로 변환하고, HDR 합성용 그래픽으로서 합성부(60)로 출력한다. 그 후, 도 42의 스텝 S65, 또는 도 43의 스텝 S86으로 복귀되어, 그 이후의 처리가 행하여진다.
이상과 같이 CLUT를 가공하여 HDR 합성용의 BD 그래픽을 생성하는 것에 의해서도, 보기 편한 그래픽의 표시가 가능하게 된다.
[그래픽의 다이내믹 레인지를 가변으로 하는 예]
이상에 있어서는, 0 내지 100％의 고정의 범위의 다이내믹 레인지를 갖는 그래픽을 재생 장치(2)의 내부에서 생성하고, HDR 비디오에 합성하는 것으로 했지만, 그래픽의 다이내믹 레인지가 가변이어도 된다. 이 경우, 어느 범위의 다이내믹 레인지를 갖는 그래픽을 생성할지가, 광 디스크(11)에 기록된 정보에 의해, 또는 유저에 의한 조작에 의해 재생 장치(2)에 대하여 지정된다.
예를 들어, 200％ 등의, 그래픽의 다이내믹 레인지 상한을 지정하는 정보가 Clip information이나 PlayList에 기술됨으로써, 재생 장치(2)에 대하여 그래픽의 다이내믹 레인지가 지정된다.
또한, 신규 내비게이션 커맨드가 추가되고, 무비 오브젝트에 기술되는 내비게이션 커맨드에 의해, 그래픽의 다이내믹 레인지가 재생 장치(2)에 대하여 지정되도록 해도 된다.
신규 API가 추가되어, BD-J 오브젝트에 기술되는 커맨드에 의해, 그래픽의 다이내믹 레인지가 재생 장치(2)에 대하여 지정되도록 해도 된다.
유저의 조작에 의해, 그래픽의 다이내믹 레인지가 재생 장치(2)에 대하여 지정되도록 해도 된다.
재생 장치(2)에 대한 그래픽의 다이내믹 레인지 지정은, 하나의 인수를 사용하여 행하여진다. 예를 들어, 인수가 100일 경우, 그것은, 다이내믹 레인지의 최대 휘도가 100％인 것을 나타낸다. 인수가 100 미만인 경우도 동일하게 하여 취급된다.
또한, 인수는, extended_range_white_level에 의해 지정되는, HDR 비디오의 다이내믹 레인지 최대 휘도 미만으로 된다. 인수로서의 값이extended_range_white_level에 의해 지정되는 값을 초과하는 경우, 그래픽의 다이내믹 레인지 최대 휘도는, extended_range_white_level에 의해 지정되는 휘도인 것으로 취급된다.
이와 같이, 0 내지 101％ 이상의 범위를 그래픽의 다이내믹 레인지로서 재생 장치(2)에 대하여 지정할 수 있도록 해도 된다.
도 56은, 0 내지 101％ 이상의 다이내믹 레인지가 지정된 경우의 화소값 할당 개념을 도시하는 도면이다.
도 56의 우측에 도시한 바와 같이, 오리지날인 BD 그래픽의 화소값인 값 V21은, 감마 함수 F11에 의해 나타나는 BD 그래픽의 함수계에 있어서 휘도 Y1을 나타낸다. 예를 들어, 최대 휘도가, 표준 휘도인 100％의 2배인 200％로서 지정되어 있는 경우, 화살표 #401에 도시한 바와 같이, 휘도 Y1의 2배의 휘도인 휘도 Y2를 나타내는, HDR 비디오의 감마 함수계에 있어서의 화소값인 값 V31에 할당된다. 이러한 화소값의 할당이, 할당부(99)에 의해 행하여진다.
[기타의 변형예]
HDR 비디오의 데이터를 재생 장치(2)로부터 표시 장치(3)로 송신하는 경우, HDR 정보를 부가하여 송신하는 것으로 했지만, HDR 정보를 부가하지 않고 송신하도록 해도 된다.
또한, 재생 장치(2)가 BD Player일 경우에 대하여 주로 설명했지만, 재생 장치(2)가 갖는 상술한 기능을 휴대 단말기에 탑재하도록 해도 된다. 이 경우, 휴대 단말기가 재생 장치(2)로서의 역할을 갖게 된다.
또한, 재생 장치(2)가 재생하는 콘텐츠가 리무버블 미디어에 기록된 콘텐츠인 것으로 했지만, 상술한 기술은, 네트워크를 통하여 배신된 콘텐츠를 재생하는 경우에도 적용 가능하다. 이 경우, 재생 장치(2)는 인터넷 등의 네트워크를 통하여 접속된 서버로부터 송신되어 온 콘텐츠를 수신하고, 재생하여 HDR 비디오를 표시 장치(3)로 출력하게 된다.
[컴퓨터의 구성예]
상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는 범용의 퍼스널 컴퓨터 등에, 프로그램 기록 매체로부터 인스톨된다.
도 57은, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어 구성예를 도시하는 블록도이다.
CPU(501), ROM(502), RAM(503)은, 버스(504)에 의해 서로 접속되어 있다.
버스(504)에는, 또한, 입출력 인터페이스(505)가 접속되어 있다. 입출력 인터페이스(505)에는, 키보드, 마우스 등을 포함하는 입력부(506), 디스플레이, 스피커 등을 포함하는 출력부(507)가 접속된다. 또한, 입출력 인터페이스(505)에는, 하드 디스크나 불휘발성의 메모리 등을 포함하는 기억부(508), 네트워크 인터페이스 등을 포함하는 통신부(509), 리무버블 미디어(511)를 구동하는 드라이브(510)가 접속된다.
이상과 같이 구성되는 컴퓨터에서는, CPU(501)가, 예를 들어, 기억부(508)에 기억되어 있는 프로그램을 입출력 인터페이스(505) 및 버스(504)를 통하여 RAM(503)에 로드하여 실행함으로써, 상술한 일련의 처리가 행하여진다.
CPU(501)가 실행하는 프로그램은, 예를 들어 리무버블 미디어(511)에 기록하고, 또는, 로컬에리어 네트워크, 인터넷, 디지털 방송과 같은, 유선 또는 무선의 전송 매체를 통하여 제공되어, 기억부(508)에 인스톨된다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라서 시계열로 처리가 행하여지는 프로그램이어도 되고, 병렬로, 또는 호출이 행하여졌을 때 등의 필요한 타이밍에 처리가 행하여지는 프로그램이어도 된다.
본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것이 아니라, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 묻지 않는다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통하여 접속되어 있는 복수의 장치, 및 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두, 시스템이다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것이 아니고, 또한 다른 효과가 있어도 된다.
[구성의 조합예]
본 기술은, 이하와 같은 구성을 취할 수도 있다.
(1)
제1 휘도 범위보다 넓은 제2 휘도 범위의 비디오인 확장 비디오의 부호화 데이터, 상기 확장 비디오의 휘도 특성을 나타내는 휘도 특성 정보, 및 상기 확장 비디오에 중첩되는, 상기 제1 휘도 범위의 그래픽 데이터를 기록한 기록 매체로부터, 상기 부호화 데이터, 상기 휘도 특성 정보, 및 상기 그래픽의 데이터를 판독하는 판독부와,
상기 부호화 데이터를 복호하는 제1 복호부와,
상기 그래픽의 데이터를 복호하는 제2 복호부와,
복호하여 얻어진 상기 그래픽의 제1 화소값을, 상기 그래픽의 휘도 특성 상에서 상기 제1 화소값이 나타내는 휘도와 동일한 휘도를 나타내는, 상기 휘도 특성 정보에 의해 나타나는 상기 확장 비디오의 휘도 특성 상에 있어서의 제2 화소값으로 변환하는 제1 변환부와,
상기 부호화 데이터를 복호하여 얻어진 상기 확장 비디오와, 상기 제2 화소값의 그래픽을 합성하는 합성부
를 구비하는 재생 장치.
(2)
상기 확장 비디오를 표시 가능한 표시 장치에 대하여 상기 그래픽을 합성한 상기 확장 비디오의 데이터와 상기 휘도 특성 정보를 출력하는 출력부를 더 구비하는
상기 (1)에 기재된 재생 장치.
(3)
상기 확장 비디오를, 상기 제1 휘도 범위의 비디오인 표준 비디오로 변환하는 제2 변환부를 더 구비하고,
상기 판독부는, 상기 기록 매체에 기록되어 있는, 상기 확장 비디오로부터 상기 표준 비디오로의 휘도 변환을 행할 때에 사용되는 휘도 변환 정의 정보를 또한 판독하고,
상기 제2 변환부는, 상기 기록 매체로부터 판독된 상기 휘도 변환 정의 정보에 기초하여, 상기 확장 비디오를 상기 표준 비디오로 변환하는
상기 (1) 또는 (2)에 기재된 재생 장치.
(4)
상기 합성부는, 상기 표준 비디오와, 상기 제1 화소값의 상기 그래픽을 합성하는
상기 (3)에 기재된 재생 장치.
(5)
상기 확장 비디오를 표시할 수 없는 표시 장치에 대하여 상기 그래픽을 합성한 상기 표준 비디오의 데이터를 출력하는 출력부를 더 구비하는
상기 (4)에 기재된 재생 장치.
(6)
상기 휘도 특성 정보와 상기 휘도 변환 정의 정보는, 상기 부호화 데이터를 포함하는 스트림에 상기 부호화 데이터의 보조 정보로서 삽입되고, 상기 기록 매체에 기록되는
상기 (3) 내지 (5) 중 어느 한 항에 기재된 재생 장치.
(7)
상기 부호화 데이터는 HEVC의 부호화 데이터이며, 상기 휘도 특성 정보와 상기 휘도 변환 정의 정보는 HEVC 스트림의 SEI인
상기 (3) 내지 (6) 중 어느 한 항에 기재된 재생 장치.
(8)
제1 휘도 범위보다 넓은 제2 휘도 범위의 비디오인 확장 비디오의 부호화 데이터, 상기 확장 비디오의 휘도 특성을 나타내는 휘도 특성 정보, 및 상기 확장 비디오에 중첩되는, 상기 제1 휘도 범위의 그래픽 데이터를 기록한 기록 매체로부터, 상기 부호화 데이터, 상기 휘도 특성 정보, 및 상기 그래픽의 데이터를 판독하고,
상기 부호화 데이터를 복호하고,
상기 그래픽의 데이터를 복호하고,
복호하여 얻어진 상기 그래픽의 제1 화소값을, 상기 그래픽의 휘도 특성 상에서 상기 제1 화소값이 나타내는 휘도와 동일한 휘도를 나타내는, 상기 휘도 특성 정보에 의해 나타나는 상기 확장 비디오의 휘도 특성 상에 있어서의 제2 화소값으로 변환하고,
상기 부호화 데이터를 복호하여 얻어진 상기 확장 비디오와, 상기 제2 화소값의 그래픽을 합성하는
스텝을 포함하는 재생 방법.
(9)
제1 휘도 범위보다 넓은 제2 휘도 범위의 비디오인 확장 비디오의 부호화 데이터와,
상기 확장 비디오의 휘도 특성을 나타내는 휘도 특성 정보와,
상기 확장 비디오에 중첩되는, 상기 제1 휘도 범위의 그래픽 데이터
를 기록한 기록 매체로서,
상기 기록 매체를 재생하는 재생 장치에 있어서는,
상기 기록 매체로부터, 상기 부호화 데이터, 상기 휘도 특성 정보, 및 상기 그래픽의 데이터를 판독하고,
상기 부호화 데이터를 복호하고,
상기 그래픽의 데이터를 복호하고,
복호하여 얻어진 상기 그래픽의 제1 화소값을, 상기 그래픽의 휘도 특성 상에서 상기 제1 화소값이 나타내는 휘도와 동일한 휘도를 나타내는, 상기 휘도 특성 정보에 의해 나타나는 상기 확장 비디오의 휘도 특성 상에 있어서의 제2 화소값으로 변환하고,
상기 부호화 데이터를 복호하여 얻어진 상기 확장 비디오와, 상기 제2 화소값의 그래픽을 합성하는
처리가 행하여지는 기록 매체.
(10)
제1 휘도 범위보다 넓은 제2 휘도 범위의 비디오인 확장 비디오의 휘도 변환을 행하여 얻어진, 상기 제1 휘도 범위의 비디오인 표준 비디오의 부호화 데이터, 상기 확장 비디오의 휘도 특성을 나타내는 휘도 특성 정보, 상기 표준 비디오로부터 상기 확장 비디오로의 휘도 변환을 행할 때에 사용되는 휘도 변환 정의 정보, 및 상기 확장 비디오에 중첩되는, 상기 제1 휘도 범위의 그래픽 데이터를 기록한 기록 매체로부터, 상기 부호화 데이터, 상기 휘도 특성 정보, 상기 휘도 변환 정의 정보, 및 상기 그래픽의 데이터를 판독하는 판독부와,
상기 부호화 데이터를 복호하는 제1 복호부와,
상기 부호화 데이터를 복호하여 얻어진 상기 표준 비디오를, 상기 휘도 변환 정의 정보에 기초하여 상기 확장 비디오로 변환하는 제1 변환부와,
상기 그래픽의 데이터를 복호하는 제2 복호부와,
상기 그래픽의 데이터를 복호하여 얻어진 상기 그래픽의 제1 화소값을, 상기 그래픽의 휘도 특성 상에서 상기 제1 화소값이 나타내는 휘도와 동일한 휘도를 나타내는, 상기 휘도 특성 정보에 의해 나타나는 상기 확장 비디오의 휘도 특성 상에 있어서의 제2 화소값으로 변환하는 제2 변환부와,
상기 표준 비디오를 변환하여 얻어진 상기 확장 비디오와, 상기 제2 화소값의 그래픽을 합성하는 합성부
를 구비하는 재생 장치.
(11)
상기 확장 비디오를 표시 가능한 표시 장치에 대하여 상기 그래픽을 합성한 상기 확장 비디오의 데이터와 상기 휘도 특성 정보를 출력하는 출력부를 더 구비하는
상기 (10)에 기재된 재생 장치.
(12)
상기 합성부는, 상기 부호화 데이터를 복호하여 얻어진 상기 표준 비디오와, 상기 제1 화소값의 상기 그래픽을 합성하는
상기 (10)에 기재된 재생 장치.
(13)
상기 확장 비디오를 표시할 수 없는 표시 장치에 대하여 상기 그래픽을 합성한 상기 표준 비디오의 데이터를 출력하는 출력부를 더 구비하는
상기 (12)에 기재된 재생 장치.
(14)
상기 휘도 특성 정보와 상기 휘도 변환 정의 정보는, 상기 부호화 데이터를 포함하는 스트림에 상기 부호화 데이터의 보조 정보로서 삽입되고, 상기 기록 매체에 기록되는
상기 (10) 내지 (13) 중 어느 한 항에 기재된 재생 장치.
(15)
상기 부호화 데이터는 HEVC의 부호화 데이터이며, 상기 휘도 특성 정보와 상기 휘도 변환 정의 정보는 HEVC 스트림의 SEI인
상기 (14)에 기재된 재생 장치.
(16)
제1 휘도 범위보다 넓은 제2 휘도 범위의 비디오인 확장 비디오의 휘도 변환을 행하여 얻어진, 상기 제1 휘도 범위의 비디오인 표준 비디오의 부호화 데이터, 상기 확장 비디오의 휘도 특성을 나타내는 휘도 특성 정보, 상기 표준 비디오로부터 상기 확장 비디오로의 휘도 변환을 행할 때에 사용되는 휘도 변환 정의 정보, 및 상기 확장 비디오에 중첩되는, 상기 제1 휘도 범위의 그래픽 데이터를 기록한 기록 매체로부터, 상기 부호화 데이터, 상기 휘도 특성 정보, 상기 휘도 변환 정의 정보, 및 상기 그래픽의 데이터를 판독하고,
상기 부호화 데이터를 복호하고,
상기 부호화 데이터를 복호하여 얻어진 상기 표준 비디오를, 상기 휘도 변환 정의 정보에 기초하여 상기 확장 비디오로 변환하고,
상기 그래픽의 데이터를 복호하고,
상기 그래픽의 데이터를 복호하여 얻어진 상기 그래픽의 제1 화소값을, 상기 그래픽의 휘도 특성 상에서 상기 제1 화소값이 나타내는 휘도와 동일한 휘도를 나타내는, 상기 휘도 특성 정보에 의해 나타나는 상기 확장 비디오의 휘도 특성 상에 있어서의 제2 화소값으로 변환하고,
상기 표준 비디오를 변환하여 얻어진 상기 확장 비디오와, 상기 제2 화소값의 그래픽을 합성하는
스텝을 포함하는 재생 방법.
(17)
제1 휘도 범위보다 넓은 제2 휘도 범위의 비디오인 확장 비디오의 휘도 변환을 행하여 얻어진, 상기 제1 휘도 범위의 비디오인 표준 비디오의 부호화 데이터와,
상기 확장 비디오의 휘도 특성을 나타내는 휘도 특성 정보와,
상기 표준 비디오로부터 상기 확장 비디오로의 휘도 변환을 행할 때에 사용되는 휘도 변환 정의 정보와,
상기 확장 비디오에 중첩되는, 상기 제1 휘도 범위의 그래픽 데이터
를 기록한 기록 매체로서,
상기 기록 매체를 재생하는 재생 장치에 있어서는,
상기 기록 매체로부터, 상기 부호화 데이터, 상기 휘도 특성 정보, 상기 휘도 변환 정의 정보, 및 상기 그래픽의 데이터를 판독하고,
상기 부호화 데이터를 복호하고,
상기 부호화 데이터를 복호하여 얻어진 상기 표준 비디오를, 상기 휘도 변환 정의 정보에 기초하여 상기 확장 비디오로 변환하고,
상기 그래픽의 데이터를 복호하고,
상기 그래픽의 데이터를 복호하여 얻어진 상기 그래픽의 제1 화소값을, 상기 그래픽의 휘도 특성 상에서 상기 제1 화소값이 나타내는 휘도와 동일한 휘도를 나타내는, 상기 휘도 특성 정보에 의해 나타나는 상기 확장 비디오의 휘도 특성 상에 있어서의 제2 화소값으로 변환하고,
상기 표준 비디오를 변환하여 얻어진 상기 확장 비디오와, 상기 제2 화소값의 그래픽을 합성하는
처리가 행하여지는 기록 매체.
1: 기록 장치
2: 재생 장치
3: 표시 장치
11: 광 디스크
21: 컨트롤러
21A: Data Base 정보 생성부
22: 부호화 처리부
23: 그래픽 인코더
24: 다중화부
25: 디스크 드라이브
31: HDR 정보 생성부
32: HEVC 인코더
33: HDR-STD 변환부
34: 정의 정보 생성부
35: HEVC 스트림 생성부
51: 컨트롤러
52: 디스크 드라이브
53: 메모리
57: 분리부
58: 비디오 복호 처리부
59: 그래픽 처리부
60: 합성부
61: HDMI 통신부
71: 파라미터 추출부
72: HEVC 디코더
73: HDR-STD 변환부
74: STD-HDR 변환부
75: 출력부
2: 재생 장치
3: 표시 장치
11: 광 디스크
21: 컨트롤러
21A: Data Base 정보 생성부
22: 부호화 처리부
23: 그래픽 인코더
24: 다중화부
25: 디스크 드라이브
31: HDR 정보 생성부
32: HEVC 인코더
33: HDR-STD 변환부
34: 정의 정보 생성부
35: HEVC 스트림 생성부
51: 컨트롤러
52: 디스크 드라이브
53: 메모리
57: 분리부
58: 비디오 복호 처리부
59: 그래픽 처리부
60: 합성부
61: HDMI 통신부
71: 파라미터 추출부
72: HEVC 디코더
73: HDR-STD 변환부
74: STD-HDR 변환부
75: 출력부
Claims (17)
- 재생 장치로서,
제2 휘도 범위보다 넓은 제1 휘도 범위의 비디오인 확장 비디오를 포함하는 HEVC 스트림의 부호화 데이터, 상기 확장 비디오의 휘도 특성을 나타내는 휘도 특성 정보, 및 상기 확장 비디오에 중첩되는 상기 제2 휘도 범위의 그래픽 데이터를 기록한 기록 매체로부터, 상기 부호화 데이터, 상기 휘도 특성 정보 및 상기 그래픽 데이터를 판독하는 판독부와,
상기 부호화 데이터를 복호하는 제1 복호부와,
상기 그래픽 데이터를 복호하는 제2 복호부와,
복호하여 얻어진 상기 그래픽의 제1 화소값을, 상기 그래픽의 휘도 특성 상에서 상기 제1 화소값이 나타내는 휘도와 동일한 휘도를 나타내는, 상기 휘도 특성 정보에 의해 나타나는 상기 확장 비디오의 휘도 특성 상에 있어서의 제2 화소값으로 변환하는 제1 변환부와,
상기 확장 비디오와 상기 제2 화소값의 그래픽을 합성하는 합성부로서, 합성된 확장 비디오는 상기 부호화 데이터를 복호하여 얻어지는, 상기 합성부
를 구비하고,
상기 판독부는 또한, 상기 기록 매체에 기록되어 있는, 휘도 변환을 행할 때에 사용되는 휘도 변환 정의 정보를 판독하도록 구성되고,
상기 휘도 특성 정보와 상기 휘도 변환 정의 정보는, 상기 부호화 데이터를 포함하는 HEVC 스트림의 SEI(Supplemental Enhancement Information)로서 삽입되고,
상기 휘도 변환 정의 정보는 휘도 변환을 행하기 위해 복수의 톤 맵(tone map) 모델들 중에서 설정된 톤 맵 모델의 지시를 포함하고,
상기 판독부, 상기 제1 복호부, 상기 제2 복호부, 상기 제1 변환부 및 상기 합성부는 각각 적어도 하나의 프로세서를 통해 구현되는, 재생 장치. - 제1항에 있어서,
상기 확장 비디오를 표시 가능한 표시 장치에 대하여 상기 그래픽을 합성한 상기 확장 비디오의 데이터와 상기 휘도 특성 정보를 출력하는 출력부를 더 구비하고,
상기 출력부는 적어도 하나의 프로세서를 통해 구현되는, 재생 장치. - 제1항에 있어서,
상기 확장 비디오를, 상기 제2 휘도 범위의 비디오인 표준 비디오로 변환하는 제2 변환부를 더 구비하고,
상기 판독부는 상기 확장 비디오로부터 상기 표준 비디오로 휘도 변환을 행할 때에 상기 기록 매체에 기록되어 있는 휘도 변환 정의 정보를 사용하도록 더 구성되고,
상기 제2 변환부는 상기 기록 매체로부터 판독된 상기 휘도 변환 정의 정보에 기초하여, 상기 확장 비디오를 상기 표준 비디오로 변환하도록 더 구성되고,
상기 제2 변환부는 적어도 하나의 프로세서를 통해 구현되는, 재생 장치. - 제3항에 있어서,
상기 합성부는 상기 표준 비디오와, 상기 제1 화소값의 상기 그래픽을 합성하도록 더 구성되는, 재생 장치. - 제4항에 있어서,
상기 확장 비디오를 표시할 수 없는 표시 장치에 대하여 상기 그래픽을 합성한 상기 표준 비디오의 데이터를 출력하는 출력부를 더 구비하고,
상기 출력부는 적어도 하나의 프로세서를 통해 구현되는, 재생 장치. - 제1항에 있어서,
상기 복수의 톤 맵 모델은 휘도 변환을 행하기 위해, 최소값과 최대값 사이의 커브 함수, 계단 함수, 및 꺾은선 함수 중 두개 이상을 포함하는, 재생 장치. - 재생 방법으로서,
제2 휘도 범위보다 넓은 제1 휘도 범위의 비디오인 확장 비디오를 포함하는 HEVC 스트림의 부호화 데이터, 상기 확장 비디오의 휘도 특성을 나타내는 휘도 특성 정보, 및 상기 확장 비디오에 중첩되는 상기 제2 휘도 범위의 그래픽 데이터를 기록한 기록 매체로부터, 상기 부호화 데이터, 상기 휘도 특성 정보 및 상기 그래픽 데이터를 판독하는 단계,
휘도 변환을 행할 때에 사용되는 휘도 변환 정의 정보를 판독하는 단계,
상기 부호화 데이터를 복호하는 단계,
상기 그래픽 데이터를 복호하는 단계,
복호하여 얻어진 상기 그래픽의 제1 화소값을, 상기 그래픽의 휘도 특성 상에서 상기 제1 화소값이 나타내는 휘도와 동일한 휘도를 나타내는, 상기 휘도 특성 정보에 의해 나타나는 상기 확장 비디오의 휘도 특성 상에 있어서의 제2 화소값으로 변환하는 단계, 및
상기 확장 비디오와 상기 제2 화소값의 그래픽을 합성하는 단계로서, 합성된 확장 비디오는 상기 부호화 데이터를 복호하여 얻어지는 단계,
를 포함하고,
상기 휘도 특성 정보와 상기 휘도 변환 정의 정보는, 상기 부호화 데이터를 포함하는 HEVC 스트림의 SEI로서 삽입되고,
상기 휘도 변환 정의 정보는 휘도 변환을 행하기 위해 복수의 톤 맵 모델들 중에서 설정된 톤 맵 모델의 지시를 포함하는, 재생 방법. - 제2 휘도 범위보다 넓은 제1 휘도 범위의 비디오인 확장 비디오를 포함하는 HEVC 스트림의 부호화 데이터,
상기 확장 비디오의 휘도 특성을 나타내는 휘도 특성 정보, 및
상기 확장 비디오에 중첩되는 상기 제2 휘도 범위의 그래픽 데이터
를 기록한 비일시적 컴퓨터-판독가능 기록 매체로서,
상기 비일시적 컴퓨터-판독가능 기록 매체는 재생 장치에 의해 재생되고,
상기 재생 장치는,
상기 기록 매체로부터 상기 부호화 데이터, 상기 휘도 특성 정보 및 상기 그래픽 데이터를 판독하고,
휘도 변환을 행할 때에 사용되는 휘도 변환 정의 정보를 판독하고,
상기 부호화 데이터를 복호하고,
상기 그래픽 데이터를 복호하고,
복호하여 얻어진 상기 그래픽의 제1 화소값을, 상기 그래픽의 휘도 특성 상에서 상기 제1 화소값이 나타내는 휘도와 동일한 휘도를 나타내는, 상기 휘도 특성 정보에 의해 나타나는 상기 확장 비디오의 휘도 특성 상에 있어서의 제2 화소값으로 변환하고,
상기 확장 비디오와 상기 제2 화소값의 그래픽을 합성하는 - 합성된 확장 비디오는 상기 부호화 데이터를 복호하여 얻어짐 -
처리를 행하고,
상기 휘도 특성 정보와 상기 휘도 변환 정의 정보는, 상기 부호화 데이터를 포함하는 HEVC 스트림의 SEI로서 삽입되고,
상기 휘도 변환 정의 정보는 휘도 변환을 행하기 위해 복수의 톤 맵 모델들 중에서 설정된 톤 맵 모델의 지시를 포함하는, 비일시적 컴퓨터-판독가능 기록 매체. - 재생 장치로서,
제2 휘도 범위보다 넓은 제1 휘도 범위의 비디오인 확장 비디오를 포함하는 HEVC 스트림의 부호화 데이터의 휘도 변환을 행하여 얻어진 표준 비디오로서 상기 제2 휘도 범위의 비디오인 표준 비디오, 상기 확장 비디오의 휘도 특성을 나타내는 휘도 특성 정보, 상기 표준 비디오로부터 상기 확장 비디오로 휘도 변환을 행할 때에 사용되는 휘도 변환 정의 정보, 및 상기 확장 비디오에 중첩되는, 상기 제2 휘도 범위의 그래픽 데이터를, 상기 부호화 데이터, 상기 휘도 특성 정보, 상기 휘도 변환 정의 정보 및 상기 그래픽 데이터를 기록한 기록 매체로부터 판독하는 판독부와,
상기 부호화 데이터를 복호하는 제1 복호부와,
상기 부호화 데이터를 복호하여 얻어진 상기 표준 비디오를, 상기 휘도 변환 정의 정보에 기초하여 상기 확장 비디오로 변환하는 제1 변환부와,
상기 그래픽 데이터를 복호하는 제2 복호부와,
상기 그래픽 데이터를 복호하여 얻어진 상기 그래픽의 제1 화소값을, 상기 그래픽의 휘도 특성 상에서 상기 제1 화소값이 나타내는 휘도와 동일한 휘도를 나타내는, 상기 휘도 특성 정보에 의해 나타나는 상기 확장 비디오의 휘도 특성 상에 있어서의 제2 화소값으로 변환하는 제2 변환부와,
상기 확장 비디오와 상기 제2 화소값의 그래픽을 합성하는 합성부로서, 합성된 확장 비디오는 상기 표준 비디오를 변환하여 얻어지는, 상기 합성부
를 구비하고,
상기 휘도 특성 정보와 상기 휘도 변환 정의 정보는, 상기 부호화 데이터를 포함하는 HEVC 스트림의 SEI로서 삽입되고,
상기 휘도 변환 정의 정보는 휘도 변환을 행하기 위해 복수의 톤 맵 모델들 중에서 설정된 톤 맵 모델의 지시를 포함하고,
상기 판독부, 상기 제1 복호부, 상기 제1 변환부, 상기 제2 복호부, 상기 제2 변환부 및 상기 합성부는 각각 적어도 하나의 프로세서를 통해 구현되는, 재생 장치. - 제9항에 있어서,
상기 확장 비디오를 표시 가능한 표시 장치에 대하여 상기 그래픽을 합성한 상기 확장 비디오의 데이터와 상기 휘도 특성 정보를 출력하는 출력부를 더 구비하고,
상기 출력부는 적어도 하나의 프로세서를 통해 구현되는, 재생 장치. - 제9항에 있어서,
상기 합성부는 상기 부호화 데이터를 복호하여 얻어진 상기 표준 비디오와, 상기 제1 화소값의 상기 그래픽을 합성하도록 더 구성되는, 재생 장치. - 제11항에 있어서,
상기 확장 비디오를 표시할 수 없는 표시 장치에 대하여 상기 그래픽을 합성한 상기 표준 비디오의 데이터를 출력하는 출력부를 더 구비하고,
상기 출력부는 적어도 하나의 프로세서를 통해 구현되는, 재생 장치. - 재생 방법으로서,
제2 휘도 범위보다 넓은 제1 휘도 범위의 비디오인 확장 비디오를 포함하는 HEVC 스트림의 부호화 데이터의 휘도 변환을 행하여 얻어진 표준 비디오로서 상기 제2 휘도 범위의 비디오인 표준 비디오, 상기 확장 비디오의 휘도 특성을 나타내는 휘도 특성 정보, 상기 표준 비디오로부터 상기 확장 비디오로 휘도 변환을 행할 때에 사용되는 휘도 변환 정의 정보, 및 상기 확장 비디오에 중첩되는, 상기 제2 휘도 범위의 그래픽 데이터를, 상기 부호화 데이터, 상기 휘도 특성 정보, 상기 휘도 변환 정의 정보 및 상기 그래픽 데이터를 기록한 기록 매체로부터 판독하는 단계,
상기 부호화 데이터를 복호하는 단계,
상기 부호화 데이터를 복호하여 얻어진 상기 표준 비디오를, 상기 휘도 변환 정의 정보에 기초하여 상기 확장 비디오로 변환하는 단계,
상기 그래픽 데이터를 복호하는 단계,
상기 그래픽 데이터를 복호하여 얻어진 상기 그래픽의 제1 화소값을, 상기 그래픽의 휘도 특성 상에서 상기 제1 화소값이 나타내는 휘도와 동일한 휘도를 나타내는, 상기 휘도 특성 정보에 의해 나타나는 상기 확장 비디오의 휘도 특성 상에 있어서의 제2 화소값으로 변환하는 단계, 및
상기 확장 비디오와 상기 제2 화소값의 그래픽을 합성하는 단계로서, 합성된 확장 비디오는 상기 표준 비디오를 변환하여 얻어지는 단계
를 포함하고,
상기 휘도 특성 정보와 상기 휘도 변환 정의 정보는, 상기 부호화 데이터를 포함하는 HEVC 스트림의 SEI로서 삽입되고,
상기 휘도 변환 정의 정보는 휘도 변환을 행하기 위해 복수의 톤 맵 모델들 중에서 설정된 톤 맵 모델의 지시를 포함하는, 재생 방법. - 제2 휘도 범위보다 넓은 제1 휘도 범위의 비디오인 확장 비디오를 포함하는 HEVC 스트림의 부호화 데이터의 휘도 변환을 행하여 얻어진 표준 비디오로서 상기 제2 휘도 범위의 비디오인 표준 비디오,
상기 확장 비디오의 휘도 특성을 나타내는 휘도 특성 정보, 및
상기 표준 비디오로부터 상기 확장 비디오로 휘도 변환을 행할 때에 사용되는 휘도 변환 정의 정보, 및
상기 확장 비디오에 중첩되는, 상기 제2 휘도 범위의 그래픽 데이터
를 기록한 비일시적 컴퓨터-판독가능 기록 매체로서,
상기 비일시적 컴퓨터-판독가능 기록 매체는 재생 장치에 의해 재생되고,
상기 재생 장치는,
상기 기록 매체로부터 상기 부호화 데이터, 상기 휘도 특성 정보, 상기 휘도 변환 정의 정보 및 상기 그래픽 데이터를 판독하고,
상기 부호화 데이터를 복호하고,
상기 부호화 데이터를 복호하여 얻어진 상기 표준 비디오를, 상기 휘도 변환 정의 정보에 기초하여 상기 확장 비디오로 변환하고,
상기 그래픽 데이터를 복호하고,
상기 그래픽 데이터를 복호하여 얻어진 상기 그래픽의 제1 화소값을, 상기 그래픽의 휘도 특성 상에서 상기 제1 화소값이 나타내는 휘도와 동일한 휘도를 나타내는, 상기 휘도 특성 정보에 의해 나타나는 상기 확장 비디오의 휘도 특성 상에 있어서의 제2 화소값으로 변환하고,
상기 확장 비디오와 상기 제2 화소값의 그래픽을 합성하는 - 합성된 확장 비디오는 상기 표준 비디오를 변환하여 얻어짐 -
처리를 행하고,
상기 휘도 특성 정보와 상기 휘도 변환 정의 정보는, 상기 부호화 데이터를 포함하는 HEVC 스트림의 SEI로서 삽입되고,
상기 휘도 변환 정의 정보는 휘도 변환을 행하기 위해 복수의 톤 맵 모델들 중에서 설정된 톤 맵 모델의 지시를 포함하는, 비일시적 컴퓨터-판독가능 기록 매체. - 삭제
- 삭제
- 삭제
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP-P-2013-146740 | 2013-07-12 | ||
| JP2013146740 | 2013-07-12 | ||
| PCT/JP2014/067645 WO2015005189A1 (ja) | 2013-07-12 | 2014-07-02 | 再生装置、再生方法、および記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160031455A KR20160031455A (ko) | 2016-03-22 |
| KR102223751B1 true KR102223751B1 (ko) | 2021-03-05 |
Family
ID=52279874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157034849A KR102223751B1 (ko) | 2013-07-12 | 2014-07-02 | 재생 장치, 재생 방법, 및 기록 매체 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US10171787B2 (ko) |
| EP (1) | EP3021573B1 (ko) |
| JP (2) | JP6528683B2 (ko) |
| KR (1) | KR102223751B1 (ko) |
| CN (1) | CN105359507B (ko) |
| CA (1) | CA2917212C (ko) |
| MX (1) | MX352400B (ko) |
| MY (1) | MY173495A (ko) |
| TW (1) | TWI627627B (ko) |
| WO (1) | WO2015005189A1 (ko) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015045916A1 (ja) * | 2013-09-27 | 2015-04-02 | ソニー株式会社 | 再生装置、再生方法、および記録媒体 |
| JP6381215B2 (ja) * | 2014-01-29 | 2018-08-29 | キヤノン株式会社 | 画像処理装置、画像処理方法、表示装置、表示装置の制御方法、及び、プログラム |
| EP3145167B1 (en) * | 2014-05-16 | 2020-04-01 | Panasonic Intellectual Property Management Co., Ltd. | Conversion method and conversion device |
| JP5914902B1 (ja) * | 2014-06-10 | 2016-05-11 | パナソニックＩｐマネジメント株式会社 | 変換方法および変換装置 |
| CN111901599B (zh) | 2014-06-27 | 2024-05-14 | 松下知识产权经营株式会社 | 再现装置 |
| WO2016006971A1 (ko) * | 2014-07-11 | 2016-01-14 | 엘지전자 주식회사 | 방송 신호 송수신 방법 및 장치 |
| KR101978222B1 (ko) | 2014-07-11 | 2019-05-14 | 엘지전자 주식회사 | 방송 신호 송수신 방법 및 장치 |
| WO2016017961A1 (ko) | 2014-07-29 | 2016-02-04 | 엘지전자 주식회사 | 방송 신호 송수신 방법 및 장치 |
| EP3193326B1 (en) | 2014-09-11 | 2019-05-15 | Sony Corporation | Image-processing device, and image-processing method |
| CN111933189B (zh) * | 2014-09-12 | 2022-01-04 | 松下电器（美国）知识产权公司 | 再现装置以及再现方法 |
| MX367898B (es) * | 2014-09-22 | 2019-09-11 | Panasonic Ip Man Co Ltd | Metodo de reproduccion y aparato de reproduccion. |
| CN109151253B (zh) * | 2014-09-22 | 2020-12-18 | 松下知识产权经营株式会社 | 显示装置、显示方法以及再现显示*** |
| HUE053609T2 (hu) | 2014-11-07 | 2021-07-28 | Sony Corp | Átviteli készülék, átviteli eljárás, vételi készülék és vételi eljárás |
| WO2016092759A1 (ja) | 2014-12-09 | 2016-06-16 | パナソニックＩｐマネジメント株式会社 | 送信方法、受信方法、送信装置および受信装置 |
| JP6741975B2 (ja) * | 2014-12-09 | 2020-08-19 | パナソニックＩｐマネジメント株式会社 | 送信方法および送信装置 |
| US10609327B2 (en) * | 2014-12-29 | 2020-03-31 | Sony Corporation | Transmission device, transmission method, reception device, and reception method |
| EP3249911B1 (en) | 2015-01-23 | 2019-11-27 | Sony Corporation | Reproducing device, information processing method, and program |
| US20180197509A1 (en) * | 2015-08-11 | 2018-07-12 | Sony Corporation | Information processing device, information processing method, and program |
| US10200690B2 (en) * | 2015-09-22 | 2019-02-05 | Qualcomm Incorporated | Video decoder conformance for high dynamic range (HDR) video coding using a core video standard |
| JP6872098B2 (ja) * | 2015-11-12 | 2021-05-19 | ソニーグループ株式会社 | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム |
| RU2723676C2 (ru) * | 2015-11-24 | 2020-06-17 | Конинклейке Филипс Н.В. | Обработка множественных источников изображения hdr |
| US10440314B2 (en) * | 2016-07-11 | 2019-10-08 | Sharp Kabushiki Kaisha | Video signal conversion device, video signal conversion method, video signal conversion system, control program, and recording medium |
| WO2018062062A1 (ja) * | 2016-09-29 | 2018-04-05 | パナソニックＩｐマネジメント株式会社 | 再生方法、生成方法、再生装置、生成装置、および記録媒体 |
| CN110178378B (zh) * | 2017-01-16 | 2022-04-08 | 索尼公司 | 视频处理装置、视频处理方法和存储介质 |
| US9986200B1 (en) * | 2017-05-11 | 2018-05-29 | Novatek Microelectronics Corp. | Method and video conversion system of updating video setting |
| WO2019008818A1 (ja) * | 2017-07-07 | 2019-01-10 | パナソニックＩｐマネジメント株式会社 | 映像処理システム及び映像処理方法 |
| WO2019059022A1 (ja) * | 2017-09-21 | 2019-03-28 | ソニー株式会社 | 再生装置、再生方法、プログラム、および記録媒体 |
| JP6625113B2 (ja) * | 2017-12-27 | 2019-12-25 | キヤノン株式会社 | 電子機器 |
| CN111462268B (zh) * | 2020-03-31 | 2022-11-11 | 北京市商汤科技开发有限公司 | 图像重建方法及装置、电子设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090002564A1 (en) * | 2007-06-26 | 2009-01-01 | Apple Inc. | Technique for adjusting a backlight during a brightness discontinuity |
| JP2013110540A (ja) * | 2011-11-18 | 2013-06-06 | Sony Corp | 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8218625B2 (en) * | 2004-04-23 | 2012-07-10 | Dolby Laboratories Licensing Corporation | Encoding, decoding and representing high dynamic range images |
| JP4412720B2 (ja) * | 2004-06-24 | 2010-02-10 | キヤノン株式会社 | 映像処理方法及び装置 |
| WO2006025359A1 (ja) * | 2004-09-03 | 2006-03-09 | Sharp Kabushiki Kaisha | 表示装置の駆動方法、表示装置の駆動装置、そのプログラムおよび記録媒体、並びに、表示装置 |
| JP4372747B2 (ja) * | 2005-01-25 | 2009-11-25 | シャープ株式会社 | 輝度レベル変換装置、輝度レベル変換方法、固体撮像装置、輝度レベル変換プログラム、および記録媒体 |
| US20070076971A1 (en) * | 2005-09-30 | 2007-04-05 | Nokia Corporation | Compression of images for computer graphics |
| US8014445B2 (en) * | 2006-02-24 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for high dynamic range video coding |
| US8194997B2 (en) * | 2006-03-24 | 2012-06-05 | Sharp Laboratories Of America, Inc. | Methods and systems for tone mapping messaging |
| US8135230B2 (en) * | 2007-07-30 | 2012-03-13 | Dolby Laboratories Licensing Corporation | Enhancing dynamic ranges of images |
| JP5072489B2 (ja) | 2007-08-30 | 2012-11-14 | 株式会社ジャパンディスプレイウェスト | 表示装置およびその駆動方法、電子機器 |
| JP5242111B2 (ja) | 2007-10-02 | 2013-07-24 | 株式会社ソニー・コンピュータエンタテインメント | 送信装置、画像データ送信方法、受信装置および受信装置における画像表示方法 |
| EP2045774B1 (en) * | 2007-10-05 | 2016-05-04 | Sony Computer Entertainment Europe Ltd. | Homography estimation from multithreshold edges of a feature |
| WO2012122423A1 (en) * | 2011-03-10 | 2012-09-13 | Dolby Laboratories Licensing Corporation | Pre-processing for bitdepth and color format scalable video coding |
| EP2684365A1 (en) * | 2011-03-10 | 2014-01-15 | Dolby Laboratories Licensing Corporation | Bitdepth and color scalable video coding |
| US20130131985A1 (en) * | 2011-04-11 | 2013-05-23 | James D. Weiland | Wearable electronic image acquisition and enhancement system and method for image acquisition and visual enhancement |
| CN103621084A (zh) * | 2011-04-28 | 2014-03-05 | 皇家飞利浦有限公司 | 用于生成图像编码信号的方法和装置 |
| PL2721811T3 (pl) * | 2011-06-14 | 2020-06-01 | Koninklijke Philips N.V. | Przetwarzanie grafiki dla wideo o wysokim zakresie dynamicznym |
| KR101972748B1 (ko) * | 2011-09-27 | 2019-08-16 | 코닌클리케 필립스 엔.브이. | 이미지들의 다이내믹 레인지 변환을 위한 장치 및 방법 |
| CA2890508C (en) * | 2012-11-12 | 2017-08-15 | Lg Electronics Inc. | Apparatus for transreceiving signals and method for transreceiving signals |
| JP2014155005A (ja) * | 2013-02-07 | 2014-08-25 | Canon Inc | 表示装置及びその制御方法 |
| JP2015005878A (ja) * | 2013-06-20 | 2015-01-08 | ソニー株式会社 | 再生装置、再生方法、および記録媒体 |
| TWI607652B (zh) * | 2013-06-20 | 2017-12-01 | Sony Corp | Reproducing device, reproducing method, and recording medium |
| TWI630820B (zh) * | 2013-07-19 | 2018-07-21 | 新力股份有限公司 | File generation device, file generation method, file reproduction device, and file reproduction method |
| EP3038352A4 (en) * | 2013-08-20 | 2016-12-28 | Sony Corp | REPRODUCTION DEVICE, REPRODUCTION METHOD, AND RECORDING MEDIUM |
| US9036908B2 (en) * | 2013-09-30 | 2015-05-19 | Apple Inc. | Backwards compatible extended image format |
| US9854270B2 (en) * | 2013-12-19 | 2017-12-26 | Qualcomm Incorporated | Device and method for scalable coding of video information |
| JP6381215B2 (ja) * | 2014-01-29 | 2018-08-29 | キヤノン株式会社 | 画像処理装置、画像処理方法、表示装置、表示装置の制御方法、及び、プログラム |
| US10136152B2 (en) * | 2014-03-24 | 2018-11-20 | Qualcomm Incorporated | Use of specific HEVC SEI messages for multi-layer video codecs |
| US10536731B2 (en) * | 2014-05-12 | 2020-01-14 | Apple Inc. | Techniques for HDR/WCR video coding |
| US9984446B2 (en) * | 2015-12-26 | 2018-05-29 | Intel Corporation | Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content |
-
2014
- 2014-07-02 KR KR1020157034849A patent/KR102223751B1/ko active IP Right Grant
- 2014-07-02 MY MYPI2015704806A patent/MY173495A/en unknown
- 2014-07-02 WO PCT/JP2014/067645 patent/WO2015005189A1/ja active Application Filing
- 2014-07-02 CA CA2917212A patent/CA2917212C/en active Active
- 2014-07-02 US US14/901,870 patent/US10171787B2/en active Active
- 2014-07-02 MX MX2015017583A patent/MX352400B/es active IP Right Grant
- 2014-07-02 JP JP2015526280A patent/JP6528683B2/ja active Active
- 2014-07-02 TW TW103122845A patent/TWI627627B/zh not_active IP Right Cessation
- 2014-07-02 CN CN201480037524.6A patent/CN105359507B/zh active Active
- 2014-07-02 EP EP14823715.9A patent/EP3021573B1/en active Active
-
2019
- 2019-03-06 JP JP2019040875A patent/JP6684456B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090002564A1 (en) * | 2007-06-26 | 2009-01-01 | Apple Inc. | Technique for adjusting a backlight during a brightness discontinuity |
| JP2013110540A (ja) * | 2011-11-18 | 2013-06-06 | Sony Corp | 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3021573B1 (en) | 2019-09-04 |
| JP2019097212A (ja) | 2019-06-20 |
| CN105359507B (zh) | 2019-08-09 |
| KR20160031455A (ko) | 2016-03-22 |
| TWI627627B (zh) | 2018-06-21 |
| MX2015017583A (es) | 2016-04-21 |
| CA2917212C (en) | 2023-03-07 |
| TW201517027A (zh) | 2015-05-01 |
| US20160373712A1 (en) | 2016-12-22 |
| US10171787B2 (en) | 2019-01-01 |
| JP6528683B2 (ja) | 2019-06-12 |
| EP3021573A4 (en) | 2017-02-15 |
| CA2917212A1 (en) | 2015-01-15 |
| WO2015005189A1 (ja) | 2015-01-15 |
| CN105359507A (zh) | 2016-02-24 |
| JPWO2015005189A1 (ja) | 2017-03-02 |
| MX352400B (es) | 2017-11-23 |
| EP3021573A1 (en) | 2016-05-18 |
| JP6684456B2 (ja) | 2020-04-22 |
| MY173495A (en) | 2020-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6684456B2 (ja) | 再生装置、再生方法 | |
| US20240089482A1 (en) | Reproduction device, reproduction method, and recording medium | |
| US10880532B2 (en) | Reproduction device, reproduction method, and recording medium | |
| US9832440B2 (en) | Reproduction device, reproduction method, and recording medium that display graphics based on tone mapping | |
| KR102198673B1 (ko) | 재생 장치, 재생 방법 및 기록 매체 | |
| US9706184B2 (en) | Reproduction device, reproduction method, and recording medium | |
| KR102285049B1 (ko) | 재생 장치 및 재생 방법 | |
| US10694196B2 (en) | Reproduction device, reproduction method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |