WO2019098619A1 - 디스플레이장치 및 그 제어방법과 기록매체 - Google Patents
디스플레이장치 및 그 제어방법과 기록매체 Download PDFInfo
- Publication number
- WO2019098619A1 WO2019098619A1 PCT/KR2018/013701 KR2018013701W WO2019098619A1 WO 2019098619 A1 WO2019098619 A1 WO 2019098619A1 KR 2018013701 W KR2018013701 W KR 2018013701W WO 2019098619 A1 WO2019098619 A1 WO 2019098619A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- content
- display device
- sub
- data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 97
- 238000012545 processing Methods 0.000 claims description 71
- 238000003672 processing method Methods 0.000 abstract 2
- 238000013507 mapping Methods 0.000 description 103
- 230000007704 transition Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 239000002131 composite material Substances 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 12
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- GJWAPAVRQYYSTK-UHFFFAOYSA-N [(dimethyl-$l^{3}-silanyl)amino]-dimethylsilicon Chemical compound C[Si](C)N[Si](C)C GJWAPAVRQYYSTK-UHFFFAOYSA-N 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004574 scanning tunneling microscopy Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4347—Demultiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
- H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
Definitions
- the present invention relates to a display device for displaying an image by processing input contents, a control method therefor, and a recording medium, and more particularly, to a display device for displaying images of high resolution and high definition contents in consideration of user's visibility, A control method and a recording medium.
- the display device collectively refers to a device for displaying a content image on a screen of a self-contained display panel by processing a signal or data of the content according to an image processing process, and a typical example of a home is a TV.
- Content provided to a display device is transferred from a relay device such as a content playback device such as an optical disk playback device or a set-top box to a display device through a standard such as HDMI.
- the content may be a content of a high-luminance image such as an HDR (High Dynamic Range) image.
- HDR High Dynamic Range
- the maximum luminance that can be displayed by the display device is lower than the maximum luminance of the content, or the luminance range that the display device can express is narrower than the luminance range of the content.
- the display device uses a technique called Tone Mapping (TM) to display such HDR contents.
- the tone mapping technique is a method of generating an output image by mapping each luminance value of a content as an input image to values in a luminance range that the display device can express, and displaying the output image.
- the image information of the content may have a brightness range of 0 to 2000 nit, while a display range of the display may be 0 to 500 knit. If an output image is generated by simply implementing the brightness value of the content, the display device can not express a brightness value larger than 500 knots.
- the display device performs tone mapping to convert the input image having the luminance range of the HDR contents into an output image having a luminance range capable of being expressed by the display device.
- tone mapping techniques include STM (Static Tone Mapping) techniques and DTM (Dynamic Tone Mapping) techniques.
- STM Static Tone Mapping
- DTM Dynamic Tone Mapping
- the UI generated in the content reproduction apparatus separately from the content may be synthesized with the content. If the tone mapping technique is applied to the content and the UI displayed in this case as before, the user may feel uncomfortable or uncomfortable feeling in viewing the content and the UI.
- a display device includes a display unit; A receiving unit capable of receiving data of main content from a content providing apparatus; The main content and the main content are selectively included in the main content and the main content based on the video data received by the receiving unit, The image of the sub-content is displayed on the display unit and the image is displayed on the display unit by any one of the plurality of image processes selected to correspond to whether the sub- ≪ / RTI > Thereby, when the sub-content is overlaid on the main content in the image to which the dynamic tone mapping is applied to the main content, the display apparatus can minimize the image quality change.
- the processor derives luminance information of the video corresponding to the pixel information of the video data according to any one of a plurality of settings corresponding to whether or not the sub-content is included in the video, can do.
- the processor performs the image processing based on the attribute of the display device. If the sub-content is not included in the image, the processor performs the image processing based on the attribute of the main content Can be performed.
- the processor may perform the image processing based on the attribute of the main content by converting the pixel information of the image data into the luminance information of the image in accordance with the setting separately provided according to the scene of the main content .
- the processor may perform the image processing based on the attribute of the display device by converting pixel information of the image data into luminance information of the image corresponding to a dedicated luminance range of the display device.
- the processor may derive the reference information from the metadata output from the content providing apparatus.
- the area ratio of the sub-content with respect to the image is greater than the predetermined threshold, it is determined that the sub-content is included in the image. If the area ratio of the sub-content with respect to the image is not greater than the threshold, May be determined to be not included.
- the processor performs a first image process based on the attribute of the display device during the plurality of image processes, The first image processing may be maintained until the scene change point of the content, and the second image process may be performed based on the attributes of the main content during the plurality of image processes from the scene change point.
- the processor may adjust the application ratio of the first image processing and the second image processing stepwise according to the elapse of time at the time of switching from the first image processing to the second image processing in the plurality of image processing have.
- the processor may perform the image processing different from each other in the area where the sub-content is displayed in the image and the area in which the sub-content is not displayed.
- a method of controlling a display apparatus comprising: receiving, from a content providing apparatus, reference data representing whether main data and sub data are included in the video data; Selecting one of the plurality of image processes based on the reference information so as to correspond to whether or not the sub-content is included in the image; And displaying an image of the sub-content selectively included in the main content and the main content by the selected image processing.
- the image processing may include performing image processing based on the attribute of the main content by converting pixel information of the image data into luminance information of the image according to a setting separately provided according to a scene of the main content .
- the method may further include performing image processing based on attributes of the display device by converting pixel information of the image data into luminance information of the image corresponding to a dedicated luminance range of the display device.
- the method may further include deriving the reference information from the metadata output from the content providing apparatus.
- the ratio of the area of the sub-content to the image is greater than the predetermined threshold value, it is determined that the sub-content is included in the image. If the ratio of the area of the sub-content to the image is not greater than the threshold value, It may be determined that it is not included.
- the image processing may further include performing the image processing that is different from each other in the area where the sub content is displayed and the area where the sub content is not displayed in the image.
- the method includes: Receiving reference information indicating whether sub-content is included together with main content; Selecting one of the plurality of image processes based on the reference information so as to correspond to whether or not the sub-content is included in the image; And displaying an image of the sub-content selectively included in the main content and the main content by the selected image processing.
- Fig. 1 is an exemplary view showing a display of a content image and a UI on the basis of data received from a content providing apparatus in a display apparatus according to an embodiment of the present invention.
- FIG. 2 is a flowchart showing a control method of a display device according to an embodiment of the present invention.
- FIG. 3 is a diagram illustrating a part of image frames of an image displayed on a display device according to an embodiment of the present invention, arranged in time order.
- FIG. 4 is a block diagram of a configuration of a display apparatus and a content providing apparatus according to an embodiment of the present invention.
- FIG. 5 is a configuration block diagram showing an embodiment of a data transmission and operation procedure of the display apparatus and the content providing apparatus of the present invention.
- FIG. 6 is a configuration block diagram showing another embodiment of the data transmission and operation process of the display apparatus and the content providing apparatus of the present invention.
- FIG. 7 is a configuration block diagram showing another embodiment of a data transmission and operation process of the display apparatus and the content providing apparatus of the present invention.
- FIG. 8 is a diagram illustrating a principle of applying a tone mapping setting to each image frame for each scene according to a time sequence according to an embodiment of the present invention.
- FIG. 9 is a flowchart illustrating an operation in a first image frame in a process of switching a tone mapping setting according to an exemplary embodiment of the present invention.
- FIG. 10 is a flowchart illustrating an operation of a display apparatus according to an exemplary embodiment of the present invention, after a second image frame in a process of switching a tone mapping setting.
- FIG. 11 is a configuration block diagram illustrating another embodiment of data transmission and operation procedures of the display apparatus and the content providing apparatus according to the present invention.
- FIG. 12 is a block diagram showing another embodiment of a data transmission and operation procedure of the display apparatus and the content providing apparatus according to the present invention.
- Fig. 1 is an exemplary view showing a display of a content image and a UI on the basis of data received from a content providing apparatus in a display apparatus according to an embodiment of the present invention.
- the display device 120 processes data output from the content providing apparatus 110 by being connected to the content providing apparatus 110, and displays an image based thereon do. That is, the content providing apparatus 110 operates as a source device, and the display apparatus 120 operates as a sink device.
- the connection method between the content providing apparatus 110 and the display apparatus 120 may be various wired and wireless standards. In the present embodiment, a high-definition multimedia interface (HDMI) scheme is exemplified, but various other schemes may also be applied.
- HDMI high-definition multimedia interface
- the display device 120 includes a TV, a monitor, and the like, and a display device capable of displaying an image.
- the content providing apparatus 110 includes an apparatus for reproducing or relaying content, such as an optical disk reproducing apparatus such as Blu-ray or DVD, a set-top box, and a streaming apparatus.
- the display apparatus 120 processes the content signal in accordance with the image processing process, And displays the content image on the screen.
- the image processing process can be various types according to the format of the content signal, for example, demultiplexing, decoding, descrambling, detail enhancement, and scaling.
- the content is basically assumed based on a case where a predetermined reference monitor is displayed, and the content is produced in consideration of the color gamut and luminance of the reference monitor.
- a content is implemented as an HDR image content
- the content has a wider luminance range than an LDR (Low Dynamic Range) image content and can display a precise image.
- the display device 120 converts the input image, which is the HDR image content, to the output image that is the LDR image using the tone mapping technique do.
- the tone mapping technique includes STM (Static Tone Mapping) technique based on the property of the display device and DTM (Dynamic Tone Mapping) technique based on the property of the content.
- the display device 120 can generate an output image by applying any one of STM and DTM.
- the DTM performs tone mapping suitable for the scene according to the scene change in the content, it is possible to display the content image in which the intention of the content producer is more reflected than the STM. Accordingly, when the signal including the content data is received from the content providing device 110, the display device 120 converts the content data into a content image according to the DTM technique and displays the content image.
- the composite image 140 in which the UI 142 is overlaid on the content image 141 may be displayed instead of only the content image 141 on the display device 120.
- a command for instructing the UI 142 to be displayed is received from the remote controller 130, (110).
- the content providing apparatus 110 generates the UI 142 and outputs data of the composite image 140 synthesized to the content image 141 to the display apparatus 120.
- the display apparatus 120 displays the composite image 140, The synthesized image 140 is displayed.
- the display device 120 displays the image 140 through any one of the image processes determined according to whether the sub-content is included in the image of the main content among the image processes including the STM process and the DTM process.
- the video 140 may include a main content 141 and a sub-content 142 overlaid on the main content 141.
- the sub-content means additional image data different from the content image 141 and may be other content different from the content of the UI 142, the on-screen display (OSD), or the main content 141.
- the display device 120 determines whether the main content data of the main content 141 is output from the content video 141 based on the preset reference information received from the content providing apparatus 110, ) Is added to the main content data and output. When it is determined that the main content data to which the sub content data is not added is output, the display device 120 performs DTM processing based on the attribute of the content image 141. On the other hand, if it is determined that the sub-content data is output to the main content data, the display device 120 performs STM processing based on the attribute of the display device 120. [ More details regarding DTM processing and STM processing will be described later.
- the display device 120 changes the display quality of the UI 142 at the time of scene change of the content video 141 So that the user can provide the UI 142 with a natural perception.
- FIG. 2 is a flowchart showing a control method of a display device according to an embodiment of the present invention.
- the display device operates as follows.
- step 210 the display apparatus receives the content data corresponding to the content image from the content reproduction apparatus.
- the display device performs a DTM process corresponding to the attribute of the content image with respect to the received content data.
- the DTM data for DTM processing that is, the DTM tone mapping setting
- the DTM tone mapping setting may be generated based on metadata received from the content reproduction apparatus by the display apparatus. The DTM tone mapping setting based on the metadata will be described later.
- step 230 the display device displays the content image on which the DTM processing has been performed.
- step 240 the display device determines whether or not the composite image data corresponding to the composite image in which the additional image is overlaid on the content image is received from the content reproduction apparatus.
- the display apparatus proceeds to step 220 and continues DTM processing on the content data received from the content reproduction apparatus.
- the display device performs STM processing corresponding to the attribute of the display device with respect to the composite image data.
- step 260 the display device displays the composite image on which the STM process has been performed.
- step 270 the display device determines whether the reception of the composite image data from the content reproduction apparatus is completed and only the content data is received.
- the display apparatus proceeds to step 250 and continues STM processing on the composite image data.
- the display apparatus proceeds to step 220 and performs DTM processing on the content data received from the content reproduction apparatus.
- the STM process is a method of performing tone mapping based on attributes of a display device displaying an image.
- the attributes of the display device include, for example, a gamut in which a display device can be expressed, a maximum luminance, a luminance range, and the like.
- the tone mapping can be implemented as a table of the luminance values of the output image in comparison with the pixel values, gray levels, or luminance values of the input image. Can be expressed. That is, the tone mapping curve is implemented on a horizontal axis representing a pixel value, a grayscale value, or a luminance value of an input image, and a vertical axis representing a luminance value of the output image. The range of the vertical axis is determined according to the display device.
- tone mapping is performed based on the attributes of the display device means that only one tone mapping table or one tone mapping curve is applied. That is, although different tone mapping curves may be applied to each display device in the STM process, the same tone mapping curve is applied to any content in one display device.
- DTM processing is a method of performing tone mapping based on attributes of a content image.
- the attribute of the content image means a scene unit of the content
- a tone mapping curve that is different from the scene unit of the content is provided.
- the display device applies a tone mapping curve corresponding to the current scene of the content to the image frame of the current scene, and applies the tone mapping curve corresponding to the changed scene to the image frame of the switched scene when the scene is switched to another scene. That is, in the DTM processing, different tone mapping curves are applied depending on scenes in a content image displayed on one display device.
- the display device When only content data corresponding to the content image is output from the content reproduction apparatus, the display device preferably performs DTM processing on the content data to display the content image. In this case, it is possible to cause the DTM processing to display the content image more accurately reflecting the intention of the content provider than the STM processing.
- FIG. 3 is a diagram illustrating a part of image frames of an image displayed on a display device according to an embodiment of the present invention, arranged in time order.
- the content image 310 includes a plurality of image frames sequentially displayed in time order.
- the content image 310 includes one or more image frames in each scene unit, and is switched to the next scene when one scene ends according to the passage of time.
- the metadata provided to the content image 310 by the content provider may include information for distinguishing a scene may be recorded.
- tone mapping setting information such as the tone mapping table is separately provided for each scene of the content image 310 in the DTM processing is as follows.
- scene #a is a screen with a relatively dark background such as night
- subsequent scene #b is a screen with a relatively bright background such as daytime.
- the tone mapping setting corresponding to the scene #a is applied to the image frame of the scene #a
- the tone mapping setting corresponding to the scene #b is applied. That is, at the moment of transition from the scene #a to the scene #b, the transition from the tone mapping setting corresponding to the scene #a to the tone mapping setting corresponding to the scene #b is performed. Since the amount of light in the scene #a and the amount of light in the scene #b are different from each other, considering the contrast ratio, the tone mapping must be applied to each scene differently so that the user's visibility can be guaranteed even if the scene changes.
- the UI 320 is overlaid on the content image 310 during the scene #a is displayed, and the UI 320 is displayed on the content image 310 for a predetermined time after being switched from the state to the scene #b May be displayed. If the tone mapping setting corresponding to the scene is applied to each scene image frame at this time, different tone mapping is also applied to the UI 320. This may cause the user to be perceived as if the image quality of the UI 320 changes suddenly as the scene of the content image 310 is changed, resulting in inconvenience of the user.
- the display device sets the tone mapping setting for the image to the scene Switch from the DTM setting corresponding to #a to the STM setting.
- the display device maintains the STM setting while the UI 320 is continuously displayed even when the scene of the content image 310 is switched. If it is detected that the UI 320 is no longer displayed, the display device switches to the DTM setting corresponding to the current scene, or after the STM setting is maintained while the current scene continues, And switches to the DTM setting corresponding to the switched scene.
- FIG. 4 is a block diagram of a configuration of a display apparatus and a content providing apparatus according to an embodiment of the present invention.
- the display device 410 includes a receiving unit 411 for receiving a content signal from the content providing apparatus 420, a display unit 412 for displaying an image, a speaker 413 for outputting audio
- a user input unit 414 for performing an input operation by a user a storage unit 415 for storing data
- a processor 416 for processing the content signal and performing processing for the operation of the display apparatus do.
- the content providing apparatus 420 includes a transmitting unit 421 for transmitting a content signal to the display device 410 and a content signal reproducing unit 422 for reproducing the content signal and transmitting the content signal to the transmitting unit 421.
- the transmitting section 421 includes a communication circuit provided so as to be able to communicate with the receiving section 411.
- the content signal playback unit 422 is implemented with a hardware processor in a conventional sense.
- the receiving unit 411 is a communication circuit including a data input / output interface in which communication modules or ports corresponding to various types of communication protocols are combined.
- the receiving unit 411 basically receives content signals from the content providing apparatus 420 but is capable of transmitting and receiving signals in both directions.
- the receiving unit 411 according to the present embodiment is connected to the content providing apparatus 420 through the HDMI cable, but the connection method is not limited to HDMI.
- the display unit 412 includes a display panel capable of displaying an image on the screen.
- the display panel is provided with a light-emitting structure such as a liquid crystal type or a self-luminous structure such as an OLED type.
- the display unit 412 may include a backlight unit for supplying light to the liquid crystal display panel and a liquid crystal of the liquid crystal display panel A panel driving board for driving the panel is added.
- the speaker 413 outputs the audio signal acoustically.
- the speaker 413 includes a unit speaker corresponding to audio data of an audio channel and may include a plurality of unit speakers corresponding to audio data of a plurality of audio channels.
- the user input unit 414 transmits a predetermined control command or information to the processor 416 according to a user's operation or input.
- the user input unit 414 may be implemented in various forms according to the information input method.
- the user input unit 414 may include a key installed outside the display unit 410, a touch screen installed on the display unit 412, A microphone, a gesture of a user, a camera or a sensor for sensing or gesturing a user's gesture, and the like.
- the user input 414 may include a remote controller physically separated from the display device 410.
- the storage unit 415 is accessed by the processor 416 and operations such as reading, writing, modifying, deleting, and updating data are performed under the control of the processor 416.
- the storage unit 415 may be a flash memory, a hard-disc drive, a solid-state drive (SSD), or the like capable of storing data regardless of whether or not the power of the display device 410 is provided And a volatile memory such as a buffer, a RAM and the like in which data for processing is loaded.
- the processor 416 performs processing on the content signal received by the receiving unit 411 so that the content image is displayed on the display unit 412.
- the processor 416 extracts the video data from the content signal, decodes the video data, and performs tone mapping processing on the video data to output it to the display unit 412.
- the processor 416 includes a hardware processor implemented as a CPU, a chipset, a buffer, a circuit, and the like mounted on a printed circuit board, and may be implemented as a system on chip (SOC) according to a design method.
- the processor 416 includes modules corresponding to various processes such as a demultiplexer, a decoder, a scaler, an audio DSP, an amplifier, etc., and some of them may be implemented as SOC.
- a module related to image processing such as a demultiplexer, a decoder, and a scaler may be implemented as an image processing SOC
- an audio DSP may be implemented as a separate chipset from the SOC.
- FIG. 5 is a configuration block diagram showing an embodiment of a data transmission and operation procedure of the display apparatus and the content providing apparatus of the present invention.
- the content providing device 510 displays UI
- the content data 511 and the UI data 512 are synthesized (514) so that they can be combined and displayed.
- the content providing device 510 calculates the area of the UI relative to the content image (515), and records the calculation result in one field of the meta data.
- the name of the field is referred to as 'Graphic_info_flag' for convenience, but this is only one example.
- the content providing apparatus 510 transmits the combined image data of the content data 511 and the UI data 512 and the metadata 513 together to the display apparatus 520 (516).
- the value of Graphic_info_flag is recorded in the metadata 513 before transmission.
- the display device 520 analyzes the metadata and confirms the value of Graphic_info_flag (522).
- the display apparatus 520 selects one of the DTM and STM tone mapping settings corresponding to the value of the identified Graphic_info_flag (523).
- the display device 520 performs tone mapping on the image data 524 in accordance with the determined tone mapping setting (525), and causes the image to be displayed on the display unit.
- FIG. 6 is a configuration block diagram showing another embodiment of the data transmission and operation process of the display apparatus and the content providing apparatus of the present invention.
- the content providing device 610 displays UI
- the content data 611 and the UI data 612 are synthesized (614) so that they can be combined and displayed.
- the content providing device 610 calculates the area of the UI relative to the content image (615) and derives values of 'Graphic_info_flag' and 'Graphic_area'.
- the content providing apparatus 610 transmits the combined image data of the content data 611 and the UI data 612 and the metadata 613 together to the display apparatus 620 (616).
- the values of Graphic_info_flag and Graphic_area are recorded in the metadata 613 before transmission.
- the display device 620 performs tone mapping (625) on the image data 624 according to the determined tone mapping setting, and causes the image to be displayed on the display unit.
- the present embodiment is different from the embodiment related to FIG. 5 as follows.
- the content providing apparatus determines which of the DTM setting and the STM setting is selected, and the content providing apparatus recorded in the metadata performs the tone mapping according to the selection information.
- the content providing apparatus 610 transmits information about the UI and the area of the UI to the display apparatus 620, and based on the information, the display apparatus 620 performs DTM setting and Determine which of the STM settings to select.
- FIG. 7 is a configuration block diagram showing another embodiment of a data transmission and operation process of the display apparatus and the content providing apparatus of the present invention.
- the content providing apparatus 710 combines the content data 711 and the UI data 712 to generate image data. Meanwhile, the content providing device 710 provides STM metadata for STM and DTM metadata for DTM.
- the STM metadata includes tone mapping setting information based on attributes of the display device 720 acquired from the display device 720.
- the DTM metadata includes tone mapping setting information based on the attribute of the content data 711.
- the content providing apparatus 710 calculates an area of the UI relative to the content image (715). If the calculated area is greater than a predetermined threshold value, the content providing device 710 selects STM metadata from the STM metadata and DTM metadata, and selects the DTM metadata if the calculated area is smaller than the threshold value (716) .
- the content providing apparatus 710 transmits the selected metadata together with the image data to the display apparatus 720 (717). That is, in this embodiment, the content providing apparatus 710 selects either STM or DTM, generates tone mapping setting information according to the selected method, and transmits the tone mapping setting information to the display apparatus 720.
- the display device 720 receives image data and metadata from the content providing device 710 (721).
- the display device 720 analyzes the metadata (722) and obtains the tone mapping setting information included in the metadata (723).
- the display device performs tone mapping on the image data 724 according to the acquired tone mapping setting information (725).
- the display device if it is detected that the UI is no longer displayed on the content image, the display device immediately switches to the DTM setting corresponding to the current scene, or after maintaining the STM setting while the current scene continues, It is possible to switch to the DTM setting corresponding to the changed scene at the time of switching to the next scene. This will be described more specifically below.
- FIG. 8 is a diagram illustrating a principle of applying a tone mapping setting to each image frame for each scene according to a time sequence according to an embodiment of the present invention.
- the display device sequentially displays each scene of the content image according to a lapse of time, and each scene includes a plurality of image frames.
- the display device performs tone mapping by applying any one of DTM and STM to each image frame.
- the UI is overlaid on the content image at a time point t1 while the scene #a of the content image is displayed on the display device.
- the display device switches the DTM setting to the STM setting, and performs the tone mapping according to the STM setting on the composite image of the content image and the UI. Even if the content video is switched from the scene #a to the scene #b while the UI is being displayed, the display device maintains the STM setting and performs tone mapping on the video frames of the scene.
- the tone mapping setting must be switched from the STM setting to the DTM setting.
- the display apparatus can switch from the STM setting at the time t2 to the DTM setting corresponding to the scene #b of the content image.
- the scene #b of the content image is continuously displayed. That is, when the setting of the tone mapping is switched at the time point t2, the STM setting is applied to the previous content image at the time point t2, while the DTM setting is applied to the content image after the time point t2. Therefore, the user can feel as if the image quality of the content video has changed greatly with the time point t2 as a boundary.
- the display device does not switch the setting of the tone mapping at the time point t2 but maintains the STM setting while the scene #b of the content image is displayed. Then, when the content video is switched to the scene #c at the time t3, the display device switches from the STM setting to the DTM setting corresponding to the scene #c of the content video. By doing so, the display device can prevent a user who views the content image from feeling a change in image quality in the same scene.
- the tone mapping is directly switched at one point in time. This method is also possible. However, since the tone mapping has a large influence on the image quality of the image, the switching of the tone mapping setting may cause the user to feel uncomfortable by making the image quality change suddenly. Hereinafter, an embodiment for solving such inconvenience will be described.
- FIG. 9 is a flowchart illustrating an operation in a first image frame in a process of switching a tone mapping setting according to an exemplary embodiment of the present invention.
- the display device operates according to the following procedure.
- a transition period which is a picture quality change period for a predetermined time period, may be provided to prevent a sudden change in picture quality.
- the display device controls the application rate of the DTM curve and the STM curve step by step to suppress a sudden change in image quality can do.
- step_size is the factor controlling the speed of the transition of the tone mapping curve.
- the transition ratio may be set to a linear shape, but may be set to a curve of a predetermined sigmoid shape.
- step 910 the display device confirms the first image frame at the start of switching.
- step 940 the display device shifts the tone mapping setting from the DTM to the STM by the reduced transition ratio.
- FIG. 10 is a flowchart illustrating an operation of a display apparatus according to an exemplary embodiment of the present invention, after a second image frame in a process of switching a tone mapping setting.
- step 1010 the display device confirms a next image frame.
- the image frames of the next sequence can be targeted to the image frames following the first image frame of FIG. 9.
- the display device decreases the transition ratio by step_size in response to the elapse of one unit time in step 1030.
- step 1040 the display device transitions the tone mapping setting by a reduced transition ratio.
- the display device checks the tone mapping setting state of the previous image frame temporally adjacent to the current image frame in step 1050.
- the display device maintains the DTM setting in step 1060.
- the display device determines whether a preset time has passed since the tone mapping was switched.
- step 1040 the display device determines in step 1080 whether or not the scene has been switched. If the scene has been changed, the process proceeds to step 1060. If the scene has not been changed, the process proceeds to step 1040. [ This is to prevent a user from significantly visually recognizing a change in image quality due to frequent user input in a content providing apparatus or a display apparatus. When switching the tone mapping setting occurring while DTM setting is applied, The tone mapping setting is maintained for the predetermined time.
- FIG. 11 is a configuration block diagram illustrating another embodiment of data transmission and operation procedures of the display apparatus and the content providing apparatus according to the present invention.
- the content providing apparatus 1110 generates video data by combining the content data 1111 and the UI data 1112 (1114).
- the content providing apparatus 1110 calculates the area of the UI relative to the content image (1115), and generates STM setting information corresponding to the calculation result (1116).
- the content providing apparatus 1110 may store STM setting information corresponding to various combinations of various types of reference monitors and display apparatuses, and obtain any one of the pieces of STM setting information.
- the content providing device 1110 generates DTM setting information based on the metadata 1113 of the content data (1117).
- the content providing apparatus 1110 selects setting information matching the current state from the DTM setting information and the STM setting information (1118).
- the content providing apparatus 1110 transmits the metadata in which the setting information is recorded and the video data to the display apparatus 1120 (1119).
- the display device 1120 receives the image data and metadata (1121), and acquires the tone mapping setting information from the metadata (1122) through analysis of the metadata (1123). The display device 1120 performs tone mapping of the video data 1124 according to the acquired tone mapping setting information (1125).
- the present embodiment can use the DTM metadata setting defined in the standard without defining additional metadata not defined in the conventional HDMI standard.
- the content providing apparatus 1110 generates tone mapping setting information corresponding to the current image frame, records the tone mapping setting information in the metadata according to the DTM metadata standard format, and transmits the meta data to the display apparatus 1120.
- FIG. 12 is a block diagram showing another embodiment of a data transmission and operation procedure of the display apparatus and the content providing apparatus according to the present invention.
- the content providing apparatus 1210 includes a first area in which a UI is displayed within a video frame when the UI is overlaid on the content video, and a second area in which only the content video And provides the display device 1220 with information for distinguishing each area.
- the display device performs tone mapping in such a manner that the first area and the second area are distinguished within the image frame based on the received information, the STM setting is applied to the first area, and the DTM setting is applied to the second area do.
- the concrete procedure is as follows.
- the content providing apparatus 1210 generates UI data 1212 corresponding to the UI overlaid on the content image in the full screen with the content data 1211 corresponding to the content image to generate the image data (1214).
- the content providing device 1210 determines the coordinates of the UI on the entire screen and generates UI coordinate information (1215).
- the UI coordinate information defines, for example, four coordinates of top-left, top-right, bottom-left, and bottrom-right corresponding to the four vertexes of the UI when defining the area of the UI as a rectangle on the entire screen.
- the UI coordinate information becomes reference information for applying a subsequent STM setting, and may be additionally recorded in the metadata transmitted to the display device 1220.
- the content providing apparatus 1210 generates information for DTM setting through analysis of the metadata 1213. [ The content providing apparatus 1210 transmits metadata together with the image data to the display apparatus 1220 (1216).
- the display device 1220 receives the image data and the metadata (1221), and obtains the information by analyzing the metadata (1222).
- the display device 1220 determines an area occupied by the content image and an area occupied by the UI from the acquired images (1223), and generates DTM setting information and STM setting information (1224).
- the display device 1220 performs tone mapping on the image data 1225 (1226).
- the display device 1220 performs DTM by applying DTM setting information to an area occupied by the content image in the entire image, and performs STM by applying STM setting information to an area occupied by the UI.
- the display device 1220 according to the present embodiment is configured such that the display device 1220 according to the present embodiment performs the mapping of one of the DTM and the STM, According to the characteristics of the area, different tone mapping is performed for each area.
- the image quality of the entire image can be improved by separately performing the tone mapping optimized for each of the content image and the UI.
- the methods according to exemplary embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium.
- Such computer readable media may include program instructions, data files, data structures, etc., alone or in combination.
- the computer-readable medium may be a volatile or non-volatile storage device, such as a storage device such as a ROM, or a memory such as a RAM, a memory chip, a device, or an integrated circuit, whether removable or rewritable.
- a storage medium readable by a machine e.g., a computer
- a storage medium readable by a machine such as a CD, a DVD, a magnetic disk, or a magnetic tape, as well as being optically or magnetically recordable.
- the memory that may be included in the mobile terminal is an example of a machine-readable storage medium suitable for storing programs or programs containing instructions for implementing the embodiments of the present invention.
- the program instructions recorded on the storage medium may be those specially designed and constructed for the present invention or may be those known to those skilled in the art of computer software.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
디스플레이장치는, 디스플레이부와; 콘텐츠 제공장치로부터 영상데이터를 수신 가능한 수신부와; 수신부를 통해 영상데이터 및 이 영상데이터에 메인 콘텐츠와 함께 서브 콘텐츠가 포함되는지를 나타내는 참조정보를 수신하며, 수신부에 수신되는 영상데이터에 기초하여 메인 콘텐츠 및 이에 메인 콘텐츠에 선택적으로 포함되는 서브 콘텐츠의 영상이 디스플레이부에 표시되게 하고, 참조정보에 기초하여 복수의 영상처리 중에서 영상에 서브 콘텐츠가 포함되는지 여부에 대응하도록 선택된 어느 하나의 영상처리에 의해 영상이 표시되게 하는 프로세서를 포함한다.
Description
본 발명은 입력되는 콘텐츠를 처리하여 영상을 표시하는 디스플레이장치 및 그 제어방법과 기록매체에 관한 것으로서, 상세하게는 고해상도 및 고화질의 콘텐츠의 영상을, 사용자의 시인성을 고려하여 표시하는 디스플레이장치 및 그 제어방법과 기록매체에 관한 것이다.
디스플레이장치는 콘텐츠의 신호 또는 데이터를 영상처리 프로세스에 따라서 처리함으로써, 자체 구비한 디스플레이 패널의 화면에 콘텐츠 영상을 표시하는 장치를 통칭하며, 일반 가정에서의 예시로는 TV가 있다. 디스플레이장치에 제공되는 콘텐츠는 광학디스크 재생장치와 같은 콘텐츠 재생장치 또는 셋탑박스와 같은 중계장치로부터, HDMI 등의 규격을 통해 디스플레이장치에 전송된다.
기술의 발전에 따라서 카메라 등의 촬영기기의 성능이 고도화되는 결과, 콘텐츠가 프레임 단위로 포함하는 영상정보는 비약적으로 상승하며, 이는 콘텐츠 재생장치로부터 디스플레이장치에 제공되는 콘텐츠가 초고화질 및 초고해상도로 구현된다는 것을 의미한다. 일례로, 콘텐츠는 HDR(High Dynamic Range) 영상과 같은 고휘도 영상의 콘텐츠일 수 있다. 그런데, HDR 콘텐츠를 디스플레이장치가 표시함에 있어서, 디스플레이장치가 표현 가능한 최대 휘도가 콘텐츠의 최대 휘도보다 낮거나, 디스플레이장치가 표현 가능한 휘도 범위가 콘텐츠의 휘도 범위보다 좁은 경우가 있다. 디스플레이장치는 이러한 HDR 콘텐츠를 표시하기 위해 톤 맵핑(Tone Mapping, TM)이라는 기법을 사용한다.
톤 맵핑 기법은 입력 영상으로서의 콘텐츠의 각 휘도값을, 디스플레이장치가 표현 가능한 휘도 범위의 값들에 맵핑시켜 출력 영상을 생성하고 이를 표시하는 방법이다. 예를 들어 콘텐츠의 영상정보가 0 내지 2000니트(nit)의 휘도 범위인 반면에 디스플레이장치가 표현 가능한 휘도 범위가 0 내지 500니트일 수 있다. 단지 콘텐츠의 휘도값을 그대로 구현시켜 출력 영상을 생성한다면, 디스플레이장치는 500니트보다 큰 휘도값을 표현할 수 없게 된다. 이에, 디스플레이장치는 톤 맵핑을 수행함으로써, HDR 콘텐츠의 휘도 범위를 가진 입력 영상을, 디스플레이장치가 표현 가능한 휘도 범위를 가진 출력 영상으로 변환시킨다.
톤 맵핑 기법의 예시로는 STM(Static Tone Mapping) 기법 및 DTM(Dynamic Tone Mapping) 기법이 있다. STM 기법에 따르면, 톤 맵핑은 디스플레이장치의 속성에 따라서 결정되므로, 콘텐츠의 종류에 무관하게 동일한 디스플레이장치에서 동일한 톤 맵핑이 적용된다. DTM 기법에 따르면, 톤 맵핑은 콘텐츠 내의 장면(scene)에 따라서 결정된다. DTM 기법은 STM 기법에 비해, 통상적으로 콘텐츠 제작자의 의도를 보다 잘 반영할 수 있다.
그런데, 콘텐츠 재생장치로부터 디스플레이장치에 전송되는 데이터가 콘텐츠만이 아닌 경우, 예를 들면 콘텐츠와 별도로 콘텐츠 재생장치에서 생성된 UI가 콘텐츠와 합성된 경우가 있다. 이 경우에 표시되는 콘텐츠 및 UI에 대해 톤 맵핑 기법을 종래대로 적용하게 되면, 사용자가 콘텐츠 및 UI를 시인함에 있어서 불편함 또는 위화감을 느낄 수 있다.
본 발명의 실시예에 따른 디스플레이장치는, 디스플레이부와; 콘텐츠 제공장치로부터 메인 콘텐츠의 데이터를 수신 가능한 수신부와; 상기 수신부를 통해 영상데이터 및 상기 영상데이터에 메인 콘텐츠와 함께 서브 콘텐츠가 포함되는지를 나타내는 참조정보를 수신하며, 상기 수신부에 수신되는 영상데이터에 기초하여 상기 메인 콘텐츠 및 상기 메인 콘텐츠에 선택적으로 포함되는 상기 서브 콘텐츠의 영상이 상기 디스플레이부에 표시되게 하고, 상기 참조정보에 기초하여 복수의 영상처리 중에서 상기 영상에 상기 서브 콘텐츠가 포함되는지 여부에 대응하도록 선택된 어느 하나의 상기 영상처리에 의해 상기 영상이 표시되게 하는 프로세서를 포함한다. 이로써, 디스플레이장치는 메인 콘텐츠에 대해 동적 톤 맵핑이 적용되는 영상에서 서브 콘텐츠가 메인 콘텐츠에 오버레이될 때, 영상의 화질 변화를 최소화할 수 있다.
여기서, 상기 프로세서는, 상기 영상에 상기 서브 콘텐츠가 포함되는지 여부에 대응하여 복수의 설정 중 선택된 어느 하나에 따라서 상기 영상데이터의 픽셀정보에 대응하는 상기 영상의 휘도정보를 도출함으로써, 상기 영상을 표시할 수 있다.
또한, 상기 프로세서는, 상기 영상에 상기 서브 콘텐츠가 포함되면 상기 디스플레이장치의 속성에 기반한 상기 영상처리를 수행하며, 상기 영상에 상기 서브 콘텐츠가 포함되지 않으면 상기 메인 콘텐츠의 속성에 기반한 상기 영상처리를 수행할 수 있다.
여기서, 상기 프로세서는, 상기 메인 콘텐츠의 장면에 따라서 개별적으로 마련된 설정에 따라서 상기 영상데이터의 픽셀정보를 상기 영상의 휘도정보로 변환시킴으로써, 상기 메인 콘텐츠의 속성에 기반한 상기 영상처리를 수행할 수 있다.
또한, 상기 프로세서는, 상기 디스플레이장치의 전용 휘도 범위에 대응하여 상기 영상데이터의 픽셀정보를 상기 영상의 휘도정보로 변환시킴으로써, 상기 디스플레이장치의 속성에 기반한 상기 영상처리를 수행할 수 있다.
또한, 상기 프로세서는, 상기 콘텐츠 제공장치로부터 출력되는 메타데이터로부터 상기 참조정보를 도출할 수 있다.
또한, 상기 영상 대비 상기 서브 콘텐츠의 면적 비율이 소정 임계치보다 크면 상기 영상에 상기 서브 콘텐츠가 포함되는 것으로 판단되고, 상기 영상 대비 상기 서브 콘텐츠의 면적 비율이 상기 임계치보다 크지 않으면 상기 영상에 상기 서브 콘텐츠가 포함되지 않는 것으로 판단될 수 있다.
또한, 상기 프로세서는, 상기 영상에 상기 서브 콘텐츠가 포함되면 상기 복수의 영상처리 중 상기 디스플레이장치의 속성에 기반한 제1영상처리를 수행하며, 상기 영상에서 상기 서브 콘텐츠가 포함되지 않는 시점부터 상기 메인 콘텐츠의 장면 전환 시점까지 상기 제1영상처리를 유지하고, 상기 장면 전환 시점부터 상기 복수의 영상처리 중 상기 메인 콘텐츠의 속성에 기반한 제2영상처리를 수행할 수 있다.
또한, 상기 프로세서는, 상기 복수의 영상처리 중 제1영상처리로부터 제2영상처리로의 전환 시에, 시간 경과에 따라서 상기 제1영상처리 및 상기 제2영상처리의 적용 비율을 단계적으로 조정할 수 있다.
또한, 상기 프로세서는, 상기 영상에서 상기 서브 콘텐츠가 표시되는 영역 및 상기 서브 콘텐츠가 표시되지 않는 영역 각각에 대해, 서로 상이한 상기 영상처리를 수행할 수 있다.
또한, 본 발명의 실시예에 따른 디스플레이장치의 제어방법은, 콘텐츠 제공장치로부터 영상데이터 및 상기 영상데이터에 메인 콘텐츠와 함께 서브 콘텐츠가 포함되는지를 나타내는 참조정보를 수신하는 단계와; 상기 참조정보에 기초하여 복수의 영상처리 중에서 영상에 상기 서브 콘텐츠가 포함되는지 여부에 대응하도록 어느 하나의 상기 영상처리를 선택하는 단계와; 상기 선택된 영상처리에 의해, 상기 메인 콘텐츠 및 상기 메인 콘텐츠에 선택적으로 포함되는 상기 서브 콘텐츠의 영상을 표시하는 단계를 포함한다.
여기서, 상기 영상에 상기 서브 콘텐츠가 포함되는지 여부에 대응하여 복수의 설정 중 선택된 어느 하나에 따라서 상기 영상데이터의 픽셀정보에 대응하는 상기 영상의 휘도정보를 도출함으로써, 상기 영상을 표시하는 단계를 포함할 수 있다.
또한, 상기 영상에 상기 서브 콘텐츠가 포함되면 상기 디스플레이장치의 속성에 기반한 영상처리를 수행하는 단계와; 상기 영상에 상기 서브 콘텐츠가 포함되지 않으면 상기 메인 콘텐츠의 속성에 기반한 영상처리를 수행하는 단계를 포함할 수 있다.
여기서, 상기 메인 콘텐츠의 장면에 따라서 개별적으로 마련된 설정에 따라서 상기 영상데이터의 픽셀정보를 상기 영상의 휘도정보로 변환시킴으로써, 상기 메인 콘텐츠의 속성에 기반한 상기 영상처리를 수행하는 단계를 포함할 수 있다.
또한, 상기 디스플레이장치의 전용 휘도 범위에 대응하여 상기 영상데이터의 픽셀정보를 상기 영상의 휘도정보로 변환시킴으로써, 상기 디스플레이장치의 속성에 기반한 상기 영상처리를 수행하는 단계를 포함할 수 있다.
또한, 상기 콘텐츠 제공장치로부터 출력되는 메타데이터로부터 상기 참조정보를 도출하는 단계를 더 포함할 수 있다.
또한, 상기 영상 대비 상기 서브 콘텐츠의 면적 비율이 소정 임계치보다 크면 상기 영상에 상기 서브 콘텐츠가 포함되는 것으로 판단하고, 상기 영상 대비 상기 서브 콘텐츠의 면적 비율이 상기 임계치보다 크지 않으면 상기 영상에 상기 서브 콘텐츠가 포함되지 않는 것으로 판단하는 단계를 포함할 수 있다.
또한, 상기 영상에 상기 서브 콘텐츠가 포함되면 상기 복수의 영상처리 중 상기 디스플레이장치의 속성에 기반한 제1영상처리를 수행하는 단계와; 상기 영상에서 상기 서브 콘텐츠가 포함되지 않는 시점부터 상기 메인 콘텐츠의 장면 전환 시점까지 상기 제1영상처리를 유지하고, 상기 장면 전환 시점부터 상기 복수의 영상처리 중 상기 메인 콘텐츠의 속성에 기반한 제2영상처리를 수행하는 단계를 포함할 수 있다.
또한, 상기 영상에서 상기 서브 콘텐츠가 표시되는 영역 및 상기 서브 콘텐츠가 표시되지 않는 영역 각각에 대해, 서로 상이한 상기 영상처리를 수행하는 단계를 포함할 수 있다.
또한, 본 발명의 실시예에 따른 디스플레이장치의 프로세서에 의해 실행 가능한 방법의 프로그램이 기록된, 비휘발성의 컴퓨터 독취가능 기록매체에 있어서, 상기 방법은, 콘텐츠 제공장치로부터 영상데이터 및 상기 영상데이터에 메인 콘텐츠와 함께 서브 콘텐츠가 포함되는지를 나타내는 참조정보를 수신하는 단계와; 상기 참조정보에 기초하여 복수의 영상처리 중에서 영상에 상기 서브 콘텐츠가 포함되는지 여부에 대응하도록 어느 하나의 상기 영상처리를 선택하는 단계와; 상기 선택된 영상처리에 의해, 상기 메인 콘텐츠 및 상기 메인 콘텐츠에 선택적으로 포함되는 상기 서브 콘텐츠의 영상을 표시하는 단계를 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 디스플레이장치에서 콘텐츠 제공장치로부터 수신되는 데이터에 기초하여 콘텐츠 영상 및 UI를 표시하는 모습을 나타내는 예시도이다.
도 2는 본 발명의 실시예에 따른 디스플레이장치의 제어방법을 나타내는 플로우차트이다.
도 3은 본 발명의 실시예에 따른 디스플레이장치에 표시되는 영상의 영상프레임들 일부가 시간 순서대로 배치된 모습을 나타내는 예시도이다.
도 4는 본 발명의 실시예에 따른 디스플레이장치 및 콘텐츠 제공장치의 구성 블록도이다.
도 5는 본 발명의 디스플레이장치 및 콘텐츠 제공장치의 데이터 전송 및 동작 과정의 일 실시예를 나타내는 구성 블록도이다.
도 6은 본 발명의 디스플레이장치 및 콘텐츠 제공장치의 데이터 전송 및 동작 과정의 다른 실시예를 나타내는 구성 블록도이다.
도 7은 본 발명의 디스플레이장치 및 콘텐츠 제공장치의 데이터 전송 및 동작 과정의 다른 실시예를 나타내는 구성 블록도이다.
도 8은 본 발명의 실시예에 따른 디스플레이장치가 시간 순서에 따른 장면 별 각 영상프레임에 대해 톤 맵핑 설정을 적용하는 원리를 설명하는 예시도이다.
도 9는 본 발명의 실시예에 따른 디스플레이장치가 톤 맵핑 설정을 전환하는 과정 중 첫 번째 영상프레임에서의 동작을 나타내는 플로우차트이다.
도 10은 본 발명의 실시예에 따른 디스플레이장치가 톤 맵핑 설정을 전환하는 과정 중 두 번째 영상프레임 이후부터의 동작을 나타내는 플로우차트이다.
도 11은 본 발명에 따른 디스플레이장치 및 콘텐츠 제공장치의 데이터 전송 및 동작 과정의 다른 실시예를 나타내는 구성 블록도이다.
도 12는 본 발명에 따른 디스플레이장치 및 콘텐츠 제공장치의 데이터 전송 및 동작 과정의 다른 실시예를 나타내는 구성 블록도이다.
이하에서는 첨부도면을 참조하여 본 발명에 따른 실시예들에 관해 상세히 설명한다. 각 도면을 참조하여 설명하는 실시예들은 특별한 언급이 없는 한 상호 배타적인 구성이 아니며, 하나의 장치 내에서 복수 개의 실시예가 선택적으로 조합되어 구현될 수 있다. 이러한 복수의 실시예의 조합은 본 발명의 기술분야에서 숙련된 기술자가 본 발명의 사상을 구현함에 있어서 임의로 선택되어 적용될 수 있다.
도 1은 본 발명의 실시예에 따른 디스플레이장치에서 콘텐츠 제공장치로부터 수신되는 데이터에 기초하여 콘텐츠 영상 및 UI를 표시하는 모습을 나타내는 예시도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 디스플레이장치(120)는 콘텐츠 제공장치(110)에 접속됨으로써, 콘텐츠 제공장치(110)로부터 출력되는 데이터를 처리하고, 이에 기반한 영상을 표시한다. 즉, 콘텐츠 제공장치(110)는 소스 디바이스로 동작하며, 디스플레이장치(120)는 싱크 디바이스로 동작한다. 콘텐츠 제공장치(110) 및 디스플레이장치(120) 사이의 접속 방식은 다양한 유무선 규격일 수 있으며, 본 실시예에서는 HDMI(High-Definition Multimedia Interface) 방식을 예로 들지만, 이 외에도 다양한 방식이 적용될 수 있다.
디스플레이장치(120)는 TV, 모니터 등을 비롯하여 영상을 표시 가능한 제반 장치를 포함한다. 콘텐츠 제공장치(110)는 블루레이 또는 DVD 등의 광학디스크 재생장치, 셋탑박스, 스트리밍 장치 등, 콘텐츠를 재생하거나 중계하는 제반 장치를 포함한다.
콘텐츠 제공장치(110)가 콘텐츠를 재생하여 생성한 TMDS 방식의 콘텐츠 신호를 HDMI 케이블을 통해 디스플레이장치(120)에 전송하면, 디스플레이장치(120)는 콘텐츠 신호를 영상처리 프로세스에 따라서 처리함으로써 디스플레이부 상에 콘텐츠 영상을 표시한다. 영상처리 프로세스는 콘텐츠 신호의 포맷에 따라서 여러 가지 형태가 가능한데, 예를 들면 디멀티플렉싱, 디코딩, 디스크램블링, 디테일 강화, 스케일링 등이 있다.
콘텐츠는 기본적으로 소정의 레퍼런스 모니터에서 표시되는 경우를 기준으로 상정하여, 레퍼런스 모니터의 색역 및 휘도를 고려하여 제작된다. 콘텐츠가 HDR 영상 콘텐츠로 구현되면, 해당 콘텐츠는 LDR(Low Dynamic Range) 영상 콘텐츠에 비해 넓은 휘도 범위를 가지며 정밀한 영상을 표현할 수 있다.
그런데, 디스플레이장치(120)가 표현할 수 있는 최대 휘도가 레퍼런스 모니터의 경우보다 낮다면, 디스플레이장치(120)는 톤 맵핑 기법을 사용하여 HDR 영상 콘텐츠인 입력 영상을 LDR 영상인 출력 영상으로 변환시켜 표시한다. 톤 맵핑 기법에는 디스플레이장치의 속성에 기반한 STM(Static Tone Mapping) 기법과, 콘텐츠의 속성에 기반한 DTM(Dynamic Tone Mapping) 기법이 있다. 디스플레이장치(120)는 STM 및 DTM 중 어느 하나를 적용하여 출력 영상을 생성할 수 있다.
DTM은 콘텐츠 내의 장면 전환에 따라서 해당 장면에 적합한 톤 맵핑을 수행하므로, STM에 비해 콘텐츠 제작자의 의도가 보다 잘 반영된 콘텐츠 영상이 표시되도록 할 수 있다. 따라서, 디스플레이장치(120)는 이러한 점을 고려하여, 콘텐츠 제공장치(110)로부터 콘텐츠 데이터를 포함하는 신호가 수신되면, 해당 콘텐츠 데이터를 DTM 기법에 따라서 콘텐츠 영상으로 변환하여 표시한다.
그런데, 디스플레이장치(120)에 콘텐츠 영상(141)만이 표시되는 것이 아닌, 콘텐츠 영상(141)에 UI(142)가 오버레이된 합성 영상(140)이 표시되는 경우도 있다. 예를 들면, 디스플레이장치(120)에 콘텐츠 영상(141)만이 표시되는 동안에 사용자가 리모트 컨트롤러(130)를 조작함으로써, UI(142)를 표시하도록 지시하는 커맨드가 리모트 컨트롤러(130)로부터 콘텐츠 제공장치(110)에 전송되는 경우가 있다. 콘텐츠 제공장치(110)는 UI(142)를 생성하여 콘텐츠 영상(141)에 합성시킨 합성 영상(140)의 데이터를 디스플레이장치(120)에 출력하며, 디스플레이장치(120)는 합성 영상(140)의 데이터를 처리함으로써 합성 영상(140)을 표시한다.
만일 콘텐츠 영상(141)만을 표시하는 경우와 동일하게 합성 영상(140)에 DTM 기법을 적용하여 표시한다면, 콘텐츠 영상(141)의 장면 전환 시에는 UI(142)에 각 장면 별로 상이한 톤 맵핑이 적용되므로, 사용자가 UI(142)를 시청할 때에 부자연스러움을 느끼게 할 수 있다. 이러한 점을 극복하도록, 본 발명의 실시예에서는 다음과 같은 방법이 제안된다.
디스플레이장치(120)는 STM 처리 및 DTM 처리를 포함하는 영상처리 중에서, 메인 콘텐츠의 영상에 서브 콘텐츠가 포함되는지 여부에 따라서 결정된 어느 하나의 영상처리를 통해 영상(140)을 표시한다. 여기서, 영상(140)은 메인 콘텐츠는(141)와, 메인 콘텐츠(141) 상에 오버레이된 서브 콘텐츠(142)를 포함할 수 있다. 서브 콘텐츠는 콘텐츠 영상(141)과 상이한 부가영상의 데이터를 의미하며, UI(142), OSD(on-screen display), 또는 메인 콘텐츠(141)의 콘텐츠와 상이한 타 콘텐츠가 될 수 있다.
구체적으로, 디스플레이장치(120)는 콘텐츠 제공장치(110)로부터 수신되는 기 설정된 참조정보에 기초하여, 콘텐츠 영상(141)로부터 메인 콘텐츠(141)의 메인 콘텐츠 데이터가 출력되는지, 아니면 서브 콘텐츠(142)의 서브 콘텐츠 데이터가 메인 콘텐츠 데이터에 부가되어 출력되는지 여부를 판단한다. 디스플레이장치(120)는 서브 콘텐츠 데이터가 부가되지 않은 메인 콘텐츠 데이터가 출력되는 것으로 판단되면, 해당 콘텐츠 영상(141)의 속성에 기반한 DTM 처리를 수행한다. 반면, 디스플레이장치(120)는 서브 콘텐츠 데이터가 메인 콘텐츠 데이터에 부가되어 출력되는 것으로 판단되면, 디스플레이장치(120)의 속성에 기반한 STM 처리를 수행한다. DTM 처리 및 STM 처리에 관한 보다 상세한 내용은 후술한다.
이로써, 디스플레이장치(120)는 DTM 처리에 의해 콘텐츠 영상(141)이 표시되는 동안에 UI(142)가 표시되는 경우에, 콘텐츠 영상(141)의 장면 전환 시에 UI(142)의 표시 화질이 바뀌지 않도록 함으로써, 사용자가 UI(142)를 자연스럽게 인지하도록 제공할 수 있다.
도 2는 본 발명의 실시예에 따른 디스플레이장치의 제어방법을 나타내는 플로우차트이다.
도 2에 도시된 바와 같이, 디스플레이장치는 다음 과정과 같이 동작한다.
210 단계에서 디스플레이장치는 콘텐츠 재생장치로부터 콘텐츠 영상에 대응하는 콘텐츠 데이터를 수신한다.
220 단계에서 디스플레이장치는 수신되는 콘텐츠 데이터에 대해 콘텐츠 영상의 속성에 대응하는 DTM 처리를 수행한다. DTM 처리를 위한 DTM 데이터, 즉 DTM 톤 맵핑 설정은, 디스플레이장치가 콘텐츠 재생장치로부터 수신할 수 있다. 또는 DTM 톤 맵핑 설정은 디스플레이장치가 콘텐츠 재생장치로부터 수신되는 메타데이터에 기초하여 생성할 수 있다. 메타데이터에 기초한 DTM 톤 맵핑 설정에 관한 내용은 후술한다.
230 단계에서 디스플레이장치는 DTM 처리가 수행된 콘텐츠 영상을 표시한다.
240 단계에서 디스플레이장치는 콘텐츠 재생장치로부터 콘텐츠 영상에 부가영상이 오버레이된 합성 영상에 대응하는 합성 영상 데이터가 수신되는지 여부를 판단한다.
만일 합성 영상 데이터가 아닌 콘텐츠 데이터만이 수신되는 것으로 판단되면, 디스플레이장치는 220 단계로 이행하여, 콘텐츠 재생장치로부터 수신되는 콘텐츠 데이터에 대한 DTM 처리를 계속 수행한다.
반면에 합성 영상 데이터가 수신되는 것으로 판단되면, 250 단계에서 디스플레이장치는 합성 영상 데이터에 대해 디스플레이장치의 속성에 대응하는 STM 처리를 수행한다.
260 단계에서 디스플레이장치는 STM 처리가 수행된 합성 영상을 표시한다.
270 단계에서 디스플레이장치는 콘텐츠 재생장치로부터 합성 영상 데이터의 수신이 종료되고 콘텐츠 데이터만이 수신되는지 여부를 판단한다.
만일 합성 영상 데이터가 계속 수신되는 것으로 판단되면, 디스플레이장치는 250 단계로 이행하여, 합성 영상 데이터에 대한 STM 처리를 계속 수행한다.
반면에 합성 영상 데이터의 수신으로부터 콘텐츠 데이터만의 수신으로 전환된 것으로 판단되면, 디스플레이장치는 220 단계로 이행하여, 콘텐츠 재생장치로부터 수신되는 콘텐츠 데이터에 대한 DTM 처리를 수행한다.
이하, STM 처리 및 DTM 처리에 관해 보다 구체적으로 설명한다.
STM 처리는 영상을 표시하는 디스플레이장치의 속성에 기반하여 톤 맵핑을 수행하는 방법이다. 여기서 디스플레이장치의 속성은, 예를 들면 디스플레이장치가 표현 가능한 색역, 최대 휘도, 휘도 범위 등을 포함한다. 디스플레이장치의 휘도 범위를 고려하면, 톤 맵핑은 입력 영상의 픽셀값, 계조값 또는 휘도값에 대비한 출력 영상의 휘도값의 테이블로 구현될 수 있으며, 하나의 테이블은 2차원 상의 하나의 커브로 표현될 수 있다. 즉, 톤 맵핑 커브는 입력 영상의 픽셀값, 계조값 또는 휘도값을 나타내는 가로축과, 출력 영상의 휘도값을 나타내는 세로축에 의한 평면 상에 구현된다. 세로축의 범위는 디스플레이장치에 따라서 결정된다.
디스플레이장치의 속성에 기반하여 톤 맵핑이 수행된다는 것은, 한 가지의 톤 맵핑 테이블 또는 한 가지의 톤 맵핑 커브만이 적용된다는 것을 의미한다. 즉, STM 처리는 각 디스플레이장치 별로 상이한 톤 맵핑 커브가 적용될 수 있지만, 하나의 디스플레이장치에서는 어떠한 콘텐츠를 막론하고 동일한 톤 맵핑 커브가 적용된다.
DTM 처리는 콘텐츠 영상의 속성에 기반하여 톤 맵핑을 수행하는 방법이다. 여기서 콘텐츠 영상의 속성은 콘텐츠의 장면 단위를 의미하는 바, DTM 처리에서는 콘텐츠의 장면 단위로 각기 상이한 톤 맵핑 커브가 마련된다. 디스플레이장치는 콘텐츠의 현재 장면에 대응하는 톤 맵핑 커브를 현재 장면의 영상프레임에 적용하며, 장면이 다른 장면으로 전환되면 전환된 장면에 대응하는 톤 맵핑 커브를 전환된 장면의 영상프레임에 적용한다. 즉, DTM 처리에서는 하나의 디스플레이장치에서 표시되는 콘텐츠 영상 내에서, 장면에 따라서 상이한 톤 맵핑 커브가 적용된다.
콘텐츠 재생장치로부터 콘텐츠 영상에 대응하는 콘텐츠 데이터만이 출력될 때, 디스플레이장치는 콘텐츠 데이터에 대해 DTM 처리를 하여 콘텐츠 영상을 표시하는 것이 바람직하다. 이 경우에, STM 처리보다는 DTM 처리 쪽이 콘텐츠 제공자의 의도를 보다 정확하게 반영한 콘텐츠 영상이 표시되게 할 수 있다.
이하, 본 발명의 실시예를 반영하는 경우에 사용자가 느끼는 영상에 대한 시인성에 관해 설명한다.
도 3은 본 발명의 실시예에 따른 디스플레이장치에 표시되는 영상의 영상프레임들 일부가 시간 순서대로 배치된 모습을 나타내는 예시도이다.
도 3에 도시된 바와 같이, 콘텐츠 영상(310)은 시간 순서에 따라서 순차적으로 표시되는 복수의 영상프레임을 포함한다. 콘텐츠 영상(310)은 각 장면 단위로 하나 이상의 영상프레임을 포함하며, 시간 경과에 따라서 하나의 장면이 끝나면 그 다음 장면으로 전환된다. 콘텐츠 영상(310) 내에서 하나의 장면을 어떻게 지정할 것인지 또는 두 장면 사이를 어떻게 구분할 것인지는 여러 가지 방법이 있겠지만, 대체적으로 콘텐츠 제공자에 의해 콘텐츠 영상(310)에 부가된 메타데이터에 영상프레임 단위로 장면(scene)을 구분하는 정보가 기록될 수 있다.
DTM 처리에서 콘텐츠 영상(310)의 장면 단위로 톤 맵핑 테이블와 같은 톤 맵핑 설정정보가 개별적으로 마련되는 이유는 다음과 같다. 예를 들면, 장면 #a는 밤과 같이 상대적으로 어두운 배경의 화면이고, 이어지는 장면 #b는 낮과 같이 상대적으로 밝은 배경의 화면이다.
만일 콘텐츠 영상(310)에 UI(320)가 오버레이되지 않고 콘텐츠 영상(310)만이 표시되는 경우에, 장면 #a의 영상프레임에 대해서는 장면 #a에 대응하는 톤 맵핑 설정이 적용되고, 장면 #b의 영상프레임에 대해서는 장면 #b에 대응하는 톤 맵핑 설정이 적용된다. 즉, 장면 #a에서 장면 #b로 이행되는 순간에, 장면 #a에 대응하는 톤 맵핑 설정으로부터 장면 #b에 대응하는 톤 맵핑 설정으로 이행된다. 장면 #a에서의 광량 및 장면 #b에서의 광량이 서로 상이하므로, 명암비를 고려하면 각 장면에 대해 톤 맵핑을 상이하게 적용해야 장면이 변하더라도 사용자의 시인성이 보장될 수 있다.
그런데, 본 도면에서처럼 장면 #a가 표시되는 와중에 UI(320)가 콘텐츠 영상(310)에 오버레이되고, 그 상태에서 장면 #b로 전환된 이후 소정 시간동안 UI(320)가 콘텐츠 영상(310) 위에 표시되는 경우가 있다. 만일 이 때에도 각 장면 영상프레임에 대해서는 해당 장면에 대응하는 톤 맵핑 설정을 적용하게 되면, UI(320)에도 각기 다른 톤 맵핑이 적용된다. 이는 콘텐츠 영상(310)의 장면이 전환됨에 따라서 UI(320)의 화질이 급격하게 변하는 것처럼 사용자에게 인지될 수 있으므로, 사용자의 불편함을 초래한다.
이에, 본 발명의 실시예에 따른 디스플레이장치는 콘텐츠 영상(310)의 장면 #a를 표시하는 동안에 콘텐츠 영상(310)에 UI(320)가 오버레이된 것으로 감지되면, 영상에 대한 톤 맵핑 설정을 장면 #a에 대응하는 DTM 설정에서 STM 설정으로 전환시킨다. 디스플레이장치는 콘텐츠 영상(310)의 장면이 전환되더라도 UI(320)가 계속 표시되는 동안에는 STM 설정을 유지한다. UI(320)가 더 이상 표시되지 않는다고 감지되면, 디스플레이장치는 바로 현재 장면에 대응하는 DTM 설정으로 전환하거나, 또는 현재 장면이 지속되는 동안에는 STM 설정을 유지한 이후에, 다음 장면으로 전환되는 시점에서 전환된 장면에 대응하는 DTM 설정으로 전환한다.
이로써, UI(320)가 표시되는 동안에는 UI(320)에 대한 시인성을 보장할 수 있다.
이하, 본 발명의 실시예에 따른 디스플레이장치 및 콘텐츠 제공장치의 하드웨어 구성에 관해 설명한다.
도 4는 본 발명의 실시예에 따른 디스플레이장치 및 콘텐츠 제공장치의 구성 블록도이다.
도 4에 도시된 바와 같이, 디스플레이장치(410)는 콘텐츠 제공장치(420)로부터 콘텐츠 신호를 수신하는 수신부(411)와, 영상을 표시하는 디스플레이부(412)와, 오디오를 출력하는 스피커(413)와, 사용자에 의한 입력 조작이 수행되는 사용자입력부(414)와, 데이터가 저장되는 저장부(415)와, 콘텐츠 신호의 처리 및 디스플레이장치의 동작을 위한 처리를 수행하는 프로세서(416)를 포함한다.
콘텐츠 제공장치(420)는 디스플레이장치(410)에 콘텐츠 신호를 전송하는 송신부(421)와, 콘텐츠 신호를 재생하여 송신부(421)에 전달하도록 처리하는 콘텐츠 신호 재생부(422)를 포함한다. 송신부(421)는 수신부(411)에 대응하여 통신 가능하도록 마련된 통신회로를 포함한다. 콘텐츠 신호 재생부(422)는 통상적 의미의 하드웨어 프로세서로 구현된다.
수신부(411)는 다양한 종류의 통신 프로토콜에 대응하는 통신모듈 또는 포트 등이 조합된 데이터 입출력 인터페이스를 포함하는 통신회로이다. 수신부(411)는 기본적으로는 콘텐츠 제공장치(420)로부터 콘텐츠 신호를 수신하지만, 양방향으로 신호를 송수신할 수 있게 마련된다. 본 실시예에 따른 수신부(411)는 HDMI 케이블을 통해 콘텐츠 제공장치(420)에 접속되지만, 접속되는 방식이 HDMI에 한정되는 것은 아니다.
디스플레이부(412)는 화면 상에 영상을 표시할 수 있는 디스플레이 패널을 포함한다. 디스플레이 패널은 액정 방식과 같은 수광 구조 또는 OLED 방식과 같은 자발광 구조로 마련된다. 디스플레이부(412)는 디스플레이 패널의 구조에 따라서 부가적인 구성을 추가로 포함할 수 있는데, 예를 들면 디스플레이 패널이 액정 방식이라면, 액정 디스플레이 패널에 광을 공급하는 백라이트유닛과 액정 디스플레이 패널의 액정을 구동시키는 패널구동기판 등이 추가된다.
스피커(413)는 오디오신호를 음향으로 출력한다. 스피커(413)는 어느 한 오디오채널의 오디오데이터에 대응하게 마련된 단위 스피커를 포함하며, 복수 오디오채널의 오디오데이터에 각기 대응하도록 복수의 단위 스피커를 포함할 수 있다.
사용자입력부(414)는 사용자의 조작 또는 입력에 따라서 기 설정된 제어 커맨드 또는 정보를 프로세서(416)에 전달한다. 사용자입력부(414)는 정보의 입력 방식에 따라서 다양한 형태로 구현될 수 있으며, 예를 들면 디스플레이장치(410)의 외측에 설치된 키, 디스플레이부(412)에 설치된 터치스크린, 사용자의 발화가 입력되는 마이크로폰, 사용자의 제스쳐 등을 촬영 또는 감지하는 카메라, 센서 등, 디스플레이장치(410)에 설치된 여러 사용자 인터페이스 환경을 포함한다. 또는, 사용자입력부(414)는 디스플레이장치(410)와 물리적으로 분리된 리모트 컨트롤러를 포함할 수도 있다.
저장부(415)는 프로세서(416)에 의해 억세스되며, 프로세서(416)의 제어에 따라서 데이터의 독취, 기록, 수정, 삭제, 갱신 등의 동작이 수행된다. 저장부(415)는 디스플레이장치(410)의 전원의 제공 유무와 무관하게 데이터를 저장할 수 있는 플래시메모리(flash-memory), 하드디스크 드라이브(hard-disc drive), SSD(solid-state drive) 등과 같은 비휘발성 메모리와, 처리를 위한 데이터가 로딩되는 버퍼, 램 등과 같은 휘발성 메모리를 포함한다.
프로세서(416)는 수신부(411)에 수신되는 콘텐츠 신호에 대한 처리를 수행함으로써 콘텐츠 영상이 디스플레이부(412)에 표시되도록 한다. 프로세서(416)는 콘텐츠 신호로부터 영상데이터를 추출하고, 영상데이터를 디코딩하고, 영상데이터를 톤 맵핑 처리하여 디스플레이부(412)로 출력한다. 프로세서(416)는 인쇄회로기판 상에 장착되는 CPU, 칩셋, 버퍼, 회로 등으로 구현되는 하드웨어 프로세서를 포함하며, 설계 방식에 따라서는 SOC(system on chip)으로 구현될 수도 있다. 프로세서(416)는 디멀티플렉서, 디코더, 스케일러, 오디오 DSP, 앰프 등의 다양한 프로세스에 대응하는 모듈들을 포함하며, 이들 중 일부가 SOC로 구현될 수 있다. 예를 들면, 디멀티플렉서, 디코더, 스케일러 등 영상처리와 관련된 모듈이 영상처리 SOC로 구현되고, 오디오 DSP는 SOC와 별도의 칩셋으로 구현되는 것이 가능하다.
이하, 본 발명의 사상을 구현하기 위해 디스플레이장치 및 콘텐츠 제공장치의 동작들에 관한 다양한 실시예들에 관해 설명한다.
도 5는 본 발명의 디스플레이장치 및 콘텐츠 제공장치의 데이터 전송 및 동작 과정의 일 실시예를 나타내는 구성 블록도이다.
도 5에 도시된 바와 같이, 콘텐츠 제공장치(510)는 콘텐츠 영상에 대응하는 콘텐츠 데이터(511)가 재생되는 동안에 UI 등의 그래픽 영상에 대응하는 UI 데이터(512)가 생성되면, 콘텐츠 영상 위에 UI가 결합되어 표시될 수 있도록 콘텐츠 데이터(511) 및 UI 데이터(512)를 합성한다(514).
한편, 콘텐츠 제공장치(510)는 콘텐츠 영상 대비 UI의 면적을 계산하여(515), 메타데이터의 일 필드에 계산 결과를 기록한다. 필드의 명칭은 편의상 'Graphic_info_flag'로 지칭하지만, 이는 한 가지 예시일 뿐이다. 콘텐츠 제공장치(510)는 콘텐츠 영상 대비 UI의 면적이 소정의 문턱값보다 작으면 Graphic_info_flag=0으로 설정하고, 콘텐츠 영상 대비 UI의 면적이 상기한 문턱값보다 크면 Graphic_info_flag=1로 설정한다. 예를 들어 문턱값이 2%일 때, 콘텐츠 제공장치(510)는 콘텐츠 영상에 오버레이된 UI의 면적이 콘텐츠 영상의 전체 면적 중 1%를 점유한다면 Graphic_info_flag=0으로 설정한다.
즉, Graphic_info_flag=0는 콘텐츠 영상에 실질적으로 UI가 오버레이되어 표시됨을 의미하며, Graphic_info_flag=1은 콘텐츠 영상에 UI가 오버레이되지 않고 콘텐츠 영상만 있거나 또는 콘텐츠 영상에 오버레이된 UI가 무시될 수 있을 정도로 작다는 것을 의미한다.
콘텐츠 제공장치(510)는 콘텐츠 데이터(511) 및 UI 데이터(512)가 합성된 영상데이터와, 메타데이터(513)를 함께 디스플레이장치(520)에 전송한다(516). Graphic_info_flag의 값은 전송 이전에 메타데이터(513)에 기록된다.
디스플레이장치(520)는 영상데이터 및 메타데이터가 수신되면(521), 메타데이터를 분석하여 Graphic_info_flag의 값을 확인한다(522). 디스플레이장치(520)는 확인된 Graphic_info_flag의 값에 대응하여 DTM 및 STM 중에서 어느 한 톤 맵핑의 설정을 선택한다(523). 톤 맵핑의 설정에서, 디스플레이장치(520)는 Graphic_info_flag=0이면 메타데이터에 지정된 콘텐츠영상의 속성에 따라서 DTM 설정을 하고, Graphic_info_flag=1이면 디스플레이장치(520)의 속성에 따라서 STM 설정을 한다.
디스플레이장치(520)는 영상데이터(524)에 대해, 결정된 톤 맵핑 설정에 따라서 톤 맵핑을 수행하고(525), 디스플레이부에 영상이 표시되도록 한다.
도 6은 본 발명의 디스플레이장치 및 콘텐츠 제공장치의 데이터 전송 및 동작 과정의 다른 실시예를 나타내는 구성 블록도이다.
도 6에 도시된 바와 같이, 콘텐츠 제공장치(610)는 콘텐츠 영상에 대응하는 콘텐츠 데이터(611)가 재생되는 동안에 UI 등의 그래픽 영상에 대응하는 UI 데이터(612)가 생성되면, 콘텐츠 영상 위에 UI가 결합되어 표시될 수 있도록 콘텐츠 데이터(611) 및 UI 데이터(612)를 합성한다(614).
한편, 콘텐츠 제공장치(610)는 콘텐츠 영상 대비 UI의 면적을 계산하여(615), 'Graphic_info_flag' 및 'Graphic_area'의 값을 도출한다. 콘텐츠 제공장치(610)는 UI 영상이 생성되었으면 Graphic_info_flag=1로 설정하되, Graphic_area에 콘텐츠 영상 대비 UI의 면적의 값을 기록한다.
콘텐츠 제공장치(610)는 콘텐츠 데이터(611) 및 UI 데이터(612)가 합성된 영상데이터와, 메타데이터(613)를 함께 디스플레이장치(620)에 전송한다(616). Graphic_info_flag 및 Graphic_area의 값은 전송 이전에 메타데이터(613)에 기록된다.
디스플레이장치(620)는 영상데이터 및 메타데이터가 수신되면(621), 메타데이터를 분석하여 Graphic_info_flag 및 Graphic_area의 값을 확인한다(622). 디스플레이장치(620)는 Graphic_info_flag=1이면, Graphic_area의 값을 소정의 문턱값과 비교한다. 디스플레이장치(620)는 Graphic_area의 값이 문턱값보다 크면 디스플레이장치(620)의 속성에 따라서 STM 설정을 하고, Graphic_area의 값이 문턱값보다 작으면 메타데이터에 지정된 콘텐츠영상의 속성에 따라서 DTM 설정을 한다.
디스플레이장치(620)는 영상데이터(624)에 대해, 결정된 톤 맵핑 설정에 따라서 톤 맵핑을 수행하고(625), 디스플레이부에 영상이 표시되도록 한다.
본 실시예가 앞선 도 5 관련 실시예와 상이한 점은 다음과 같다. 앞선 도 5 관련 실시예에서는 콘텐츠 제공장치가 DTM 설정 및 STM 설정 중 어느 것을 선택하는지 결정하고, 디스플레이장치는 메타데이터에 기록된 콘텐츠 제공장치가 선택 정보에 따라서 톤 맵핑을 수행하였다. 이에 비해, 본 실시예서는 콘텐츠 제공장치(610)는 UI가 생성되었다는 정보 및 UI의 면적에 관한 정보를 디스플레이장치(620)에 전달하고, 해당 정보에 기초하여 디스플레이장치(620)가 DTM 설정 및 STM 설정 중 어느 것을 선택하는지 결정한다.
도 7은 본 발명의 디스플레이장치 및 콘텐츠 제공장치의 데이터 전송 및 동작 과정의 다른 실시예를 나타내는 구성 블록도이다.
도 7에 도시된 바와 같이, 콘텐츠 제공장치(710)는 콘텐츠 데이터(711) 및 UI 데이터(712)를 합성하여 영상 데이터를 생성한다. 한편, 콘텐츠 제공장치(710)는 STM을 위한 STM 메타데이터 및 DTM을 위한 DTM 메타데이터를 마련한다. STM 메타데이터는 디스플레이장치(720)로부터 취득한 디스플레이장치(720)의 속성에 기반한 톤 맵핑 설정정보를 포함한다. DTM 메타데이터는 콘텐츠 데이터(711)의 속성에 기반한 톤 맵핑 설정정보를 포함한다.
콘텐츠 제공장치(710)는 콘텐츠 영상 대비 UI의 면적을 계산한다(715). 콘텐츠 제공장치(710)는 계산된 면적이 소정의 문턱값보다 크면 STM 메타데이터 및 DTM 메타데이터 중에서 STM 메타데이터를 선택하며, 계산된 면적이 문턱값보다 작으면 DTM 메타데이터를 선택한다(716).
콘텐츠 제공장치(710)는 영상데이터와 함께, 선택된 메타데이터를 디스플레이장치(720)에 전송한다(717). 즉, 본 실시예에서는 콘텐츠 제공장치(710)가 STM 및 DTM 중 어느 하나를 선택하고, 선택된 방식에 따른 톤 맵핑 설정정보를 생성하여 디스플레이장치(720)에 전달한다.
디스플레이장치(720)는 콘텐츠 제공장치(710)로부터 영상데이터 및 메타데이터를 수신한다(721). 디스플레이장치(720)는 메타데이터를 분석하여(722), 메타데이터에 포함된 톤 맵핑 설정정보를 취득한다(723). 디스플레이장치는 취득한 톤 맵핑 설정정보에 따라서 영상데이터(724)에 대해 톤 맵핑을 수행한다(725).
한편, 앞선 실시예에서, 콘텐츠영상 위에 UI가 더 이상 표시되지 않는다고 감지되면, 디스플레이장치는 바로 현재 장면에 대응하는 DTM 설정으로 전환하거나, 또는 현재 장면이 지속되는 동안에는 STM 설정을 유지한 이후에, 다음 장면으로 전환되는 시점에서 전환된 장면에 대응하는 DTM 설정으로 전환할 수 있다고 설명한 바 있다. 이에 관해 보다 구체적으로 이하 설명한다.
도 8은 본 발명의 실시예에 따른 디스플레이장치가 시간 순서에 따른 장면 별 각 영상프레임에 대해 톤 맵핑 설정을 적용하는 원리를 설명하는 예시도이다.
도 8에 도시된 바와 같이, 디스플레이장치는 시간 경과에 따라서 콘텐츠 영상의 각 장면을 순차적으로 표시하며, 각 장면은 복수의 영상프레임을 포함한다. 디스플레이장치는 각 영상프레임에 대해 DTM 및 STM 중 어느 하나의 설정을 적용하여 톤 맵핑을 수행한다.
디스플레이장치에서 콘텐츠 영상의 장면 #a가 표시되는 동안의 일 시점 t1에 UI가 콘텐츠 영상에 오버레이되어 표시된다. 이 경우, 디스플레이장치는 DTM 설정을 STM 설정으로 전환하고, 콘텐츠 영상 및 UI의 합성 영상에 대해 STM 설정에 따라서 톤 맵핑을 수행한다. UI가 표시되는 동안 콘텐츠 영상이 장면 #a로부터 장면 #b로 전환되더라도, 디스플레이장치는 STM 설정을 유지하며 장면의 영상프레임들에 대해 톤 맵핑을 수행한다.
그런데, 콘텐츠 영상의 장면 #b가 표시되는 동안의 일 시점 t2에 UI의 표시가 종료되면, 그 이후부터는 콘텐츠 영상만이 표시되므로 톤 맵핑 설정을 STM 설정으로부터 DTM 설정으로 전환해야 한다. 여기서, 톤 맵핑 설정이 어느 시점에 전환되는 것이 바람직한지에 관해 이하 설명한다.
한 가지 예시로서, 디스플레이장치는 시점 t2에 STM 설정으로부터 콘텐츠 영상의 장면 #b에 대응하는 DTM 설정으로 전환할 수 있다. 그런데, 시점 t2부터 다음 장면 #c로 전환되는 시점 t3까지의 시간 구간 동안은, 콘텐츠 영상의 장면 #b가 계속 표시된다. 즉, 시점 t2에 톤 맵핑의 설정이 전환되면, 시점 t2의 이전의 콘텐츠 영상에는 STM 설정이 적용되는 반면에 시점 t2 이후의 콘텐츠 영상에는 DTM 설정이 적용된다. 이 때문에, 사용자는 시점 t2를 경계로 하여 콘텐츠 영상의 화질이 크게 바뀐 것처럼 느낄 수 있다.
사용자가 느낄 수 있는 이러한 위화감을 최소화하기 위한 다른 예시로서, 디스플레이장치는 시점 t2에 톤 맵핑의 설정을 전환하지 않고, 콘텐츠 영상의 장면 #b가 표시되는 동안에도 STM 설정을 유지한다. 그리고, 디스플레이장치는 시점 t3에 콘텐츠 영상이 장면 #c로 전환되면, STM 설정으로부터 콘텐츠 영상의 장면 #c에 대응하는 DTM 설정으로 전환한다. 이렇게 함으로써 디스플레이장치는 콘텐츠 영상을 시청하는 사용자가 동일 장면 내에서의 화질 변화를 느끼지 않도록 할 수 있다.
한편, 앞선 실시예들에서는 일 시점에 톤 맵핑의 설정을 바로 전환하는 것처럼 설명하였다. 이러한 방법도 가능하지만, 톤 맵핑이 영상의 화질에 큰 영향을 미치는 특성 상, 급격한 톤 맵핑 설정의 전환은 사용자에게 영상의 화질이 갑자기 바뀌는 것으로 보이게 함으로써 사용자에게 불편함을 줄 수 있다. 이하, 이러한 불편함을 해소하기 위한 실시예에 관해 설명한다.
도 9는 본 발명의 실시예에 따른 디스플레이장치가 톤 맵핑 설정을 전환하는 과정 중 첫 번째 영상프레임에서의 동작을 나타내는 플로우차트이다.
도 9에 도시된 바와 같이, 디스플레이장치는 다음과 같은 과정을 따라서 동작한다. DTM으로부터 STM, 또는 STM으로부터 DTM으로 톤 맵핑 설정이 전환될 때에는, 영상의 급격한 화질 변화를 방지하기 위해 기 설정된 시간 구간 동안의 화질 변화 구간인 트랜지션(transition) 구간이 마련될 수 있다. 예를 들면 톤 맵핑 설정을 소정의 DTM 커브로부터 소정의 STM 커브로 전환, 즉 트랜지션하고자 할 때, 시간 경과에 따라서 디스플레이장치는 DTM 커브 및 STM 커브의 적용 비율을 단계적으로 조정함으로써 급격한 화질 변화를 억제할 수 있다.
톤 맵핑의 전환 개시 시점에서의 톤 맵핑 커브를 C1, 전환 완료 시점에서의 톤 맵핑 커브를 C2라고 하면, 전환 개시 시점 및 전환 완료 시점 사이의 일 시점에서의 톤 맵핑 커브 Cc는, 'Cc=C1*Tr+C2(1-Tr)'로 나타낼 수 있다. Tr은 트랜지션 비율이며, 100부터 0 사이 범위 내의 값을 가진다. 전환 개시 시점에는 Tr=100이 되며, 전환 개시 시점으로부터 단위시간만큼 경과함에 따라서 Tr은 해당 단위시간마다 기 설정된 양의 정수값인 'step_size' 만큼 감소된다. 전환 완료 시점이 되면 Tr=0이 된다. 예를 들면 단위시간이 3초이면, 24 fps 콘텐츠는 72프레임 동안 Tr이 100부터 0까지 단계적으로 감소해야 하며, 이에 맞춰 step_size의 값이 사전에 설정된다. step_size의 값은 톤 맵핑 커브의 트랜지션의 속도를 조절하는 인자가 된다. 트랜지션 비율은 선형으로 설정될 수도 있지만, 기 설정된 시그모이드(Sigmoid) 형태의 커브로 설정될 수도 있다.
톤 맵핑 설정의 트랜지션의 구체적인 과정은 다음과 같다. 910 단계에서 디스플레이장치는 전환 개시 시점에서의 첫 번째 영상프레임을 확인한다.
920 단계에서 디스플레이장치는 콘텐츠 제공장치로부터 Graphic_info_flag=1로 기록된 메타데이터가 수신되거나 또는 STM 설정 정보가 기록된 메타데이터가 수신되는지 여부를 판단한다. 즉, 디스플레이장치는 콘텐츠 영상에 UI 등의 부가영상이 합성된 데이터가 수신되는지 여부를 판단한다.
부가영상이 있음을 나타내는 메타데이터가 수신되면, 930 단계에서 디스플레이장치는 하나의 단위시간이 경과함에 응답하여 step_size만큼 트랜지션 비율을 감소시킨다. 즉, Tr=100-(step_size)가 된다.
940 단계에서 디스플레이장치는 감소된 트랜지션 비율만큼 톤 맵핑 설정을 DTM으로부터 STM으로 전이시킨다. 앞서 설명한 바와 같이, 전이되는 시점의 톤 맵핑 커브는 Cc=C1*Tr+C2(1-Tr)로 나타낼 수 있다. C1이 DTM 커브이고 C2가 STM 커브이면, Cc는 C1으로부터 Tr만큼 C2에 인접한 커브를 나타낸다.
반면, 부가영상이 있음을 나타내는 메타데이터가 수신되지 않는다면, 950 단계에서 디스플레이장치는 현재의 톤 맵핑 설정인 DTM을 유지한다. 즉, Tr=100이 되므로, 톤 맵핑 커브에 변화는 없다.
도 10은 본 발명의 실시예에 따른 디스플레이장치가 톤 맵핑 설정을 전환하는 과정 중 두 번째 영상프레임 이후부터의 동작을 나타내는 플로우차트이다.
도 10에 도시된 바와 같이, 1010 단계에서 디스플레이장치는 다음 순서의 영상프레임을 확인한다. 여기서, 다음 순서의 영상프레임은, 앞선 도 9에서의 첫 번째 영상프레임 다음의 영상프레임들이 대상이 될 수 있다.
1020 단계에서 디스플레이장치는 콘텐츠 제공장치로부터 Graphic_info_flag=1로 기록된 메타데이터가 수신되거나 또는 STM 설정 정보가 기록된 메타데이터가 수신되는지 여부를 판단한다.
부가영상이 있음을 나타내는 메타데이터가 수신되면, 1030 단계에서 디스플레이장치는 하나의 단위시간이 경과함에 응답하여 step_size만큼 트랜지션 비율을 감소시킨다.
1040 단계에서 디스플레이장치는 감소된 트랜지션 비율만큼 톤 맵핑 설정을 전이시킨다.
반면, 부가영상이 있음을 나타내는 메타데이터가 수신되지 않는다면, 1050 단계에서 디스플레이장치는 현재 영상프레임으로부터 시간적으로 인접한 이전 영상프레임의 톤 맵핑 설정 상태를 확인한다.
이전 영상프레임의 톤 맵핑 설정 상태가 DTM 상태에 있었다면, 1060 단계에서 디스플레이장치는 DTM 설정을 유지한다.
반면에 이전 영상프레임의 상태가 DTM으로부터 STM으로 이전하는 단계에 있었다면, 1070 단계에서 디스플레이장치는 톤 맵핑의 전환된 이후부터 기 설정된 시간이 경과하였는지 판단한다.
기 설정된 시간이 경과하지 않았다면, 디스플레이장치는 바로 1040 단계로 이행한다. 반면에 기 설정된 시간이 경과하였다면, 1080 단계에서 디스플레이장치는 장면이 전환되었는지 여부를 판단한다. 장면이 전환되었으면 1060 단계로 이행하며, 장면이 전환되지 않았으면 1040 단계로 이행한다. 이는, 콘텐츠 제공장치 또는 디스플레이장치에서의 빈번한 사용자 입력 등으로 인해 사용자가 영상의 화질변화를 현저히 시인하는 경우를 방지하기 위한 것으로서, DTM 설정이 적용되는 동안에 발생하는 톤 맵핑 설정의 전환 시에, 전환된 톤 맵핑 설정이 상기한 기 설정된 시간만큼 유지된다.
도 11은 본 발명에 따른 디스플레이장치 및 콘텐츠 제공장치의 데이터 전송 및 동작 과정의 다른 실시예를 나타내는 구성 블록도이다.
도 11에 도시된 바와 같이, 콘텐츠 제공장치(1110)는 콘텐츠 데이터(1111) 및 UI 데이터(1112)를 합성하여 영상 데이터를 생성한다(1114). 콘텐츠 제공장치(1110)는 콘텐츠 영상 대비 UI의 면적을 계산하고(1115), 계산 결과에 대응하게 STM 설정정보를 생성한다(1116). 예를 들면, 콘텐츠 제공장치(1110)는 다양한 종류의 레퍼런스 모니터의 및 디스플레이장치의 다양한 조합에 대응하여 STM 설정정보를 저장하고, 이 중에서 어느 한 설정정보를 취득할 수 있다.
한편, 콘텐츠 제공장치(1110)는 콘텐츠 데이터의 메타데이터(1113)에 기초하여 DTM 설정정보를 생성한다(1117).
콘텐츠 제공장치(1110)는 DTM 설정정보 및 STM 설정정보 중에서 현재 상태에 맞는 설정정보를 선택한다(1118). 콘텐츠 제공장치(1110)는 설정정보가 기록된 메타데이터와, 영상데이터를 디스플레이장치(1120)에 전송한다(1119).
디스플레이장치(1120)는 영상데이터 및 메타데이터가 수신되면(1121), 메타데이터의 분석을 통해(1122) 메타데이터로부터 톤 맵핑 설정정보를 취득한다(1123). 디스플레이장치(1120)는 취득한 톤 맵핑 설정정보에 따라서 영상데이터(1124)의 톤 맵핑을 수행한다(1125).
본 실시예는 종래의 HDMI 표준에 정의되지 않은 별도의 메타데이터를 정의하지 않고도, 표준에 정의된 DTM 메타데이터 설정을 이용할 수 있다. 콘텐츠 제공장치(1110)는 현재 영상프레임에 대응하는 톤 맵핑 설정정보를 생성하고, 이를 DTM 메타데이터 표준 양식에 따라서 메타데이터에 기록하여 디스플레이장치(1120)에 전송한다.
도 12는 본 발명에 따른 디스플레이장치 및 콘텐츠 제공장치의 데이터 전송 및 동작 과정의 다른 실시예를 나타내는 구성 블록도이다.
도 12에 도시된 바와 같이, 본 실시예에 따른 콘텐츠 제공장치(1210)는 콘텐츠 영상에 UI가 오버레이되었을 때에, 영상프레임 내에서 UI가 표시되는 제1영역과, UI가 표시되지 않고 콘텐츠 영상만 있는 제2영역을 구분하고, 각 영역을 구분하기 위한 정보를 디스플레이장치(1220)에 제공한다. 디스플레이장치는 수신되는 정보에 기초하여 영상프레임 내에서 제1영역 및 제2영역을 구분하고, 제1영역에 대해 STM 설정을 적용하고 제2영역에 대해 DTM 설정을 적용하는 방식으로 톤 맵핑을 수행한다.
구체적인 과정은 다음과 같다. 콘텐츠 제공장치(1210)는 전체 화면에서 콘텐츠 영상 위에 오버레이되는 UI에 대응하는 UI 데이터(1212)를 콘텐츠 영상에 대응하는 콘텐츠 데이터(1211)와 합성하여 영상데이터를 생성한다(1214). 콘텐츠 제공장치(1210)는 전체 화면에서 UI의 좌표를 판단하고, UI 좌표 정보를 생성한다(1215). UI 좌표 정보는, 예를 들면 전체 화면에서 UI의 영역을 사각형으로 정의할 때, UI의 네 꼭지점에 대응하는 Top-left, top-right, bottom-left, bottrom-right의 네 좌표를 정의한다. UI 좌표 정보는 차후 STM 설정을 적용하기 위한 참조 정보가 되며, 디스플레이장치(1220)에 전송하는 메타데이터에 추가적으로 기록될 수 있다.
또한, 콘텐츠 제공장치(1210)는 메타데이터(1213)의 분석을 통해 DTM 설정을 위한 정보를 생성한다. 콘텐츠 제공장치(1210)는 영상데이터와 함께, 상기한 정보들이 기록된 메타데이터를 디스플레이장치(1220)에 전송한다(1216).
디스플레이장치(1220)는 영상데이터 및 메타데이터를 수신하면(1221), 메타데이터를 분석함으로써 상기한 정보들을 취득한다(1222). 디스플레이장치(1220)는 취득한 정보들로부터, 전체 영상에서 콘텐츠 영상이 점유하는 영역 및 UI가 점유하는 영역을 판단하고(1223), DTM 설정정보 및 STM설정정보를 생성한다(1224).
최종적으로 디스플레이장치(1220)는 영상데이터(1225)에 대해 톤 맵핑을 수행한다(1226). 디스플레이장치(1220)는 전체 영상에서, 콘텐츠 영상이 점유하는 영역에 대해서는 DTM 설정정보를 적용하여 DTM을 수행하고, UI가 점유하는 영역에 대해서는 STM 설정정보를 적용하여 STM을 수행한다.
즉, 앞선 실시예에서 디스플레이장치가 하나의 영상프레임에 대해 DTM 및 STM 중 어느 하나의 톤 맵핑을 선택적으로 수행하는 것에 비해, 본 실시예에 따른 디스플레이장치(1220)는 하나의 영상프레임 내의 분할된 영역의 특성에 따라서, 각 영역 별로 서로 상이한 톤 맵핑을 수행한다. 이로써, 본 실시예에 따르면, 콘텐츠 영상 및 UI 각각에 대해 최적화된 톤 맵핑을 개별적으로 수행함으로써, 전체 영상의 화질을 향상시킬 수 있다.
본 발명의 예시적 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 매체는 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 이동 단말 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 본 저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어의 기술 분야에서 숙련된 기술자에게 공지되어 사용 가능한 것일 수도 있다.
Claims (15)
- 디스플레이장치에 있어서,디스플레이부와;콘텐츠 제공장치로부터 메인 콘텐츠의 데이터를 수신 가능한 수신부와;상기 수신부를 통해 영상데이터 및 상기 영상데이터에 메인 콘텐츠와 함께 서브 콘텐츠가 포함되는지를 나타내는 참조정보를 수신하며, 상기 수신부에 수신되는 영상데이터에 기초하여 상기 메인 콘텐츠 및 상기 메인 콘텐츠에 선택적으로 포함되는 상기 서브 콘텐츠의 영상이 상기 디스플레이부에 표시되게 하고, 상기 참조정보에 기초하여 복수의 영상처리 중에서 상기 영상에 상기 서브 콘텐츠가 포함되는지 여부에 대응하도록 선택된 어느 하나의 상기 영상처리에 의해 상기 영상이 표시되게 하는 프로세서를 포함하는 디스플레이장치.
- 제1항에 있어서,상기 프로세서는, 상기 영상에 상기 서브 콘텐츠가 포함되는지 여부에 대응하여 복수의 설정 중 선택된 어느 하나에 따라서 상기 영상데이터의 픽셀정보에 대응하는 상기 영상의 휘도정보를 도출함으로써, 상기 영상을 표시하는 디스플레이장치.
- 제1항에 있어서,상기 프로세서는, 상기 영상에 상기 서브 콘텐츠가 포함되면 상기 디스플레이장치의 속성에 기반한 상기 영상처리를 수행하며, 상기 영상에 상기 서브 콘텐츠가 포함되지 않으면 상기 메인 콘텐츠의 속성에 기반한 상기 영상처리를 수행하는 디스플레이장치.
- 제3항에 있어서,상기 프로세서는, 상기 메인 콘텐츠의 장면에 따라서 개별적으로 마련된 설정에 따라서 상기 영상데이터의 픽셀정보를 상기 영상의 휘도정보로 변환시킴으로써, 상기 메인 콘텐츠의 속성에 기반한 상기 영상처리를 수행하는 디스플레이장치.
- 제3항에 있어서,상기 프로세서는, 상기 디스플레이장치의 전용 휘도 범위에 대응하여 상기 영상데이터의 픽셀정보를 상기 영상의 휘도정보로 변환시킴으로써, 상기 디스플레이장치의 속성에 기반한 상기 영상처리를 수행하는 디스플레이장치.
- 제1항에 있어서,상기 프로세서는, 상기 콘텐츠 제공장치로부터 출력되는 메타데이터로부터 상기 참조정보를 도출하는 디스플레이장치.
- 제1항에 있어서,상기 영상 대비 상기 서브 콘텐츠의 면적 비율이 소정 임계치보다 크면 상기 영상에 상기 서브 콘텐츠가 포함되는 것으로 판단되고, 상기 영상 대비 상기 서브 콘텐츠의 면적 비율이 상기 임계치보다 크지 않으면 상기 영상에 상기 서브 콘텐츠가 포함되지 않는 것으로 판단되는 디스플레이장치.
- 제1항에 있어서,상기 프로세서는, 상기 영상에 상기 서브 콘텐츠가 포함되면 상기 복수의 영상처리 중 상기 디스플레이장치의 속성에 기반한 제1영상처리를 수행하며,상기 영상에서 상기 서브 콘텐츠가 포함되지 않는 시점부터 상기 메인 콘텐츠의 장면 전환 시점까지 상기 제1영상처리를 유지하고, 상기 장면 전환 시점부터 상기 복수의 영상처리 중 상기 메인 콘텐츠의 속성에 기반한 제2영상처리를 수행하는 디스플레이장치.
- 제1항에 있어서,상기 프로세서는, 상기 복수의 영상처리 중 제1영상처리로부터 제2영상처리로의 전환 시에, 시간 경과에 따라서 상기 제1영상처리 및 상기 제2영상처리의 적용 비율을 단계적으로 조정하는 디스플레이장치.
- 제1항에 있어서,상기 프로세서는, 상기 영상에서 상기 서브 콘텐츠가 표시되는 영역 및 상기 서브 콘텐츠가 표시되지 않는 영역 각각에 대해, 서로 상이한 상기 영상처리를 수행하는 디스플레이장치.
- 디스플레이장치의 제어방법에 있어서,콘텐츠 제공장치로부터 영상데이터 및 상기 영상데이터에 메인 콘텐츠와 함께 서브 콘텐츠가 포함되는지를 나타내는 참조정보를 수신하는 단계와;상기 참조정보에 기초하여 복수의 영상처리 중에서 영상에 상기 서브 콘텐츠가 포함되는지 여부에 대응하도록 어느 하나의 상기 영상처리를 선택하는 단계와;상기 선택된 영상처리에 의해, 상기 메인 콘텐츠 및 상기 메인 콘텐츠에 선택적으로 포함되는 상기 서브 콘텐츠의 영상을 표시하는 단계를 포함하는 디스플레이장치의 제어방법.
- 제11항에 있어서,상기 영상에 상기 서브 콘텐츠가 포함되는지 여부에 대응하여 복수의 설정 중 선택된 어느 하나에 따라서 상기 영상데이터의 픽셀정보에 대응하는 상기 영상의 휘도정보를 도출함으로써, 상기 영상을 표시하는 단계를 포함하는 디스플레이장치의 제어방법.
- 제11항에 있어서,상기 영상에 상기 서브 콘텐츠가 포함되면 상기 디스플레이장치의 속성에 기반한 영상처리를 수행하는 단계와;상기 영상에 상기 서브 콘텐츠가 포함되지 않으면 상기 메인 콘텐츠의 속성에 기반한 영상처리를 수행하는 단계를 포함하는 디스플레이장치의 제어방법.
- 제13항에 있어서,상기 메인 콘텐츠의 장면에 따라서 개별적으로 마련된 설정에 따라서 상기 영상데이터의 픽셀정보를 상기 영상의 휘도정보로 변환시킴으로써, 상기 메인 콘텐츠의 속성에 기반한 상기 영상처리를 수행하는 단계를 포함하는 디스플레이장치의 제어방법.
- 제13항에 있어서,상기 디스플레이장치의 전용 휘도 범위에 대응하여 상기 영상데이터의 픽셀정보를 상기 영상의 휘도정보로 변환시킴으로써, 상기 디스플레이장치의 속성에 기반한 상기 영상처리를 수행하는 단계를 포함하는 디스플레이장치의 제어방법.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/760,328 US11234042B2 (en) | 2017-11-14 | 2018-11-12 | Display device, control method therefor and recording medium |
EP18879123.0A EP3687184A4 (en) | 2017-11-14 | 2018-11-12 | DISPLAY DEVICE, CONTROL PROCESS THEREFOR AND RECORDING MEDIA |
JP2019515440A JP6803463B2 (ja) | 2017-11-14 | 2018-11-12 | ディスプレイ装置及びその制御方法 |
CN201880004661.8A CN110050468A (zh) | 2017-11-14 | 2018-11-12 | 显示设备及其控制方法和记录介质 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2017-0151403 | 2017-11-14 | ||
KR1020170151403A KR102523672B1 (ko) | 2017-11-14 | 2017-11-14 | 디스플레이장치 및 그 제어방법과 기록매체 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019098619A1 true WO2019098619A1 (ko) | 2019-05-23 |
Family
ID=66540314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2018/013701 WO2019098619A1 (ko) | 2017-11-14 | 2018-11-12 | 디스플레이장치 및 그 제어방법과 기록매체 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11234042B2 (ko) |
EP (1) | EP3687184A4 (ko) |
JP (1) | JP6803463B2 (ko) |
KR (1) | KR102523672B1 (ko) |
CN (1) | CN110050468A (ko) |
WO (1) | WO2019098619A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3754635A1 (en) * | 2019-06-19 | 2020-12-23 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116456124B (zh) * | 2023-06-20 | 2023-08-22 | 上海宝玖数字科技有限公司 | 高延时网络状态下的直播信息展示方法、***及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160090583A (ko) * | 2015-01-22 | 2016-08-01 | 삼성전자주식회사 | 디스플레이 장치, 제어 장치 및 그 동작 방법 |
KR20160140375A (ko) * | 2015-05-28 | 2016-12-07 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
US20170026646A1 (en) * | 2015-07-22 | 2017-01-26 | Arris Enterprises Llc | System for coding high dynamic range and wide color gamut sequences |
KR20170052364A (ko) * | 2015-11-04 | 2017-05-12 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
KR20170097375A (ko) * | 2016-02-18 | 2017-08-28 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7404645B2 (en) * | 2005-06-20 | 2008-07-29 | Digital Display Innovations, Llc | Image and light source modulation for a digital display system |
JP3953506B2 (ja) * | 2005-10-18 | 2007-08-08 | シャープ株式会社 | 液晶表示装置 |
CA2734613C (en) * | 2008-08-19 | 2020-06-09 | Digimarc Corporation | Methods and systems for content processing |
KR101742120B1 (ko) | 2011-06-10 | 2017-05-31 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US9443495B2 (en) | 2011-06-14 | 2016-09-13 | Koninklijke Philips N.V. | Graphics processing for high dynamic range video |
US9535027B2 (en) | 2012-07-25 | 2017-01-03 | Abbott Diabetes Care Inc. | Analyte sensors and methods of using same |
US10255888B2 (en) * | 2012-12-05 | 2019-04-09 | Texas Instruments Incorporated | Merging multiple exposures to generate a high dynamic range image |
JP6104411B2 (ja) | 2013-02-21 | 2017-03-29 | ドルビー ラボラトリーズ ライセンシング コーポレイション | オーバーレイグラフィクス合成のためのアピアランスマッピングのシステムおよび装置 |
KR102176398B1 (ko) * | 2013-06-28 | 2020-11-09 | 삼성전자주식회사 | 영상처리장치 및 영상처리방법 |
JP6324063B2 (ja) | 2013-12-26 | 2018-05-16 | キヤノン株式会社 | 画像再生装置及びその制御方法 |
JP6443857B2 (ja) * | 2014-06-05 | 2018-12-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
BR112017009528A2 (pt) * | 2014-11-10 | 2018-02-06 | Koninklijke Philips N.V. | aparelho e método para decodificar um sinal de vídeo de hdr integrado a partir de um ou mais sinais da fonte, aparelho para codificar um sinal de vídeo, e método de decodificação de um sinal de vídeo |
JP6741975B2 (ja) * | 2014-12-09 | 2020-08-19 | パナソニックIpマネジメント株式会社 | 送信方法および送信装置 |
US10109228B2 (en) * | 2015-04-10 | 2018-10-23 | Samsung Display Co., Ltd. | Method and apparatus for HDR on-demand attenuation control |
EP3099081B1 (en) * | 2015-05-28 | 2020-04-29 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
CN106056550B (zh) * | 2016-05-25 | 2019-02-22 | 广东工业大学 | 一种基于高动态范围图像的渲染方法和装置 |
JP6466488B2 (ja) * | 2017-02-09 | 2019-02-06 | シャープ株式会社 | 表示装置、テレビジョン受像機、映像処理方法、制御プログラム、及び記録媒体 |
EP3644618A4 (en) * | 2017-06-21 | 2020-05-27 | Panasonic Intellectual Property Management Co., Ltd. | IMAGE DISPLAY SYSTEM AND IMAGE DISPLAY METHOD |
-
2017
- 2017-11-14 KR KR1020170151403A patent/KR102523672B1/ko active IP Right Grant
-
2018
- 2018-11-12 WO PCT/KR2018/013701 patent/WO2019098619A1/ko unknown
- 2018-11-12 US US16/760,328 patent/US11234042B2/en active Active
- 2018-11-12 JP JP2019515440A patent/JP6803463B2/ja active Active
- 2018-11-12 CN CN201880004661.8A patent/CN110050468A/zh active Pending
- 2018-11-12 EP EP18879123.0A patent/EP3687184A4/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160090583A (ko) * | 2015-01-22 | 2016-08-01 | 삼성전자주식회사 | 디스플레이 장치, 제어 장치 및 그 동작 방법 |
KR20160140375A (ko) * | 2015-05-28 | 2016-12-07 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
US20170026646A1 (en) * | 2015-07-22 | 2017-01-26 | Arris Enterprises Llc | System for coding high dynamic range and wide color gamut sequences |
KR20170052364A (ko) * | 2015-11-04 | 2017-05-12 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
KR20170097375A (ko) * | 2016-02-18 | 2017-08-28 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3687184A4 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3754635A1 (en) * | 2019-06-19 | 2020-12-23 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
US11170479B2 (en) | 2019-06-19 | 2021-11-09 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
CN113906498A (zh) * | 2019-06-19 | 2022-01-07 | 三星电子株式会社 | 显示装置及其控制方法 |
US11704780B2 (en) | 2019-06-19 | 2023-07-18 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
CN113906498B (zh) * | 2019-06-19 | 2024-05-28 | 三星电子株式会社 | 显示装置及其控制方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200267440A1 (en) | 2020-08-20 |
CN110050468A (zh) | 2019-07-23 |
EP3687184A4 (en) | 2020-08-26 |
EP3687184A1 (en) | 2020-07-29 |
US11234042B2 (en) | 2022-01-25 |
JP2020501387A (ja) | 2020-01-16 |
KR20190054619A (ko) | 2019-05-22 |
JP6803463B2 (ja) | 2020-12-23 |
KR102523672B1 (ko) | 2023-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2011005025A2 (en) | Signal processing method and apparatus therefor using screen size of display device | |
WO2014054847A1 (en) | Content processing apparatus for processing high resolution content and content processing method thereof | |
JP5983651B2 (ja) | 受信装置および受信方法 | |
JP5147438B2 (ja) | 出力装置、方法及びプログラム | |
WO2010143820A2 (ko) | 3차원 pip 영상 제공 장치 및 그 방법 | |
US10735688B2 (en) | Electronics apparatus, display apparatus and control method thereof | |
JP6666022B2 (ja) | 画像表示装置、画像出力装置、及び、それらの制御方法 | |
WO2018034479A1 (en) | Display apparatus and recording medium | |
WO2010095835A2 (ko) | 영상 처리 방법 및 장치 | |
WO2021096137A1 (en) | Display apparatus and control method thereof | |
WO2019035581A1 (ko) | 서버, 디스플레이장치 및 그 제어방법 | |
JP4363426B2 (ja) | 映像受信装置及び映像受信方法 | |
WO2019098619A1 (ko) | 디스플레이장치 및 그 제어방법과 기록매체 | |
WO2012011738A2 (en) | Method and apparatus for reproducing 3d content | |
WO2018164527A1 (en) | Display apparatus and control method thereof | |
WO2018012727A1 (ko) | 디스플레이장치와, 기록매체 | |
WO2016052908A1 (en) | Transmitter, receiver, and control method thereof | |
KR102553764B1 (ko) | 전자 장치, 디스플레이 장치 및 그 제어 방법 | |
WO2010050691A2 (en) | Methods and apparatuses for processing and displaying image | |
WO2011010834A2 (ko) | 디스플레이 장치 및 그 디스플레이 방법 | |
WO2020009365A1 (ko) | 디스플레이장치 및 그 제어방법과 기록매체 | |
WO2021075672A1 (ko) | 디스플레이 장치 및 그 동작방법 | |
WO2019231132A1 (ko) | 전자 장치 및 그 제어 방법 | |
KR100493324B1 (ko) | 디스플레이 장치 | |
JPH11305746A (ja) | 映像信号処理装置及び映像信号処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2019515440 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18879123 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2018879123 Country of ref document: EP Effective date: 20200424 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |