WO2020085781A1 - 신호 처리 장치 및 이를 구비하는 영상표시장치 - Google Patents

신호 처리 장치 및 이를 구비하는 영상표시장치 Download PDF

Info

Publication number
WO2020085781A1
WO2020085781A1 PCT/KR2019/013942 KR2019013942W WO2020085781A1 WO 2020085781 A1 WO2020085781 A1 WO 2020085781A1 KR 2019013942 W KR2019013942 W KR 2019013942W WO 2020085781 A1 WO2020085781 A1 WO 2020085781A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
signal
quality
unit
video signal
Prior art date
Application number
PCT/KR2019/013942
Other languages
English (en)
French (fr)
Inventor
박샘
강석판
공용택
남상철
남연오
양정휴
이경미
이명영
이석수
이원우
최승종
하종우
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US17/287,731 priority Critical patent/US11616930B2/en
Priority to EP19876791.5A priority patent/EP3873090A4/en
Publication of WO2020085781A1 publication Critical patent/WO2020085781A1/ko
Priority to US17/938,107 priority patent/US11849250B2/en
Priority to US18/523,259 priority patent/US20240098215A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440254—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering signal-to-noise parameters, e.g. requantization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/06—Details of flat display driving waveforms
    • G09G2310/066—Waveforms comprising a gently increasing or decreasing portion, e.g. ramp
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0247—Flicker reduction other than flicker reduction circuits used for single beam cathode-ray tubes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/02—Graphics controller able to handle multiple formats, e.g. input or output formats
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will

Definitions

  • the present invention relates to a signal processing device and a video display device having the same, and more specifically, a signal processing device capable of reducing flicker when changing the quality of the received video signal according to the original quality variable and a video display having the same It is about the device.
  • the signal processing device is a device that performs signal processing on an input image to display an image.
  • the signal processing apparatus may receive a broadcast signal or an HDMI signal, and perform signal processing based on the received broadcast signal or HDMI signal to output a signal-processed video signal.
  • image quality measure is important.
  • the image quality measurement may be divided into a first method for measuring how much a difference is relatively with a reference image, and a second method for absolutely determining without a reference image.
  • the resolution and compressed bit rate of the broadcast image can be grasped through standard information related to the broadcast image.
  • the resolution and compressed bit rate information of the original image are lost, and it is difficult to determine the quality of the image related to the resolution and compressed bit rate information of the original image in the image display device, making it difficult to set a quality image suitable for the original image. In particular, it has become difficult to realize the maximum performance of the image quality algorithm in the video display device.
  • the input image signal is cut off in the middle, so when switching, the screen is muted for a while to send out a black screen and set the image quality. do.
  • the HDMI signal is continuously input even if the channel is switched, so if the image quality setting is changed abruptly, the user may feel the screen flicker. have.
  • An object of the present invention is to provide a signal processing apparatus capable of reducing flicker when changing image quality according to a variation in original quality of a received video signal, and a video display device having the same.
  • Another object of the present invention is to provide a signal processing apparatus capable of changing the image quality setting in real time when the original quality of the received video signal is varied, and a video display device having the same.
  • Another object of the present invention is to provide a signal processing apparatus capable of accurately performing an original quality calculation of a received image signal using a deep neural network, and an image display apparatus having the same.
  • Another object of the present invention is to provide a signal processing apparatus capable of accurately performing an original quality calculation of an image signal on a learning basis by updating parameters for a deep neural network from a server, and an image display apparatus having the same.
  • Another object of the present invention is to provide an image display device that performs image quality processing suitable for the resolution and noise level of a received video signal.
  • a signal processing apparatus for achieving the above object, a quality calculating unit for calculating the original quality of the video signal received through the external set-top box or network, and the calculated original quality, the video signal
  • An image quality setting unit for setting the image quality of the image
  • an image quality processing unit for performing image quality processing according to the set image quality
  • the image quality setting unit if the original quality of the received video signal is variable at the first time point, The image quality setting is sequentially changed from the first setting to the second setting, and the image quality processing unit performs image quality processing according to the image quality setting that is sequentially changed from the first setting to the second setting.
  • the image quality setting unit may sequentially change the image quality setting from the first setting to the second setting.
  • the image quality setting is removed from the first setting. It can be changed sequentially with 2 settings.
  • the quality calculating unit may calculate the resolution and noise level of the original of the received video signal.
  • the quality calculating unit may calculate a resolution and a noise level of the received video signal using a deep neural network.
  • the quality calculating unit may update parameters of the deep neural network from the server, and calculate the resolution and noise level of the received video signal based on the updated parameters.
  • the quality calculator extracts the first region and the second region of the image signal, calculates the resolution of the original image signal based on the first region, and sets the noise level of the image signal based on the second region. Can be calculated.
  • the quality calculator may extract a region having the most edge components in the image signal as a first region, and a region having the least edge components in the image signal as a second region.
  • the higher the calculated noise level the higher the noise reduction processing intensity of the video signal may be controlled.
  • the quality calculating unit may calculate the resolution, noise level, and compression level of the original of the received video signal, and calculate the compression level based on the learning data obtained while lowering the compression bit rate.
  • the image quality processing unit may control the higher the calculated compression level, the smaller the enhancement processing intensity of the video signal.
  • the image quality processing unit may control the enhancement of the intensity of the enhancement of the image signal as the resolution of the original image signal increases.
  • the image quality processor may control the higher the calculated compression level, the greater the blur processing intensity of the video signal.
  • the image quality processing unit may control the size of the filter for filtering the motion image signal to decrease as the resolution of the original image signal increases.
  • the image quality processing unit after downscaling the image signal according to the original resolution of the image signal, performs image quality processing on the downscaled image signal, upscales the image signal subjected to the image quality processing, and upscales the image signal.
  • Video signals can be output.
  • the signal processing apparatus for achieving the above object, a quality calculating unit for calculating the original quality of the video signal received through an external set-top box or network, and the calculated original quality, the video signal
  • An image quality setting unit for setting an image quality of the image
  • an image quality processing unit for performing image quality processing of a video signal according to the set image quality
  • the quality calculation unit updates parameters for the deep neural network from the server, and based on the updated parameters. , It is possible to calculate the resolution and noise level of the received video signal.
  • the projection display device performs signal processing for an image receiving unit receiving an image signal through an external set-top box or a network and an image signal received from the image receiving unit. It includes a signal processing unit and a display for displaying the image processed by the signal processing unit, and the signal processing unit includes a quality calculating unit calculating an original quality of the image signal received through an external set-top box or a network and according to the calculated original quality.
  • An image quality setting unit for setting the image quality of the video signal, and an image quality processing unit for performing image quality processing for the image signal according to the set image quality, wherein the image quality setting unit varies the original quality of the received image signal at a first time point. If possible, the image quality setting is sequentially changed from the first setting to the second setting, and the image quality processing unit According to the sequence that varies the image quality setting to set 2, and performs image quality processing.
  • the display may display a first object representing the calculated original quality of the received video signal and a second object representing the quality set according to the original quality.
  • the display may display the first object and the second object for a predetermined time.
  • the signal processing apparatus includes a quality calculating unit calculating an original quality of an image signal received through an external set-top box or a network, and an image quality setting the image quality of the image signal according to the calculated original quality
  • a setting unit and an image quality processing unit that performs image quality processing of the image signal according to the set image quality, and the image quality setting unit if the original quality of the received video signal is varied at a first time, the image quality setting is first set And sequentially vary from the second setting, and the image quality processing unit performs image quality processing according to the image quality setting that is sequentially varied from the first setting to the second setting. Accordingly, flicker can be reduced when the image quality is changed according to the original quality of the received video signal. Particularly, when the original quality of the video signal is changed, a rapid image quality change is not performed, so that a smooth image quality change is possible.
  • the image quality setting unit may sequentially change the image quality setting from the first setting to the second setting. Accordingly, it is possible to change the quality setting in real time when the original quality of the received video signal is varied. Particularly, when the original quality of the video signal is changed, a rapid image quality change is not performed, so that a smooth image quality change is possible.
  • the image quality setting is removed from the first setting. It can be changed sequentially with 2 settings. Accordingly, flicker can be reduced when the image quality is changed according to the original quality of the received video signal. Particularly, when the original quality of the video signal is changed, a rapid image quality change is not performed, so that a smooth image quality change is possible.
  • the quality calculating unit may calculate a resolution and a noise level of the received video signal using a deep neural network. Accordingly, it is possible to accurately perform the original quality calculation of the received video signal.
  • the quality calculating unit may update parameters of the deep neural network from the server, and calculate the resolution and noise level of the received video signal based on the updated parameters. Accordingly, it is possible to accurately perform the original quality calculation of the video signal on a learning basis.
  • the quality calculator extracts the first region and the second region of the image signal, calculates the resolution of the original image signal based on the first region, and sets the noise level of the image signal based on the second region. Can be calculated. Accordingly, it is possible to accurately perform the original quality calculation of the video signal based on the video extraction suitable for the quality calculation.
  • the quality calculator may extract a region having the most edge components in the image signal as a first region, and a region having the least edge components in the image signal as a second region. Accordingly, it is possible to accurately perform the original quality calculation of the video signal based on the video extraction suitable for the quality calculation.
  • the higher the calculated noise level the higher the noise reduction processing intensity of the video signal may be controlled. Accordingly, it is possible to perform image quality processing suitable for the noise level of the received video signal.
  • the quality calculating unit may calculate the resolution, noise level, and compression level of the original of the received video signal, and calculate the compression level based on the learning data obtained while lowering the compression bit rate.
  • the image quality processing unit may control the higher the calculated compression level, the smaller the enhancement processing intensity of the video signal. Accordingly, it is possible to accurately perform the compression level calculation.
  • the image quality processing unit may control the enhancement of the intensity of the enhancement of the image signal as the resolution of the original image signal increases. Accordingly, it is possible to perform image quality processing suitable for the resolution of the original of the received video signal.
  • the image quality processor may control the higher the calculated compression level, the greater the blur processing intensity of the video signal. Accordingly, it is possible to perform image processing suitable for the compression level of the received video signal.
  • the image quality processing unit may control the size of the filter for filtering the motion image signal to decrease as the resolution of the original image signal increases. Accordingly, it is possible to perform image quality processing suitable for the resolution of the original of the received video signal.
  • the image quality processing unit after downscaling the image signal according to the original resolution of the image signal, performs image quality processing on the downscaled image signal, upscales the image signal subjected to the image quality processing, and upscales the image signal.
  • Video signals can be output. Accordingly, it is possible to perform image quality processing suitable for the resolution of the original of the received video signal.
  • the signal processing apparatus includes a quality calculating unit calculating an original quality of an image signal received through an external set-top box or a network, and an image quality setting the image quality of the image signal according to the calculated original quality It includes a setting unit and an image quality processing unit that performs image quality processing of the image signal according to the set image quality, and the quality calculation unit updates parameters for the deep neural network from the server and, based on the updated parameters, receives the received image signal. Resolution and noise level can be calculated. Accordingly, it is possible to accurately perform the original quality calculation of the video signal on a learning basis.
  • the projection display apparatus includes an image receiving unit receiving an image signal through an external set-top box or a network, a signal processing unit performing signal processing on the image signal received from the image receiving unit, and a signal processing unit It includes a display for displaying the processed image, the signal processing unit, a quality operation unit for calculating the original quality of the image signal received through an external set-top box or network, and the calculated original quality, according to the calculated quality of the image signal
  • An image quality setting unit to be set, and an image quality processing unit to perform image quality processing of the video signal according to the set image quality, and the image quality setting unit if the original quality of the received video signal is changed at a first time, the image quality setting It is sequentially changed from the first setting to the second setting, and the image quality processing unit is sequentially changed from the first setting to the second setting. Performs image quality processing according to the image quality setting.
  • flicker can be reduced when the image quality is changed according to the original quality of the received video signal.
  • a rapid image quality change is not performed, so that a smooth image quality change is possible.
  • the display may display a first object representing the calculated original quality of the received video signal and a second object representing the quality set according to the original quality. Accordingly, the user can easily grasp the original quality and the set image quality.
  • the display may display the first object and the second object for a predetermined time. Accordingly, when the original quality is varied, the user can easily grasp the original quality and the set image quality.
  • FIG. 1 is a view showing an image display system according to an embodiment of the present invention.
  • FIG. 2 is an example of an internal block diagram of the image display device of FIG. 1.
  • FIG. 3 is an example of an internal block diagram of the signal processor of FIG. 2.
  • 4A is a diagram illustrating a control method of the remote control device of FIG. 2.
  • 4B is an internal block diagram of the remote control device of FIG. 2.
  • FIG. 5 is an internal block diagram of the display of FIG. 2.
  • 6A to 6B are views referred to for explanation of the organic light emitting panel of FIG. 5.
  • FIG. 7 is an example of an internal block diagram of a signal processing apparatus according to an embodiment of the present invention.
  • FIG. 8 to 16 are views referred to for explaining the operation of the signal processing apparatus of FIG. 7.
  • modules and “parts” for components used in the following description are given simply by considering the ease of writing the present specification, and do not give meanings or roles particularly important in themselves. Therefore, the “module” and the “unit” may be used interchangeably.
  • FIG. 1 is a view showing an image display system according to an embodiment of the present invention.
  • the image display system 10 may include a video display device 100, a set-top box 300, and a server 600 having a display 180. connect.
  • the image display device 100 may receive an image from the set-top box 300 or the server 600.
  • the video display device 100 may receive the video signal from the set-top box 300 through the HDMI terminal.
  • the video display device 100 may receive a video signal from the server 600 through a network terminal.
  • the video display device 100 sequentially changes the image quality setting from the first setting to the second setting, and from the first setting to the second setting.
  • image quality processing is performed. Accordingly, flicker can be reduced when the image quality is changed according to the original quality of the received video signal.
  • a rapid image quality change is not performed, so that a smooth image quality change is possible.
  • the video display device 100 may sequentially change the image quality setting from the first setting to the second setting when the original quality of the video signal is changed during channel playback or channel change. Accordingly, it is possible to change the quality setting in real time when the original quality of the received video signal is varied. Particularly, when the original quality of the video signal is changed, a rapid image quality change is not performed, so that a smooth image quality change is possible.
  • the video display device 100 may calculate a resolution and a noise level of the received video signal using a deep neural network. Accordingly, it is possible to accurately perform the original quality calculation of the received video signal.
  • the image display device 100 may update parameters for the deep neural network from the server 600 and calculate the resolution and noise level of the received video signal based on the updated parameters. Accordingly, it is possible to accurately perform the original quality calculation of the video signal on a learning basis.
  • the display 180 may be implemented as any one of various panels.
  • the display 180 may be any one of a liquid crystal display panel (LCD panel), an organic light emitting panel (OLED panel), and an inorganic light emitting panel (LED panel).
  • LCD panel liquid crystal display panel
  • OLED panel organic light emitting panel
  • LED panel inorganic light emitting panel
  • the display 180 includes an organic light emitting panel (OLED panel).
  • OLED panel organic light emitting panel
  • the organic light emitting panel (OLED panel)
  • the panel response speed is faster than the liquid crystal display panel, excellent color reproduction effect, has the advantage of excellent color reproduction.
  • the signal processing unit (170 in FIG. 2) in the image display device 100 performs image processing corresponding to the organic light emitting panel.
  • the signal processing unit may also be referred to as a signal processing device.
  • the video display device 100 of FIG. 1 may be a TV, a monitor, a tablet PC, a mobile terminal, a vehicle display, or the like.
  • FIG. 2 is an example of an internal block diagram of the image display device of FIG. 1.
  • the image display device 100 includes an image receiving unit 105, a storage unit 140, a user input interface unit 150, a sensor unit (not shown), and a signal. It may include a processing unit 170, a display 180, an audio output unit 185.
  • the image receiving unit 105 may include a tuner unit 110, a demodulation unit 120, a network interface unit 130, and an external device interface unit 130.
  • the image receiving unit 105 may include only the tuner 110, the demodulation unit 120, and the external device interface unit 130. That is, the network interface unit 130 may not be included.
  • the tuner 110 selects an RF broadcast signal corresponding to a channel selected by a user or all pre-stored channels from a radio frequency (RF) broadcast signal received through an antenna (not shown).
  • RF radio frequency
  • the selected RF broadcast signal is converted into an intermediate frequency signal or a baseband video or audio signal.
  • the selected RF broadcast signal is a digital broadcast signal
  • it is converted to a digital IF signal (DIF)
  • it is converted to an analog baseband video or audio signal (CVBS / SIF). That is, the tuner 110 may process a digital broadcast signal or an analog broadcast signal.
  • the analog baseband video or audio signal (CVBS / SIF) output from the tuner 110 may be directly input to the signal processor 170.
  • the tuner unit 110 may be provided with a plurality of tuners to receive broadcast signals of multiple channels. Alternatively, a single tuner that simultaneously receives broadcast signals of multiple channels is possible.
  • the demodulator 120 receives the digital IF signal DIF converted by the tuner 110 and performs a demodulation operation.
  • the demodulator 120 may output a stream signal TS after demodulation and channel decoding.
  • the stream signal may be a video signal, an audio signal or a data signal multiplexed.
  • the stream signal output from the demodulator 120 may be input to the signal processor 170.
  • the signal processing unit 170 performs demultiplexing, video / audio signal processing, and the like, then outputs an image to the display 180 and outputs audio to the audio output unit 185.
  • the external device interface unit 130 may transmit or receive data with a connected external device (not shown), for example, the set-top box 50.
  • the external device interface unit 130 may include an A / V input / output unit (not shown).
  • the external device interface unit 130 may be connected to an external device, such as a DVD (Digital Versatile Disk), a Blu-ray, a game device, a camera, a camcorder, a computer (laptop), or a set-top box, by wire / wireless. , It can also perform input / output operations with external devices.
  • an external device such as a DVD (Digital Versatile Disk), a Blu-ray, a game device, a camera, a camcorder, a computer (laptop), or a set-top box, by wire / wireless. , It can also perform input / output operations with external devices.
  • the A / V input / output unit may receive video and audio signals from an external device. Meanwhile, the wireless communication unit (not shown) may perform short-range wireless communication with other electronic devices.
  • the external device interface unit 130 may exchange data with an adjacent mobile terminal 600. Particularly, in the mirroring mode, the external device interface unit 130 may receive device information, application information being executed, and application images from the mobile terminal 600.
  • the network interface unit 135 provides an interface for connecting the video display device 100 to a wired / wireless network including an Internet network.
  • the network interface unit 135 may receive content or data provided by the Internet or a content provider or a network operator through a network.
  • the network interface unit 135 may include a wireless communication unit (not shown).
  • the storage unit 140 may store programs for processing and controlling each signal in the signal processing unit 170, and may store signal-processed video, audio, or data signals.
  • the storage unit 140 may perform a function for temporarily storing an image, audio, or data signal input to the external device interface unit 130.
  • the storage unit 140 may store information about a predetermined broadcast channel through a channel storage function such as a channel map.
  • the storage unit 140 of FIG. 2 shows an embodiment provided separately from the signal processing unit 170, the scope of the present invention is not limited thereto.
  • the storage unit 140 may be included in the signal processing unit 170.
  • the user input interface unit 150 transmits a signal input by the user to the signal processing unit 170 or a signal from the signal processing unit 170 to the user.
  • the remote control device 200 transmits / receives user input signals such as power on / off, channel selection, screen setting, or local keys (not shown) such as a power key, channel key, volume key, and set value. Transfer the user input signal input from the signal processing unit 170, or transmit the user input signal input from a sensor unit (not shown) that senses a user's gesture to the signal processing unit 170, or from the signal processing unit 170 Can be transmitted to the sensor unit (not shown).
  • user input signals such as power on / off, channel selection, screen setting, or local keys (not shown) such as a power key, channel key, volume key, and set value.
  • the signal processing unit 170 de-multiplexes the input stream or processes demultiplexed signals through the tuner unit 110 or the demodulator unit 120, the network interface unit 135, or the external device interface unit 130. Thus, a signal for video or audio output can be generated and output.
  • the signal processing unit 170 receives a broadcast signal or an HDMI signal received from the image receiving unit 105, and performs signal processing based on the received broadcast signal or HDMI signal, thereby receiving the signal-processed video signal.
  • Can print a broadcast signal or an HDMI signal received from the image receiving unit 105, and performs signal processing based on the received broadcast signal or HDMI signal, thereby receiving the signal-processed video signal.
  • the image signal processed by the signal processor 170 may be input to the display 180 and displayed as an image corresponding to the corresponding image signal.
  • the image signal processed by the signal processing unit 170 may be input to an external output device through the external device interface unit 130.
  • the audio signal processed by the signal processing unit 170 may be sound output to the audio output unit 185. Also, the voice signal processed by the signal processing unit 170 may be input to an external output device through the external device interface unit 130.
  • the signal processing unit 170 may include a demultiplexing unit, an image processing unit, and the like. That is, the signal processing unit 170 may perform various signal processing, and accordingly, may be implemented in the form of a system on chip (SOC). This will be described later with reference to FIG. 3.
  • SOC system on chip
  • the signal processing unit 170 may control the overall operation in the image display device 100.
  • the signal processor 170 may control the tuner 110 to control the user to select (Tuning) an RF broadcast corresponding to a channel or a pre-stored channel.
  • the signal processing unit 170 may control the image display device 100 by a user command input through the user input interface unit 150 or an internal program.
  • the signal processing unit 170 may control the display 180 to display an image.
  • the image displayed on the display 180 may be a still image or a video, and may be a 2D image or a 3D image.
  • the signal processing unit 170 may cause a predetermined object to be displayed in an image displayed on the display 180.
  • the object may be at least one of a connected web screen (newspaper, magazine, etc.), EPG (Electronic Program Guide), various menus, widgets, icons, still images, videos, and text.
  • EPG Electronic Program Guide
  • the signal processing unit 170 may recognize a user's location based on an image photographed from a photographing unit (not shown). For example, a distance (z-axis coordinate) between the user and the image display device 100 may be grasped. In addition, the x-axis coordinates and the y-axis coordinates in the display 180 corresponding to the user's position may be grasped.
  • the display 180 converts a video signal, a data signal, an OSD signal, a control signal processed by the signal processing unit 170, or a video signal, data signal, or control signal received from the external device interface unit 130, and then drives the signal.
  • the display 180 may be configured as a touch screen and used as an input device in addition to an output device.
  • the audio output unit 185 receives a signal processed by the signal processing unit 170 and outputs the audio.
  • the photographing unit (not shown) photographs the user.
  • the photographing unit (not shown) may be implemented with one camera, but is not limited thereto, and may be implemented with a plurality of cameras. Image information photographed by the photographing unit (not shown) may be input to the signal processing unit 170.
  • the signal processing unit 170 may detect a user's gesture based on an image captured from the photographing unit (not shown) or each of the detected signals from the sensor unit (not illustrated) or a combination thereof.
  • the power supply unit 190 supplies corresponding power throughout the video display device 100.
  • the power supply unit 190 includes a signal processing unit 170 that can be implemented in the form of a system on chip (SOC), a display 180 for image display, and an audio output unit for audio output. Power can be supplied to (185) and the like.
  • SOC system on chip
  • the power supply unit 190 may include a converter that converts AC power into DC power, and a dc / dc converter that converts the level of DC power.
  • the remote control device 200 transmits a user input to the user input interface unit 150.
  • the remote control device 200 may use Bluetooth, Radio Frequency (RF) communication, Infrared (IR) communication, Ultra Wideband (UWB), ZigBee, or the like.
  • the remote control device 200 may receive an image, audio, or data signal output from the user input interface unit 150, and display or output the sound from the remote control device 200.
  • the above-described image display device 100 may be a digital broadcast receiver capable of receiving a fixed or mobile digital broadcast.
  • the block diagram of the video display device 100 shown in FIG. 2 is a block diagram for an embodiment of the present invention.
  • Each component of the block diagram may be integrated, added, or omitted depending on the specification of the image display device 100 that is actually implemented. That is, two or more components may be combined into one component, or one component may be divided into two or more components as necessary.
  • the function performed in each block is for explaining an embodiment of the present invention, the specific operation or device does not limit the scope of the present invention.
  • FIG. 3 is an example of an internal block diagram of the signal processor of FIG. 2.
  • the signal processing unit 170 may include a demultiplexing unit 310, an image processing unit 320, a processor 330, and an audio processing unit 370. .
  • a data processing unit (not shown) may be further included.
  • the demultiplexing unit 310 demultiplexes the input stream. For example, when MPEG-2 TS is input, it can be demultiplexed to separate video, audio, and data signals.
  • the stream signal input to the demultiplexer 310 may be a stream signal output from the tuner 110 or demodulator 120 or the external device interface 130.
  • the image processing unit 320 may perform signal processing on the input image.
  • the image processing unit 320 may perform image processing of the demultiplexed image signal from the demultiplexing unit 310.
  • the image processing unit 320 includes an image decoder 325, a scaler 335, an image quality processing unit 635, an image encoder (not shown), an OSD generation unit 340, a frame rate conversion unit 350, and And a formatter 360.
  • the video decoder 325 decodes the demultiplexed video signal, and the scaler 335 performs scaling so that the resolution of the decoded video signal can be output from the display 180.
  • the video decoder 325 may be provided with decoders of various standards. For example, an MPEG-2, H, 264 decoder, a 3D image decoder for a color image and a depth image, and a decoder for a multi-view image may be provided.
  • the scaler 335 may scale the input video signal, which has been decoded by the video decoder 325 or the like.
  • the scaler 335 may scale up when the size or resolution of the input video signal is small, and down scale when the size or resolution of the input video signal is large.
  • the image quality processing unit 635 may perform image quality processing on the input image signal, which has been decoded by the image decoder 325 or the like.
  • the image quality processing unit 635 performs noise reduction processing of the input video signal, expands the resolution of the grayscale of the input video signal, performs image resolution enhancement, or performs high dynamic range (HDR) -based signal processing.
  • the frame rate may be varied, or panel characteristics, in particular, image quality processing corresponding to an organic light emitting panel may be performed.
  • the OSD generator 340 generates an OSD signal according to a user input or by itself. For example, based on a user input signal, a signal for displaying various information on a screen of the display 180 as a graphic or text may be generated.
  • the generated OSD signal may include various data such as a user interface screen of the video display device 100, various menu screens, widgets, and icons. Also, the generated OSD signal may include a 2D object or a 3D object.
  • the OSD generating unit 340 may generate a pointer that can be displayed on the display, based on the pointing signal input from the remote control device 200.
  • a pointer may be generated by the pointing signal processor, and the OSD generator 240 may include such a pointing signal processor (not shown).
  • a pointing signal processing unit (not shown) is not provided in the OSD generation unit 240, but may be provided separately.
  • the frame rate converter (FRC) 350 may convert the frame rate of the input image.
  • the frame rate conversion unit 350 it is also possible to output as it is without separate frame rate conversion.
  • the formatter (Formatter) 360 the format of the input video signal can be output by changing to a video signal for display on the display.
  • the formatter 360 may change the format of the video signal to correspond to the display panel.
  • the processor 330 may control the overall operation in the image display device 100 or in the signal processing unit 170.
  • the processor 330 may control the tuner 110 so as to select (Tuning) an RF broadcast corresponding to a channel selected by a user or a pre-stored channel.
  • the processor 330 may control the video display device 100 by a user command input through the user input interface unit 150 or an internal program.
  • the processor 330 may perform data transmission control with the network interface unit 135 or the external device interface unit 130.
  • the processor 330 may control operations such as the demultiplexing unit 310 and the image processing unit 320 in the signal processing unit 170.
  • the audio processing unit 370 in the signal processing unit 170 may perform speech processing of the demultiplexed audio signal.
  • the audio processing unit 370 may include various decoders.
  • the audio processing unit 370 in the signal processing unit 170 may process a base, treble, volume control, and the like.
  • the data processing unit (not shown) in the signal processing unit 170 may perform data processing of the demultiplexed data signal.
  • the demultiplexed data signal is an encoded data signal, it can be decoded.
  • the coded data signal may be electronic program guide information including broadcast information such as start time and end time of a broadcast program broadcast on each channel.
  • the block diagram of the signal processing unit 170 shown in FIG. 3 is a block diagram for an embodiment of the present invention. Each component of the block diagram may be integrated, added, or omitted depending on the specifications of the signal processing unit 170 that is actually implemented.
  • the frame rate conversion unit 350 and the formatter 360 may be provided separately from the image processing unit 320.
  • 4A is a diagram illustrating a control method of the remote control device of FIG. 2.
  • the user can move or rotate the remote control device 200 up and down, left and right (FIG. 4A (b)), and front and rear (FIG. 4A (c)).
  • the pointer 205 displayed on the display 180 of the video display device corresponds to the movement of the remote control device 200.
  • the remote control device 200 may be referred to as a spatial remote controller or a 3D pointing device, as the corresponding pointer 205 is moved and displayed according to the movement on the 3D space, as shown in the figure.
  • 4A (b) illustrates that when the user moves the remote control device 200 to the left, the pointer 205 displayed on the display 180 of the image display device moves to the left correspondingly.
  • the video display device may calculate the coordinates of the pointer 205 from information related to the movement of the remote control device 200.
  • the image display device may display the pointer 205 to correspond to the calculated coordinates.
  • FIG. 4A (c) illustrates a case in which a user moves the remote control device 200 away from the display 180 while a specific button in the remote control device 200 is pressed.
  • the selected area in the display 180 corresponding to the pointer 205 may be zoomed in and enlarged.
  • the selected area in the display 180 corresponding to the pointer 205 may be zoomed out and reduced.
  • the selection area is zoomed out, and when the remote control device 200 approaches the display 180, the selection area may be zoomed in.
  • the moving speed or the moving direction of the pointer 205 may correspond to the moving speed or the moving direction of the remote control device 200.
  • 4B is an internal block diagram of the remote control device of FIG. 2.
  • the remote control device 200 includes a wireless communication unit 425, a user input unit 435, a sensor unit 440, an output unit 450, a power supply unit 460, a storage unit 470, It may include a signal processor 480.
  • the wireless communication unit 425 transmits and receives a signal to any one of the video display device according to the embodiments of the present invention described above.
  • video display devices according to embodiments of the present invention one video display device 100 will be described as an example.
  • the remote control device 200 may include an RF module 421 capable of transmitting and receiving signals to and from the video display device 100 according to RF communication standards.
  • the remote control device 200 may include an IR module 423 capable of transmitting and receiving signals to and from the video display device 100 according to the IR communication standard.
  • the remote control device 200 transmits a signal containing information about the movement of the remote control device 200 to the video display device 100 through the RF module 421.
  • the remote control device 200 may receive a signal transmitted by the video display device 100 through the RF module 421. In addition, the remote control device 200 may transmit a command for power on / off, channel change, volume change, etc. to the video display device 100 through the IR module 423 as necessary.
  • the user input unit 435 may include a keypad, a button, a touch pad, or a touch screen.
  • the user may input a command related to the image display device 100 to the remote control device 200 by operating the user input unit 435.
  • the user input unit 435 includes a hard key button, the user may input a command related to the video display device 100 to the remote control device 200 through a push operation of the hard key button.
  • the user input unit 435 includes a touch screen, the user may input a command related to the image display device 100 to the remote control device 200 by touching a soft key on the touch screen.
  • the user input unit 435 may include various types of input means that can be operated by a user, such as a scroll key or a jog key, and this embodiment does not limit the scope of the present invention.
  • the sensor unit 440 may include a gyro sensor 441 or an acceleration sensor 443.
  • the gyro sensor 441 may sense information on the movement of the remote control device 200.
  • the gyro sensor 441 may sense information on the operation of the remote control device 200 based on the x, y, and z axes.
  • the acceleration sensor 443 may sense information on the movement speed of the remote control device 200 and the like.
  • a distance measurement sensor may be further provided, thereby sensing a distance from the display 180.
  • the output unit 450 may output an image or audio signal corresponding to the operation of the user input unit 435 or a signal transmitted from the image display device 100. The user may recognize whether the user input unit 435 is operated or whether the image display device 100 is controlled through the output unit 450.
  • the output unit 450 is an LED module 451 that is turned on when a user input unit 435 is operated or a signal is transmitted and received through the wireless communication unit 425, a vibration module generating vibration ( 453), an audio output module 455 for outputting sound, or a display module 457 for outputting an image.
  • the power supply unit 460 supplies power to the remote control device 200.
  • the power supply unit 460 may reduce power waste by stopping power supply when the remote control device 200 has not moved for a predetermined time.
  • the power supply unit 460 may resume power supply when a predetermined key provided in the remote control device 200 is operated.
  • the storage unit 470 may store various types of programs and application data required for control or operation of the remote control device 200. If the remote control device 200 transmits and receives signals wirelessly through the video display device 100 and the RF module 421, the remote control device 200 and the video display device 100 transmit signals through a predetermined frequency band. Send and receive.
  • the signal processing unit 480 of the remote control device 200 stores information on a frequency band capable of wirelessly transmitting and receiving signals to and from the video display device 100 paired with the remote control device 200 in the storage unit 470. And can refer to it.
  • the signal processing unit 480 controls all matters related to the control of the remote control device 200.
  • the signal processing unit 480 displays a signal corresponding to a predetermined key operation of the user input unit 435 or a signal corresponding to the movement of the remote control device 200 sensed by the sensor unit 440 through the wireless communication unit 425. It can be transmitted to the device 100.
  • the user input interface unit 150 of the video display device 100 includes a wireless communication unit 151 capable of wirelessly transmitting and receiving signals to and from the remote control device 200, and a pointer corresponding to the operation of the remote control device 200.
  • a coordinate value calculating unit 415 capable of calculating a coordinate value of may be provided.
  • the user input interface unit 150 may transmit and receive signals wirelessly with the remote control device 200 through the RF module 412. In addition, a signal transmitted by the remote control device 200 according to the IR communication standard may be received through the IR module 413.
  • the coordinate value calculating unit 415 corrects the hand-shake or error from a signal corresponding to the operation of the remote control device 200 received through the wireless communication unit 151, and displays the coordinate value of the pointer 205 to be displayed on the display 180. (x, y) can be calculated.
  • the transmission signal of the remote control device 200 input to the video display device 100 through the user input interface unit 150 is transmitted to the signal processing unit 180 of the video display device 100.
  • the signal processing unit 180 may determine information related to the operation and key operation of the remote control device 200 from the signal transmitted from the remote control device 200, and control the video display device 100 in response thereto.
  • the remote control device 200 may calculate a pointer coordinate value corresponding to the operation and output it to the user input interface unit 150 of the video display device 100.
  • the user input interface unit 150 of the image display device 100 may transmit information on the received pointer coordinate value to the signal processor 180 without a separate hand shake or error correction process.
  • the coordinate value calculating unit 415 may be provided inside the signal processing unit 170, not the user input interface unit 150, unlike the drawing.
  • FIG. 5 is an internal block diagram of the display of FIG. 2.
  • the organic light emitting panel-based display 180 includes an organic light emitting panel 210, a first interface unit 230, a second interface unit 231, a timing controller 232, and a gate driver 234. , A data driver 236, a memory 240, a processor 270, a power supply 290, a current detector 510, and the like.
  • the display 180 may receive the video signal Vd, the first DC power supply V1 and the second DC power supply V2, and display a predetermined video based on the video signal Vd.
  • the first interface unit 230 in the display 180 may receive the image signal Vd and the first DC power supply V1 from the signal processing unit 170.
  • the first DC power supply V1 may be used for the operation of the power supply unit 290 in the display 180 and the timing controller 232.
  • the second interface unit 231 may receive the second DC power supply V2 from the external power supply unit 190. Meanwhile, the second DC power supply V2 may be input to the data driver 236 in the display 180.
  • the timing controller 232 may output the data driving signal Sda and the gate driving signal Sga based on the image signal Vd.
  • the timing controller 232 is based on the converted video signal va1.
  • the data driving signal Sda and the gate driving signal Sga can be output.
  • the timing controller 232 may further receive a control signal, a vertical synchronization signal Vsync, and the like, in addition to the video signal Vd from the signal processor 170.
  • timing controller 232 in addition to the video signal Vd, a gate driving signal Sga and data for operation of the gate driving unit 234 based on a control signal, a vertical synchronization signal Vsync, and the like.
  • the data driving signal Sda for the operation of the driving unit 236 may be output.
  • the data driving signal Sda may be a data driving signal for driving an RGBW subpixel when the panel 210 includes subpixels of RGBW.
  • the timing controller 232 may further output a control signal Cs to the gate driver 234.
  • the gate driving unit 234 and the data driving unit 236 are through the gate line GL and the data line DL, respectively, according to the gate driving signal Sga and the data driving signal Sda from the timing controller 232. , The scan signal and the image signal are supplied to the organic light emitting panel 210. Accordingly, the organic light emitting panel 210 displays a predetermined image.
  • the organic light emitting panel 210 may include an organic light emitting layer, and in order to display an image, a plurality of gate lines GL and data lines DL are in a matrix form in each pixel corresponding to the organic light emitting layer. It can be arranged crossing.
  • the data driving unit 236 may output a data signal to the organic light emitting panel 210 based on the second DC power supply V2 from the second interface unit 231.
  • the power supply unit 290 may supply various power sources to the gate driver 234, the data driver 236, the timing controller 232, and the like.
  • the current detector 510 may detect a current flowing through the subpixel of the organic light emitting panel 210.
  • the detected current may be input to the processor 270 or the like to calculate the cumulative current.
  • the processor 270 may perform various controls in the display 180.
  • the gate driver 234, the data driver 236, and the timing controller 232 may be controlled.
  • the processor 270 may receive current information flowing from the current detector 510 through the subpixel of the organic light emitting panel 210.
  • the processor 270 may calculate the cumulative current of the subpixels of each organic light emitting panel 210 based on the current information flowing through the subpixels of the organic light emitting panel 210.
  • the calculated cumulative current may be stored in the memory 240.
  • the processor 270 if the cumulative current of the sub-pixel of each organic light-emitting panel 210 is more than the allowable value, it may be determined to burn in (burn in).
  • the processor 270 may determine the burned sub-pixel.
  • the processor 270 may determine the subpixel as a subpixel for which burn-in is predicted.
  • the processor 270 may determine a subpixel having the largest cumulative current as a burn-in prediction subpixel based on the current detected by the current detector 510.
  • 6A to 6B are views referred to for explanation of the organic light emitting panel of FIG. 5.
  • FIG. 6A is a diagram showing a pixel in the organic light emitting panel 210.
  • the organic light emitting panel 210 includes a plurality of scan lines (Scan 1 to Scan n) and a plurality of data lines (R1, G1, B1, W1 to Rm, Gm, Bm, Wm) intersecting them. It may be provided.
  • a subpixel is defined at an intersection region between the scan line and the data line in the organic light emitting panel 210.
  • a pixel Pixel having RGBW sub-pixels SR1, SG1, SB1, and SW1 is shown.
  • FIG. 6B illustrates a circuit of any one sub pixel in a pixel of the organic light emitting panel of FIG. 6A.
  • the organic light-emitting sub-pixel (sub pixell) circuit (CRTm) is active, and includes a scan switching element (SW1), a storage capacitor (Cst), a driving switching element (SW2), an organic light-emitting layer (OLED) You can.
  • SW1 scan switching element
  • SW2 storage capacitor
  • SW2 driving switching element
  • OLED organic light-emitting layer
  • the scan switching element SW1 is connected to a gate terminal with a scan line, and turns on according to an input scan signal Vdscan. When turned on, the input data signal Vdata is transferred to the gate terminal of the driving switching element SW2 or one end of the storage capacitor Cst.
  • the storage capacitor Cst is formed between the gate terminal and the source terminal of the driving switching element SW2, and the data signal level transmitted to one end of the storage capacitor Cst and the direct current transferred to the other end of the storage capacitor Cst.
  • the predetermined difference of the power supply (VDD) level is stored.
  • the power level stored in the storage capacitor Cst varies according to the level difference of the data signal Vdata.
  • the power level stored in the storage capacitor Cst varies according to a difference in pulse width of the data signal Vdata.
  • the driving switching element SW2 is turned on according to the power level stored in the storage capacitor Cst.
  • a driving current IOLED which is proportional to the stored power level, flows in the organic light emitting layer OLED. Accordingly, the organic light emitting layer OLED performs a light emission operation.
  • the organic light emitting layer includes a light emitting layer (EML) of RGBW corresponding to a subpixel, and at least one of a hole injection layer (HIL), a hole transport layer (HTL), an electron transport layer (ETL), and an electron injection layer (EIL) It may include, in addition, may also include a hole blocking layer.
  • EML light emitting layer
  • HIL hole injection layer
  • HTL hole transport layer
  • ETL electron transport layer
  • EIL electron injection layer
  • It may include, in addition, may also include a hole blocking layer.
  • sub-pixels sub pixell
  • all of the white light output from the organic light emitting layer (OLED) in the case of green, red, and blue sub-pixels, a separate color filter is provided to realize the color. That is, in the case of green, red, and blue subpixels, green, red, and blue color filters are further provided, respectively. Meanwhile, in the case of a white sub-pixel, since white light is output, a separate color filter is unnecessary.
  • the scan switching element SW1 and the driving switching element SW2 are illustrated as p-type MOSFETs, but n-type MOSFETs or other switching elements such as JFETs, IGBTs, or SICs. It is also possible to be used.
  • the pixel is a hold type device that continuously emits light in the organic light emitting layer OLED after a scan signal is applied during a unit display period, specifically during a unit frame.
  • FIG. 7 is an example of an internal block diagram of a signal processing apparatus according to an embodiment of the present invention
  • FIGS. 8 to 16 are views referred to for explaining the operation of the signal processing apparatus of FIG. 7.
  • the image display system 10 may include an image display device 100, a server 600, and a set-top box 300.
  • the server 600 uses a learning DB 640 that receives and stores learning images, a learning image from the learning DB 640, and a deep neural network to calculate the image source quality.
  • a parameter update unit 675 that updates parameters for a deep neural network based on the calculation unit 670, the learning DB 640, and the quality calculation unit 670 may be provided.
  • the parameter update unit 675 may transmit the updated parameter to the quality calculation unit 632 in the video display device 100.
  • the set-top box 300 may receive an input signal provided by the video provider and transmit the video signal to the HDMI terminal of the video display device 100.
  • the image display device 100 includes an external set-top box 300 or an image receiving unit 105 that receives an image signal through a network, and a signal processing unit that performs signal processing on the image signal received from the image receiving unit 105.
  • a display 180 displaying an image processed by the signal processing unit 170 may be included.
  • the video display device 100 may apply optimum tuning according to the image quality of the input image.
  • the image display device 100 may analyze the input image in real time and determine the original resolution, noise level, compression level, and enhancement level.
  • the video display device 100 may change the image quality setting without discomfort, based on the calculated image information data.
  • the signal processing unit 170, the external set-top box 300 or the quality operation unit 632 for calculating the original quality of the video signal received through the network, and the calculated original quality, according to the calculated quality of the image signal set It may include an image quality setting unit 634, and an image quality processing unit 635 that performs image quality processing of the video signal according to the set image quality.
  • the image quality setting unit 634 if the original quality of the received video signal is variable at the first time point, the image quality setting is sequentially changed from the first setting to the second setting, and the image quality processing unit 635 is the first Picture quality processing is performed according to the picture quality setting that is sequentially varied from the setting to the second setting. Accordingly, flicker can be reduced when the image quality is changed according to the original quality of the received video signal. Particularly, when the original quality of the video signal is changed, a rapid image quality change is not performed, so that a smooth image quality change is possible.
  • the image quality setting unit 634 may sequentially change the image quality setting from the first setting to the second setting. Accordingly, it is possible to change the quality setting in real time when the original quality of the received video signal is varied. Particularly, when the original quality of the video signal is changed, a rapid image quality change is not performed, so that a smooth image quality change is possible.
  • the image quality setting unit 634 when the image signal is received from the set-top box 300, the original quality of the received video signal according to a channel change or input change, the first time point, if the image quality
  • the setting may be sequentially changed from the first setting to the second setting. Accordingly, flicker can be reduced when the image quality is changed according to the original quality of the received video signal. Particularly, when the original quality of the video signal is changed, a rapid image quality change is not performed, so that a smooth image quality change is possible.
  • the quality calculating unit 632 may classify the input image into UHD (3840x2160 or more), FHD (1920x1080), HD (1280x720), SD (720x480 or less), and the like.
  • the quality calculating unit 632 obtains a probability for each resolution of the input image, selects the resolution having the highest predicted probability as the final resolution, and excludes judgment when the final predicted probability is too low.
  • the quality calculating unit 632 may predict a noise level and a compression level in addition to the resolution.
  • the quality calculating unit 632 may determine the compression level based on the acquired learning data while lowering the compression bit-rate based on the original state.
  • the quality calculating unit 632 may evaluate the current digital TV broadcasting standard to a level of 1.0, and calculate that it is 0.0 when data is lost due to a lot of compression.
  • the quality calculating unit 632 may measure the level of flicker in the input image and calculate the noise level.
  • the quality calculating unit 632 may calculate the noise level in the input image in four stages: strong, medium, weak, and no noise.
  • the quality calculator 632 may calculate a resolution and a noise level of a received video signal using a deep neural network. Accordingly, it is possible to accurately perform the original quality calculation of the received video signal.
  • the quality calculator 632 may update parameters for the deep neural network from the server 600 and calculate the resolution and noise level of the received video signal based on the updated parameters. Accordingly, it is possible to accurately perform the original quality calculation of the video signal on a learning basis.
  • the quality calculating unit 632 extracts the first region and the second region of the image signal, calculates the resolution of the original image signal based on the first region, and, based on the second region, calculates the image signal. Noise level can be calculated. Accordingly, it is possible to accurately perform the original quality calculation of the video signal based on the video extraction suitable for the quality calculation.
  • the quality calculator 632 may extract a region having the most edge components in the image signal as a first region, and a region having the least edge components in the image signal as a second region. Accordingly, it is possible to accurately perform the original quality calculation of the video signal based on the video extraction suitable for the quality calculation.
  • the image quality processor 635 may control the higher the calculated noise level, the greater the noise reduction processing intensity of the video signal. Accordingly, it is possible to perform image quality processing suitable for the noise level of the received video signal.
  • the quality calculating unit 632 may calculate the resolution, noise level, and compression level of the original of the received video signal, and calculate the compression level based on the learning data obtained while lowering the compression bit rate.
  • the image quality processing unit 635 the higher the calculated compression level, it is possible to control such that the enhancement processing intensity of the video signal is reduced. Accordingly, it is possible to accurately perform the compression level calculation.
  • the image quality processing unit 635 may control the enhancement of the intensity of the enhancement of the image signal as the resolution of the original image signal increases. Accordingly, it is possible to perform image quality processing suitable for the resolution of the original of the received video signal.
  • the image quality processor 635 may control the higher the calculated compression level, the greater the blur processing intensity of the video signal. Accordingly, it is possible to perform image processing suitable for the compression level of the received video signal.
  • the image quality processor 635 may control the size of the filter for filtering the motion signal to decrease as the resolution of the original image signal increases. Accordingly, it is possible to perform image quality processing suitable for the resolution of the original of the received video signal.
  • the image quality processing unit 635 after downscaling the image signal according to the resolution of the original image signal, performs image quality processing on the downscaled image signal, and upscales the image signal on which the image quality processing is performed, An up-scaled video signal can be output. Accordingly, it is possible to perform image quality processing suitable for the resolution of the original of the received video signal.
  • FIG. 8 is an example of an internal block diagram of the signal processing device 170 of FIG. 7.
  • the signal processing device 170 of FIG. 8 may correspond to the signal processing unit 170 of FIG. 2.
  • the signal processing apparatus 170 may include an image analysis unit 610 and an image quality processing unit 635.
  • the image analysis unit 610 may include a quality calculation unit 632 of FIG. 7 and a quality setting unit 634.
  • the image analysis unit 610 may analyze the input image signal and output information related to the analyzed input image signal.
  • the image analysis unit 610 may distinguish the object region and the background region of the input first input image signal. Alternatively, the image analysis unit 610 may calculate the probability or ratio of the object region and the background region of the input first input image signal.
  • the input video signal may be an input video signal from the video receiver 105 or an image decoded by the video decoder 320 of FIG. 3.
  • the image analysis unit 610 may analyze the input image signal using artificial intelligence (AI) and output the analyzed input image signal information.
  • AI artificial intelligence
  • the image analysis unit 610 analyzes the resolution, gradation, noise level, pattern, etc. of the input image signal, and analyzes information related to the analyzed input image signal, in particular, image quality setting information. 635).
  • the image quality processing unit 635 may include an HDR processing unit 705, a first reduction unit 710, an enhancement unit 750, and a second reduction unit 790.
  • the HDR processing unit 705 may receive a video signal and perform a high dynamic range (HDR) process on the input video signal.
  • HDR high dynamic range
  • the HDR processing unit 705 may convert a standard dynamic range (SDR) video signal into an HDR video signal.
  • SDR standard dynamic range
  • the HDR processing unit 705 may receive a video signal and perform grayscale processing for a high dynamic range on the input video signal.
  • the HDR processing unit 705 may bypass grayscale conversion when the input video signal is an SDR video signal, and perform grayscale conversion when the input video signal is an HDR video signal. Accordingly, it is possible to increase the high gradation expression power for the input image.
  • the HDR processing unit 705 emphasizes the low gray level of the low gray level and the high gray level, and the first gray level conversion mode that causes the high gray level to be saturated, or the second gray level which is somewhat uniformly converted to the low gray level and the overall high gray level. Based on the conversion mode, gradation conversion processing can be performed.
  • the HDR processing unit 705 may perform grayscale conversion processing based on data corresponding to the first grayscale conversion mode in the lookup table.
  • the HDR processing unit 705 is based on a calculation expression for input data and data corresponding to the first grayscale conversion mode in a lookup table determined according to the calculation expression.
  • the gradation conversion process can be performed.
  • the input data may include video data and metadata.
  • the HDR processing unit 705 may perform grayscale conversion processing based on data corresponding to the second grayscale conversion mode in the lookup table.
  • the HDR processing unit 705 is based on the calculation equation for the input data and the data corresponding to the second grayscale conversion mode in the lookup table determined according to the calculation equation.
  • the gradation conversion process can be performed.
  • the input data may include video data and metadata.
  • the HDR processing unit 705, the first grayscale conversion mode or the second grayscale according to the third grayscale conversion mode or the fourth grayscale conversion mode in the high grayscale amplification unit 851 in the second reduction unit 790 You can also choose a conversion mode.
  • the high grayscale amplification unit 851 in the second reduction unit 790 when the third grayscale conversion mode is performed, processes the grayscale conversion based on data corresponding to the third grayscale conversion mode in the lookup table. Can do
  • the high grayscale amplification unit 851 in the second reduction unit 790 when the third grayscale conversion mode is performed, a calculation expression for input data, and a third in a lookup table determined according to the calculation expression Based on the data corresponding to the gradation conversion mode, gradation conversion processing can be performed.
  • the input data may include video data and metadata.
  • the high grayscale amplification unit 851 in the second reduction unit 790 performs grayscale conversion processing based on data corresponding to the fourth grayscale conversion mode in the lookup table. You can.
  • the high grayscale amplification unit 851 in the second reduction unit 790 when the fourth grayscale conversion mode is performed, a calculation expression for input data, and a fourth in a lookup table determined according to the calculation expression Based on the data corresponding to the gradation conversion mode, gradation conversion processing can be performed.
  • the input data may include video data and metadata.
  • the HDR processing unit 705 may perform the second grayscale conversion mode when the fourth grayscale conversion mode is performed by the high grayscale amplification unit 851 in the second reduction unit 790.
  • the HDR processing unit 705 may perform the first grayscale conversion mode when the third grayscale conversion mode is performed in the high grayscale amplification unit 851 in the second reduction unit 790.
  • the high grayscale amplification unit 851 in the second reduction unit 790 may vary the grayscale conversion mode performed according to the grayscale conversion mode in the HDR processing unit 705.
  • the high grayscale amplification unit 851 in the second reduction unit 790 may perform the fourth grayscale conversion mode when the second grayscale conversion mode is performed by the HDR processing unit 705.
  • the high grayscale amplification unit 851 in the second reduction unit 790 may perform the third grayscale conversion mode.
  • the HDR processing unit 705 may perform a gradation conversion mode so that low gradation and high gradation are uniformly converted.
  • the second reduction unit 790 in the HDR processing unit 705, performs a fourth grayscale conversion mode according to the second grayscale conversion mode, and amplifies an upper limit level of grayscale of the video signal input thereto. have. Accordingly, it is possible to increase the high gradation expression power for the input image.
  • the first reduction unit (reduction unit) 710 may perform noise removal on the input image signal or the image signal processed by the HDR processing unit 705.
  • the first reduction unit (710) may perform the multi-level noise removal processing and the first-level grayscale expansion processing on the input video signal or the HDR image from the HDR processing unit 705. .
  • the first reduction unit 710 may include a plurality of noise removal units 715 and 720 for noise reduction in multiple stages and a gradation expansion unit 725 for gradation expansion.
  • the enhancement unit 750 may perform multi-step image resolution enhancement processing on the image from the first reduction unit 710.
  • the enhancement unit 750 can perform object stereoscopic effect enhancement processing. Further, the enhancement unit 750 can perform color or contrast enhancement processing.
  • the enhancement unit 750 includes a plurality of resolution enhancement units 735,738,742 for improving image resolution in multiple stages, an object stereoscopic enhancement unit 745 for enhancing the stereoscopic effect of an object, and a color contrast enhancement unit for enhancing color or contrast. (749).
  • the second reduction unit 790 may perform the second step gradation expansion processing based on the noise-removed image signal input from the first reduction unit 710.
  • the second reduction unit 790 may amplify the upper limit level of the gradation of the input signal and expand the resolution of the gradation of the input signal. Accordingly, it is possible to increase the high gradation expression power for the input image.
  • gray scale expansion may be uniformly performed on all gray scale regions of an input signal. Accordingly, it is possible to increase the expressive power of high gradation while uniform gradation expansion is performed on the region of the input image.
  • the second reduction unit 790 may perform grayscale amplification and expansion based on the input signal from the first grayscale expansion unit 725. Accordingly, it is possible to increase the high gradation expression power for the input image.
  • the second reduction unit 790 may vary the degree of amplification. Accordingly, it is possible to increase the high gradation expression power in response to the user setting.
  • the second reduction unit 790 may perform amplification according to a set value. Accordingly, it is possible to increase the high gradation expression power for the input image.
  • the second reduction unit 790 may vary the degree of amplification. Accordingly, it is possible to increase the high gradation expression power in response to the user setting.
  • the second reduction unit 790 may vary the degree of gradation expansion when the gradation is extended based on the user input signal. Accordingly, it is possible to increase the high gradation expression power in response to the user setting.
  • the second reduction unit 790 in the HDR processing unit 705, can amplify the upper limit level of the gradation according to the gradation conversion mode. Accordingly, it is possible to increase the high gradation expression power for the input image.
  • the signal processing device 170 receives an image signal, amplifies the luminance of the image signal from the HDR processing unit 705 and the HDR processing unit 705 for adjusting the luminance of the input image signal, and the grayscale resolution of the image signal And a reduction unit 790 for generating an enhanced video signal, wherein the enhanced video signal maintains a high dynamic range in the displayed HDR image, while increasing the luminance and gradation of the video signal. Provide resolution.
  • the luminance range of the video signal is adjusted according to the control signal received by the signal processing device 170.
  • it further includes an image analysis unit for determining whether the input video signal is an HDR signal or an SDR signal, and generating a control signal to be provided to the HDR processing unit 705, wherein the control signal, the input video signal is an HDR signal It is adjusted only when it indicates that it is.
  • control signal is received from the control unit of the video display device associated with signal processing, and corresponds to the setting of the video display device.
  • the gradation resolution is increased based on the amplification of the adjusted luminance of the video signal.
  • the resolution of gradation is increased based on the control signal input to the signal processing device 170.
  • control signal is received from the control unit of the video display device associated with signal processing, and corresponds to the setting of the video display device.
  • the reduction unit 790 includes a high gradation amplification unit 851 that amplifies the upper limit level of the gradation of the input signal, and a decontour unit that expands the resolution of the amplified gradation from the high gradation amplification unit 851 ( 842,844).
  • the second reduction unit 790 may include a second gradation expansion unit 729 for expanding the second gradation level.
  • the image processing unit 635 in the signal processing apparatus 170 of the present invention is characterized in that, as shown in FIG. 8, performs four steps of reduction processing and four steps of image enhancement processing.
  • the four-step reduction process may include a two-step noise removal process and a two-step gradation expansion process.
  • the noise reduction processing in the second stage is performed by the first and second noise removal units 715 and 720 in the first reduction unit 710, and the grayscale expansion processing in the second stage is performed by the first reduction unit 710.
  • the first gradation expansion unit 725 and the second gradation expansion unit 729 in the second reduction unit 790 may be performed.
  • the four-step image enhancement process may include a three-step image resolution enhancement process and an object stereoscopic enhancement process.
  • the three-step image resolution enhancement processing is processed by the first to third resolution enhancement units 735,738,742, and the object stereoscopic enhancement processing may be processed by the object stereoscopic enhancement unit 745.
  • the first characteristic of the signal processing apparatus 170 of the present invention is to multiply apply the same or similar algorithm as multi-level image quality processing to gradually improve the image quality.
  • the image quality processing unit 635 in the signal processing apparatus 170 of the present invention performs the image quality processing by applying the same or similar algorithm two or more times.
  • the same or similar algorithms performed by the image quality processing unit 635 have different goals to be achieved in each step, and gradually perform multi-level image quality processing, in contrast to processing all image quality in the first stage, resulting in artifacts of the image ( Artifact) has the advantage of less occurrence, and has the advantage of obtaining a more natural and clearer image processing result.
  • noise removal processing is performed in multiple stages.
  • the noise removal processing of each step may include temporal processing and spatial processing. This will be described with reference to FIG. 9A.
  • 9A is for reference to the operation description of the first and second noise removing units 715 and 720 of FIG. 8.
  • the first and second noise removing units 715 and 720 may perform temporal noise processing and spatial noise processing, respectively.
  • the first noise removing unit 715 may include a time noise removing unit 810, an IPC unit 815, and a spatial noise removing unit 820 as first-stage noise removal.
  • the second noise removal unit 720 may include a temporal noise removal unit 830 and a spatial noise removal unit 835 as second-stage noise removal.
  • the temporal noise removing units 810 and 830 may remove noise by comparing the previous data with the current data.
  • the spatial noise removing units 820 and 835 are within the data from the current data.
  • the noise may be removed by comparing the included image data with surrounding image data.
  • the data used by the temporal noise removing units 810 and 830 and the spatial noise removing units 820 and 835 may be frame data or field datq.
  • the first noise removing unit 715 may remove noise of original data of an input video signal.
  • the second noise removing unit 720 may remove flicker generated between frames of an input video signal to be input or after noise processing in the first noise removing unit 715.
  • the IPC unit 815 is performed between the temporal noise removing unit 810, the IPC 815, and the spatial noise removing unit 820, and can perform interlaced progressive conversion.
  • the IPC unit 815 may convert the interlaced video signal into a progressive video signal, particularly when the input video signal is an interlaced video.
  • the IPC unit 815 will be described with reference to FIG. 9B.
  • 9B is a view referred to in a multi-stage noise processing description when an input image is an interlaced image.
  • processing for a top field among interlaced images may be performed, and at a second time point, processing for a bottom field among interlaced images may be performed.
  • the temporal noise removal unit 810a is processed with the current data (To) of the top field (To), time noise processed and fed back to the memory ( Time noise removal processing may be performed using the previous data T-2 stored in 801a).
  • the IPC unit 815a combines the image data of the top field processed with time noise removal by the temporal noise removal unit 810a and the image data of the previous top field processed with noise removal stored in the memory 801a, thereby interlaced progressive Conversion can be performed.
  • the IPC unit 815a may output frame image data based on the top field based on the image data of the top field processed by the time noise removal unit 810a.
  • the spatial noise removal unit 820a may perform spatial noise removal processing on the top field-based frame image data generated and processed by the IPC unit 815a.
  • the temporal noise removing unit 810b is processed with the current data of the bottom field (Bottom filed) (T-1), and temporal noise processed and fed back to the memory.
  • Time noise removal processing may be performed using the previous data T-3 stored in (801b).
  • the IPC unit 815b combines the image data of the bottom field subjected to temporal noise removal processing by the temporal noise removal unit 810b and the previous bottom field processed by noise reduction stored in the memory 801b to interlaced progressive. Conversion can be performed.
  • the IPC unit 815b may output the frame image data based on the bottom field based on the image data of the bottom field processed by the time noise removal unit 810b.
  • the spatial noise removal unit 820b may perform spatial noise removal processing on the top field-based frame image data generated and processed by the IPC unit 815b.
  • the second step temporal noise removing unit 830 includes top field-based frame image data processed by the spatial noise removing unit 820a and a bottom field processed by the spatial noise removing unit 820b ( Time noise processing may be performed on the bottom filed-based frame image data.
  • the second-stage temporal noise removing unit 830 processes the top field-based frame image data and the bottom field-based frame image data together, so that it cannot be processed together in the previous step. It is possible to remove flicker between the generated top field and bottom field. As a result, artifacts occurring in interlaced images can be removed.
  • another feature of the signal processing apparatus 170 of the present invention is to perform gradation reproduction (Reproduction) processing or gradation expansion processing in multiple stages.
  • the video gradation for the input video signal means bit resolution and may indicate the bit width of each channel of R, G, B or Y, Cb, and Cr.
  • the number of bits of the image grayscale processed in the signal processing device 170 may be 10 bits or more.
  • the signal processing device 170 performs grayscale reproduction processing or grayscale extension processing to generate grayscale data of 10 bits or more. Or you can keep it.
  • the image quality processing unit 635 of the present invention may perform gradation expansion processing in two or more stages. This will be described with reference to FIG. 9C.
  • 9C is a view referred to for explaining the gradation expansion process.
  • a first gradation expansion unit 725, an enhancement unit 750, and a second gradation expansion unit 729 may be used.
  • the first grayscale expansion unit 725 may perform primary grayscale expansion based on the video signal from the HDR processing unit 705. That is, the first grayscale expansion unit 725 may perform primary grayscale expansion on the grayscale converted by the HDR processing unit 705.
  • the first grayscale expansion unit 725 may include decontour units 842 and 844 and dithering units 846.
  • the first grayscale expansion unit 725 includes a first decontour unit 842 performing a first stage decontour, a second decontour unit 844 performing a second stage decontour, A dithering unit 846 that performs dithering may be provided.
  • the second grayscale expansion unit 729 performs a high grayscale amplification unit 851 for high grayscale amplification, a third decontour unit 852 performing a first phase decontour, and a second phase decontour.
  • a fourth decontour unit 854 and a dithering unit 856 for dithering may be provided.
  • the first decontour unit 842 and the third decontour unit 852 are first-level grayscale extensions, and reproduce grayscales of the input video signal.
  • the second decontour unit 844 and the fourth decontour unit 854 are second-level gradation extensions, and can restore gradation loss generated through internal processing.
  • the first grayscale expansion unit 725 and the second grayscale expansion unit 729 pass two or more internal cores for each decontour unit 842,844,852,854, and receive grayscales for each core. It can be gradually increased bit by bit. For example, it is possible to reproduce gradation up to 14 bits per channel.
  • each decontour unit 842, 844, 852, 854 can be dithered in the dithering unit 846, 856, respectively, thereby minimizing information loss.
  • the high gray scale amplification unit 851 can amplify the upper limit level of the gray level of the input signal. Accordingly, it is possible to increase the high gradation expression power for the input image.
  • the third and fourth decontour units 852 and 854 may expand the resolution of the amplified grayscale from the high grayscale amplification unit 851.
  • the high gray scale amplifying unit 851 may amplify the gray scale expressive power of a bright part in an image to perform boosting on the bright part.
  • the high gray scale amplifying unit 851 may boost the gray scale expressive power for a region having a first luminance or higher in the image to perform boosting for a region having a first luminance or higher.
  • the high gray scale amplifying unit 851 may find a light source or a reflected light region of the input video signal, and amplify the region to have a brightness exceeding the 10 bit expression range (0 to 1023).
  • the second gradation expansion unit 729 may receive OSD information and perform separate image quality processing in the OSD area.
  • the second gray scale expansion unit 729 may not perform a high gray scale amplification process for the OSD area.
  • the high gray scale amplification unit 851 may receive video or OSD information from the enhancement unit 750.
  • the high gray scale amplification unit 851 may perform high gray scale amplification on the received image. In particular, it is possible to amplify the upper limit level of the maximum gradation.
  • the high grayscale amplification unit 851 may not perform high grayscale amplification on an area corresponding to the OSD information.
  • the high gray scale amplification unit 851 when other information (eg, subtitle information or logo information) is included in the received image, corresponds to other information (eg, subtitle information or logo information). For the region, high gray scale amplification may not be performed.
  • other information eg, subtitle information or logo information
  • the OSD area or other information area may include a third decontour part 852 performing a first step decontour and a fourth decontour part performing a second step decontour without high grayscale amplification ( 854), it may be processed through a dithering unit 856 to perform dithering.
  • 10A to 16 are diagrams referred to for explaining the operation of the signal processing unit 170 of FIG. 7.
  • the latest technology such as artificial intelligence is used.
  • the quality calculating unit 632 uses a deep neural network to calculate the resolution and noise level of the received video signal.
  • the quality calculating unit 632 or the quality calculating unit 670 may acquire a learning image for each original resolution and compression level to train the network to improve accuracy.
  • the image used for learning is a general image that can be encountered in everyday broadcasting, and is provided in various images to cover the entire input environment.
  • the quality calculating unit 632 may perform learning by using a convolutional neural network or mobile-net having a small number of layers for the purpose of reducing time or cost required for detection.
  • the quality calculating unit 632 may analyze only a partial region (eg, 224x224, 128x128, 64x64) of the entire image.
  • the quality calculating unit 632 may select an appropriate detection area suitable for the detection purpose.
  • the quality calculator 632 may select a first region having the most edge components when detecting the original resolution and a second region having the least edge components when detecting the noise.
  • the quality calculating unit 632 may apply an algorithm for quickly selecting a detection area for the purpose of improving processing speed.
  • the quality calculating unit 632 may perform a pre-processing operation such as a Fast Fourier Transform (FFT) in the detection area for the purpose of improving detection accuracy.
  • FFT Fast Fourier Transform
  • 10A is a diagram illustrating an operation based on a convolutional neural network.
  • a convolutional neural network is used for some regions 1015 in the acquired image 1010.
  • a convolutional network and a deconvolutional network may be performed.
  • convolution and pooling are repeatedly performed.
  • information of the region 1015 may be used to determine the type of a pixel in some region 1015.
  • 10B is a diagram showing an operation based on Mobile-Net.
  • the signal processing unit 170 of the present invention the original quality is changed so that the quality setting corresponding to the quality in real time is applied.
  • the signal processing unit 170 allows the setting to be changed during image playback without conditions such as a channel change or an input change.
  • real-time means using Temporal processing technology including IIR method and Step moving method.
  • 11 illustrates that the original quality of the received video signal is variable at the first time point.
  • the image quality setting unit 634 sets the image quality setting from the first setting (La) to the second setting (Lb). It varies sequentially.
  • the second setting (Lb) is controlled to be the second time point (tb) after the first time point (ta). Accordingly, flicker is reduced when the image quality is changed according to the original quality variable of the received video signal. It becomes possible.
  • a rapid image quality change is not performed, so that a smooth image quality change is possible.
  • the image quality setting unit 634 may sequentially change the image quality setting from the first setting to the second setting. Accordingly, it is possible to change the quality setting in real time when the original quality of the received video signal is varied. Particularly, when the original quality of the video signal is changed, a rapid image quality change is not performed, so that a smooth image quality change is possible.
  • the signal processing unit 170 adjusts the intensity of the enhancement processing of the image quality according to the quality of the input image to increase the sharpness of the image.
  • the signal processing unit 170 may process enhancement according to image quality. According to this, it is possible to suppress amplification of bad components and to increase good components to produce good image quality.
  • FIG. 12A (a) illustrates a low quality image input
  • FIG. 12A (b) illustrates a low quality image amplification.
  • FIG. 12B (a) illustrates a high quality image input
  • FIG. 12B (b) illustrates a high quality image amplification.
  • the signal processing unit 170 operates to remove noise of the image by adjusting the intensity of the noise reduction processing of the image quality according to the quality of the input image.
  • the noise reduction may be performed in the first reduction unit 720 of FIG. 8.
  • Noise Reduction The characteristic of Noise Reduction is that it removes noise and at the same time involves blur such as drag or crush in the image.
  • the image quality processing unit 635 preferably uses a noise reduction function weakly in an image having no noise, and when noise is strong, it is preferable to apply noise reduction of sufficient strength.
  • FIG. 13A illustrates an image 1310 with low noise, and in this case, noise reduction processing may not be necessary.
  • FIG. 13B illustrates an image 1320 with a lot of noise, and in this case, a strong noise reduction process is required.
  • 13C is a diagram showing a correlation between the noise level of an image and the intensity of noise reduction processing.
  • the lower limit of the intensity of the noise reduction process is Sa
  • the upper limit can be set to Sb
  • the noise reduction intensity is set to Sa
  • the noise reduction intensity is set to Sb
  • the noise reduction intensity is set to Sb.
  • the noise reduction intensity may increase sequentially from Sa to Sb.
  • the signal processor 170 may increase the image quality by adjusting the enhancement and noise reduction processing for the compressed image according to the measured quality of the input image.
  • Compression noise varies in intensity depending on the compression level of the image and generally increases with more compression. If compression is done a lot, detail is lost and noise such as blocking, mosquito, and contour is accompanied.
  • the signal processing unit 170 it is preferable to reduce the Enhance and harden the application of the Blur filter in the image with a lot of compression.
  • the level of compression determined in units of frames may be partially applied.
  • the signal processing unit 170 may increase the final quality by balancing the noise reduction and enhancement according to the quality measure result.
  • the noise reduction may be performed in the first reduction unit 710 of FIG. 8, and the enhancement processing may be performed in the enhancement unit 750 of FIG. 8.
  • FIG 14A illustrates the image 1410 with less compression, and in this case, an enhancement process may be required.
  • FIG. 14B illustrates the image 1420 with a lot of compression, and in this case, blur processing may be required.
  • 14C is a diagram showing a correlation between the compression level of an image and the intensity of an enhancement process.
  • the lower limit of the strength of the enhancement treatment is Eb, and the upper limit may be set to Ea, and when the compression ratio is Ca, the enhancement treatment strength is set to Eb, and when the compression ratio is Cb, the enhancement treatment strength is Can be set to Ea.
  • the signal processing unit 170 may control the enhancement processing intensity to decrease sequentially from Eb to Ea.
  • 14D is a diagram showing a correlation between the compression level of an image and the intensity of blur processing.
  • the lower limit of the intensity of the blur treatment is Ba, and the upper limit may be set to Bb.
  • the compression ratio is C1
  • the blur treatment strength is set to Ba
  • the compression ratio is C2
  • the blur treatment strength is set.
  • the signal processing unit 170 may control the blur processing intensity to increase sequentially from Ba to Bb.
  • the signal processing unit 170 may control the resolution to be increased by reducing the size of the filter as a high-resolution image enters.
  • a large filter is required to save these components because a low-frequency coarse texture is included.
  • the image quality setting is gradually changed over time.
  • the image quality settings are sequentially changed based on a step movement method, an IIR method, or the like.
  • the step movement method denotes a processing method that determines the amount of movement in a small unit that the user does not feel and moves at every processing step by step considering the current direction.
  • the IIR method shows how to update the weight by setting the weight of the past setting high and reflecting the current setting little by little.
  • 15A is a flowchart illustrating sequentially performing enhancement processing according to image resolution.
  • the quality calculating unit 632 calculates a probability for each resolution of the input image (S1505). Then, the resolution of the input image is determined (S1510).
  • the image quality setting unit 634 or the quality calculation unit 632 determines whether the probability of resolution of the input image is greater than or equal to a predetermined value (S515), and, if applicable, the image quality setting unit 634, according to the resolution
  • the target intensity of the enhancement process is calculated (S1520).
  • the image quality setting unit 634 compares the target intensity and current intensity of the enhancement process (S1522), and if the target intensity is lower than or equal to the current intensity, decreases the direction level (S1524), and the target intensity is the current intensity If it is higher, the direction level is increased (S1526).
  • the image quality setting unit 634 performs enhancement processing setting based on the current intensity and direction level (S1530).
  • the image quality processing unit 635 performs enhancement processing according to the enhancement processing setting set in the image quality setting unit 634 (S1535).
  • step 1515 if the probability is less than a predetermined value, the current setting is maintained (S1540).
  • 15B is a flowchart illustrating sequentially performing noise reduction processing according to resolution.
  • the quality calculating unit 632 calculates a probability for each resolution of the input image (S1605). Then, the resolution of the input image is determined.
  • the quality calculating unit 632 calculates the noise level of the input image (S1610).
  • the image quality setting unit 634 calculates the target intensity of the noise reduction process according to the resolution (S1620).
  • the image quality setting unit 634 compares the target intensity and current intensity of the noise reduction process (S1622), and if the target intensity is higher than the current intensity, increases the direction level (S1624), and the target intensity is the current intensity If it is lower than or equal, the direction level is decreased (S1626).
  • the image quality setting unit 634 performs noise reduction processing setting based on the current intensity and direction level (S1630).
  • the image quality processing unit 635 performs noise reduction processing according to the noise reduction processing setting set in the image quality setting unit 634 (S1635).
  • the image display device 100 may display the result of the image evaluation and the process of applying the image quality setting on the screen.
  • the image display device 100 may inform the display 180 that the image evaluation function is operating well. In particular, it can be displayed by displaying a part of the image by using the OSD on the screen. .
  • FIG. 16 illustrates that the first object 1610 indicating the original quality and the second object 1620 indicating the image quality set according to the original quality are displayed.
  • the display 180 of the image display device 100 may display the image 1605 signal-processed by the signal processing unit 170 of FIG. 7 and the like.
  • the display 180 includes a first object 1610 representing the calculated original quality of the received video signal, and a second object 1620 representing the quality set according to the original quality, together with the image 1605. Can be displayed. Accordingly, the user can easily grasp the original quality and the set image quality.
  • the display 180 may display the first object 1610 and the second object 1620 for a predetermined time. Accordingly, when the original quality is varied, the user can easily grasp the original quality and the set image quality.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 신호 처리 장치 및 이를 구비하는 영상표시장치에 관한 것이다. 본 발명의 일 실시예에 따른 신호 처리 장치 및 이를 구비하는 영상표시장치는, 외부의 셋탑 박스 또는 네트워크를 통해 수신되는 영상 신호의 원본 퀄리티를 연산하는 퀄리티 연산부와, 연산된 원본 퀄리티에 따라, 영상 신호의 화질을 설정하는 화질 설정부와, 설정된 화질에 따라, 영상 신호의 화질 처리를 수행하는 화질 처리부를 포함하고, 화질 설정부는, 수신되는 영상 신호의 원본 퀄리티가, 제1 시점에 가변되는 경우, 화질 설정을 제1 설정에서 제2 설정으로 순차적으로 가변하며, 화질 처리부는, 제1 설정에서 제2 설정으로 순차 가변되는 화질 설정에 따라, 화질 처리를 수행한다. 이에 따라, 수신되는 영상 신호의 원본 퀄리티 가변에 따른 화질 변경시 깜박거림을 저감할 수 있게 된다. 특히, 영상 신호의 원본 퀄리티 가변시 급격한 화질 변경이 수행되지 않으므로, 부드러운 화질 변경이 가능하게 된다.

Description

신호 처리 장치 및 이를 구비하는 영상표시장치
본 발명은 신호 처리 장치 및 이를 구비하는 영상표시장치에 관한 것이며, 더욱 상세하게는 수신되는 영상 신호의 원본 퀄리티 가변에 따른 화질 변경시 깜박거림을 저감할 수 있는 신호 처리 장치 및 이를 구비하는 영상표시장치에 관한 것이다.
신호 처리 장치는, 영상을 표시할 수 있도록 입력 영상에 대한 신호 처리를 수행하는 장치이다.
예를 들어, 신호 처리 장치는, 방송 신호 또는 HDMI 신호 등을 수신하고, 수신되는 방송 신호 또는 HDMI 신호에 기초한 신호 처리를 수행하여, 신호 처리된 영상 신호를 출력할 수 있다.
한편, 카메라 및 방송 기술의 발전에 따라, 입력 영상의 해상도 및 수직 동기 주파수가 증대되고 있다. 구체적으로, 4K 해상도 및 120Hz의 수직 동기 주파수를 가지는 영상에 대한 화질 처리가 화질 처리에 대한 필요가 제기되고 있다.
한편, 화질 처리를 위해, 영상 퀄리티 측정(Quality measure)이 중요하다.
영상 퀄리티 측정은, 기준 영상을 가지고 상대적으로 얼마만큼 차이가 나는지를 측정을 하는 제1 방법과, 기준 영상 없이 절대적으로 판단하는 제2 방법으로 구분될 수 있다.
제1 방법의 경우, 상대적인 차이를 측정을 통해서 구하는 것이기 때문에, 수치화가 쉽고 객관적인 평가가 가능하다.
하지만, 제2 방법의 경우, 영상 퀄리티를 레퍼런스(Reference)없이, 평가하여야 하기 때문에 객관화가 어려워 주관적인 평가 위주로 수행된다는 문제가 있다.
한편, 영상표시장치에서 안테나 등을 통해 방송 영상이 수신되는 경우, 방송 영상의 해상도 및 압축 비트 레이트 등은 방송 영상과 관련한 규격 정보를 통해 파악 가능하다.
그러나, 최근 IPTV 또는 케이블 TV의 보급으로, 재규격화된 2K 혹은 4K 영상이 HDMI 단자 등을 통해 영상표시장치로 입력된다.
이러한 경우, 원본 영상의 해상도 및 압축 비트레이트 정보가 소실되어, 영상표시장치에서, 원본 영상의 해상도 및 압축 비트레이트 정보와 관련된 영상의 퀄리티 판단이 어려워져, 원본 영상에 알맞은 화질 세팅을 하는 것이 어려워졌으며, 특히, 영상표시장치 내의 화질 알고리즘의 최대 성능을 구현하는 것이 어려워졌다.
한편, 안테나를 통해 수신되는 방송 영상 표시 중에, 채널 전환 또는 입력 전환이 있는 경우, 입력 영상 신호가 중간에 끊기게 되므로, 전환시 잠시 화면을 뮤트(Mute)하여 블랙 화면을 내보내면서, 화질 세팅을 수행한다.
하지만, 셋탑 박스로부터의 영상이, HDMI 단자 등을 통해, 입력되는 경우, 채널 전환을 하더라도 HDMI 신호는 지속적으로 입력되므로, 화질 세팅을 급격하게 변경하는 경우, 사용자가 화면 깜박거림을 느끼게된다는 문제가 있다.
본 발명의 목적은, 수신되는 영상 신호의 원본 퀄리티 가변에 따른 화질 변경시 깜박거림을 저감할 수 있는 신호 처리 장치 및 이를 구비하는 영상표시장치를 제공함에 있다.
본 발명의 다른 목적은, 수신되는 영상 신호의 원본 퀄리티의 가변시 실시간으로 화질 설정을 변경할 수 있는 신호 처리 장치 및 이를 구비하는 영상표시장치를 제공함에 있다.
본 발명의 또 다른 목적은, 심층 신경망(Deep Neural Network)을 이용하여, 수신되는 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있는 신호 처리 장치 및 이를 구비하는 영상표시장치를 제공함에 있다.
본 발명의 또 다른 목적은, 서버로부터 심층 신경망에 대한 파라미터를 업데이트하여, 학습 기반하에 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있는 신호 처리 장치 및 이를 구비하는 영상표시장치를 제공함에 있다.
본 발명의 또 다른 목적은, 수신되는 영상 신호의 해상도 및 노이즈 수준에 적합한 화질 처리를 수행하는 영상표시장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 신호 처리 장치는, 외부의 셋탑 박스 또는 네트워크를 통해 수신되는 영상 신호의 원본 퀄리티를 연산하는 퀄리티 연산부와, 연산된 원본 퀄리티에 따라, 영상 신호의 화질을 설정하는 화질 설정부와, 설정된 화질에 따라, 영상 신호의 화질 처리를 수행하는 화질 처리부를 포함하고, 화질 설정부는, 수신되는 영상 신호의 원본 퀄리티가, 제1 시점에 가변되는 경우, 화질 설정을 제1 설정에서 제2 설정으로 순차적으로 가변하며, 화질 처리부는, 제1 설정에서 제2 설정으로 순차 가변되는 화질 설정에 따라, 화질 처리를 수행한다.
한편, 화질 설정부는, 영상 재생 중에, 수신되는 영상 신호의 원본 퀄리티가, 제1 시점에 가변되는 경우, 화질 설정을 제1 설정에서 제2 설정으로 순차적으로 가변할 수 있다.
한편, 화질 설정부는, 셋탑 박스로부터 영상 신호가 수신되는 상태에서, 채널 변경 또는 입력 변경에 따라, 수신되는 영상 신호의 원본 퀄리티가, 제1 시점에 가변되는 경우, 화질 설정을 제1 설정에서 제2 설정으로 순차적으로 가변할 수 있다.
한편, 퀄리티 연산부는, 수신되는 영상 신호의 원본의 해상도와, 노이즈 수준을 연산할 수 있다.
한편, 퀄리티 연산부는, 심층 신경망(Deep Neural Network)을 이용하여, 수신되는 영상 신호의 해상도와, 노이즈 수준을 연산할 수 있다.
한편, 퀄리티 연산부는, 서버로부터 심층 신경망에 대한 파라미터를 업데이트하고, 업데이트된 파라미터에 기초하여, 수신되는 영상 신호의 해상도와, 노이즈 수준을 연산할 수 있다.
한편, 퀄리티 연산부는, 영상 신호의 제1 영역 및 제2 영역을 추출하고, 제1 영역에 기초하여, 영상 신호의 원본의 해상도를 연산하며, 제2 영역에 기초하여, 영상 신호의 노이즈 수준을 연산할 수 있다.
한편, 퀄리티 연산부는, 영상 신호 내에 에지 성분이 가장 많은 영역을 제1 영역으로 추출하고, 영상 신호 내에 에지 성분이 가장 적은 영역을 제2 영역으로 추출할 수 있다.
한편, 화질 처리부는, 연산된 노이즈 수준이 높을수록, 영상 신호의 노이즈 리덕션 처리 강도가 커지도록 제어할 수 있다.
한편, 퀄리티 연산부는, 수신되는 영상 신호의 원본의 해상도, 노이즈 수준 및 압축 수준을 연산하며, 압축 비트 레이트를 낮추어 가면서 취득한 학습 데이터에 기초하여, 압축 수준을 연산할 수 있다.
한편, 화질 처리부는, 연산된 압축 수준이 높을수록, 영상 신호의 인핸스 처리 강도가 작아지도록 제어할 수 있다.
한편, 화질 처리부는, 영상 신호의 원본의 해상도가 커질수록, 영상 신호의 인핸스 처리 강도가 커지도록 제어할 수 있다.
한편, 화질 처리부는, 연산된 압축 수준이 높을수록, 영상 신호의 블러 처리 강도가 커지도록 제어할 수 있다.
한편, 화질 처리부는, 영상 신호의 원본의 해상도가 커질수록 영산 신호의 필터링을 위한 필터의 사이즈가 작아지도록 제어할 수 있다.
한편, 화질 처리부는, 영상 신호의 원본의 해상도에 따라, 영상 신호를 다운 스케일링 한 이후, 다운 스케일링된 영상 신호에 대해 화질 처리를 수행하고, 화질 처리 수행된 영상 신호를 업 스케일링하고, 업 스케일링된 영상 신호를 출력할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 신호 처리 장치는, 외부의 셋탑 박스 또는 네트워크를 통해 수신되는 영상 신호의 원본 퀄리티를 연산하는 퀄리티 연산부와, 연산된 원본 퀄리티에 따라, 영상 신호의 화질을 설정하는 화질 설정부와, 설정된 화질에 따라, 영상 신호의 화질 처리를 수행하는 화질 처리부를 포함하고, 퀄리티 연산부는, 서버로부터 심층 신경망에 대한 파라미터를 업데이트하고, 업데이트된 파라미터에 기초하여, 수신되는 영상 신호의 해상도와, 노이즈 수준을 연산할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영사표시장치는, 외부의 셋탑 박스 또는 네트워크를 통해 영상 신호를 수신하는 영상 수신부와, 영상 수신부에서 수신되는 영상 신호에 대한 신호 처리를 수행하는 신호 처리부와, 신호 처리부에서 처리된 영상을 표시하는 디스플레이를 포함하며, 신호 처리부는, 외부의 셋탑 박스 또는 네트워크를 통해 수신되는 영상 신호의 원본 퀄리티를 연산하는 퀄리티 연산부와, 연산된 원본 퀄리티에 따라, 영상 신호의 화질을 설정하는 화질 설정부와, 설정된 화질에 따라, 영상 신호의 화질 처리를 수행하는 화질 처리부를 포함하고, 화질 설정부는, 수신되는 영상 신호의 원본 퀄리티가, 제1 시점에 가변되는 경우, 화질 설정을 제1 설정에서 제2 설정으로 순차적으로 가변하며, 화질 처리부는, 제1 설정에서 제2 설정으로 순차 가변되는 화질 설정에 따라, 화질 처리를 수행한다.
한편, 디스플레이는, 수신되는 영상 신호의 연산된 원본 퀄리티를 나타내는 제1 오브젝트와, 원본 퀄리티에 따라 설정되는 화질을 나타내는 제2 오브젝트를 표시할 수 있다.
한편, 디스플레이는, 수신되는 영상 신호의 원본 퀄리티가 가변되는 경우, 소정 시간 동안, 제1 오브젝트와 제2 오브젝트를 표시할 수 있다.
본 발명의 일 실시예에 따른 신호 처리 장치는, 외부의 셋탑 박스 또는 네트워크를 통해 수신되는 영상 신호의 원본 퀄리티를 연산하는 퀄리티 연산부와, 연산된 원본 퀄리티에 따라, 영상 신호의 화질을 설정하는 화질 설정부와, 설정된 화질에 따라, 영상 신호의 화질 처리를 수행하는 화질 처리부를 포함하고, 화질 설정부는, 수신되는 영상 신호의 원본 퀄리티가, 제1 시점에 가변되는 경우, 화질 설정을 제1 설정에서 제2 설정으로 순차적으로 가변하며, 화질 처리부는, 제1 설정에서 제2 설정으로 순차 가변되는 화질 설정에 따라, 화질 처리를 수행한다. 이에 따라, 수신되는 영상 신호의 원본 퀄리티 가변에 따른 화질 변경시 깜박거림을 저감할 수 있게 된다. 특히, 영상 신호의 원본 퀄리티 가변시 급격한 화질 변경이 수행되지 않으므로, 부드러운 화질 변경이 가능하게 된다.
한편, 화질 설정부는, 영상 재생 중에, 수신되는 영상 신호의 원본 퀄리티가, 제1 시점에 가변되는 경우, 화질 설정을 제1 설정에서 제2 설정으로 순차적으로 가변할 수 있다. 이에 따라, 수신되는 영상 신호의 원본 퀄리티의 가변시 실시간으로 화질 설정을 변경할 수 있게 된다. 특히, 영상 신호의 원본 퀄리티 가변시 급격한 화질 변경이 수행되지 않으므로, 부드러운 화질 변경이 가능하게 된다.
한편, 화질 설정부는, 셋탑 박스로부터 영상 신호가 수신되는 상태에서, 채널 변경 또는 입력 변경에 따라, 수신되는 영상 신호의 원본 퀄리티가, 제1 시점에 가변되는 경우, 화질 설정을 제1 설정에서 제2 설정으로 순차적으로 가변할 수 있다. 이에 따라, 수신되는 영상 신호의 원본 퀄리티 가변에 따른 화질 변경시 깜박거림을 저감할 수 있게 된다. 특히, 영상 신호의 원본 퀄리티 가변시 급격한 화질 변경이 수행되지 않으므로, 부드러운 화질 변경이 가능하게 된다.
한편, 퀄리티 연산부는, 심층 신경망(Deep Neural Network)을 이용하여, 수신되는 영상 신호의 해상도와, 노이즈 수준을 연산할 수 있다. 이에 따라, 수신되는 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있게 된다.
한편, 퀄리티 연산부는, 서버로부터 심층 신경망에 대한 파라미터를 업데이트하고, 업데이트된 파라미터에 기초하여, 수신되는 영상 신호의 해상도와, 노이즈 수준을 연산할 수 있다. 이에 따라, 학습 기반하에 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있게 된다.
한편, 퀄리티 연산부는, 영상 신호의 제1 영역 및 제2 영역을 추출하고, 제1 영역에 기초하여, 영상 신호의 원본의 해상도를 연산하며, 제2 영역에 기초하여, 영상 신호의 노이즈 수준을 연산할 수 있다. 이에 따라, 퀄리티 연산에 적합한 영상 추출에 기초하여, 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있게 된다.
한편, 퀄리티 연산부는, 영상 신호 내에 에지 성분이 가장 많은 영역을 제1 영역으로 추출하고, 영상 신호 내에 에지 성분이 가장 적은 영역을 제2 영역으로 추출할 수 있다. 이에 따라, 퀄리티 연산에 적합한 영상 추출에 기초하여, 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있게 된다.
한편, 화질 처리부는, 연산된 노이즈 수준이 높을수록, 영상 신호의 노이즈 리덕션 처리 강도가 커지도록 제어할 수 있다. 이에 따라, 수신되는 영상 신호의 노이즈 수준에 적합한 화질 처리를 수행할 수 있게 된다.
한편, 퀄리티 연산부는, 수신되는 영상 신호의 원본의 해상도, 노이즈 수준 및 압축 수준을 연산하며, 압축 비트 레이트를 낮추어 가면서 취득한 학습 데이터에 기초하여, 압축 수준을 연산할 수 있다.
한편, 화질 처리부는, 연산된 압축 수준이 높을수록, 영상 신호의 인핸스 처리 강도가 작아지도록 제어할 수 있다. 이에 따라, 압축 수준 연산을 정확하게 수행할 수 있게 된다.
한편, 화질 처리부는, 영상 신호의 원본의 해상도가 커질수록, 영상 신호의 인핸스 처리 강도가 커지도록 제어할 수 있다. 이에 따라, 수신되는 영상 신호의 원본의 해상도에 적합한 화질 처리를 수행할 수 있게 된다.
한편, 화질 처리부는, 연산된 압축 수준이 높을수록, 영상 신호의 블러 처리 강도가 커지도록 제어할 수 있다. 이에 따라, 수신되는 영상 신호의 압축 수준에 적합한 화질 처리를 수행할 수 있게 된다.
한편, 화질 처리부는, 영상 신호의 원본의 해상도가 커질수록 영산 신호의 필터링을 위한 필터의 사이즈가 작아지도록 제어할 수 있다. 이에 따라, 수신되는 영상 신호의 원본의 해상도에 적합한 화질 처리를 수행할 수 있게 된다.
한편, 화질 처리부는, 영상 신호의 원본의 해상도에 따라, 영상 신호를 다운 스케일링 한 이후, 다운 스케일링된 영상 신호에 대해 화질 처리를 수행하고, 화질 처리 수행된 영상 신호를 업 스케일링하고, 업 스케일링된 영상 신호를 출력할 수 있다. 이에 따라, 수신되는 영상 신호의 원본의 해상도에 적합한 화질 처리를 수행할 수 있게 된다
본 발명의 다른 실시예에 따른 신호 처리 장치는, 외부의 셋탑 박스 또는 네트워크를 통해 수신되는 영상 신호의 원본 퀄리티를 연산하는 퀄리티 연산부와, 연산된 원본 퀄리티에 따라, 영상 신호의 화질을 설정하는 화질 설정부와, 설정된 화질에 따라, 영상 신호의 화질 처리를 수행하는 화질 처리부를 포함하고, 퀄리티 연산부는, 서버로부터 심층 신경망에 대한 파라미터를 업데이트하고, 업데이트된 파라미터에 기초하여, 수신되는 영상 신호의 해상도와, 노이즈 수준을 연산할 수 있다. 이에 따라, 학습 기반하에 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있게 된다.
본 발명의 일 실시예에 따른 영사표시장치는, 외부의 셋탑 박스 또는 네트워크를 통해 영상 신호를 수신하는 영상 수신부와, 영상 수신부에서 수신되는 영상 신호에 대한 신호 처리를 수행하는 신호 처리부와, 신호 처리부에서 처리된 영상을 표시하는 디스플레이를 포함하며, 신호 처리부는, 외부의 셋탑 박스 또는 네트워크를 통해 수신되는 영상 신호의 원본 퀄리티를 연산하는 퀄리티 연산부와, 연산된 원본 퀄리티에 따라, 영상 신호의 화질을 설정하는 화질 설정부와, 설정된 화질에 따라, 영상 신호의 화질 처리를 수행하는 화질 처리부를 포함하고, 화질 설정부는, 수신되는 영상 신호의 원본 퀄리티가, 제1 시점에 가변되는 경우, 화질 설정을 제1 설정에서 제2 설정으로 순차적으로 가변하며, 화질 처리부는, 제1 설정에서 제2 설정으로 순차 가변되는 화질 설정에 따라, 화질 처리를 수행한다.
이에 따라, 수신되는 영상 신호의 원본 퀄리티 가변에 따른 화질 변경시 깜박거림을 저감할 수 있게 된다. 특히, 영상 신호의 원본 퀄리티 가변시 급격한 화질 변경이 수행되지 않으므로, 부드러운 화질 변경이 가능하게 된다.
한편, 디스플레이는, 수신되는 영상 신호의 연산된 원본 퀄리티를 나타내는 제1 오브젝트와, 원본 퀄리티에 따라 설정되는 화질을 나타내는 제2 오브젝트를 표시할 수 있다. 이에 따라, 사용자는 원본 퀄리티와 설정되는 화질을 용이하게 파악할 수 있게 된다.
한편, 디스플레이는, 수신되는 영상 신호의 원본 퀄리티가 가변되는 경우, 소정 시간 동안, 제1 오브젝트와 제2 오브젝트를 표시할 수 있다. 이에 따라, 원본 퀄리티 가변시, 사용자는 원본 퀄리티와 설정되는 화질을 용이하게 파악할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 영상표시 시스템을 도시한 도면이다.
도 2는 도 1의 영상표시장치의 내부 블록도의 일예이다.
도 3은 도 2의 신호 처리부의 내부 블록도의 일예이다.
도 4a는 도 2의 원격제어장치의 제어 방법을 도시한 도면이다.
도 4b는 도 2의 원격제어장치의 내부 블록도이다.
도 5는 도 2의 디스플레이의 내부 블록도이다.
도 6a 내지 도 6b는 도 5의 유기발광패널의 설명에 참조되는 도면이다.
도 7은 본 발명의 실시예에 따른 신호 처리 장치의 내부 블록도의 일예이다.
도 8 내지 도 16은 도 7의 신호 처리 장치의 동작 설명에 참조되는 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 영상표시 시스템을 도시한 도면이다.
도면을 참조하면, 본 발명의 일 실시예에 따른 영상표시 시스템(10)은, 디스플레이(180)를 구비하는 영상표시장치(100), 셋탑 박스(300), 및 서버(600)를 포함할 수 잇다.
본 발명의 일 실시예에 따른 영상표시장치(100)는, 셋탑 박스(300), 또는 서버(600)로부터 영상을 수신할 수 있다.
예를 들어, 영상표시장치(100)는, 셋탑 박스(300)로부터의 영상 신호를 HDMI 단자를 통해 수신할 수 있다.
다른 예로, 영상표시장치(100)는, 서버(600)로부터 영상 신호를 네트워크 단자를 통해 수신할 수 있다.
한편, 영상표시장치(100)는, 외부의 셋탑 박스(300) 또는 네트워크를 통해 수신되는 영상 신호의 원본 퀄리티를 연산하고, 연산된 원본 퀄리티에 따라, 영상 신호의 화질을 설정하는 화질 설정부(634)와, 설정된 화질에 따라, 영상 신호의 화질 처리를 수행하고, 설정된 화질에 따라, 영상 신호의 화질 처리를 수행하는 화질 처리를 수행할 수 있다.
한편, 영상표시장치(100)는, 수신되는 영상 신호의 원본 퀄리티가, 제1 시점에 가변되는 경우, 화질 설정을 제1 설정에서 제2 설정으로 순차적으로 가변하며, 제1 설정에서 제2 설정으로 순차 가변되는 화질 설정에 따라, 화질 처리를 수행한다. 이에 따라, 수신되는 영상 신호의 원본 퀄리티 가변에 따른 화질 변경시 깜박거림을 저감할 수 있게 된다. 특히, 영상 신호의 원본 퀄리티 가변시 급격한 화질 변경이 수행되지 않으므로, 부드러운 화질 변경이 가능하게 된다.
특히, 영상표시장치(100)는, 영상 재생 중에, 채널 변경 또는 입력 변경에 따른 영상 신호의 원본 퀄리티 변경시, 화질 설정을 제1 설정에서 제2 설정으로 순차적으로 가변할 수 있다. 이에 따라, 수신되는 영상 신호의 원본 퀄리티의 가변시 실시간으로 화질 설정을 변경할 수 있게 된다. 특히, 영상 신호의 원본 퀄리티 가변시 급격한 화질 변경이 수행되지 않으므로, 부드러운 화질 변경이 가능하게 된다.
한편, 영상표시장치(100)는, 심층 신경망(Deep Neural Network)을 이용하여, 수신되는 영상 신호의 해상도와, 노이즈 수준을 연산할 수 있다. 이에 따라, 수신되는 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있게 된다.
한편, 영상표시장치(100)는, 서버(600)로부터 심층 신경망에 대한 파라미터를 업데이트하고, 업데이트된 파라미터에 기초하여, 수신되는 영상 신호의 해상도와, 노이즈 수준을 연산할 수 있다. 이에 따라, 학습 기반하에 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있게 된다.
한편, 디스플레이(180)는 다양한 패널 중 어느 하나로 구현될 수 있다. 예를 들어, 디스플레이(180)는, 액정표시패널(LCD 패널), 유기발광패널(OLED 패널), 무기발광패널(LED 패널) 등 중 어느 하나일 수 있다.
본 발명에서는, 디스플레이(180)가 유기발광패널(OLED 패널)을 구비하는 것을 중심으로 기술한다.
한편, 유기발광패널(OLED 패널)은, 액정표시패널 보다 패널 응답 속도가 빠르며, 색재현 효과가 뛰어나며, 색재현성이 뛰어나다는 장점이 있다.
이에 따라, 디스플레이(180)가 유기발광패널을 구비하는 경우, 영상표시장치(100) 내의 신호 처리부(도 2의 170)는, 유기발광패널에 대응하는 화질 처리를 수행하는 것이 바람직하다. 한편, 신호 처리부는, 신호 처리 장치로 명명할 수도 있다.
한편, 도 1의 영상표시장치(100)는, TV, 모니터, 태블릿 PC, 이동 단말기, 차량용 디스플레이 등이 가능하다.
도 2는 도 1의 영상표시장치의 내부 블록도의 일예이다.
도 2를 참조하면, 본 발명의 일실시예에 의한 영상표시장치(100)는, 영상 수신부(105), 저장부(140), 사용자입력 인터페이스부(150), 센서부(미도시), 신호 처리부(170), 디스플레이(180), 오디오 출력부(185)를 포함할 수 있다.
영상 수신부(105)는, 튜너부(110), 복조부(120), 네트워크 인터페이스부(130), 외부장치 인터페이스부(130)를 포함할 수 있다.
한편, 영상 수신부(105)는, 도면과 달리, 튜너부(110), 복조부(120)와, 외부장치 인터페이스부(130)만을 포함하는 것도 가능하다. 즉, 네트워크 인터페이스부(130)를 포함하지 않을 수도 있다.
튜너부(110)는, 안테나(미도시)를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기저장된 모든 채널에 해당하는 RF 방송 신호를 선택한다. 또한, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환한다.
예를 들어, 선택된 RF 방송 신호가 디지털 방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)로 변환한다. 즉, 튜너부(110)는 디지털 방송 신호 또는 아날로그 방송 신호를 처리할 수 있다. 튜너부(110)에서 출력되는 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)는 신호 처리부(170)로 직접 입력될 수 있다.
한편, 튜너부(110)는, 복수 채널의 방송 신호를 수신하기 위해, 복수의 튜너를 구비하는 것이 가능하다. 또는, 복수 채널의 방송 신호를 동시에 수신하는 단일 튜너도 가능하다.
복조부(120)는 튜너부(110)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다.
복조부(120)는 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다.
복조부(120)에서 출력한 스트림 신호는 신호 처리부(170)로 입력될 수 있다. 신호 처리부(170)는 역다중화, 영상/음성 신호 처리 등을 수행한 후, 디스플레이(180)에 영상을 출력하고, 오디오 출력부(185)로 음성을 출력한다.
외부장치 인터페이스부(130)는, 접속된 외부 장치(미도시), 예를 들어, 셋탑 박스(50)와 데이터를 송신 또는 수신할 수 있다. 이를 위해, 외부장치 인터페이스부(130)는, A/V 입출력부(미도시)를 포함할 수 있다.
외부장치 인터페이스부(130)는, DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북), 셋탑 박스 등과 같은 외부 장치와 유/무선으로 접속될 수 있으며, 외부 장치와 입력/출력 동작을 수행할 수도 있다.
A/V 입출력부는, 외부 장치의 영상 및 음성 신호를 입력받을 수 있다. 한편, 무선 통신부(미도시)는, 다른 전자기기와 근거리 무선 통신을 수행할 수 있다.
이러한 무선 통신부(미도시)를 통해, 외부장치 인터페이스부(130)는, 인접하는 이동 단말기(600)와 데이터를 교환할 수 있다. 특히, 외부장치 인터페이스부(130)는, 미러링 모드에서, 이동 단말기(600)로부터 디바이스 정보, 실행되는 애플리케이션 정보, 애플리케이션 이미지 등을 수신할 수 있다.
네트워크 인터페이스부(135)는, 영상표시장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공한다. 예를 들어, 네트워크 인터페이스부(135)는, 네트워크를 통해, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다.
한편, 네트워크 인터페이스부(135)는, 무선 통신부(미도시)를 포함할 수 있다.
저장부(140)는, 신호 처리부(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수도 있다.
또한, 저장부(140)는 외부장치 인터페이스부(130)로 입력되는 영상, 음성 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다. 또한, 저장부(140)는, 채널 맵 등의 채널 기억 기능을 통하여 소정 방송 채널에 관한 정보를 저장할 수 있다.
도 2의 저장부(140)가 신호 처리부(170)와 별도로 구비된 실시예를 도시하고 있으나, 본 발명의 범위는 이에 한정되지 않는다. 저장부(140)는 신호 처리부(170) 내에 포함될 수 있다.
사용자입력 인터페이스부(150)는, 사용자가 입력한 신호를 신호 처리부(170)로 전달하거나, 신호 처리부(170)로부터의 신호를 사용자에게 전달한다.
예를 들어, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 사용자 입력 신호를 송신/수신하거나, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 사용자 입력 신호를 신호 처리부(170)에 전달하거나, 사용자의 제스처를 센싱하는 센서부(미도시)로부터 입력되는 사용자 입력 신호를 신호 처리부(170)에 전달하거나, 신호 처리부(170)로부터의 신호를 센서부(미도시)로 송신할 수 있다.
신호 처리부(170)는, 튜너부(110) 또는 복조부(120) 또는 네트워크 인터페이스부(135) 또는 외부장치 인터페이스부(130)를 통하여, 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.
예를 들어, 신호 처리부(170)는, 영상 수신부(105)에서 수신된 방송 신호 또는 HDMI 신호 등을 수신하고, 수신되는 방송 신호 또는 HDMI 신호에 기초한 신호 처리를 수행하여, 신호 처리된 영상 신호를 출력할 수 있다.
신호 처리부(170)에서 영상 처리된 영상 신호는 디스플레이(180)로 입력되어, 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 신호 처리부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(130)를 통하여 외부 출력장치로 입력될 수 있다.
신호 처리부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 음향 출력될 수 있다. 또한, 신호 처리부(170)에서 처리된 음성 신호는 외부장치 인터페이스부(130)를 통하여 외부 출력장치로 입력될 수 있다.
도 2에는 도시되어 있지 않으나, 신호 처리부(170)는 역다중화부, 영상처리부 등을 포함할 수 있다. 즉, 신호 처리부(170)는, 다양한 신호 처리를 수행할 수 있으며, 이에 따라, 시스템 온 칩(System On Chip,SOC)의 형태로 구현될 수 있다. 이에 대해서는 도 3을 참조하여 후술한다.
그 외, 신호 처리부(170)는, 영상표시장치(100) 내의 전반적인 동작을 제어할 수 있다. 예를 들어, 신호 처리부(170)는 튜너부(110)를 제어하여, 사용자가 선택한 채널 또는 기저장된 채널에 해당하는 RF 방송을 선택(Tuning)하도록 제어할 수 있다.
또한, 신호 처리부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 영상표시장치(100)를 제어할 수 있다.
한편, 신호 처리부(170)는, 영상을 표시하도록 디스플레이(180)를 제어할 수 있다. 이때, 디스플레이(180)에 표시되는 영상은, 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
한편, 신호 처리부(170)는 디스플레이(180)에 표시되는 영상 내에, 소정 오브젝트가 표시되도록 할 수 있다. 예를 들어, 오브젝트는, 접속된 웹 화면(신문, 잡지 등), EPG(Electronic Program Guide), 다양한 메뉴, 위젯, 아이콘, 정지 영상, 동영상, 텍스트 중 적어도 하나일 수 있다.
한편, 신호 처리부(170)는, 촬영부(미도시)로부터 촬영된 영상에 기초하여, 사용자의 위치를 인식할 수 있다. 예를 들어, 사용자와 영상표시장치(100) 간의 거리(z축 좌표)를 파악할 수 있다. 그 외, 사용자 위치에 대응하는 디스플레이(180) 내의 x축 좌표, 및 y축 좌표를 파악할 수 있다.
디스플레이(180)는, 신호 처리부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 또는 외부장치 인터페이스부(130)에서 수신되는 영상 신호, 데이터 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다.
한편, 디스플레이(180)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
오디오 출력부(185)는, 신호 처리부(170)에서 음성 처리된 신호를 입력 받아 음성으로 출력한다.
촬영부(미도시)는 사용자를 촬영한다. 촬영부(미도시)는 1 개의 카메라로 구현되는 것이 가능하나, 이에 한정되지 않으며, 복수 개의 카메라로 구현되는 것도 가능하다. 촬영부(미도시)에서 촬영된 영상 정보는 신호 처리부(170)에 입력될 수 있다.
신호 처리부(170)는, 촬영부(미도시)로부터 촬영된 영상, 또는 센서부(미도시)로부터의 감지된 신호 각각 또는 그 조합에 기초하여 사용자의 제스처를 감지할 수 있다.
전원 공급부(190)는, 영상표시장치(100) 전반에 걸쳐 해당 전원을 공급한다. 특히, 전원 공급부(190)는, 시스템 온 칩(System On Chip,SOC)의 형태로 구현될 수 있는 신호 처리부(170)와, 영상 표시를 위한 디스플레이(180), 및 오디오 출력을 위한 오디오 출력부(185) 등에 전원을 공급할 수 있다.
구체적으로, 전원 공급부(190)는, 교류 전원을 직류 전원으로 변환하는 컨버터와, 직류 전원의 레벨을 변환하는 dc/dc 컨버터를 구비할 수 있다.
원격제어장치(200)는, 사용자 입력을 사용자입력 인터페이스부(150)로 송신한다. 이를 위해, 원격제어장치(200)는, 블루투스(Bluetooth), RF(Radio Frequency) 통신, 적외선(IR) 통신, UWB(Ultra Wideband), 지그비(ZigBee) 방식 등을 사용할 수 있다. 또한, 원격제어장치(200)는, 사용자입력 인터페이스부(150)에서 출력한 영상, 음성 또는 데이터 신호 등을 수신하여, 이를 원격제어장치(200)에서 표시하거나 음성 출력할 수 있다.
한편, 상술한 영상표시장치(100)는, 고정형 또는 이동형 디지털 방송 수신 가능한 디지털 방송 수신기일 수 있다.
한편, 도 2에 도시된 영상표시장치(100)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 영상표시장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 3은 도 2의 신호 처리부의 내부 블록도의 일예이다.
도면을 참조하여 설명하면, 본 발명의 일실시예에 의한 신호 처리부(170)는, 역다중화부(310), 영상 처리부(320), 프로세서(330), 오디오 처리부(370)를 포함할 수 있다. 그 외 , 데이터 처리부(미도시)를 더 포함할 수 있다.
역다중화부(310)는, 입력되는 스트림을 역다중화한다. 예를 들어, MPEG-2 TS가 입력되는 경우 이를 역다중화하여, 각각 영상, 음성 및 데이터 신호로 분리할 수 있다. 여기서, 역다중화부(310)에 입력되는 스트림 신호는, 튜너부(110) 또는 복조부(120) 또는 외부장치 인터페이스부(130)에서 출력되는 스트림 신호일 수 있다.
영상 처리부(320)는, 입력되는 영상에 대한 신호 처리를 수행할 수 있다. 예를 들어, 영상 처리부(320)는, 역다중화부(310)로부터 역다중화된 영상 신호의 영상 처리를 수행할 수 있다.
이를 위해, 영상 처리부(320)는, 영상 디코더(325), 스케일러(335), 화질 처리부(635), 영상 인코더(미도시), OSD 생성부(340), 프레임 레이트 변환부(350), 및 포맷터(360) 등을 포함할 수 있다.
영상 디코더(325)는, 역다중화된 영상신호를 복호화하며, 스케일러(335)는, 복호화된 영상신호의 해상도를 디스플레이(180)에서 출력 가능하도록 스케일링(scaling)을 수행한다.
영상 디코더(325)는 다양한 규격의 디코더를 구비하는 것이 가능하다. 예를 들어, MPEG-2, H,264 디코더, 색차 영상(color image) 및 깊이 영상(depth image)에 대한 3D 영상 디코더, 복수 시점 영상에 대한 디코더 등을 구비할 수 있다.
스케일러(335)는, 영상 디코더(325) 등에서 영상 복호 완료된, 입력 영상 신호를 스케일링할 수 있다.
예를 들어, 스케일러(335)는, 입력 영상 신호의 크기 또는 해상도가 작은 경우, 업 스케일링하고, 입력 영상 신호의 크기 또는 해상도가 큰 경우, 다운 스케일링할 수 있다.
화질 처리부(635)는, 영상 디코더(325) 등에서 영상 복호 완료된, 입력 영상 신호에 대한 화질 처리를 수행할 수 있다.
예를 들어, 화질 처리부(635)는, 입력 영상 신호의 노이즈 제거 처리를 하거나, 입력 영상 신호의 도계조의 해상를 확장하거나, 영상 해상도 향상을 수행하거나, 하이 다이나믹 레인지(HDR) 기반의 신호 처리를 하거나, 프레임 레이트를 가변하거나, 패널 특성, 특히 유기발광패널에 대응하는 화질 처리 등을 할 수 있다.
OSD 생성부(340)는, 사용자 입력에 따라 또는 자체적으로 OSD 신호를 생성한다. 예를 들어, 사용자 입력 신호에 기초하여, 디스플레이(180)의 화면에 각종 정보를 그래픽(Graphic)이나 텍스트(Text)로 표시하기 위한 신호를 생성할 수 있다. 생성되는 OSD 신호는, 영상표시장치(100)의 사용자 인터페이스 화면, 다양한 메뉴 화면, 위젯, 아이콘 등의 다양한 데이터를 포함할 수 있다. 또한, 생성되는 OSD 신호는, 2D 오브젝트 또는 3D 오브젝트를 포함할 수 있다.
또한, OSD 생성부(340)는, 원격제어장치(200)로부터 입력되는 포인팅 신호에 기초하여, 디스플레이에 표시 가능한, 포인터를 생성할 수 있다. 특히, 이러한 포인터는, 포인팅 신호 처리부에서 생성될 수 있으며, OSD 생성부(240)는, 이러한 포인팅 신호 처리부(미도시)를 포함할 수 있다. 물론, 포인팅 신호 처리부(미도시)가 OSD 생성부(240) 내에 구비되지 않고 별도로 마련되는 것도 가능하다.
프레임 레이트 변환부(Frame Rate Conveter, FRC)(350)는, 입력되는 영상의 프레임 레이트를 변환할 수 있다. 한편, 프레임 레이트 변환부(350)는, 별도의 프레임 레이트 변환 없이, 그대로 출력하는 것도 가능하다.
한편, 포맷터(Formatter)(360)는, 입력되는 영상 신호의 포맷을, 디스플레이에 표시하기 위한 영상 신호로 변화시켜 출력할 수 있다.
특히, 포맷터(Formatter)(360)는, 디스플레이 패널에 대응하도록 영상 신호의 포맷을 변화시킬 수 있다.
프로세서(330)는, 영상표시장치(100) 내 또는 신호 처리부(170) 내의 전반적인 동작을 제어할 수 있다.
예를 들어, 프로세서(330)는 튜너(110)를 제어하여, 사용자가 선택한 채널 또는 기저장된 채널에 해당하는 RF 방송을 선택(Tuning)하도록 제어할 수 있다.
또한, 프로세서(330)는, 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 영상표시장치(100)를 제어할 수 있다.
또한, 프로세서(330)는, 네트워크 인터페이스부(135) 또는 외부장치 인터페이스부(130)와의 데이터 전송 제어를 수행할 수 있다.
또한, 프로세서(330)는, 신호 처리부(170) 내의 역다중화부(310), 영상 처리부(320) 등의 동작을 제어할 수 있다.
한편, 신호 처리부(170) 내의 오디오 처리부(370)는, 역다중화된 음성 신호의 음성 처리를 수행할 수 있다. 이를 위해 오디오 처리부(370)는 다양한 디코더를 구비할 수 있다.
또한, 신호 처리부(170) 내의 오디오 처리부(370)는, 베이스(Base), 트레블(Treble), 음량 조절 등을 처리할 수 있다.
신호 처리부(170) 내의 데이터 처리부(미도시)는, 역다중화된 데이터 신호의 데이터 처리를 수행할 수 있다. 예를 들어, 역다중화된 데이터 신호가 부호화된 데이터 신호인 경우, 이를 복호화할 수 있다. 부호화된 데이터 신호는, 각 채널에서 방영되는 방송프로그램의 시작시간, 종료시간 등의 방송정보를 포함하는 전자 프로그램 가이드 정보(Electronic Program Guide) 정보일 수 있다.
한편, 도 3에 도시된 신호 처리부(170)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 신호 처리부(170)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
특히, 프레임 레이트 변환부(350), 및 포맷터(360)는 영상 처리부(320) 외에 별도로 마련될 수도 있다.
도 4a는 도 2의 원격제어장치의 제어 방법을 도시한 도면이다.
도 4a의 (a)에 도시된 바와 같이, 디스플레이(180)에 원격제어장치(200)에 대응하는 포인터(205)가 표시되는 것을 예시한다.
사용자는 원격제어장치(200)를 상하, 좌우(도 4a의 (b)), 앞뒤(도 4a의 (c))로 움직이거나 회전할 수 있다. 영상표시장치의 디스플레이(180)에 표시된 포인터(205)는 원격제어장치(200)의 움직임에 대응한다. 이러한 원격제어장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘 또는 3D 포인팅 장치라 명명할 수 있다.
도 4a의 (b)는 사용자가 원격제어장치(200)를 왼쪽으로 이동하면, 영상표시장치의 디스플레이(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다.
원격제어장치(200)의 센서를 통하여 감지된 원격제어장치(200)의 움직임에 관한 정보는 영상표시장치로 전송된다. 영상표시장치는 원격제어장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 영상표시장치는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 4a의 (c)는, 원격제어장치(200) 내의 특정 버튼을 누른 상태에서, 사용자가 원격제어장치(200)를 디스플레이(180)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이(180) 내의 선택 영역이 줌인되어 확대 표시될 수 있다. 이와 반대로, 사용자가 원격제어장치(200)를 디스플레이(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이(180) 내의 선택 영역이 줌아웃되어 축소 표시될 수 있다. 한편, 원격제어장치(200)가 디스플레이(180)에서 멀어지는 경우, 선택 영역이 줌아웃되고, 원격제어장치(200)가 디스플레이(180)에 가까워지는 경우, 선택 영역이 줌인될 수도 있다.
한편, 원격제어장치(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 원격제어장치(200)가 디스플레이(180)에서 멀어지거나 접근하도록 이동하는 경우, 상,하,좌,우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 원격제어장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격제어장치(200)의 상,하, 좌,우 이동에 따라 포인터(205)만 이동하게 된다.
한편, 포인터(205)의 이동속도나 이동방향은 원격제어장치(200)의 이동속도나 이동방향에 대응할 수 있다.
도 4b는 도 2의 원격제어장치의 내부 블록도이다.
도면을 참조하여 설명하면, 원격제어장치(200)는 무선통신부(425), 사용자 입력부(435), 센서부(440), 출력부(450), 전원공급부(460), 저장부(470), 신호 처리부(480)를 포함할 수 있다.
무선통신부(425)는 전술하여 설명한 본 발명의 실시예들에 따른 영상표시장치 중 임의의 어느 하나와 신호를 송수신한다. 본 발명의 실시예들에 따른 영상표시장치들 중에서, 하나의 영상표시장치(100)를 일예로 설명하도록 하겠다.
본 실시예에서, 원격제어장치(200)는 RF 통신규격에 따라 영상표시장치(100)와 신호를 송수신할 수 있는 RF 모듈(421)을 구비할 수 있다. 또한 원격제어장치(200)는 IR 통신규격에 따라 영상표시장치(100)와 신호를 송수신할 수 있는 IR 모듈(423)을 구비할 수 있다.
본 실시예에서, 원격제어장치(200)는 영상표시장치(100)로 원격제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 RF 모듈(421)을 통하여 전송한다.
또한, 원격제어장치(200)는 영상표시장치(100)가 전송한 신호를 RF 모듈(421)을 통하여 수신할 수 있다. 또한, 원격제어장치(200)는 필요에 따라 IR 모듈(423)을 통하여 영상표시장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력부(435)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(435)를 조작하여 원격제어장치(200)로 영상표시장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(435)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 원격제어장치(200)로 영상표시장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(435)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)로 영상표시장치(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(435)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시예는 본 발명의 권리범위를 제한하지 아니한다.
센서부(440)는 자이로 센서(441) 또는 가속도 센서(443)를 구비할 수 있다. 자이로 센서(441)는 원격제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다.
일예로, 자이로 센서(441)는 원격제어장치(200)의 동작에 관한 정보를 x,y,z 축을 기준으로 센싱할 수 있다. 가속도 센서(443)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 거리측정센서를 더 구비할 수 있으며, 이에 의해, 디스플레이(180)와의 거리를 센싱할 수 있다.
출력부(450)는 사용자 입력부(435)의 조작에 대응하거나 영상표시장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(450)를 통하여 사용자는 사용자 입력부(435)의 조작 여부 또는 영상표시장치(100)의 제어 여부를 인지할 수 있다.
일예로, 출력부(450)는 사용자 입력부(435)가 조작되거나 무선 통신부(425)을 통하여 영상표시장치(100)와 신호가 송수신되면 점등되는 LED 모듈(451), 진동을 발생하는 진동 모듈(453), 음향을 출력하는 음향 출력 모듈(455), 또는 영상을 출력하는 디스플레이 모듈(457)을 구비할 수 있다.
전원공급부(460)는 원격제어장치(200)로 전원을 공급한다. 전원공급부(460)는 원격제어장치(200)이 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로서 전원 낭비를 줄일 수 있다. 전원공급부(460)는 원격제어장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.
저장부(470)는 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다. 만일 원격제어장치(200)가 영상표시장치(100)와 RF 모듈(421)을 통하여 무선으로 신호를 송수신할 경우 원격제어장치(200)와 영상표시장치(100)는 소정 주파수 대역을 통하여 신호를 송수신한다. 원격제어장치(200)의 신호 처리부(480)는 원격제어장치(200)와 페어링된 영상표시장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(470)에 저장하고 참조할 수 있다.
신호 처리부(480)는 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다. 신호 처리부(480)는 사용자 입력부(435)의 소정 키 조작에 대응하는 신호 또는 센서부(440)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 신호를 무선 통신부(425)를 통하여 영상표시장치(100)로 전송할 수 있다.
영상표시장치(100)의 사용자 입력 인터페이스부(150)는, 원격제어장치(200)와 무선으로 신호를 송수신할 수 있는 무선통신부(151)와, 원격제어장치(200)의 동작에 대응하는 포인터의 좌표값을 산출할 수 있는 좌표값 산출부(415)를 구비할 수 있다.
사용자 입력 인터페이스부(150)는, RF 모듈(412)을 통하여 원격제어장치(200)와 무선으로 신호를 송수신할 수 있다. 또한 IR 모듈(413)을 통하여 원격제어장치(200)이 IR 통신 규격에 따라 전송한 신호를 수신할 수 있다.
좌표값 산출부(415)는 무선통신부(151)를 통하여 수신된 원격제어장치(200)의 동작에 대응하는 신호로부터 손떨림이나 오차를 수정하여 디스플레이(180)에 표시할 포인터(205)의 좌표값(x,y)을 산출할 수 있다.
사용자 입력 인터페이스부(150)를 통하여 영상표시장치(100)로 입력된 원격제어장치(200) 전송 신호는 영상표시장치(100)의 신호 처리부(180)로 전송된다. 신호 처리부(180)는 원격제어장치(200)에서 전송한 신호로부터 원격제어장치(200)의 동작 및 키 조작에 관한 정보를 판별하고, 그에 대응하여 영상표시장치(100)를 제어할 수 있다.
또 다른 예로, 원격제어장치(200)는, 그 동작에 대응하는 포인터 좌표값을 산출하여 영상표시장치(100)의 사용자 입력 인터페이스부(150)로 출력할 수 있다. 이 경우, 영상표시장치(100)의 사용자 입력 인터페이스부(150)는 별도의 손떨림이나 오차 보정 과정 없이 수신된 포인터 좌표값에 관한 정보를 신호 처리부(180)로 전송할 수 있다.
또한, 다른 예로, 좌표값 산출부(415)가, 도면과 달리 사용자 입력 인터페이스부(150)가 아닌, 신호 처리부(170) 내부에 구비되는 것도 가능하다.
도 5는 도 2의 디스플레이의 내부 블록도이다.
도면을 참조하면, 유기발광패널 기반의 디스플레이(180)는, 유기발광패널(210), 제1 인터페이스부(230), 제2 인터페이스부(231), 타이밍 컨트롤러(232), 게이트 구동부(234), 데이터 구동부(236), 메모리(240), 프로세서(270), 전원 공급부(290), 전류 검출부(510) 등을 포함할 수 있다.
디스플레이(180)는, 영상 신호(Vd)와, 제1 직류 전원(V1) 및 제2 직류 전원(V2)을 수신하고, 영상 신호(Vd)에 기초하여, 소정 영상을 표시할 수 있다.
한편, 디스플레이(180) 내의 제1 인터페이스부(230)는, 신호 처리부(170)로부터 영상 신호(Vd)와, 제1 직류 전원(V1)을 수신할 수 있다.
여기서, 제1 직류 전원(V1)은, 디스플레이(180) 내의 전원 공급부(290), 및 타이밍 컨트롤러(232)의 동작을 위해 사용될 수 있다.
다음, 제2 인터페이스부(231)는, 외부의 전원 공급부(190)로부터 제2 직류 전원(V2)을 수신할 수 있다. 한편, 제2 직류 전원(V2)은, 디스플레이(180) 내의 데이터 구동부(236)에 입력될 수 있다.
타이밍 컨트롤러(232)는, 영상 신호(Vd)에 기초하여, 데이터 구동 신호(Sda) 및 게이트 구동 신호(Sga)를 출력할 수 있다.
예를 들어, 제1 인터페이스부(230)가 입력되는 영상 신호(Vd)를 변환하여 변환된 영상 신호(va1)를 출력하는 경우, 타이밍 컨트롤러(232)는, 변환된 영상 신호(va1)에 기초하여, 데이터 구동 신호(Sda) 및 게이트 구동 신호(Sga)를 출력할 수 있다.
타이밍 컨트롤러(timing controller)(232)는, 신호 처리부(170)로부터의 비디오 신호(Vd) 외에, 제어 신호, 수직동기신호(Vsync) 등을 더 수신할 수 있다.
그리고, 타이밍 컨트롤러(timing controller)(232)는, 비디오 신호(Vd) 외에, 제어 신호, 수직동기신호(Vsync) 등에 기초하여, 게이트 구동부(234)의 동작을 위한 게이트 구동 신호(Sga), 데이터 구동부(236)의 동작을 위한 데이터 구동 신호(Sda)를 출력할 수 있다.
이때의 데이터 구동 신호(Sda)는, 패널(210)이 RGBW의 서브픽셀을 구비하는 경우, RGBW 서브픽셀 구동용 데이터 구동 신호일 수 있다.
한편, 타이밍 컨트롤러(232)는, 게이트 구동부(234)에 제어 신호(Cs)를 더 출력할 수 있다.
게이트 구동부(234)와 데이터 구동부(236)는, 타이밍 컨트롤러(232)로부터의 게이트 구동 신호(Sga), 데이터 구동 신호(Sda)에 따라, 각각 게이트 라인(GL) 및 데이터 라인(DL)을 통해, 주사 신호 및 영상 신호를 유기발광패널(210)에 공급한다. 이에 따라, 유기발광패널(210)은 소정 영상을 표시하게 된다.
한편, 유기발광패널(210)은, 유기 발광층을 포함할 수 있으며, 영상을 표시하기 위해, 유기 발광층에 대응하는 각 화소에, 다수개의 게이트 라인(GL) 및 데이터 라인(DL)이 매트릭스 형태로 교차하여 배치될 수 있다.
한편, 데이터 구동부(236)는, 제2 인터페이스부(231)로부터의 제2 직류 전원(V2)에 기초하여, 유기발광패널(210)에 데이터 신호를 출력할 수 있다.
전원 공급부(290)는, 각종 전원을, 게이트 구동부(234)와 데이터 구동부(236), 타이밍 컨트롤러(232) 등에 공급할 수 있다.
전류 검출부(510)는, 유기발광패널(210)의 서브픽셀에 흐르는 전류를 검출할 수 있다. 검출되는 전류는, 누적 전류 연산을 위해, 프로세서(270) 등에 입력될 수 있다.
프로세서(270)는, 디스플레이(180) 내의 각종 제어를 수행할 수 있다. 예를 들어, 게이트 구동부(234)와 데이터 구동부(236), 타이밍 컨트롤러(232) 등을 제어할 수 있다.
한편, 프로세서(270)는, 전류 검출부(510)로부터, 유기발광패널(210)의 서브픽셀에 흐르는 전류 정보를 수신할 수 있다.
그리고, 프로세서(270)는, 유기발광패널(210)의 서브픽셀에 흐르는 전류 정보에 기초하여, 각 유기발광패널(210)의 서브픽셀의 누적 전류를 연산할 수 있다. 연산되는 누적 전류는, 메모리(240)에 저장될 수 있다.
한편, 프로세서(270)는, 각 유기발광패널(210)의 서브픽셀의 누적 전류가, 허용치 이상인 경우, 번인(burn in)으로 판단할 수 있다.
예를 들어, 프로세서(270)는, 각 유기발광패널(210)의 서브픽셀의 누적 전류가, 300000 A 이상인 경우, 번인된 서브픽셀로 판단할 수 있다.
한편, 프로세서(270)는, 각 유기발광패널(210)의 서브픽셀 중 일부 서브픽셀의 누적 전류가, 허용치에 근접하는 경우, 해당 서브픽셀을, 번인이 예측되는 서브픽셀로 판단할 수 있다.
한편, 프로세서(270)는, 전류 검출부(510)에서 검출된 전류에 기초하여, 가장 누적 전류가 큰 서브픽셀을, 번인 예측 서브픽셀로 판단할 수 있다.
도 6a 내지 도 6b는 도 5의 유기발광패널의 설명에 참조되는 도면이다.
먼저, 도 6a는, 유기발광패널(210) 내의 픽셀(Pixel)을 도시하는 도면이다.
도면을 참조하면, 유기발광패널(210)은, 복수의 스캔 라인(Scan 1 ~ Scan n)과, 이에 교차하는 복수의 데이터 라인(R1,G1,B1,W1 ~ Rm,Gm,Bm,Wm)을 구비할 수 있다.
한편, 유기발광패널(210) 내의 스캔 라인과, 데이터 라인의 교차 영역에, 픽셀(subpixel)이 정의된다. 도면에서는, RGBW의 서브픽셀(SR1,SG1,SB1,SW1)을 구비하는 픽셀(Pixel)을 도시한다.
도 6b는, 도 6a의 유기발광패널의 픽셀(Pixel) 내의 어느 하나의 서브픽셀(sub pixel)의 회로를 예시한다.
도면을 참조하면, 유기발광 서브픽셀(sub pixell) 회로(CRTm)는, 능동형으로서, 스캔 스위칭 소자(SW1), 저장 커패시터(Cst), 구동 스위칭 소자(SW2), 유기발광층(OLED)을 구비할 수 있다.
스캔 스위칭 소자(SW1)는, 게이트 단자에 스캔 라인(Scan line)이 접속되어, 입력되는 스캔 신호(Vdscan)에 따라 턴 온하게 된다. 턴 온되는 경우, 입력되는 데이터 신호(Vdata)를 구동 스위칭 소자(SW2)의 게이트 단자 또는 저장 커패시터(Cst)의 일단으로 전달하게 된다.
저장 커패시터(Cst)는, 구동 스위칭 소자(SW2)의 게이트 단자와 소스 단자 사이에 형성되며, 저장 커패시터(Cst)의 일단에 전달되는 데이터 신호 레벨과, 저장 커패시터(Cst)의 타단에 전달되는 직류 전원(VDD) 레벨의 소정 차이를 저장한다.
예를 들어, 데이터 신호가, PAM(Pluse Amplitude Modulation) 방식에 따라 서로 다른 레벨을 갖는 경우, 데이터 신호(Vdata)의 레벨 차이에 따라, 저장 커패시터(Cst)에 저장되는 전원 레벨이 달라지게 된다.
다른 예로, 데이터 신호가 PWM(Pluse Width Modulation) 방식에 따라 서로 다른 펄스폭을 갖는 경우, 데이터 신호(Vdata)의 펄스폭 차이에 따라, 저장 커패시터(Cst)에 저장되는 전원 레벨이 달라지게 된다.
구동 스위칭 소자(SW2)는, 저장 커패시터(Cst)에 저장된 전원 레벨에 따라 턴 온된다. 구동 스위칭 소자(SW2)가 턴 온하는 경우, 저장된 전원 레벨에 비례하는, 구동 전류(IOLED)가 유기발광층(OLED)에 흐르게 된다. 이에 따라, 유기발광층(OLED)은 발광동작을 수행하게 된다.
유기발광층(OLED)은, 서브픽셀에 대응하는 RGBW의 발광층(EML)을 포함하며, 정공주입층(HIL), 정공 수송층(HTL), 전자 수송층(ETL), 전자 주입층(EIL) 중 적어도 하나를 포함할 수 있으며, 그 외에 정공 저지층 등도 포함할 수 있다.
한편, 서브픽셀(sub pixell)은, 유기발광층(OLED)에서 모두 백색의 광을 출력하나, 녹색,적색,청색 서브픽셀의 경우, 색상 구현을 위해, 별도의 컬러필터가 구비된다. 즉, 녹색,적색,청색 서브픽셀의 경우, 각각 녹색,적색,청색 컬러필터를 더 구비한다. 한편, 백색 서브픽셀의 경우, 백색광을 출력하므로, 별도의 컬러필터가 필요 없게 된다.
한편, 도면에서는, 스캔 스위칭 소자(SW1)와 구동 스위칭 소자(SW2)로서, p타입의 MOSFET인 경우를 예시하나, n타입의 MOSFET이거나, 그 외, JFET, IGBT, 또는 SIC 등의 스위칭 소자가 사용되는 것도 가능하다.
한편, 픽셀(Pixel)은, 단위 표시 기간 동안, 구체적으로 단위 프레임 동안, 스캔 신호가 인가된 이후, 유기발광층(OLED)에서 계속 발광하는 홀드 타입의 소자이다.
도 7은 본 발명의 실시예에 따른 신호 처리 장치의 내부 블록도의 일예이고, 도 8 내지 도 16은 도 7의 신호 처리 장치의 동작 설명에 참조되는 도면이다.
먼저, 도 7을 참조하면, 본 발명의 실시예에 따른 영상표시 시스템(10)은, 영상표시장치(100), 서버(600), 셋탑 박스(300)를 구비할 수 있다.
서버(600)는, 학습 영상을 수신하고 이를 저장하는 학습 DB(640)와, 학습 DB(640)로부터의 학습 영상, 및 심층 신경망(Deep Neural Network)을 이용하여, 영상 소스 퀄리티를 연산하는 퀄리티 연산부(670), 학습 DB(640)와 퀄리티 연산부(670)에 기초하여 심층 신경망에 대한 파라미터를 업데이트하는 파라미터 업데이트부(675)를 구비할 수 있다.
파라미터 업데이트부(675)는, 업데이트된 파라미터를 영상표시장치(100) 내의 퀄리티 연산부(632)로 전송할 수 있다.
셋탑 박스(300)는, 영상 제공자가 제공하는 입력 신호를 수신하고, 영상표시장치(100)의 HDMI 단자로 영상 신호를 전송할 수 있다.
영상표시장치(100)는, 외부의 셋탑 박스(300) 또는 네트워크를 통해 영상 신호를 수신하는 영상 수신부(105)와, 영상 수신부(105)에서 수신되는 영상 신호에 대한 신호 처리를 수행하는 신호 처리부(170)와, 신호 처리부(170)에서 처리된 영상을 표시하는 디스플레이(180)를 포함할 수 있다.
한편, 영상표시장치(100)는, 입력 영상의 화질에 따라 최적의 튜닝을 적용할 수 있다.
한편, 영상표시장치(100)는, 실시간으로 입력 영상을 분석하여, 원본 해상도, Noise 수준, 압축 수준, Enhancement 수준을 판별할 수 있다.
한편, 영상표시장치(100)는, 연산된 영상 정보 데이터에 기초하여, 위화감 없이 화질 세팅을 변경할 수 있다.
한편, 신호 처리부(170)는, 외부의 셋탑 박스(300) 또는 네트워크를 통해 수신되는 영상 신호의 원본 퀄리티를 연산하는 퀄리티 연산부(632)와, 연산된 원본 퀄리티에 따라, 영상 신호의 화질을 설정하는 화질 설정부(634)와, 설정된 화질에 따라, 영상 신호의 화질 처리를 수행하는 화질 처리부(635)를 포함할 수 있다.
화질 설정부(634)는, 수신되는 영상 신호의 원본 퀄리티가, 제1 시점에 가변되는 경우, 화질 설정을 제1 설정에서 제2 설정으로 순차적으로 가변하며, 화질 처리부(635)는, 제1 설정에서 제2 설정으로 순차 가변되는 화질 설정에 따라, 화질 처리를 수행한다. 이에 따라, 수신되는 영상 신호의 원본 퀄리티 가변에 따른 화질 변경시 깜박거림을 저감할 수 있게 된다. 특히, 영상 신호의 원본 퀄리티 가변시 급격한 화질 변경이 수행되지 않으므로, 부드러운 화질 변경이 가능하게 된다.
한편, 화질 설정부(634)는, 영상 재생 중에, 수신되는 영상 신호의 원본 퀄리티가, 제1 시점에 가변되는 경우, 화질 설정을 제1 설정에서 제2 설정으로 순차적으로 가변할 수 있다. 이에 따라, 수신되는 영상 신호의 원본 퀄리티의 가변시 실시간으로 화질 설정을 변경할 수 있게 된다. 특히, 영상 신호의 원본 퀄리티 가변시 급격한 화질 변경이 수행되지 않으므로, 부드러운 화질 변경이 가능하게 된다.
한편, 화질 설정부(634)는, 셋탑 박스(300)로부터 영상 신호가 수신되는 상태에서, 채널 변경 또는 입력 변경에 따라, 수신되는 영상 신호의 원본 퀄리티가, 제1 시점에 가변되는 경우, 화질 설정을 제1 설정에서 제2 설정으로 순차적으로 가변할 수 있다. 이에 따라, 수신되는 영상 신호의 원본 퀄리티 가변에 따른 화질 변경시 깜박거림을 저감할 수 있게 된다. 특히, 영상 신호의 원본 퀄리티 가변시 급격한 화질 변경이 수행되지 않으므로, 부드러운 화질 변경이 가능하게 된다.
퀄리티 연산부(632)는, 입력 영상을 UHD (3840x2160 이상), FHD (1920x1080), HD (1280x720), SD ( 720x480 이하) 등으로 분류할 수 있다.
퀄리티 연산부(632)는, 입력 영상에 대해, 각각의 해상도별 확률을 구하고, 최종 예측한 확률이 가장 높은 해상도를 최종 해상도로 선정하며, 최종 예측 확률이 너무 낮은 경우는 판단에서 제외한다.
퀄리티 연산부(632)는, 해상도 이외에도 Noise 수준 및 압축 수준을 예상할 수 있다.
한편, 퀄리티 연산부(632)는, 압축 수준 연산시, 원본 상태를 기준으로 압축 bit-rate를 낮추어 가면서 취득한 학습 DATA를 기반으로 하여 압축 수준을 판단할 수 있다.
예를 들어, 퀄리티 연산부(632)는, FHD의 경우 현재 Digital TV 방송 표준을 1.0 수준으로 평가하고, 압축을 많이 하여 DATA가 소실 될 수록 0.0인 것으로 연산할 수 있다.
한편, 퀄리티 연산부(632)는, 입력 영상 내의 Flicker의 수준을 측정하여, Noise 수준을 연산할 수 있다.
예를 들어, 퀄리티 연산부(632)는, 입력 영상 내의 노이즈 수준을, 강,중,약,노이즈없음의 4단계로 연산할 수 있다.
한편, 퀄리티 연산부(632)는, 심층 신경망(Deep Neural Network)을 이용하여, 수신되는 영상 신호의 해상도와, 노이즈 수준을 연산할 수 있다. 이에 따라, 수신되는 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있게 된다.
한편, 퀄리티 연산부(632)는, 서버(600)로부터 심층 신경망에 대한 파라미터를 업데이트하고, 업데이트된 파라미터에 기초하여, 수신되는 영상 신호의 해상도와, 노이즈 수준을 연산할 수 있다. 이에 따라, 학습 기반하에 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있게 된다.
한편, 퀄리티 연산부(632)는, 영상 신호의 제1 영역 및 제2 영역을 추출하고, 제1 영역에 기초하여, 영상 신호의 원본의 해상도를 연산하며, 제2 영역에 기초하여, 영상 신호의 노이즈 수준을 연산할 수 있다. 이에 따라, 퀄리티 연산에 적합한 영상 추출에 기초하여, 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있게 된다.
한편, 퀄리티 연산부(632)는, 영상 신호 내에 에지 성분이 가장 많은 영역을 제1 영역으로 추출하고, 영상 신호 내에 에지 성분이 가장 적은 영역을 제2 영역으로 추출할 수 있다. 이에 따라, 퀄리티 연산에 적합한 영상 추출에 기초하여, 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있게 된다.
한편, 화질 처리부(635)는, 연산된 노이즈 수준이 높을수록, 영상 신호의 노이즈 리덕션 처리 강도가 커지도록 제어할 수 있다. 이에 따라, 수신되는 영상 신호의 노이즈 수준에 적합한 화질 처리를 수행할 수 있게 된다.
한편, 퀄리티 연산부(632)는, 수신되는 영상 신호의 원본의 해상도, 노이즈 수준 및 압축 수준을 연산하며, 압축 비트 레이트를 낮추어 가면서 취득한 학습 데이터에 기초하여, 압축 수준을 연산할 수 있다.
한편, 화질 처리부(635)는, 연산된 압축 수준이 높을수록, 영상 신호의 인핸스 처리 강도가 작아지도록 제어할 수 있다. 이에 따라, 압축 수준 연산을 정확하게 수행할 수 있게 된다.
한편, 화질 처리부(635)는, 영상 신호의 원본의 해상도가 커질수록, 영상 신호의 인핸스 처리 강도가 커지도록 제어할 수 있다. 이에 따라, 수신되는 영상 신호의 원본의 해상도에 적합한 화질 처리를 수행할 수 있게 된다.
한편, 화질 처리부(635)는, 연산된 압축 수준이 높을수록, 영상 신호의 블러 처리 강도가 커지도록 제어할 수 있다. 이에 따라, 수신되는 영상 신호의 압축 수준에 적합한 화질 처리를 수행할 수 있게 된다.
한편, 화질 처리부(635)는, 영상 신호의 원본의 해상도가 커질수록 영산 신호의 필터링을 위한 필터의 사이즈가 작아지도록 제어할 수 있다. 이에 따라, 수신되는 영상 신호의 원본의 해상도에 적합한 화질 처리를 수행할 수 있게 된다.
한편, 화질 처리부(635)는, 영상 신호의 원본의 해상도에 따라, 영상 신호를 다운 스케일링 한 이후, 다운 스케일링된 영상 신호에 대해 화질 처리를 수행하고, 화질 처리 수행된 영상 신호를 업 스케일링하고, 업 스케일링된 영상 신호를 출력할 수 있다. 이에 따라, 수신되는 영상 신호의 원본의 해상도에 적합한 화질 처리를 수행할 수 있게 된다
도 8은 도 7의 신호 처리 장치(170)의 내부 블록도의 일예이다.
한편, 도 8의 신호 처리 장치(170)는, 도 2의 신호 처리부(170)에 대응할 수 있다.
먼저, 도 8을 참조하면, 본 발명의 실시예에 따른 신호 처리 장치(170)는, 영상 분석부(610), 및 화질 처리부(635)를 구비할 수 있다.
영상 분석부(610)는, 도 7의 퀄리티 연산부(632)와, 화질 세팅부(634)를 구비할 수 있다.
영상 분석부(610)는, 입력 영상 신호를 분석하고, 분석된 입력 영상 신호와 관련된 정보를 출력할 수 있다.
한편, 영상 분석부(610)는, 입력되는 제1 입력 영상 신호의 오브젝트 영역과 배경 영역을 구분할 수 있다. 또는, 영상 분석부(610)는, 입력되는 제1 입력 영상 신호의 오브젝트 영역과 배경 영역의 확률 또는 비율을 연산할 수 있다.
입력 영상 신호는, 영상 수신부(105)로부터의 입력 영상 신호이거나, 도 3의 영상 디코더(320)에서 복호화된 영상일 수 있다.
특히, 영상 분석부(610)는, 인공 지능(artificial intelligence;AI)을 이용하여, 입력 영상 신호를 분석하고, 분석된 입력 영상 신호 정보를 출력할 수 있다.
구체적으로, 영상 분석부(610)는, 입력 영상 신호의 해상도, 계조(resolution), 잡음 수준, 패턴 여부 등을 분석하고, 분석된 입력 영상 신호와 관련된 정보, 특히 화질 설정 정보를, 화질 처리부(635)로 출력할 수 있다.
화질 처리부(635)는, HDR 처리부(705), 제1 리덕션부(710), 인핸스부(750), 제2 리덕션부(790)를 구비할 수 있다.
HDR 처리부(705)는, 영상 신호를 입력받고, 입력되는 영상 신호에 대해, 하이 다이내믹 레인지(HDR) 처리를 할 수 있다.
예를 들어, HDR 처리부(705)는, 스탠다드 다이내믹 레인지(Standard Dynamic Range; SDR) 영상 신호를 HDR 영상 신호로 변환할 수 있다.
다른 예로, HDR 처리부(705)는, 영상 신호를 입력받고, 입력되는 영상 신호에 대해, 하이 다이내믹 레인지를 위한, 계조 처리를 할 수 있다.
한편, HDR 처리부(705)는, 입력되는 영상 신호가 SDR 영상 신호인 경우, 계조 변환을 바이패스하고, 입력되는 영상 신호가 HDR 영상 신호인 경우, 계조 변환을 수행할 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
한편, HDR 처리부(705)는, 저계조와 고계조 중 저계조를 강조하고 고계조가 포화되도록 하는 제1 계조 변환 모드, 또는 저계조와 고계조 전반에 대해 다소 균일하게 변환되도록 하는 제2 계조 변환 모드에 기초하여, 계조 변환 처리를 할 수 있다.
구체적으로, HDR 처리부(705)는, 제1 계조 변환 모드가 수행되는 경우, 룩업 테이블 내의 제1 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다.
더 구체적으로, HDR 처리부(705)는, 제1 계조 변환 모드가 수행되는 경우, 입력 데이터에 관한 연산식, 및 상기 연산식에 따라 결정되는 룩업 테이블 내의 제1 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다. 여기서 입력 데이터는, 비디오 데이터와 메타 데이터를 포함할 수 있다.
한편, HDR 처리부(705)는, 제2 계조 변환 모드가 수행되는 경우, 룩업 테이블 내의 제2 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다.
더 구체적으로, HDR 처리부(705)는, 제2 계조 변환 모드가 수행되는 경우, 입력 데이터에 관한 연산식, 및 상기 연산식에 따라 결정되는 룩업 테이블 내의 제2 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다. 여기서 입력 데이터는, 비디오 데이터와 메타 데이터를 포함할 수 있다.
한편, HDR 처리부(705)는, 제2 리덕션부(790) 내의 고계조 증폭부(851)에서의 제3 계조 변환 모드 또는 제4 계조 변환 모드에 따라, 제1 계조 변환 모드, 또는 제2 계조 변환 모드를 선택할 수도 있다.
예를 들어, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, 제3 계조 변환 모드가 수행되는 경우, 룩업 테이블 내의 제3 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다.
구체적으로, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, 제3 계조 변환 모드가 수행되는 경우, 입력 데이터에 관한 연산식, 및 상기 연산식에 따라 결정되는 룩업 테이블 내의 제3 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다. 여기서 입력 데이터는, 비디오 데이터와 메타 데이터를 포함할 수 있다.
한편, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, 제4 계조 변환 모드가 수행되는 경우, 룩업 테이블 내의 제4 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다.
구체적으로, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, 제4 계조 변환 모드가 수행되는 경우, 입력 데이터에 관한 연산식, 및 상기 연산식에 따라 결정되는 룩업 테이블 내의 제4 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다. 여기서 입력 데이터는, 비디오 데이터와 메타 데이터를 포함할 수 있다.
예를 들어, HDR 처리부(705)는, 제2 리덕션부(790) 내의 고계조 증폭부(851)에서, 제4 계조 변환 모드가 수행되는 경우, 제2 계조 변환 모드를 수행할 수 있다.
다른 예로, HDR 처리부(705)는, 제2 리덕션부(790) 내의 고계조 증폭부(851)에서, 제3 계조 변환 모드가 수행되는 경우, 제1 계조 변환 모드를 수행할 수 있다.
또는, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, HDR 처리부(705)에서의 계조 변환 모드에 따라, 수행되는 계조 변환 모드를 가변할 수도 있다.
예를 들어, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, HDR 처리부(705)에서 제2 계조 변환 모드가 수행되는 경우, 제4 계조 변환 모드를 수행할 수 있다.
다른 예로, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, HDR 처리부(705)에서 제1 계조 변환 모드가 수행되는 경우, 제3 계조 변환 모드를 수행할 수 있다.
한편, 본 발명의 일 실시예에 따른 HDR 처리부(705)는, 저계조와 고계조가 균일하게 변환되도록 계조 변환 모드를 수행할 수 있다.
한편, 제2 리덕션부(790)는, HDR 처리부(705)에서의, 제2 계조 변환 모드에 따라, 제4 계조 변환 모드를 수행하며, 이에 입력되는 영상 신호의 계조의 상한 레벨을 증폭할 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
다음, 제1 리덕션부(reduction unit))(710)는, 입력 영상 신호 또는 HDR 처리부(705)에서 처리된 영상 신호에 대해, 노이즈 제거를 수행할 수 있다.
구체적으로, 제1 리덕션부(reduction unit))(710)는, 입력 영상 신호 또는 HDR 처리부(705)로부터의 HDR 영상에 대해, 상기 다단계 노이즈 제거 처리, 및 제1 단계 계조 확장 처리를 할 수 있다.
이를 위해, 제1 리덕션부(710)는, 다단계로 노이즈 제거를 위한 복수의 노이즈 제거부(715,720)와, 계조 확장을 위한 계조 확장부(725)를 구비할 수 있다.
다음, 인핸스부(enhancement unit)(750)는, 제1 리덕션부(710)로부터의 영상에 대해, 다단계 영상 해상도 향상 처리를 할 수 있다.
또한, 인핸스부(750)는, 오브젝트 입체감 향상 처리를 할 수 있다. 또한, 인핸스부(750)는, 컬러 또는 컨트라스트 향상 처리를 할 수 있다.
이를 위해, 인핸스부(750)는, 다단계로 영상 해상도 향상을 위한 복수의 해상도 향상부(735,738,742), 오브젝트의 입체감 향상을 위한 오브젝트 입체감 향상부(745), 컬러 또는 컨트라스트 향상을 위한 컬러 컨트라스트 향상부(749)를 구비할 수 있다.
다음, 제2 리덕션부(790)는, 제1 리덕션부(710)로부터 입력된 노이즈 제거된 영상 신호에 기초하여, 제2 단계 계조 확장 처리를 수행할 수 있다.
한편, 제2 리덕션부(790)는, 입력되는 신호의 계조의 상한 레벨을 증폭하고, 입력 신호의 도계조의 해상를 확장할 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
예를 들어, 입력되는 신호의 전 계조 영역에 대해 균일하게 계조 확장을 수행할 수 있다. 이에 따라, 입력 영상의 영역에 대해 균일한 계조 확장이 수행되면서, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제2 리덕션부(790)는, 제1 계조 확장부(725)로부터의 입력 신호에 기초하여, 계조 증폭 및 확장을 수행할 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제2 리덕션부(790)는, 사용자 입력 신호에 기초하여, 입력되는 영상 신호가 SDR 영상 신호인 경우, 증폭의 정도를 가변할 수 있다. 이에 따라, 사용자 설정에 대응하여, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제2 리덕션부(790)는, 입력되는 영상 신호가 HDR 영상 신호인 경우, 설정된 값에 따라, 증폭을 수행할 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제2 리덕션부(790)는, 사용자 입력 신호에 기초하여, 입력되는 영상 신호가 HDR 영상 신호인 경우, 증폭의 정도를 가변할 수 있다. 이에 따라, 사용자 설정에 대응하여, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제2 리덕션부(790)는, 사용자 입력 신호에 기초하여, 계조 확장시, 계조 확장의 정도를 가변할 수 있다. 이에 따라, 사용자 설정에 대응하여, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제2 리덕션부(790)는, HDR 처리부(705)에서의, 계조 변환 모드에 따라, 계조의 상한 레벨을 증폭시킬 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
신호 처리 장치(170)는, 영상 신호를 입력받고, 입력되는 영상 신호의 휘도를 조절하는 HDR 처리부(705)와, HDR 처리부(705)로부터의 영상 신호의 휘도를 증폭하고, 영상 신호의 계조 해상도를 증가시켜, 인핸스드(enhanced) 영상 신호를 생성하는 리덕션부(790)를 포함하고, 앤핸스드 영상 신호는, 표시되는 HDR 이미지 내의 하이다이나믹 레인지를 유지하는 동안, 영상 신호의 증가된 휘도와 계조 해상도를 제공한다.
한편, 영상 신호의 휘도 범위는, 신호 처리 장치(170)에 수신되는 제어 신호에 따라 조절된다.
한편, 입력되는 영상 신호가 HDR 신호인지 SDR 신호인지 여부를 결정하고, HDR 처리부(705)로 제공하기 위한 제어 신호를 생성하는 영상 분석부를 더 포함하고, 제어 신호가, 입력되는 영상 신호가 HDR 신호인 것을 나타내는 경우에만 조절된다.
한편, 제어 신호는, 신호 처리와 연관된 영상 표시 장치의 제어부로부터 수신되고, 영상 표시 장치의 설정에 대응한다.
한편, 계조의 해상도는, 영상 신호의 조정된 휘도의 증폭에 기초하여 증가된다.
한편, 계조의 해상도는, 신호 처리 장치(170)에 입력되는 제어 신호에 기초하여 증가된다.
한편, 제어 신호는, 신호 처리와 연관된 영상 표시 장치의 제어부로부터 수신되고, 영상 표시 장치의 설정에 대응한다.
한편, 리덕션부(790)는, 입력되는 신호의 계조의 상한 레벨을 증폭하는 고계조 증폭부(851)와, 고계조 증폭부(851)로부터의 증폭된 계조의 해상도를 확장하는 디컨투어부(842,844)를 포함할 수 있다.
제2 리덕션부(790)는, 제2 단계 계조 확장을 위한 제2 계조 확장부(729)를 구비할 수 있다.
한편, 본 발명의 신호 처리 장치(170) 내의 화질 처리부(635)는, 도 8과 같이, 4단계의 리덕션 처리와, 4단계의 영상 향상 처리를 수행하는 것을 특징으로 한다.
여기서, 4단계 리덕션 처리는, 2단계의 노이즈 제거 처리와, 2단계의 계조 확장 처리를 포함할 수 있다.
여기서, 2단계의 노이즈 제거 처리는, 제1 리덕션부(710) 내의 제1 및 제2 노이즈 제거부(715,720)가 수행하며, 2단계의 계조 확장 처리는, 제1 리덕션부(710) 내의 제1 계조 확장부(725)와, 제2 리덕션부(790) 내의 제2 계조 확장부(729)가 수행할 수 있다.
한편, 4단계 영상 향상 처리는, 3단계의 영상 해상도 향상 처리(bit resolution enhancement)와, 오브젝트 입체감 향상 처리를 구비할 수 있다.
여기서, 3단계의 영상 해상도 향상 처리는, 제1 내지 제3 해상도 향상부(735,738,742)가 처리하며, 오브젝트 입체감 향상 처리는, 오브젝트 입체감 향상부(745)가 처리할 수 있다.
한편, 본 발명의 신호 처리 장치(170)의 제1 특징은, 다단계 화질 처리로서 동일 또는 유사한 알고리즘을 다중 적용하여 점진적으로 화질을 향상시키는 것에 있다.
이를 위해, 본 발명의 신호 처리 장치(170) 내의 화질 처리부(635)는, 동일 또는 유사 알고리즘을 2회 이상 적용하여, 화질 처리를 진행하는 것으로 한다.
한편, 화질 처리부(635)에서 수행되는 동일 또는 유사 알고리즘은, 각 단계별로 달성하고자 하는 목표가 다르며, 점진적으로 다단계 화질 처리를 수행함으로써, 1 단계에 모든 화질을 처리하는 것 대비하여, 영상의 아티팩트(Artifact)가 적게 발생하는 장점이 있으며, 보다 자연스럽고 보다 선명한 영상 처리 결과물을 얻을 수 있다는 장점이 있다.
한편, 동일 또는 유사 알고리즘을, 다른 화질처리 알고리즘과 교차하면서 다중으로 적용함으로써, 단순 연속 처리 이상의 효과를 얻을 수 있게 된다.
한편, 본 발명의 신호 처리 장치(170)의 다른 특징은, 다단계로 노이즈 제거 처리를 하는 것에 있다. 각 단계의 노이즈 제거 처리는 시간(Temporal) 처리와, 공간(Spatial) 처리를 포함할 수 있다. 이에 대해서는 도 9a를 참조하여 기술한다.
도 9a는 도 8의 제1 및 제2 노이즈 제거부(715,720)의 동작 설명을 위채 참조된다.
도면을 참조하면, 제1 및 제2 노이즈 제거부(715,720)는, 각각 시간(Temporal) 노이즈 처리와 공간(Spatial) 노이즈 처리를 수행할 수 있다.
이를 위해, 제1 노이즈 제거부(715)는, 제1 단계 노이즈 제거로서, 시간 노이즈 제거부(810), IPC부(815), 공간 노이즈 제거부(820)를 구비할 수 있다.
제2 노이즈 제거부(720)는, 제2 단계 노이즈 제거로서, 시간 노이즈 제거부(830), 공간 노이즈 제거부(835)를 구비할 수 있다.
시간 노이즈 제거부(810,830)는, 이전 데이터(data)와 현재 데이터(data)를 비교하여 노이즈(noise)를 제거할 수 있다.공간 노이즈 제거부(820,835)는, 현재 데이터(data)에서 데이터내에 포함된 영상 데이터(data)와 주변 영상 데이터들을 비교하여 노이즈(noise)를 제거할 수 있다.
시간 노이즈 제거부(810,830) 및 공간 노이즈 제거부(820,835)에서 사용하는 데이터는 프레임 데이터(Frame data), 혹은 필드 데이터(Field datq)일 수 있다.
한편, 제1 노이즈 제거부(715)는, 입력되는 입력 영상 신호의 원본 데이터의 노이즈를 제거할 수 있다.
제2 노이즈 제거부(720)는, 입력되는 입력 영상 신호의 프레임(frame) 간, 혹은 제1 노이즈 제거부(715)에서의 노이즈 처리 이후, 발생되는 플리커(Flicker)를 제거할 수 있다.
한편, IPC부(815)는, 시간 노이즈 제거부(810), IPC(815), 공간 노이즈 제거부(820) 사이에 수행되며, interlaced progressive conversion을 수행할 수 있다.
IPC부(815)는, 특히, 입력 영상 신호가 인터레이스 영상인 경우, 인터레이스 영상 신호를 프로그레시브 영상 신호로 변환할 수 있다. IPC부(815)에 대한 설명은 도 9b를 참조하여 기술한다.
도 9b는 입력 영상이 인터레이스 영상인 경우, 다단계의 노이즈 처리 설명에 참조되는 도면이다.
도면을 참조하면, 제1 시점에, 인터레이스 영상 중 탑 필드(Top field)에 대한 처리가 수행되며, 제2 시점에 인터레이스 영상 중 바텀 필드(Bottom filed)에 대한 처리가 수행될 수 있다.
구체적으로, 입력 영상 신호가, 인터레이스 영상인 경우, 제1 시점에, 시간 노이즈 제거부(810a)는, 탑 필드(Top field)의 현재 데이터와(To)와, 시간 노이즈 처리 및 피드백되어 메모리(801a)에 저장된 이전 데이터(T-2)를 이용하여, 시간 노이즈 제거 처리를 수행할 수 있다.
그리고, IPC부(815a)는, 시간 노이즈 제거부(810a)에서 시간 노이즈 제거 처리된 탑 필드의 영상 데이터와 메모리(801a)에 저장된 노이즈 제거 처리된 이전 탑 필드의 영상 데이터를 조합하여, interlaced progressive conversion을 수행할 수 있다.
즉, IPC부(815a)는, 시간 노이즈 제거부(810a)에서 시간 노이즈 제거 처리된 탑 필드의 영상 데이터에 기초하여, 탑 필드 기반의 프레임 영상 데이터를 출력할 수 있다.
그리고, 공간 노이즈 제거부(820a)는, IPC부(815a)에서 생성 처리된 탑 필드(Top field) 기반의 프레임 영상 데이터에 대해, 공간 노이즈 제거 처리를 할 수 있다.
다음, 입력 영상 신호가, 인터레이스 영상인 경우, 제2 시점에, 시간 노이즈 제거부(810b)는, 바텀 필드(Bottom filed)의 현재 데이터와(T-1)와, 시간 노이즈 처리 및 피드백되어 메모리(801b)에 저장된 이전 데이터(T-3)를 이용하여, 시간 노이즈 제거 처리를 수행할 수 있다.
그리고, IPC부(815b)는, 시간 노이즈 제거부(810b)에서 시간 노이즈 제거 처리된 바텀 필드의 영상 데이터와 메모리 (801b)에 저장된 노이즈 제거 처리된 이전 바텀 필드의 영상 데이터를 조합하여, interlaced progressive conversion을 수행할 수 있다.
즉, IPC부(815b)는, 시간 노이즈 제거부(810b)에서 시간 노이즈 제거 처리된 바텀 필드의 영상 데이터에 기초하여, 바텀 필드 기반의 프레임 영상 데이터를 출력할 수 있다.
그리고, 공간 노이즈 제거부(820b)는, IPC부(815b)에서 생성 처리된 바텀 필드(Top field) 기반의 프레임 영상 데이터에 대해, 공간 노이즈 제거 처리를 할 수 있다.
그리고, 제2 단계 시간 노이즈 제거부(830)는, 공간 노이즈 제거부(820a)에서 처리된 탑 필드(Top field) 기반의 프레임 영상 데이터와, 공간 노이즈 제거부(820b)에서 처리된 바텀 필드(Bottom filed) 기반의 프레임 영상 데이터에 대해, 시간 노이즈 처리를 수행할 수 있다.
제2 단계 시간 노이즈 제거부(830)가, 탑 필드(Top field) 기반의 프레임 영상 데이터와, 바텀 필드(Bottom filed) 기반의 프레임 영상 데이터를, 함께 처리함으로써, 그 이전 단계에서 함께 처리되지 못하여 발생하는 탑 필드(Top field)와 바텀 필드(Bottom filed) 간의 플리커(Flicker)를 제거할 수 있게 된다. 결국, 인터레이스 영상에서 발생하는 artifact를 제거할 수 있게 된다.
한편, 본 발명의 신호 처리 장치(170)의 다른 특징은, 다단계로 계조 재생(Reproduction) 처리 또는 계조 확장 처리를 수행하는 것에 있다.
입력 영상 신호에 대한 영상 계조는, Bit Resolution을 의미하며 R,G,B 혹은 Y,Cb,Cr의 각 채널별 Bit width를 나타낼 수 있다.
한편, 신호 처리 장치(170) 내에서 처리되는 영상 계조의 비트 수는, 10bit 혹은 그 이상일 수 있다.
한편, 입력 영상 신호의 원본 데이터가, 10bit 이하의 계조 데이터인 경우, 신호 처리 장치(170)는, 계조 재생(Reproduction) 처리 또는 계조 확장(extension) 처리를 수행하여, 계조 데이터를 10bit 이상으로 생성 또는 유지할 수 있다.
이를 위해, 본 발명의 화질 처리부(635)는, 2회 이상의 단계로 계조 확장 처리를 수행할 수 있다. 이에 대해서는 도 9c를 참조하여 기술한다.
도 9c는 계조 확장 처리를 설명하기 위해 참조되는 도면이다.
도 9c를 참조하면, 계조 확장 처리를 위해, 제1 계조 확장부(725), 인핸스부(750), 제2 계조 확장부(729)가 사용될 수 있다.
제1 계조 확장부(725)는, HDR 처리부(705)로부터의 영상 신호에 기초하여, 1차 계조 확장을 수행할 수 있다. 즉, 제1 계조 확장부(725)는, HDR 처리부(705)에서 변환된 계조에 대해, 1차 계조 확장을 수행할 수 있다.
특히, 1차 계조 확장을 위해, 제1 계조 확장부(725)는, 디컨투어부(842,844)와 디더링부(846)을 구비할 수 있다.
구체적으로, 제1 계조 확장부(725)는, 제1 단계 디컨투어(decontour)를 수행하는 제1 디컨투어부(842), 제2 단계 디컨투어를 수행하는 제2 디컨투어부(844), 디더링을 수행하는 디더링부(846)을 구비할 수 있다.
제2 계조 확장부(729)는, 고계조 증폭을 위한 고계조 증폭부(851), 제1 단계 디컨투어(decontour)를 수행하는 제3 디컨투어부(852), 제2 단계 디컨투어를 수행하는 제4 디컨투어부(854), 디더링을 수행하는 디더링부(856)을 구비할 수 있다.
제1 디컨투어부(842)와, 제3 디컨투어부(852)는, 제1 단계 계조 확장으로서, 입력 영상 신호의 계조를 재생성한다.
제2 디컨투어부(844)와, 제4 디컨투어부(854)는, 제2 단계 계조 확장으로서, 내부 처리를 통해 발생하는 계조 손실을 복원할 수 있다.
한편, 제1 계조 확장부(725)와 제2 계조 확장부(729)는, 각 디컨투어부(842,844,852,854) 마다 2회 이상의 내부 코어(Core)를 통과시키고, 해당 코어(Core) 마다 계조를 수 비트(bit) 씩 점진적으로 증가시킬 수 있다. 예를 들어, 채널당 14bit까지 계조를 재생성할 수 있다.
한편, 각 디컨투어부(842,844,852,854)에서 확장된 계조는, 각각 디더링부(846,856)에서 디더링될 수 있으며, 이에 따라, 정보 손실을 최소화할 수 있다.
한편, 고계조 증폭부(851)는, 입력되는 신호의 계조의 상한 레벨을 증폭할 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제3 및 제4 디컨투어부(852,854)는, 고계조 증폭부(851)로부터의 증폭된 도계조의 해상를 확장할 수 있다.
한편, 고계조 증폭부(851)는, 영상 내 밝은 부분의 계조 표현력을 증폭하여 밝은 부분에 대한 부스팅(Boosting)을 수행할 수 있다.
예를 들어, 고계조 증폭부(851)는, 영상 내 제1 휘도 이상의 영역에 대해 계조 표현력을 증폭하여 제1 휘도 이상의 영역에 대한 부스팅(Boosting)을 수행할 수 있다.
고계조 증폭부(851)는, 입력 영상 신호의 광원 또는 반사광 영역 등을 찾아 해당 영역을 10Bit 표현 범위(0~1023)를 초과하는 밝기가 되도록 증폭 처리할 수 있다.
이와 같이, 입력 영상 신호의 광원 또는 반사광 영역을 찾아 더욱 밝게 함으로써 고계조 영역의 정보를 증폭해 HDR과 유사한 효과를 제공할 수 있게 된다.
한편, 제2 계조 확장부(729)는, OSD 정보를 입력 받아, OSD 영역에 별도의 화질 처리를 할 수 있다.
이때, 제2 계조 확장부(729)는, OSD 영역에 대해서는, 고계조 증폭 처리를 하지 않을 수 있다.
한편, 고계조 증폭부(851)는, 인핸스부(750)로부터의 영상 또는 OSD 정보를 수신할 수 있다.
예를 들어, 고계조 증폭부(851)는, 인핸스부(750)로부터 영상을 수신하는 경우, 수신되는 영상에 대해, 고계조 증폭을 수행할 수 있다. 특히, 최대 계조의 상한 레벨을 증폭시킬 수 있다.
한편, 고계조 증폭부(851)는, OSD 정보가 수신되는 경우, OSD 정보에 대응하는 영역에 대해, 고계조 증폭을 수행하지 않을 수 있다.
또한, 고계조 증폭부(851)는, 수신되는 영상 내에, 기타 정보(예를 들어, 자막 정보 또는 로고 정보)가 포함되는 경우, 기타 정보(예를 들어, 자막 정보 또는 로고 정보)에 대응하는 영역에 대해, 고계조 증폭을 수행하지 않을 수 있다.
이에 따라, OSD 영역 또는 기타 정보 영역은, 고계조 증폭 없이, 제1 단계 디컨투어(decontour)를 수행하는 제3 디컨투어부(852), 제2 단계 디컨투어를 수행하는 제4 디컨투어부(854), 디더링을 수행하는 디더링부(856)를 거쳐 처리될 수 있다.
도 10a 내지 도 16은 도 7의 신호 처리부(170)의 동작 설명에 참조되는 도면이다.
영상 신호의 원본 퀄리티를 연산하기 위해, 본 발명에서는, 인공지능과 같은 최신의 기술을 사용한다.
특히, 퀄리티 연산부(632)는, 심층 신경망(Deep Neural Network)을 이용하여, 수신되는 영상 신호의 해상도와, 노이즈 수준을 연산한다.
퀄리티 연산부(632) 또는 퀄리티 연산부(670)는, 원본 해상도 및 압축 수준 별 학습 영상을 취득하여 정확도가 향상되도록 Network를 학습시킬 수 있다.
학습에 사용한 영상은 일상의 방송에서 접할 수 있는 일반적인 영상으로 다양한 영상으로 구비되어 전체 입력 환경을 커버할 수 있다.
한편, 퀄리티 연산부(632)는, 검출시 필요한 시간 또는 비용 감축을 목적으로 계층수가 적은 Convolutional Neural Network, Mobile-Net 등을 활용하여 학습을 진행할 수 있다.
예를 들어, 퀄리티 연산부(632)는, 전체 영상 중 일부 영역(예: 224x224, 128x128, 64x64)만을 분석할 수 있다.
한편, 퀄리티 연산부(632)는, 검출 목적에 맞는 적절한 검출 영역을 선택할 수 있다.
예를 들어, 퀄리티 연산부(632)는, 원본 해상도 검출시, Edge 성분이 가장 많은 제1 영역을 선택하고, 노이즈 검출시, Edge 성분이 가장 적은 제2 영역을 선택할 수 있다.
특히, 퀄리티 연산부(632)는, 처리 속도 향상을 목적으로 검출 영역을 빠르게 선정하는 알고리즘 적용할 수 있다.
예를 들어, 퀄리티 연산부(632)는, 검출 정확도 향상을 목적으로 검출 영역에, FFT(Fast Fourier Transform)과 같은 전처리 작업을 수행할 수 있다.
도 10a는 Convolutional Neural Network에 기반한 연산을 도시하는 도면이다.
도면을 참조하면, 획득된 이미지(1010) 내의 일부 영역(1015)에 대해, 컨벌루션 뉴럴 네트워크(convolutional Neural Network)를 사용한다.
컨벌루션 뉴럴 네트워크는, 컨벌루션 네트워크(Convolution network)와, 디컨벌루션 네트워크(Deconvolution network)가 수행될 수 있다.
이러한 컨벌루션 뉴럴 네트워크에 의하면, 컨벌루션(convolution), 풀링(pooling)이 반복적으로 수행된다.
한편, 도 10a의 CNN 기법에 의하면, 일부 영역(1015) 내의 픽셀(pixel)의 종류를 판단하기 위해, 영역(1015)의 정보가 사용될 수 있다.
도 10b는 Mobile-Net에 기반한 연산을 도시하는 도면이다.
도면과 같은 방식에 의해, 퀄리티 연산이 수행되게 된다.
한편, 본 발명의 신호 처리부(170)는, 원본 Quality 가 변함에 따라 실시간으로 Quality에 상응하는 화질 세팅이 적용되도록 한다.
특히, 신호 처리부(170)는, 화질 세팅 변경시, 채널 변경 또는 입력 변경 등의 조건없이 영상 재생 중에 세팅이 변경되도록 한다.
여기서 실시간이라 하는 것은 IIR 방식 , Step 이동 방식을 포함한 Temporal 처리 기술을 사용하는 것을 의미한다.
도 11은 수신되는 영상 신호의 원본 퀄리티가, 제1 시점에 가변되는 것을 예시한다.
도면을 참조하면, 화질 설정부(634)는, 수신되는 영상 신호의 원본 퀄리티가, 제1 시점(ta)에 가변되는 경우, 화질 설정을 제1 설정(La)에서 제2 설정(Lb)으로 순차적으로 가변한다. 특히, 제2 설정(Lb)이, 제1 시점(ta) 이후인 제2 시점(tb)이 되도록 제어한다.이에 따라, 수신되는 영상 신호의 원본 퀄리티 가변에 따른 화질 변경시 깜박거림을 저감할 수 있게 된다. 특히, 영상 신호의 원본 퀄리티 가변시 급격한 화질 변경이 수행되지 않으므로, 부드러운 화질 변경이 가능하게 된다.
한편, 화질 설정부(634)는, 영상 재생 중에, 수신되는 영상 신호의 원본 퀄리티가, 제1 시점에 가변되는 경우, 화질 설정을 제1 설정에서 제2 설정으로 순차적으로 가변할 수 있다. 이에 따라, 수신되는 영상 신호의 원본 퀄리티의 가변시 실시간으로 화질 설정을 변경할 수 있게 된다. 특히, 영상 신호의 원본 퀄리티 가변시 급격한 화질 변경이 수행되지 않으므로, 부드러운 화질 변경이 가능하게 된다.
한편, 신호 처리부(170)는, 입력 영상의 Quality에 따라 화질의 Enhancement 처리 강도를 조절하여 영상의 선명도를 높이도록 한다.
예를 들어, 높은 퀄리티의 영상에는 화면 잡음이 작으며, 영상 깨짐이 상대적으로 적게 된다. 또한, 영상 내의 Texture 및 Edge는 살아있어 보다 또렷하게 보일경우 좋은 화질을 보여주게 된다.
한편, 신호 처리부(170)는, enhancement를 영상 품질에 맞추어 처리할 수 있다. 이에 의하면 나쁜 성분의 증폭을 억제하고 좋은 성분은 키워서 좋은 화질을 만들 수 있게 된다.
도 12a의 (a)는 낮은 품질의 영상 입력을 예시하며, 도 12a의 (b)는 낮은 품질의 영상을 증폭한 것을 예시한다.
도면을 참조하면, 낮은 품질의 영상을 증폭시, 화질이 더 나빠지는 것을 알 수 있다.
도 12b의 (a)는 높은 품질의 영상 입력을 예시하며, 도 12b의 (b)는 높은 품질의 영상을 증폭한 것을 예시한다.
도면을 참조하면, 높은 품질의 영상을 증폭시, 화질이 좋아지는 것을 알 수 있다.
한편, 신호 처리부(170)는, 입력 영상의 Quality에 따라 화질의 Noise Reduction 처리 강도를 조절하여 영상의 Noise를 제거하도록 동작한다. 노이즈 리덕션은, 도 8의 제1 리덕션부(720)에서 수행될 수 있다.
Noise Reduction의 특징은 Noise를 제거함과 동시에 영상 내에 끌림 또는 뭉개짐등의 blur를 수반하는 것에 있다.
이에 따라, 화질 처리부(635)는, Noise가 없는 영상에서는 Noise Reduction기능을 약하게 사용하는 것이 바람직하며, Noise가 강할 경우에는 충분한 강도의 Noise Reduction을 적용하는 것이 바람직하다.
한편, Noise가 강할 경우에는 충분한 강도의 Noise Reduction을 적용하지 못하면 깜박거림, 지글거림 등의 문제가 발생할 수 있다.
도 13a는 노이즈가 적은 영상(1310)을 예시하며, 이러한 경우 Noise Reduction 처리가 필요 없을 수 있다.
도 13b는 노이즈가 많은 영상(1320)을 예시하며, 이러한 경우 강한 Noise Reduction 처리가 필요하게 된다.
도 13c는 영상의 노이즈 수준과 노이즈 리덕션 처리의 강도의 상관 관계를 도시한 도면이다.
도면을 참조하면, 노이즈 리덕션 처리의 강도의 하한은 Sa 이며, 상한은 Sb로 설정될 수 있으며, 노이즈가, Na 인 경우, 노이즈 리덕션 강도를 Sa로 설정하고, 노이즈가, Nb 인 경우, 노이즈 리덕션 강도를 Sb로 설정할 수 있다.
한편, 노이즈가, Na 에서 Nb로 증가하는 경우, 노이즈 리덕션 강도는, Sa 에서 Sb로 순차적으로 증가할 수 있다.
한편, 신호 처리부(170)는, 측정된 입력 영상의 Quality에 따라 압축 영상에 대한 Enhancement와 Noise Reduction 처리를 조절하여 영상 Quality를 높일 수 있다.
압축 노이즈는 영상의 압축 수준에 따라 강도가 달라지며 일반적으로 압축을 많이할 수록 증가한다. 압축을 많이 하면 detail은 소실되고 blocking, mosquito, contour 등의 노이즈가 수반된다.
이에, 신호 처리부(170)는, 압축이 많은 영상에서는 Enhance를 줄이고 Blur filter 적용을 세게하는 것이 바람직하다.
한편, 영상에 있어서 압축 정도는 프레임 단위로 판단한 수준을 부분 적용 할 수 있다.
한편, 신호 처리부(170)는, Quality Measure 결과에 따라 노이즈 리덕션과 인핸스(Enhance)의 밸런스를 맞추어 최종적인 Quality를 증가시킬 수 있다.
노이즈 리덕션은 도 8의 제1 리덕션부(710)에서 수행될 수 있으며, 인핸스 처리는, 도 8의 인핸스부(750)에서 수행될 수 있다.
도 14a는 압축을 적게한 영상(1410)을 예시하며, 이러한 경우 인핸스 처리가 필요할 수 있다.
도 14b는 압축을 많이한 영상(1420)을 예시하며, 이러한 경우 블러(blur) 처리가 필요할 수 있다.
도 14c는 영상의 압축 수준과 인핸스 처리의 강도의 상관 관계를 도시한 도면이다.
도면을 참조하면, 인핸스 처리의 강도의 하한은 Eb 이며, 상한은 Ea로 설정될 수 있으며, 압축율이 Ca 인 경우, 인핸스 처리 강도를 Eb로 설정하고, 압축율이, Cb 인 경우, 인핸스 처리 강도를 Ea로 설정할 수 있다.
한편, 신호 처리부(170)는, 압축율이, Ca 에서 Cb로 증가하는 경우, 인핸스 처리 강도는, Eb 에서 Ea로 순차적으로 감소하도록 제어할 수 있다.
도 14d는 영상의 압축 수준과 블러 처리의 강도의 상관 관계를 도시한 도면이다.
도면을 참조하면, 블러 처리의 강도의 하한은 Ba 이며, 상한은 Bb로 설정될 수 있으며, 압축율이 C1 인 경우, 블러 처리 강도를 Ba로 설정하고, 압축율이, C2 인 경우, 블러 처리 강도를 Bb로 설정할 수 있다.
한편, 신호 처리부(170)는, 압축율이, C1 에서 C2로 증가하는 경우, 블러 처리 강도는, Ba 에서 Bb로 순차적으로 증가하도록 제어할 수 있다.
한편, 신호 처리부(170)는, 고해상도의 영상이 들어 올 수록 Filter의 크기를 작게하여 Resolution이 높아지도록 제어할 수 있다.
예를 들어, 저해상도 영상의 경우 저주파수의 굵직한 Texture가 포함되기 때문에 이러한 성분을 살리기에는 큰 Filter 가 필요하다.
다른 예로, 고해상도 영상의 경우 고주파수의 가는 Texture가 포함되기 때문에 이러한 성분을 살리기에는 작은 Filter 가 필요하다.
이에 의하면, 영상의 해상도에 따라서 상응하는 Filter 크기를 적용함으로서 Enhance 및 Noise reduction의 효과를 극대화 할 수 있게다.
한편, 본 발명에서는, 원본 퀄리티 변경시, 화질 세팅이 시간이 지남에 따라 서서히 변경되도록 한다.
이때, 실시간 화질 세팅 적용을 위하여, 변경 과정이 시청자가 느껴지지 못하도록 서서히 동작을 하도록 하는 방식이 필요하다.
이를 위해, 본 발명에서는, 스텝(Step) 이동방식, IIR 방식 등에 기반하여, 순차적으로 화질 세팅을 가변하는 것으로 한다.
스텝(Step) 이동방식은, 유저가 느끼지 못할 작은 단위로 이동량을 정하고 현재에서의 방향성을 고려한 Step만큼 매 처리시 이동하는 처리 방식을 나타낸다.
IIR 방식은 과거 세팅이 가지는 Weight를 높게 설정하여 현재 세팅을 조금씩만 반영해서 Update 해 나가는 방식을 나타낸다.
한편, 이러한 Temporal 처리 방식에는 여러가지가 있을 수 있으나, 모든 실시간으로 조금씩 반영을 해 나가서 화질 세팅을 영상에 상응하게 변경하는 것을 모두 포함하는 개념일 수 있다.
도 15a는 영상 해상도에 따른 인핸스 처리를 순차적으로 수행하는 것을 나타내는 순서도이다.
도면을 참조하면, 퀄리티 연산부(632)는, 입력 영상의 해상도별 확률을 연산한다(S1505). 그리고, 입력 영상의 해상도를 결정한다(S1510).
다음, 화질 설정부(634) 또는 퀄리티 연산부(632)는, 입력 영상의 해상도별 확률이 소정치 이상인지 여부를 판단하고(S515), 해당하는 경우, 화질 설정부(634)는, 해상도에 따른 인핸스 처리의 목표 강도를 연산한다(S1520).
다음, 화질 설정부(634)는, 인핸스 처리의 목표 강도와 현재 강도를 비교하고(S1522), 목표 강도가 현재 강도 보다 낮거나 같은 경우, 방향 레벨을 감소시키며(S1524), 목표 강도가 현재 강도 보다 더 높은 경우, 방향 레벨을 증가시킨다(S1526).
다음, 화질 설정부(634)는, 현재 강도와 방향 레벨에 기초하여 인핸스 처리 설정을 수행한다(S1530).
그리고, 화질 처리부(635)는, 화질 설정부(634)에서 설정된 인핸스 처리 설정에 따라, 인핸스 처리를 수행한다(S1535).
한편, 제1515 단계(S1515)에서, 확율이 소정치 이하인 경우, 현재 설정을 그대로 유지한다(S1540).
이에 따라, 영상 해상도에 따른 인핸스 처리를 순차적으로 수행할 수 있게 된다.
도 15b는 해상도에 따른 노이즈 리덕션 처리를 순차적으로 수행하는 것을 나타내는 순서도이다.
도면을 참조하면, 퀄리티 연산부(632)는, 입력 영상의 해상도별 확률을 연산한다(S1605). 그리고, 입력 영상의 해상도를 결정한다.
퀄리티 연산부(632)는, 입력 영상의 노이즈 수준을 연산한다(S1610).
다음, 화질 설정부(634)는, 해상도에 따른 노이즈 리덕션 처리의 목표 강도를 연산한다(S1620).
다음, 화질 설정부(634)는, 노이즈 리덕션 처리의 목표 강도와 현재 강도를 비교하고(S1622), 목표 강도가 현재 강도 보다 더 높은 경우, 방향 레벨을 증가시키며(S1624), 목표 강도가 현재 강도 보다 낮거나 같은 경우, 방향 레벨을 감소가시킨다(S1626).
다음, 화질 설정부(634)는, 현재 강도와 방향 레벨에 기초하여 노이즈 리덕션 처리 설정을 수행한다(S1630).
그리고, 화질 처리부(635)는, 화질 설정부(634)에서 설정된 노이즈 리덕션 처리 설정에 따라, 노이즈 리덕션 처리를 수행한다(S1635).
이에 따라, 영상 해상도에 따른 노이즈 리덕션 처리를 순차적으로 수행할 수 있게 된다.
다음, 본 발명의 실시예에 따른 영상표시장치(100)는, 영상 평가의 결과와 화질 세팅의 적용 과정을 화면에 표시할 수 있다.
즉, 영상표시장치(100)는, 영상평가 기능이 잘 동작하고 있음을 디스플레이(180)를 통해 알려줄 수 있다. 특히, 화면내의 OSD를 활용하여 영상의 일부분에 표지를 함으로서 이를 표시할 수 있다. .
도 16은 원본 퀄리티를 나타내는 제1 오브젝트(1610)와, 원본 퀄리티에 따라 설정되는 화질을 나타내는 제2 오브젝트(1620)가 표시되는 것을 예시한다.
도면을 참조하면, 영상표시장치(100)의 디스플레이(180)는, 도 7 등의 신호 처리부(170)에서 신호 처리된 영상(1605)를 표시할 수 있다.
이때, 디스플레이(180)는, 수신되는 영상 신호의 연산된 원본 퀄리티를 나타내는 제1 오브젝트(1610)와, 원본 퀄리티에 따라 설정되는 화질을 나타내는 제2 오브젝트(1620)를, 영상(1605)와 함께 표시할 수 있다. 이에 따라, 사용자는 원본 퀄리티와 설정되는 화질을 용이하게 파악할 수 있게 된다.
한편, 디스플레이(180)는, 수신되는 영상 신호의 원본 퀄리티가 가변되는 경우, 소정 시간 동안, 제1 오브젝트(1610)와 제2 오브젝트(1620)를 표시할 수 있다. 이에 따라, 원본 퀄리티 가변시, 사용자는 원본 퀄리티와 설정되는 화질을 용이하게 파악할 수 있게 된다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (19)

  1. 외부의 셋탑 박스 또는 네트워크를 통해 수신되는 영상 신호의 원본 퀄리티를 연산하는 퀄리티 연산부;
    상기 연산된 원본 퀄리티에 따라, 상기 영상 신호의 화질을 설정하는 화질 설정부;
    상기 설정된 화질에 따라, 상기 영상 신호의 화질 처리를 수행하는 화질 처리부;를 포함하고,
    상기 화질 설정부는,
    수신되는 영상 신호의 원본 퀄리티가, 제1 시점에 가변되는 경우, 화질 설정을 제1 설정에서 제2 설정으로 순차적으로 가변하며,
    상기 화질 처리부는,
    상기 제1 설정에서 상기 제2 설정으로 순차 가변되는 화질 설정에 따라, 화질 처리를 수행하는 것을 특징으로 하는 신호 처리 장치.
  2. 제1항에 있어서,
    상기 화질 설정부는,
    영상 재생 중에, 수신되는 영상 신호의 원본 퀄리티가, 제1 시점에 가변되는 경우, 화질 설정을 제1 설정에서 제2 설정으로 순차적으로 가변하는 것을 특징으로 하는 신호 처리 장치.
  3. 제1항에 있어서,
    상기 화질 설정부는,
    상기 셋탑 박스로부터 영상 신호가 수신되는 상태에서, 채널 변경 또는 입력 변경에 따라, 수신되는 영상 신호의 원본 퀄리티가, 제1 시점에 가변되는 경우, 화질 설정을 제1 설정에서 제2 설정으로 순차적으로 가변하는 것을 특징으로 하는 신호 처리 장치.
  4. 제1항에 있어서,
    상기 퀄리티 연산부는,
    상기 수신되는 영상 신호의 원본의 해상도와, 노이즈 수준을 연산하는 것을 특징으로 하는 신호 처리 장치.
  5. 제4항에 있어서,
    상기 퀄리티 연산부는,
    심층 신경망(Deep Neural Network)을 이용하여, 상기 수신되는 영상 신호의 해상도와, 노이즈 수준을 연산하는 것을 특징으로 하는 신호 처리 장치.
  6. 제4항에 있어서,
    상기 퀄리티 연산부는,
    서버로부터 심층 신경망에 대한 파라미터를 업데이트하고, 상기 업데이트된 파라미터에 기초하여, 상기 수신되는 영상 신호의 해상도와, 노이즈 수준을 연산하는 것을 특징으로 하는 신호 처리 장치.
  7. 제4항에 있어서,
    상기 퀄리티 연산부는,
    상기 영상 신호의 제1 영역 및 제2 영역을 추출하고,
    상기 제1 영역에 기초하여, 상기 영상 신호의 원본의 해상도를 연산하며,
    상기 제2 영역에 기초하여, 상기 영상 신호의 노이즈 수준을 연산하는 것을 특징으로 하는 신호 처리 장치.
  8. 제7항에 있어서,
    상기 퀄리티 연산부는,
    상기 영상 신호 내에 에지 성분이 가장 많은 영역을 상기 제1 영역으로 추출하고,
    상기 영상 신호 내에 에지 성분이 가장 적은 영역을 상기 제2 영역으로 추출하는 것을 특징으로 하는 신호 처리 장치.
  9. 제4항에 있어서,
    상기 화질 처리부는,
    상기 연산된 노이즈 수준이 높을수록, 상기 영상 신호의 노이즈 리덕션 처리 강도가 커지도록 제어하는 것을 특징으로 하는 신호 처리 장치.
  10. 제1항에 있어서,
    상기 퀄리티 연산부는,
    상기 수신되는 영상 신호의 원본의 해상도, 노이즈 수준 및 압축 수준을 연산하며,
    압축 비트 레이트를 낮추어 가면서 취득한 학습 데이터에 기초하여, 압축 수준을 연산하는 것을 특징으로 하는 신호 처리 장치.
  11. 제10항에 있어서,
    상기 화질 처리부는,
    상기 연산된 압축 수준이 높을수록, 상기 영상 신호의 인핸스 처리 강도가 작아지도록 제어하는 것을 특징으로 하는 신호 처리 장치.
  12. 제10항에 있어서,
    상기 화질 처리부는,
    상기 영상 신호의 원본의 해상도가 커질수록, 상기 영상 신호의 인핸스 처리 강도가 커지도록 제어하는 것을 특징으로 하는 신호 처리 장치.
  13. 제10항에 있어서,
    상기 화질 처리부는,
    상기 연산된 압축 수준이 높을수록, 상기 영상 신호의 블러 처리 강도가 커지도록 제어하는 것을 특징으로 하는 신호 처리 장치.
  14. 제4항에 있어서,
    상기 화질 처리부는,
    상기 영상 신호의 원본의 해상도가 커질수록 상기 영산 신호의 필터링을 위한 필터의 사이즈가 작아지도록 제어하는 것을 특징으로 하는 신호 처리 장치.
  15. 제4항에 있어서,
    상기 화질 처리부는,
    상기 영상 신호의 원본의 해상도에 따라, 상기 영상 신호를 다운 스케일링 한 이후, 상기 다운 스케일링된 영상 신호에 대해 화질 처리를 수행하고, 화질 처리 수행된 영상 신호를 업 스케일링하고, 업 스케일링된 영상 신호를 출력하는 것을 특징으로 하는 신호 처리 장치.
  16. 외부의 셋탑 박스 또는 네트워크를 통해 수신되는 영상 신호의 원본 퀄리티를 연산하는 퀄리티 연산부;
    상기 연산된 원본 퀄리티에 따라, 상기 영상 신호의 화질을 설정하는 화질 설정부;
    상기 설정된 화질에 따라, 상기 영상 신호의 화질 처리를 수행하는 화질 처리부;를 포함하고,
    상기 퀄리티 연산부는,
    서버로부터 심층 신경망에 대한 파라미터를 업데이트하고, 상기 업데이트된 파라미터에 기초하여, 상기 수신되는 영상 신호의 해상도와, 노이즈 수준을 연산하는 것을 특징으로 하는 신호 처리 장치.
  17. 외부의 셋탑 박스 또는 네트워크를 통해 영상 신호를 수신하는 영상 수신부;
    상기 영상 수신부에서 수신되는 영상 신호에 대한 신호 처리를 수행하는 신호 처리부;
    상기 신호 처리부에서 처리된 영상을 표시하는 디스플레이;를 포함하며,
    상기 신호 처리부는,
    제1항 내지 제16항 중 어느 한 항의 신호 처리 장치를 포함하는 것을 특징으로 하는 영상표시장치.
  18. 제17항에 있어서,
    상기 디스플레이는,
    수신되는 영상 신호의 연산된 원본 퀄리티를 나타내는 제1 오브젝트와,
    상기 원본 퀄리티에 따라 설정되는 화질을 나타내는 제2 오브젝트를 표시하는 것을 특징으로 하는 영상표시장치.
  19. 제18항에 있어서,
    상기 디스플레이는,
    수신되는 영상 신호의 원본 퀄리티가 가변되는 경우, 소정 시간 동안, 상기 제1 오브젝트와 상기 제2 오브젝트를 표시하는 것을 특징으로 하는 영상표시장치.
PCT/KR2019/013942 2018-10-23 2019-10-23 신호 처리 장치 및 이를 구비하는 영상표시장치 WO2020085781A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/287,731 US11616930B2 (en) 2018-10-23 2019-10-23 Signal processing device and video display device comprising same
EP19876791.5A EP3873090A4 (en) 2018-10-23 2019-10-23 SIGNAL PROCESSING DEVICE AND VIDEO DISPLAY DEVICE COMPRISING THE SAME
US17/938,107 US11849250B2 (en) 2018-10-23 2022-10-05 Signal processing device and video display device comprising same
US18/523,259 US20240098215A1 (en) 2018-10-23 2023-11-29 Signal processing device and video display device comprising same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0126634 2018-10-23
KR1020180126634A KR102627646B1 (ko) 2018-10-23 2018-10-23 신호 처리 장치 및 이를 구비하는 영상표시장치

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/287,731 A-371-Of-International US11616930B2 (en) 2018-10-23 2019-10-23 Signal processing device and video display device comprising same
US17/938,107 Continuation US11849250B2 (en) 2018-10-23 2022-10-05 Signal processing device and video display device comprising same

Publications (1)

Publication Number Publication Date
WO2020085781A1 true WO2020085781A1 (ko) 2020-04-30

Family

ID=70331598

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/013942 WO2020085781A1 (ko) 2018-10-23 2019-10-23 신호 처리 장치 및 이를 구비하는 영상표시장치

Country Status (4)

Country Link
US (3) US11616930B2 (ko)
EP (1) EP3873090A4 (ko)
KR (1) KR102627646B1 (ko)
WO (1) WO2020085781A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023281336A1 (en) * 2021-07-07 2023-01-12 Ssimwave Inc. Automatic visual media transmission error assessment
EP4184425A4 (en) * 2021-01-27 2024-02-21 Samsung Electronics Co., Ltd. IMAGE PROCESSING APPARATUS AND ITS OPERATING METHOD

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102627646B1 (ko) 2018-10-23 2024-01-19 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
WO2021251614A1 (en) 2020-06-12 2021-12-16 Samsung Electronics Co., Ltd. Image processing apparatus and method of operating the same
WO2022091326A1 (ja) * 2020-10-30 2022-05-05 富士通株式会社 サーバ、制御方法、および制御プログラム
CN114930385A (zh) * 2020-12-03 2022-08-19 京东方科技集团股份有限公司 用于缺陷分析的计算机实现的方法、用于缺陷分析的设备、计算机程序产品和智能缺陷分析***
KR20220108610A (ko) * 2021-01-27 2022-08-03 삼성전자주식회사 영상 처리 장치 및 그 동작방법
WO2023008678A1 (ko) * 2021-07-30 2023-02-02 삼성전자 주식회사 영상 처리 장치 및 그 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090011515A (ko) * 2007-07-26 2009-02-02 삼성전자주식회사 화질 개선방법, 이를 적용한 영상신호 처리장치 및ａｖ기기
US20120057078A1 (en) * 2010-03-04 2012-03-08 Lawrence Fincham Electronic adapter unit for selectively modifying audio or video data for use with an output device
KR20140145801A (ko) * 2013-06-14 2014-12-24 전북대학교산학협력단 신경망을 이용한 영상의 화질 개선 시스템 및 방법
KR20170078516A (ko) * 2015-12-29 2017-07-07 삼성전자주식회사 신경망 기반 영상 신호 처리를 수행하는 방법 및 장치
US20180122048A1 (en) * 2016-03-18 2018-05-03 Magic Pony Technology Limited Generative methods of super resolution

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6567117B1 (en) * 1998-09-09 2003-05-20 Nippon Telegraph And Telephone Corporation Method for regulating image quality, picture communication equipment using same and recording medium having recorded therein a program for executing the method
EP1843294B1 (en) * 2005-01-14 2010-09-15 Morpho Inc. Motion vector calculation method, hand-movement correction device using the method, imaging device, and motion picture generation device
JP3863904B1 (ja) 2005-03-30 2006-12-27 シャープ株式会社 液晶表示装置
JP4211838B2 (ja) * 2006-11-09 2009-01-21 ソニー株式会社 撮像装置および画像処理方法
KR20110042980A (ko) * 2009-10-20 2011-04-27 삼성전자주식회사 반복 처리를 통해 화질을 개선하는 디스플레이 장치 및 이에 적용되는 영상 처리 방법
JP2012019380A (ja) * 2010-07-08 2012-01-26 Sony Corp 画像処理装置及び画像処理方法
JPWO2014102876A1 (ja) * 2012-12-27 2017-01-12 パナソニックＩｐマネジメント株式会社 画像処理装置、および、画像処理方法
JP6319545B2 (ja) * 2013-03-15 2018-05-09 パナソニックＩｐマネジメント株式会社 画像符号化装置、撮影システム、撮影記録システム、画質符号化方法、及び画像符号化制御プログラム
US20160343113A1 (en) * 2015-05-18 2016-11-24 Sharp Laboratories Of America, Inc. System for enhanced images
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
US10798387B2 (en) * 2016-12-12 2020-10-06 Netflix, Inc. Source-consistent techniques for predicting absolute perceptual video quality
GB2557997B (en) * 2016-12-21 2019-05-01 Apical Ltd Encoding and Decoding of image data
JP6606530B2 (ja) * 2017-06-20 2019-11-13 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、監視システム
JP6958718B2 (ja) * 2018-02-27 2021-11-02 株式会社ソシオネクスト ノイズ除去装置およびノイズ除去方法
JP7046661B2 (ja) * 2018-03-15 2022-04-04 キヤノン株式会社 表示装置およびその制御方法、プログラム
KR102627646B1 (ko) 2018-10-23 2024-01-19 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090011515A (ko) * 2007-07-26 2009-02-02 삼성전자주식회사 화질 개선방법, 이를 적용한 영상신호 처리장치 및ａｖ기기
US20120057078A1 (en) * 2010-03-04 2012-03-08 Lawrence Fincham Electronic adapter unit for selectively modifying audio or video data for use with an output device
KR20140145801A (ko) * 2013-06-14 2014-12-24 전북대학교산학협력단 신경망을 이용한 영상의 화질 개선 시스템 및 방법
KR20170078516A (ko) * 2015-12-29 2017-07-07 삼성전자주식회사 신경망 기반 영상 신호 처리를 수행하는 방법 및 장치
US20180122048A1 (en) * 2016-03-18 2018-05-03 Magic Pony Technology Limited Generative methods of super resolution

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3873090A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4184425A4 (en) * 2021-01-27 2024-02-21 Samsung Electronics Co., Ltd. IMAGE PROCESSING APPARATUS AND ITS OPERATING METHOD
WO2023281336A1 (en) * 2021-07-07 2023-01-12 Ssimwave Inc. Automatic visual media transmission error assessment

Also Published As

Publication number Publication date
EP3873090A1 (en) 2021-09-01
US20230044956A1 (en) 2023-02-09
US20240098215A1 (en) 2024-03-21
KR20200045740A (ko) 2020-05-06
EP3873090A4 (en) 2022-11-02
US20210400231A1 (en) 2021-12-23
KR102627646B1 (ko) 2024-01-19
US11616930B2 (en) 2023-03-28
US11849250B2 (en) 2023-12-19

Similar Documents

Publication Publication Date Title
WO2020085781A1 (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
WO2019168332A1 (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
WO2020149619A1 (ko) 비디오 월
WO2020139018A2 (en) Signal processing device and image display apparatus including the same
WO2020145659A1 (en) Signal processing device and image display apparatus including the same
WO2016056787A1 (en) Display device and method of controlling the same
WO2020204472A1 (ko) 영상표시장치
WO2019231235A1 (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
WO2019039634A1 (ko) 영상표시장치
WO2010039005A2 (ko) 화질 조정 방법 및 그를 이용한 영상 표시 장치.
WO2020139017A1 (en) Image display apparatus
WO2021040445A1 (en) Image display apparatus
WO2016104952A1 (en) Display apparatus and display method
WO2021040447A1 (en) Image display apparatus
WO2020185035A1 (ko) 비디오 월
WO2021060808A1 (en) Signal processing device and image display apparatus including same
WO2020060186A1 (ko) 영상표시장치
WO2021085679A1 (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
WO2019078542A1 (en) IMAGE DISPLAY APPARATUS
WO2019078541A1 (en) IMAGE DISPLAY APPARATUS
WO2021221192A1 (ko) 디스플레이 장치, 및 이를 구비하는 영상표시장치
WO2020138962A1 (ko) 영상표시장치
WO2021049857A1 (en) Signal processing device and image display apparatus including the same
WO2021112306A1 (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
WO2024147383A1 (ko) 영상표시장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19876791

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019876791

Country of ref document: EP

Effective date: 20210525