WO2018048093A1 - 디스플레이장치 및 그 제어방법 - Google Patents

디스플레이장치 및 그 제어방법 Download PDF

Info

Publication number
WO2018048093A1
WO2018048093A1 PCT/KR2017/008010 KR2017008010W WO2018048093A1 WO 2018048093 A1 WO2018048093 A1 WO 2018048093A1 KR 2017008010 W KR2017008010 W KR 2017008010W WO 2018048093 A1 WO2018048093 A1 WO 2018048093A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
processing
unit
region
Prior art date
Application number
PCT/KR2017/008010
Other languages
English (en)
French (fr)
Inventor
한영석
김종환
박세혁
Original Assignee
삼성전자(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자(주) filed Critical 삼성전자(주)
Priority to US16/324,678 priority Critical patent/US20190180427A1/en
Publication of WO2018048093A1 publication Critical patent/WO2018048093A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Definitions

  • the present invention relates to a display apparatus and a control method thereof, and more particularly, to a display apparatus and a method of controlling the same, which perform image processing for preventing unevenness and improving an image.
  • the 360-degree image is one of them, which uses a camera with multiple cameras or cameras equipped with multiple lenses to shoot the omnidirectional image and map it to a virtual space so that the user can see and interact with the screen as if in real space. It is a technique to do.
  • the display apparatus converts an area selected by a user from a curved image to a planar image or enlarges or reduces an image being displayed and performs an additional image quality improvement process to provide the user with a 360 degree image.
  • Warping is the operation of mapping a pixel at a specific location to a new location, whereby the pixel density of the image is locally or collectively changed by the warping. Changing the pixel density causes a change in the frequency characteristic of the image. For example, when the image is enlarged, the density of the pixels is lowered, and the image exhibits low frequency characteristics. When the image is reduced, the density of the pixels is increased, and the image exhibits high frequency characteristics.
  • the center of the image has a high density of pixels and the image shows high frequency characteristics
  • the edge of the image has a low density and the image shows low frequency characteristics.
  • a filter for improving image quality when applied to an image that has already been warped, artifacts may appear or become uneven in the image. For example, when a highpass filter that improves sharpness is applied when an image exhibits low frequency characteristics, artifacts may be highlighted.
  • a low pass filter that improves noise when applied when an image exhibits high frequency characteristics, a desired result is difficult to be obtained, such as a signal component is treated as noise and removed.
  • the cutoff frequency of the filter can be changed to match the frequency characteristic of the image, but it is difficult due to problems such as hardware constraints such as high cost.
  • the present invention has been made to solve the above-described problem, and in the case of changing the pixel density of an image such as warping, a display apparatus and a method of controlling the same are provided to improve image quality so that image distortion or non-uniformity does not occur.
  • a display device comprising: an image processor for performing image processing on an input image; A display unit which displays an output image processed from the input image; A first image process of changing a pixel density of a region of the input image is performed so that the output image is displayed on the display unit, and a second image process of changing a specific frequency component is performed before the first image process.
  • a display device including a control unit for controlling the image processing unit to perform is provided.
  • the second image processing includes a process of filtering any one of a high frequency component and a low frequency component of the input image, thereby introducing an example of the second image processing.
  • the controller controls the image processor to further perform third image processing for changing the global characteristic of the image on which the first image processing is performed, thereby more accurately changing the global characteristic of the image without distortion due to a region change. .
  • the controller controls the image processor to select one region according to a user input from the input image, thereby generating an output image of one region according to a user's selection, thereby improving user convenience.
  • the input image is generated from a plurality of images acquired for different orientations by a camera including at least one lens, thereby providing content to the user using the images acquired for different orientations. This increases the variety of contents.
  • the first image processing includes a process of converting the obtained plurality of images into a spherical image, thereby introducing a spherical image mapped from the plurality of images.
  • the first image processing includes a process of converting the spherical image into a planar image, thereby introducing another example of the first image processing.
  • the first image processing includes a process of enlarging or reducing a region of the input image, thereby introducing another example of the first image processing.
  • a control method of a display apparatus comprising: performing image processing on the input image; And displaying the output image processed from the input image, wherein performing the image processing comprises: performing a second image processing to change a specific frequency component of the input image; And after the second image processing, performing the first image processing of changing the pixel density.
  • the second image processing includes a process of filtering any one of a high frequency component and a low frequency component of the input image, thereby introducing an example of the first image processing.
  • the performing of the image processing may further include performing a third image processing for changing a global characteristic of the image on which the first image processing is performed, thereby changing the global characteristic after the second image processing is performed.
  • Third image processing is performed to change the global characteristics of the image more accurately.
  • the method may further include selecting the one region according to the user input from the input image, thereby generating an output image of the one region according to the user's selection, thereby improving user convenience.
  • the first image processing includes a process of converting the obtained plurality of images into a spherical image, thereby introducing a spherical image mapped from the plurality of images.
  • the first image processing includes a process of converting the spherical image into a planar image, thereby introducing an example of the first image processing.
  • the first image processing includes processing to enlarge or reduce one region of the input image, thereby introducing another example of the first image processing.
  • the image quality is improved without distortion or unevenness of the image.
  • FIG. 1 illustrates a display device according to an embodiment of the present invention.
  • FIG. 2 illustrates a process of processing an image acquired by a display apparatus according to an exemplary embodiment.
  • FIG. 3 is a block diagram of a display device according to an embodiment of the present invention.
  • FIG. 4 illustrates an example in which the pixel density is changed by enlarging and reducing a screen of the display apparatus according to an exemplary embodiment of the present invention.
  • FIG. 5 illustrates an example in which the pixel density is partially changed by changing a curved image into a flat image in the display apparatus according to the exemplary embodiment.
  • 6 and 7 illustrate frequency characteristics of an image that changes according to an operation of a display apparatus according to related art and an embodiment of the present invention, respectively.
  • FIG. 8 illustrates an example of global characteristics of a display apparatus according to an exemplary embodiment.
  • FIG. 9 illustrates a control flowchart of a display apparatus according to an embodiment of the present invention.
  • the display apparatuses 1a, 1b, 1c according to an embodiment of the present invention may be implemented as a TV.
  • the display device (1a, 1b, 1c) is a smart phone, tablet, mobile phone, computer, multimedia player, electronic frame, digital billboard, LFD, signage, set-top box, smart watch, head mount Wearable devices such as a head-mounted display (hereinafter, referred to as HMD), a refrigerator, and the like may be implemented as a device capable of outputting an image.
  • the display apparatus 1a, 1b, 1c in this embodiment displays the output image obtained by processing an input image on the screen.
  • the input image in the present embodiment may be generated from a plurality of images obtained by the camera 2 equipped with at least one or more lenses in all directions, and in some cases, the at least one or more lenses may be wide-angle lenses.
  • the means for generating the input image 100 is not limited thereto, and the input image 100 may be an image generated from a plurality of cameras.
  • the display apparatuses 1a, 1b, and 1c may receive an input image from at least one camera 2 or receive an input image through an external device such as a server, a USB storage device, or a computer.
  • the display devices 1a, 1b, 1c may include at least one camera 2.
  • the display apparatuses 1a, 1b, and 1c perform first image processing on one region of the received input image to generate an intermediate image.
  • the display apparatuses 1a, 1b, and 1c perform second image processing on the generated intermediate image and display the processed output image on the screen.
  • the display apparatus 1 receives an input image 200 including a plurality of images obtained in all directions using the camera 2 including at least one lens (see 221 of FIG. 2).
  • the display apparatus 1 may perform at least one image processing on the received input image 200.
  • the display apparatus 1 maps the received input image 200 to Equirectangular using, for example, a high dynamic range imaging (HDRI) map method, and connects (or stitches) 222 to stitch the image. 201).
  • the stitching image 201 according to an embodiment of the present invention is not limited to the HDRI map method, and may also be generated by a cube map method for mapping an image acquired in six directions to a cube that is a cube.
  • the display apparatus 1 performs image quality preprocessing (see 223 of FIG. 2) on the stitched image 201.
  • the image quality preprocessing 223 according to an embodiment of the present invention is an example of the second image processing for changing the characteristic of one region of the image.
  • the change of the characteristic of one region of the image may be to increase or decrease the low frequency component or the high frequency component of the image.
  • the image quality preprocess 223 is a process for improving the image quality of an image, and may be, for example, image processing such as sharpness improvement or noise removal.
  • the image quality preprocessing 223 is performed on the stitched image 201.
  • the present invention is not limited thereto, and as another embodiment, the display apparatus 1 may be stitched. Before the image 201 is generated, the image quality preprocessing may be performed on the input image 200.
  • the display apparatus 1 performs a warping 224 on the image pre-processed 223.
  • the warping 224 is an example of the first image processing for changing the pixel density of the image of the present invention.
  • the warping 224 may convert an image pre-processed 223 into a spherical image (see 203 of FIG. 2), enlarge or reduce an area of the spherical image 203, or planarize the spherical image 203.
  • Image processing such as converting to an image (see 205 of FIG. 2).
  • the display apparatus 1 generates a spherical image 203 by mapping the image pre-processed 223 to a spherical shape.
  • the display apparatus 1 generates a planar image 205 by performing curved-plane mapping on one region 211 (hereinafter, also referred to as an “interest region”) of the spherical image 203.
  • the ROI 211 is a portion of the spherical image 203 to be displayed on the screen, and the selection of the ROI 211 may be determined by the user.
  • the display apparatus 1 may change the region of interest 211 in response to the changed time point according to a user input of changing the viewpoint of the screen during the display of the region of interest 211.
  • the display device 1 may change the ROI 211 in response to the enlargement or reduction.
  • the display apparatus 1 performs the image quality preprocessing 223 before performing the warping 224. That is, in order to prevent distortion of an image or the like that may occur when the image quality processing is performed after the warping 224, the display apparatus 1 first performs the image quality preprocessing 223 before performing the warping 224. Perform.
  • the image quality preprocessing 223 and the processing sequence of the warping 224 according to an embodiment of the present invention will be described in more detail.
  • FIG. 4 illustrates an example in which the pixel density is changed according to the reduction or enlargement of the image
  • FIG. 5 illustrates an example in which the pixel density is changed according to the curved-plane mapping of the image.
  • the pixel density of the central portion 503 is relatively high, and the pixel density of the peripheral portion 501 is relatively low. In other words, the pixel density varies for each region.
  • the frequency characteristics 403, 409, 505, and 507 of the image also change accordingly. Specifically, since the pixel density increases when the image 401 is reduced, the image has a high frequency characteristic 403, and the image has a low frequency characteristic 409 because the pixel density becomes low when the image 407 is enlarged. .
  • the image of the center portion 503 has a high frequency characteristic 505, while the image of the peripheral portion 501 has a low frequency characteristic 507. .
  • the image quality preprocessing 223 such as sharpness improvement and noise removal affects the frequency characteristic of the image.
  • 6 and 7 illustrate warping and image quality (pre) processing, and changes in frequency characteristics of the image accordingly.
  • FIG. 6 is a related art of the present invention, and illustrates frequency characteristics of an image when image quality processing is performed after warping.
  • the sharpness improvement using the high frequency filter is shown as an example of warping
  • the image enlargement is shown as an example of the image quality (pre) process.
  • the warping and the image quality (pre) process are not limited thereto.
  • reference numeral 601 denotes a frequency characteristic of an input image.
  • the warped image has a frequency characteristic as indicated by reference numeral 602. That is, an image on which warping such as magnification is performed has a low frequency characteristic.
  • image quality processing is performed by applying a sharpness enhancement filter having a frequency characteristic as indicated by reference numeral 603 to the warped image
  • the image quality image has a frequency characteristic as indicated by reference numeral 604. That is, in the case of image quality processing such as sharpness improvement, there is no significant change in the low frequency component, while the noise of the high frequency component is amplified. Accordingly, if the image quality processing is performed after warping the input image, the sharpness improvement may be insufficient, and artifacts such as noise may be highlighted, resulting in a problem that the originally intended image quality improvement may not be performed properly.
  • the display apparatus 1 performs image quality preprocessing to change a specific frequency component before performing warping.
  • reference numeral 605 denotes a frequency characteristic of an input image.
  • the image quality preprocessed image has a frequency characteristic as indicated by reference numeral 607. That is, the high-frequency component is increased in the pre-processed image, so that the sharpness is improved.
  • warping such as magnification is performed on the preprocessed image
  • the warped image has a frequency characteristic as indicated by reference numeral 608.
  • the image has a low frequency characteristic, and thus the image quality of the image with improved sharpness is maintained, and artifacts due to high frequency noise are not generated.
  • the display apparatus 1 improves image quality by changing specific frequency components of the image, the display apparatus 1 prevents distortion of the image by performing in advance before warping to change the pixel density. The image quality can be improved.
  • the display apparatus 1 may directly generate the planar image 205 by performing another method of warping the image pre-processed 223 without passing through the spherical image 203.
  • the display apparatus 1 may output or display the output image 207 by performing image quality post-processing 225 on the planar image 205 (see 226 of FIG. 2).
  • Image quality post-processing 225 is an example of the third image processing for changing the global characteristics of the image of the present invention.
  • the global characteristic of an image refers to a characteristic of an image represented by a representative value (eg, an average value) of the entire image displayed on the screen such as color, brightness, contrast, and the like.
  • the image quality post-processing 225 according to an embodiment of the present invention may be, for example, a process of changing color, brightness, contrast ratio, and the like of the planar image 205.
  • the region of the output image 207 is determined by the selection of the region of interest 211.
  • the region of interest 211 is changed, the region of the output image 207 is also changed.
  • the area of the image is changed, the global characteristic of the image is changed accordingly.
  • 8 illustrates a change in global characteristics in response to a region change of an image.
  • an example of changing an area of an image is given to enlargement of an image.
  • the area change of the present invention is not limited thereto and may be applied to reduction of an image, movement of a viewpoint, and the like.
  • Reference numerals 701 and 705 denote histograms 701 and 702 of the images 700 and 703 before and after enlargement, respectively.
  • the image histograms 701 and 702 represent global characteristics of the image, the horizontal axis corresponds to the brightness of the pixel, and the vertical axis corresponds to the frequency of the brightness of the pixel in the image 700 and 703. As shown, as the images 700 and 703 are enlarged, the area is changed, and the image histograms 701 and 702 representing global characteristics are changed accordingly. In other words, it can be seen that the global characteristic is also changed by changing the area of the image 700, 703 such as magnification.
  • the display apparatus 1 performs the image quality post-processing 225 for changing the global characteristics of the image after performing the warping 224. Since the warping 224 is performed on the ROI 211, the image 205 on which the warping 224 is performed is an image of which the area change is completed. If the image quality processing for changing the global characteristics is performed before the warping 224, since the area of the image is changed by the warping 224, there is a problem that the global characteristics by the image quality processing performed previously are changed again. Therefore, if the image quality post-processing 225 for changing the global characteristic is performed on the image 205 in which the area change is completed after the warping 224 is performed, the problem of changing the global characteristic again does not occur as in the previous example. As described above, according to the display apparatus 1 according to an exemplary embodiment of the present invention, when the global characteristic of the image is changed to improve the image quality, the distortion of the image due to the change of the region may be solved.
  • the display apparatus 1 shown in FIG. 2 outputs the output image 207 after performing the image quality post-processing 225 on the warped 224 image 205, but this is merely an example of the display apparatus of the present invention. It is only described. That is, the display device according to another embodiment of the present invention may directly output the image 205 to the warped 224 image 205 without performing the image quality post-processing 225, or the warping 224.
  • the image 205 may be output by performing another method of image processing.
  • FIG. 3 shows a block diagram of a display apparatus 1 according to an embodiment of the present invention.
  • the display apparatus 1 according to an exemplary embodiment of the present invention includes an image processor 301, a display unit 303, and a controller 307.
  • the display apparatus 1 according to an embodiment of the present invention may further include at least one of an image receiver 300, a user command input unit 305, and a storage unit 309.
  • the configuration of the display apparatus 1 according to the exemplary embodiment of the present invention shown in FIG. 3 is just one example, and the display apparatus according to the exemplary embodiment of the present invention may be implemented in other configurations in addition to the configuration illustrated in FIG. 3. Can be. That is, the display apparatus according to the exemplary embodiment of the present invention may be implemented by adding another configuration other than the configuration shown in FIG. 3 or by excluding any one of the configuration shown in FIG.
  • the image receiver 300 receives an image signal including the input image 200.
  • the image receiver 300 may include a tuner for receiving an image signal.
  • the tuner may tune and receive a broadcast signal of one channel selected by a user among a plurality of channels.
  • the image receiver 300 may receive a video signal from a server through an image processing device such as a set-top box, a DVD, a PC, a mobile device such as a smartphone, or the Internet.
  • the image receiving unit 300 may include a communication unit receiving an input image 200 by communicating with an external device.
  • the communication unit is implemented in various ways according to the implementation method of the external device or the display device 1 and the like.
  • the communication unit includes a connection unit for wired communication, and the connection unit transmits signals / data according to standards such as high definition multimedia interface (HDMI), HDMI-consumer electronics control (USB-CEC), USB, and component. And at least one or more connectors or terminals corresponding to each of these standards.
  • the communication unit may perform wired communication with a plurality of servers through a wired local area network (LAN).
  • LAN local area network
  • the communication unit may be implemented in various other communication methods in addition to a connection including a connector or a terminal for a wired connection.
  • it may include an RF circuit for transmitting and receiving RF (radio frequency) signal for performing wireless communication with an external device, Wi-Fi, Bluetooth, Zigbee (UgM), Ultra-Wide Band (UWM), Wireless USB, It may be configured to perform one or more of the Near Field Communication (NFC).
  • NFC Near Field Communication
  • the user command input unit 305 receives the user input and transmits it to the control unit 307.
  • the user command input unit 305 may be implemented in various forms according to a user input method. For example, a menu button installed outside the display apparatus 1 and a remote controller of a user input received from a remote controller.
  • Remote control signal receiving unit for receiving a signal, a touch screen provided on the display unit 303 for receiving a user's touch input, a camera for detecting a user's gesture input, a microphone for recognizing a user's voice input Can be.
  • the storage unit 309 is configured to store various data of the display apparatus 1.
  • the storage unit 309 may retain data even when power supplied to the display apparatus 1 is cut off, and may be provided as a writable nonvolatile memory (Writable ROM) to reflect changes. That is, the storage unit 309 may be provided as one of a flash memory, an EPROM, or an EEPROM.
  • the storage unit 309 may further include a volatile memory such as DRAM or SRAM in which the read or write speed of the display device 1 is faster than that of the nonvolatile memory.
  • the image processor 301 performs image processing on the image signal received through the image receiver 300 and outputs the image signal on which the image processing is performed to the display unit 303 to output the image to the display unit 303 (FIG. 2, see 207).
  • the image processor 301 may perform the second image processing 310 and the first image processing 311 as described above under the control of the controller 307.
  • the image processor 301 may further perform the third image processing as described above under the control of the controller 307.
  • the image processing unit 301 according to an embodiment of the present invention may be implemented in a single configuration to perform all of the second image processing 310, the first image processing 311, and the third image processing.
  • the image processor 301 may be implemented as a separate configuration that performs at least one of the second image processing 310, the first image processing 311, and the third image processing.
  • the image processor 301 may further perform at least one spiritual processing, such as scaling to adjust the resolution of the image, in addition to the second image processing 310, the first image processing 311, and the third image processing. have.
  • the image processor 301 may be implemented as one or more hardware and / or software modules or a combination thereof.
  • the display unit 303 displays an output image (see 207 of FIG. 2) generated by the image processor 301 by performing the first image processing and the second image processing on the input image.
  • the implementation manner of the display unit 303 is not limited, and for example, a liquid crystal, a plasma, a light-emitting diode, an organic light-emitting diode, a surface conduction electron gun It can be implemented by various display methods such as surface-conduction electron-emitter, carbon nano-tube, and nano-crystal.
  • the display unit 303 includes a liquid crystal display panel, a backlight unit for supplying light to the liquid crystal display panel, a panel driving substrate for driving the liquid crystal display panel, and the like.
  • the display unit 303 may be implemented as an OLED panel that is a self-light emitting device without a backlight unit.
  • the controller 307 performs control for operating all the components of the display apparatus 1.
  • the control unit 307 is a control program for performing such a control operation, a nonvolatile memory in which the control program is installed, a volatile memory in which at least a part of the installed control program is loaded, and at least one of executing the loaded control program. It may include a microprocessor or a central processing unit (CPU).
  • the control program may include program (s) implemented in at least one of a BIOS, a device driver, an operating system, firmware, a platform, and an application (application).
  • the application program is based on the data received or pre-installed or stored in the display device 1 at the time of manufacture of the display device 1 or by receiving data of the application program from an external source in future use. It can be installed in the display device (1).
  • the data of the application program may be downloaded to the display apparatus 1 from an external server such as an application market, for example.
  • the controller 307 controls the image receiver 300 to receive the input image 200 generated from a plurality of images obtained from the camera 2 including at least one lens.
  • the controller 307 performs the first image processing 311 for changing the pixel density on the ROI 211 of the input image 200, and changes the specific frequency component before the first image processing 311.
  • the image processor 301 is controlled to output the output image 207 by performing the second image processing 310.
  • the controller 307 selects the ROI 211 according to the user input input through the user command input unit 305.
  • the controller 307 may control the image processor 301 to further perform third image processing on the image 205 on which the first image processing 310 has been performed. 3 shows that the image processing unit 301 and the control unit 307 are implemented in separate configurations.
  • the display apparatus 1 shown in FIG. 3 is only one example, and the display device 1 according to another embodiment of the present invention is shown.
  • the apparatus may be implemented in a configuration in which the image processor and the controller are merged.
  • the at least one processor may execute the image processor and at least one software that performs a function of the controller.
  • FIG. 9 illustrates a control flowchart of a display apparatus according to an embodiment of the present invention.
  • the image processor 301 performs a second image process of changing a specific frequency component of an input image (200 of FIG. 2).
  • the image processing unit 301 performs a first image processing of changing the pixel density after the second image processing.
  • the display unit 303 displays the output image 207 on which the first image processing is performed.
  • the image processing unit 301 may display the output image 207 by performing third image processing to change the global characteristics of the image after performing the first image processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

디스플레이장치 및 그 제어방법이 개시된다. 디스플레이장치는 전방위에 대한 영상을 수신하는 영상수신부와; 상기 수신된 영상에 대하여 영상처리를 수행하는 영상처리부와; 상기 영상처리에 기초하여 영상을 표시하는 디스플레이부와; 상기 영상의 일 영역의 특성을 변경시키는 제2영상처리를 수행하고, 화소밀도를 변경하는 제1영상처리를 수행하도록 상기 영상처리부를 제어하는 제어부를 포함한다. 이에 의하여, 영상의 왜곡을 방지하며 영상을 개선하는 영상처리를 수행하는 디스플레이장치 및 그 제어방법이 제공된다.

Description

디스플레이장치 및 그 제어방법
본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 보다 구체적으로는, 불균일을 방지하며 영상을 개선하는 영상처리를 수행하는 디스플레이장치 및 그 제어방법에 관한 것이다.
최근 디스플레이장치는 다양한 영상을 제공할 수 있다. 360도 영상은 그 중 하나로서, 여러 대의 카메라 혹은 복수의 렌즈를 장착한 카메라를 이용하여 전 방위 영상을 촬영하고, 가상공간에 매핑하여 사용자에게 실제 공간에 있는 것처럼 화면을 보여주고 상호작용하도록 느끼게 하는 기술이다. 디스플레이장치는 360도 영상을 제공하기 위해 곡면영상에서 사용자가 선택한 영역을 평면영상으로 변환하거나 표시중인 영상을 확대 또는 축소하고, 추가적인 화질개선처리를 수행한 후 사용자에게 제공한다.
영상의 확대, 축소, 곡면영상을 평면영상으로 변환하는 등 영상을 기하학적으로 변형하는 영상처리를 와핑(warping)이라고 한다. 와핑은 특정 위치에 있는 화소를 새로운 위치로 대응시키는 작업으로서, 와핑에 의해 영상의 화소 밀도가 국부적으로 또는 일괄적으로 변경된다. 화소 밀도의 변경은 영상의 주파수특성의 변화를 초래한다. 예컨대, 영상을 확대하는 경우 화소의 밀도가 낮아지며 영상은 저주파특성을 나타내고, 영상을 축소하는 경우 화소의 밀도가 높아져 영상은 고주파특성을 나타낸다. 또한, 곡면영상을 평면영상으로 변환하는 경우, 영상의 중앙은 화소의 밀도가 높아 영상이 고주파특성을 나타내며, 영상의 가장자리는 밀도가 낮아 영상이 저주파특성을 나타낸다.
그런데, 와핑이 이미 수행된 영상에 화질 개선을 위한 필터를 적용하는 경우, 영상에 아티팩트가 부각되거나, 불균일해지는 문제가 발생한다. 예컨대, 영상이 저주파특성을 나타낼 때 선명도를 개선하는 고주파필터(highpass filter)를 적용하면, 아티팩트가 부각되는 문제가 발생한다. 또한, 영상이 고주파특성을 나타낼 때 노이즈를 개선하는 저주파필터(lowpass filter)를 적용하면, 신호성분이 노이즈로 취급되어 제거되는 등 원하는 결과를 얻기 어렵다. 이런 문제를 개선하기 위해 영상의 주파수특성에 맞도록 필터의 차단주파수를 변경할 수 있으나, 비용이 많이 소모되는 등 하드웨어 제약 등의 문제로 어려움이 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 와핑과 같이 영상의 화소 밀도를 변경하는 경우에 있어서, 영상의 왜곡 혹은 불균일이 발생하지 않도록 화질을 개선하는 디스플레이장치 및 그 제어방법이 제공된다.
상기한 문제를 해결하기 위하여, 디스플레이장치에 있어서, 입력영상에 대하여 영상처리를 수행하는 영상처리부와; 상기 입력영상으로부터 처리된 출력영상을 표시하는 디스플레이부와; 상기 입력영상의 일 영역에 대하여 화소밀도를 변경하는 제1영상처리를 수행하여 상기 출력영상이 상기 디스플레이부에 표시되도록 하고, 특정 주파수성분을 변경시키는 제2영상처리를 상기 제1영상처리 이전에 수행하도록 상기 영상처리부를 제어하는 제어부를 포함하는 디스플레이장치가 제공된다. 이로 인하여 영상의 왜곡 혹은 불균일이 발생하지 않도록 화질이 개선된다.
상기 제2영상처리는, 상기 입력영상의 고주파성분 및 저주파성분 중 어느 하나의 성분을 필터링하는 처리를 포함함으로써, 제2영상처리의 일 예가 소개된다.
상기 제어부는, 상기 제1영상처리가 수행된 영상의 전역특성을 변경하는 제3영상처리를 더 수행하도록 상기 영상처리부를 제어함으로써, 영역 변경에 의한 왜곡없이, 보다 정확하게 영상의 전역특성을 변경한다.
상기 제어부는, 상기 입력영상 중에서 사용자입력에 따라 일 영역을 선택하도록 상기 영상처리부를 제어함으로써, 사용자의 선택에 따라 일 영역에 대한 출력영상을 생성하여 사용자의 편의성이 향상된다.
상기 입력영상은, 적어도 하나의 렌즈를 포함하는 카메라에 의해 서로 다른 방위에 대하여 획득한 복수의 영상으로부터 생성된 것을 특징으로 함으로써, 사용자에게 서로 다른 방위에 대하여 획득한 영상을 이용하여 컨텐츠를 제공하게 되어 컨텐츠의 다양성이 증가한다.
상기 제1영상처리는, 상기 획득한 복수의 영상을 구형영상으로 변환하는 처리를 포함함으로써, 복수의 영상으로부터 매핑된 구형영상이 소개된다.
상기 제1영상처리는, 상기 구형영상을 평면영상으로 변환하는 처리를 포함함으로써, 제1영상처리의 다른 예가 소개된다.
상기 제1영상처리는, 상기 입력영상의 일 영역을 확대 또는 축소하는 처리를 포함함으로써, 제1영상처리의 다른 예가 소개된다.
상기한 문제를 해결하기 위하여, 디스플레이장치의 제어방법에 있어서, 입력영상에 대하여 영상처리를 수행하는 단계; 및 상기 입력영상으로부터 처리된 출력영상을 표시하는 단계를 포함하며, 상기 영상처리를 수행하는 단계는, 상기 입력영상의 특정 주파수성분을 변경하는 제2영상처리를 수행하는 단계; 및 상기 제2영상처리 이후에, 화소밀도를 변경하는 제1영상처리를 수행하는 단계를 포함하는 디스플레이장치의 제어방법이 제공된다. 이로 인하여 영상의 왜곡 혹은 불균일이 발생하지 않도록 화질이 개선된다.
상기 제2영상처리는, 상기 입력영상의 고주파성분 및 저주파성분 중 어느 하나의 성분을 필터링하는 처리를 포함함으로써, 제1영상처리의 일 예가 소개된다.
상기 영상처리를 수행하는 단계는, 상기 제1영상처리가 수행된 영상의 전역특성을 변경하는 제3영상처리를 수행하는 단계를 더 포함 함으로써, 제2영상처리가 수행된 후 전역특성을 변경하는 제3영상처리를 수행되어, 보다 정확하게 영상의 전역특성을 변경한다.
상기 입력영상 중에서 사용자입력에 따라 상기 일 영역을 선택하는 단계를 더 포함함으로써, 사용자의 선택에 따라 일 영역에 대한 출력영상을 생성하여 사용자의 편의성이 향상된다.
적어도 하나의 렌즈를 포함하는 카메라에 의해 서로 다른 방위에 대하여 획득한 복수의 영상으로부터 상기 입력영상을 생성하는 단계를 더 포함함으로써, 사용자에게 서로 다른 방위에 대하여 획득한 영상을 이용하여 컨텐츠를 제공하게 되어 컨텐츠의 다양성이 증가한다.
상기 제1영상처리는, 상기 획득한 복수의 영상을 구형영상으로 변환하는 처리를 포함함으로써, 복수의 영상으로부터 매핑된 구형영상이 소개된다.
상기 제1영상처리는, 상기 구형영상을 평면영상으로 변환하는 처리를 포함함으로써, 제1영상처리의 일 예가 소개된다.
상기 제1영상처리는, 상기 입력영상의 일 영역을 확대 또는 축소하는 처리를 포함함으로써, 제1영상처리의 다른 일 예가 소개된다.
상기한 바와 같이, 본 발명에 의하면 와핑과 같이 영상의 화소 밀도를 변경하는 경우에 있어서, 영상의 왜곡 혹은 불균일 없이 화질이 개선된다.
도 1은 본 발명의 일 실시예에 따른 디스플레이장치를 도시한다.
도 2는 본 발명의 일 실시예에 따른 디스플레이장치가 획득한 영상을 처리하는 과정을 도시한다.
도 3은 본 발명의 일 실시예에 따른 디스플레이장치의 블록도를 도시한다.
도 4는 본 발명의 일 실시예에 따른 디스플레이장치가 화면의 확대 및 축소하여 화소 밀도가 변경되는 예를 도시한다.
도 5는 본 발명의 일 실시예에 따른 디스플레이장치가 곡면영상을 평면영상으로 변경하여 화소 밀도가 부분적으로 변경되는 예를 도시한다.
도 6 및 7은 본 발명의 관련기술 및 일 실시예에 따른 디스플레이장치의 동작에 따라 변하는 영상의 주파수 특성을 각각 도시한다.
도 8은 본 발명의 일 실시예에 따른 디스플레이장치의 전역특성의 예를 도시한다.
도 9는 본 발명의 일 실시예에 따른 디스플레이장치의 제어흐름도를 도시한다.
이하에서는 첨부도면을 참조하여 본 발명에 따른 실시예들에 관해 상세히 설명한다. 이하 실시예들의 설명에서는 첨부된 도면들에 기재된 사항들을 참조하는 바, 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 디스플레이장치를 도시한다. 본 발명의 일 실시예에 따른 디스플레이장치(1a, 1b, 1c)는 TV로서 구현될 수 있다. 본 발명의 다른 실시예로서, 디스플레이장치(1a, 1b, 1c)는 스마트폰, 태블릿, 모바일 폰, 컴퓨터, 멀티미디어 재생기, 전자액자, 디지털 광고판, LFD, 싸이니지, 셋탑박스, 스마트워치, 헤드 마운트형 디스플레이(head-mounted display, 이하, 'HMD'라고도 함) 등의 웨어러블 디바이스, 냉장고 등 영상을 출력할 수 있는 장치로 구현될 수 있다. 본 실시예에서의 디스플레이장치(1a, 1b, 1c)는 입력영상을 처리하여 얻어진 출력영상을 화면에 표시한다. 본 실시예에서의 입력영상은, 적어도 하나 이상의 렌즈를 장착한 카메라(2)가 전방위에 대하여 획득한 복수의 영상으로부터 생성된 것일 수 있으며, 경우에 따라 적어도 하나 이상의 렌즈는 광각렌즈일 수 있다. 그러나, 입력영상(100)을 생성하기 위한 수단은 이에 제한되지 않으며, 입력영상(100)은 복수의 카메라로부터 생성된 영상일 수 있다. 디스플레이장치(1a, 1b, 1c)는 적어도 하나의 카메라(2)로부터 입력영상을 수신하거나, 서버, USB저장장치, 컴퓨터 등 외부장치를 통하여 입력영상을 수신할 수 있다. 다른 실시예로서, 디스플레이장치(1a, 1b, 1c)는 적어도 하나의 카메라(2)를 포함할 수도 있다.
본 실시예에서의 디스플레이장치(1a, 1b, 1c)는 수신된 입력영상의 일 영역에 대하여 제1영상처리를 수행하여 중간영상을 생성한다. 디스플레이장치(1a, 1b, 1c)는 생성된 중간영상에 제2영상처리를 수행하고, 처리된 출력영상을 화면에 표시한다.
이하, 도 2를 참조하여 본 발명의 일실시예에 의한 디스플레이장치가 입력영상으로부터 출력영상을 표시하는 과정을 상세히 설명한다. 디스플레이장치(1)는 적어도 하나의 렌즈를 포함하는 카메라(2)를 이용하여 전방위에 대하여 획득한 복수의 영상을 포함하는 입력영상(200)을 수신한다(도 2의 221 참조). 본 발명의 일실시예에 의한 디스플레이장치(1)는, 수신된 입력영상(200)에 대하여 적어도 하나의 영상처리를 수행할 수 있다. 구체적으로, 디스플레이장치(1)는 수신한 입력영상(200)을, 예컨대, HDRI(high dynamic range imaging, HDRI) 맵 방식을 이용하여 Equirectangular에 맵핑하여 연결(또는 스티칭; 222)함으로써, 스티칭영상(201)을 생성한다. 본 발명의 일실시예에 의한 스티칭영상(201)은, HDRI맵 방식에 한정되지 않으며, 6방향으로 획득한 영상을 정육면체인 큐브에 맵핑하는 Cube맵 방식 등에 의해서도 생성될 수 있다.
본 발명의 일실시예에 의한 디스플레이장치(1)는 스티칭영상(201)에 대하여 화질전처리(도 2의 223 참조)를 수행한다. 본 발명의 일실시예에 의한 화질전처리(223)는, 영상의 일 영역의 특성을 변경시키는 제2영상처리의 일례이다. 영상의 일 영역의 특성의 변경은, 영상의 저주파성분 또는 고주파성분을 증가 또는 감소시키는 것일 수 있다. 화질전처리(223)는, 영상의 화질을 개선하는 처리로서, 예컨대, 선명도 개선, 노이즈 제거 등의 영상처리일 수 있다. 도 2에 도시된 화질전처리(223)는, 선명도를 개선하기 위하여 스티칭영상(201)에서 저주파성분을 제거하고, 고주파성분을 증폭하는 고주파 필터링이거나, 노이즈를 제거하기 위하여 스티칭영상(201)에서 고주파성분을 제거하는 저주파 필터링일 수 있다. 도 2에 도시된 실시예에서는, 스티칭영상(201)에 대하여 화질전처리(223)를 수행하는 예를 설명하나, 본 발명은 이에 한정되지 않으며, 다른 실시예로서, 디스플레이장치(1)는, 스티칭영상(201)의 생성 전에 입력영상(200)에 대해서 화질전처리를 수행할 수도 있다.
다음으로, 도 2를 참조하면, 디스플레이장치(1)는 화질전처리(223)된 영상에 대하여 와핑(224)을 수행한다. 본 발명의 일실시예에 의한 와핑(224)은, 본 발명의 영상의 화소 밀도를 변경하는 제1영상처리의 일례이다. 예컨대, 와핑(224)은, 화질전처리(223)된 영상을 구형영상(도 2의 203 참조)으로 변환하거나, 구형영상(203)의 일 영역을 확대 또는 축소하거나, 구형영상(203)을 평면영상(도 2의 205 참조)으로 변환하는 등의 영상처리일 수 있다. 구체적으로, 디스플레이장치(1)는 화질전처리(223)된 영상을 구형(spherical)으로 맵핑하여 구형영상(203)을 생성한다. 다음으로, 디스플레이장치(1)는 구형영상(203) 중 일 영역(211; 이하, '관심 영역'이라고도 함)에 곡면-평면 맵핑을 수행하여 평면영상(205)을 생성한다. 본 발명의 일실시예에 의한 관심 영역(211)은, 구형영상(203) 중에서 화면에 표시될 부분으로서, 관심 영역(211)의 선택은 사용자에 의해 결정될 수 있다. 구체적으로, 디스플레이장치(1)는 관심 영역(211)의 표시 중에, 화면의 시점을 변경하는 사용자 입력에 따라, 변경되는 시점에 대응하여 관심 영역(211)을 변경할 수 있다. 또는, 디스플레이장치(1)는 화면 표시 중에, 화면을 확대 또는 축소하는 사용자 입력이 수신되는 경우, 그 확대 또는 축소에 대응하여 관심 영역(211)을 변경할 수 있다.
앞서 언급한 바와 같이, 본 발명의 일실시예에 의한 디스플레이장치(1)는, 와핑(224) 수행 전에 화질전처리(223)를 수행한다. 즉, 디스플레이장치(1)는, 와핑(224) 후 화질처리를 수행하는 경우에 발생될 우려가 있는 영상의 왜곡 등을 방지하기 위하여, 와핑(224)을 수행하기 전에 화질전처리(223)를 먼저 수행한다. 이하, 본 발명의 일실시예에 의한 화질전처리(223)와, 와핑(224)의 처리 순서에 관하여 더욱 구체적으로 설명한다.
본 발명의 일실시예에 의한 와핑(224)을 수행하는 경우, 예컨대, 영상을 확대 또는 축소하거나, 영상에 대하여 곡면-평면 맵핑을 수행하는 등의 경우, 화소 밀도와 같은 영상의 특성이 변경된다. 도 4는 영상의 축소 또는 확대에 따라 화소 밀도가 변경되는 예를, 도 5는 영상의 곡면-평면 맵핑에 따라 화소 밀도가 변경되는 예를 각각 도시한다. 도 4에 도시된 바와 같이, 영상(401, 407)을 축소 또는 확대하는 경우, 화소(400, 405) 간 간격이 변화되므로, 영상(401, 407)의 화소 밀도가 변화된다. 한편, 도 5를 참조하면, 곡면영상(509)을 평면영상(511)으로 변환하는 경우, 중심 부분(503)의 화소 밀도는 상대적으로 높고, 주변 부분(501)은 화소 밀도는 상대적으로 낮게 되어, 영역 별로 화소 밀도가 다르게 변화된다. 화소 밀도가 변화되면, 이에 따라 영상의 주파수특성(403, 409, 505, 507)도 함께 변화된다. 구체적으로, 영상(401)의 축소 시에는 화소 밀도가 높아지기 때문에, 영상은 고주파특성(403)을 가지며, 영상(407)의 확대 시에는 화소 밀도가 낮아지기 때문에, 영상은 저주파특성(409)을 가진다. 한편, 곡면영상(509)을 평면영상(511)으로 변환하는 경우, 중심 부분(503)의 영상은 고주파특성(505)을 가지는 반면, 주변 부분(501)의 영상은 저주파특성(507)을 가진다.
한편, 앞서 설명한 바와 같이, 선명도 개선, 노이즈 제거 등의 화질전처리(223)는, 영상의 주파수특성에 영향을 미친다. 도 6 및 7은 와핑 및 화질(전)처리와, 이에 따른 영상의 주파수특성의 변화를 도시한다. 먼저, 도 6은 본 발명의 관련기술로서, 와핑 후에 화질처리를 수행하는 경우의 영상의 주파수특성을 도시한다. 도 6 및 7에서는 와핑의 예로서 고주파필터를 이용한 선명도 개선을, 화질(전)처리의 예로서 영상의 확대를 각각 들고 있으나, 와핑 및 화질(전)처리가 이에 한정되는 것은 아니다.
도 6을 참조하면, 부호 601은 입력영상의 주파수특성을 나타낸다. 입력영상에 확대와 같은 와핑을 수행하면, 와핑이 수행된 영상은, 부호 602가 나타내는 바와 같은 주파수특성을 가진다. 즉, 확대와 같은 와핑이 수행된 영상은, 저주파특성을 가진다. 다음으로, 와핑이 수행된 영상에, 부호 603이 나타내는 바와 같은 주파수특성을 가지는 선명도 개선 필터를 적용하여 화질처리를 수행하면, 화질처리된 영상은, 부호 604가 나타내는 바와 같은 주파수특성을 가진다. 즉, 선명도 개선과 같은 화질처리의 경우, 저주파성분에는 큰 변화가 없는 반면, 고주파성분의 노이즈가 증폭된다. 이에 따라, 입력영상에 와핑을 수행한 후에 화질처리를 수행하면, 선명도 개선은 부족하면서, 노이즈와 같은 아티팩트(artifact)가 부각되어, 당초 의도하였던 화질개선이 제대로 이루어지지 않는 문제가 발생할 수 있다.
이러한 문제를 해소하기 위하여, 본 발명의 일 실시예에 의한 디스플레이장치(1)는, 특정 주파수성분을 변경시키는 화질전처리를 와핑 수행 전에 먼저 수행한다. 도 7을 참조하면, 부호 605는 입력영상의 주파수특성을 나타낸다. 입력영상에 부호 606이 나타내는 바와 같은 주파수특성(고주파성분의 증가)을 가지는 선명도 개선 필터를 적용하여 화질전처리를 수행하면, 화질전처리된 영상은, 부호 607이 나타내는 바와 같은 주파수특성을 가진다. 즉, 화질전처리된 영상은, 고주파성분이 증가되어, 선명도가 개선된다. 다음으로, 화질전처리된 영상에, 확대와 같은 와핑을 수행하면, 와핑된 영상은, 부호 608이 나타내는 바와 같은 주파수특성을 가진다. 즉, 확대와 같은 와핑 수행 결과, 영상은 저주파특성을 가지므로, 선명도가 개선된 영상의 특성이 유지되며, 고주파성분의 노이즈에 의한 아티팩트는 발생하지 않는다. 이와 같이, 본 발명의 일 실시예에 의한 디스플레이장치(1)는, 영상의 특정 주파수성분을 변경하여 화질을 개선하는 경우, 화소 밀도를 변경하는 와핑 이전에 미리 수행함으로써, 영상의 왜곡을 방지하고, 화질 개선을 수행할 수 있다.
도 2에 도시된 실시예에서는, 화질전처리(223)된 영상을 구형영상(203)으로 변환한 후에 다시 평면영상(205)으로 변환하는 예를 설명하나, 본 발명은 이에 한정되지 않으며, 다른 실시예로서, 디스플레이장치(1)는, 구형영상(203)을 거치지 않고, 화질전처리(223)된 영상에 다른 방식의 와핑을 수행함으로써, 평면영상(205)을 바로 생성할 수도 있다.
한편, 도 2를 다시 참조하면, 디스플레이장치(1)는 평면영상(205)에 화질후처리(225)를 수행하여 출력영상(207)을 출력하거나 표시할 수 있다(도 2의 226 참조). 본 발명의 일실시예에 의한 화질후처리(225)는, 본 발명의 영상의 전역특성을 변경하는 제3영상처리의 일례이다. 영상의 전역특성이란 색상, 밝기(brightness), 명암비(contrast) 등 화면에 표시되는 영상 전체의 대표값(예컨대, 평균값 등)에 의해 표현되는 영상의 특성을 의미한다. 본 발명의 일실시예에 의한 화질후처리(225)는, 예컨대, 평면영상(205)의 색상, 밝기, 명암비 등을 변경하는 처리일 수 있다.
본 발명의 일 실시예에 의한 출력영상(207)의 영역은, 관심 영역(211)의 선택에 의해 결정되며, 관심 영역(211)이 변경되면, 출력영상(207)의 영역도 변경된다. 영상의 영역이 변경되면, 이에 따라 영상의 전역특성이 변경된다. 도 8은 영상의 영역 변경에 따른 전역특성의 변경을 도시한다. 도 8에서는, 영상의 영역 변경의 예를 영상의 확대를 들고 있으나, 본 발명의 영역 변경이 이에 한정되는 것은 아니며, 영상의 축소, 시점 이동 등에도 적용될 수 있다. 부호 701 및 705는, 확대 전과, 후의 영상(700, 703)의 히스토그램(701, 702)을 각각 나타낸다. 영상 히스토그램(701, 702)은, 영상의 전역특성을 나타내며, 가로축은 화소의 밝기에 대응하고, 세로축은 영상(700, 703) 내에서 화소의 밝기가 나타나는 빈도수에 대응한다. 도시된 바와 같이, 영상(700, 703)이 확대됨에 따라, 영역이 변경되고, 전역특성을 나타내는 영상 히스토그램(701, 702)도 이에 따라 변경된다. 즉, 확대와 같은 영상(700, 703)의 영역 변경에 의해, 전역특성도 함께 변경됨을 알 수 있다.
본 발명의 일 실시예에 의한 디스플레이장치(1)는, 영상의 전역특성을 변경하는 화질후처리(225)를, 와핑(224)을 수행한 후에 수행한다. 와핑(224)은 관심 영역(211)에 대하여 수행되므로, 와핑(224)이 수행된 영상(205)은 영역 변경이 완료된 영상이다. 만일, 전역특성을 변경하는 화질처리를 와핑(224) 이전에 수행한다면, 이후 와핑(224)에 의해 영상의 영역이 변경되므로, 앞서 수행된 화질처리에 의한 전역특성이 재차 바뀌는 문제가 있다. 따라서, 와핑(224)이 수행된 후 영역 변경이 완료된 영상(205)에 대하여 전역특성을 변경하는 화질후처리(225)를 수행하면, 앞선 예와 같이 전역특성이 재차 변경되는 문제는 생기지 않는다. 이에 같이, 본 발명의 일실시예에 의한 디스플레이장치(1)에 의하면, 영상의 전역특성을 변경하여 화질을 개선할 때, 영역의 변경으로 인한 영상의 왜곡이 발생하는 문제점을 해결할 수 있다.
도 2에 도시된 디스플레이장치(1)는, 와핑(224)된 영상(205)에 화질후처리(225)를 수행한 후에 출력영상(207)을 출력하나, 이는 단지 본 발명의 디스플레이장치의 일례를 설명한 것일 뿐이다. 즉, 본 발명의 다른 실시예에 의한 디스플레이장치는, 와핑(224)된 영상(205)에 화질후처리(225)를 수행하지 않고 바로 영상(205)을 출력할 수도 있고, 혹은, 와핑(224)된 영상(205)에 다른 방식의 영상처리를 수행하여 영상을 출력할 수도 있다.
이하, 본 발명의 일실시예에 의한 디스플레이장치(1)의 구성을 보다 상세하게 설명한다. 도 3은 본 발명의 일 실시예에 따른 디스플레이장치(1)의 블록도를 도시한다. 본 발명의 일 실시예에 따른 디스플레이장치(1)는 영상처리부(301), 디스플레이부(303) 및 제어부(307)를 포함한다. 본 발명의 일 실시예에 따른 디스플레이장치(1)는 영상수신부(300), 사용자명령입력부(305) 및 저장부(309) 중 적어도 하나를 더 포함할 수 있다. 도 3에 도시된 본 발명의 일 실시예에 의한 디스플레이장치(1)의 구성은 하나의 예시일 뿐이며, 본 발명의 일 실시예에 의한 디스플레이장치는 도 3에 도시된 구성 외에 다른 구성으로도 구현될 수 있다. 즉, 본 발명의 일 실시예에 의한 디스플레이장치는 도 3에 도시된 구성 외 다른 구성이 추가되거나, 혹은 도 3에 도시된 구성 중 어느 하나가 배제되어 구현될 수도 있다.
영상수신부(300)는 입력영상(200)을 포함하는 영상신호를 수신한다. 영상수신부(300)는 영상신호를 수신하기 위한 튜너(tuner)를 구비할 수 있다. 튜너는 복수의 채널 중 사용자에 의해 선택된 어느 하나의 채널의 방송신호를 튜닝하여 수신할 수 있다. 영상수신부(300)는 셋탑박스, DVD, PC 등과 같은 영상처리기기, 스마트폰과 같은 모바일기기 또는 인터넷을 통하여 서버로부터 영상신호를 수신할 수도 있다.
영상수신부(300)는 외부장치와 통신하여 입력영상(200)을 수신하는 통신부를 구비할 수 있다. 통신부는 외부 장치 또는 디스플레이장치(1)의 구현 방식 등에 따라서 다양한 방식으로 구현된다. 예를 들면, 통신부는 유선통신을 위한 접속부를 포함하며, 접속부는 HDMI(high definition multimedia interface), HDMI-CEC(consumer electronics control), USB, 컴포넌트(component) 등의 규격에 따른 신호/데이터를 송/수신할 수 있으며, 이들 각각의 규격에 대응하는 적어도 하나 이상의 커넥터 또는 단자를 포함한다. 통신부는 유선 LAN(local area network)을 통해 복수의 서버들과 유선 통신을 수행할 수 있다.
통신부는 유선 접속을 위한 커넥터 또는 단자를 포함하는 접속부 이외에도 다양한 다른 통신 방식으로 구현될 수 있다. 예컨대, 외부 장치와 무선 통신을 수행하기 위해 RF(radio frequency)신호를 송수신하는 RF회로를 포함할 수 있으며, Wi-fi, 블루투스, 지그비(Zigbee), UWM(Ultra-Wide Band), Wireless USB, NFC(Near Field Communication) 중 하나 이상의 통신을 수행하도록 구성될 수 있다.
사용자명령입력부(305)는 사용자입력을 수신하여 제어부(307)로 전달한다. 사용자명령입력부(305)는 사용자입력의 방식에 따라서 다양한 형태로 구현될 수 있는 바, 예를 들면 디스플레이장치(1)의 외측에 설치된 메뉴버튼, 리모트 컨트롤러(remote controller)로부터 수신되는 사용자입력의 리모컨신호를 수신하는 리모컨신호수신부, 디스플레이부(303)에 마련되어 사용자의 터치입력을 수신하는 터치스크린(touch-screen), 사용자의 제스처입력을 감지하는 카메라, 사용자의 음성입력을 인식하는 마이크 등으로 구현될 수 있다.
저장부(309)는 디스플레이장치(1)의 다양한 데이터를 저장하도록 구성된다. 저장부(309)는 디스플레이장치(1)에 공급되는 전원이 차단되더라도 데이터들이 남아있어야 하며, 변동사항을 반영할 수 있도록 쓰기 가능한 비휘발성 메모리(writable ROM)로 구비될 수 있다. 즉, 저장부(309)는 플래쉬 메모리(flash memory), EPROM 또는 EEPROM 중 어느 하나로 구비될 수 있다. 저장부(309)는 디스플레이장치(1)의 는 읽기 또는 쓰기 속도가 비휘발성 메모리에 비해 빠른 DRAM 또는 SRAM과 같은 휘발성 메모리(volatile memory)를 더 구비할 수 있다.
영상처리부(301) 영상수신부(300)를 통해 수신되는 영상신호에 대해 영상처리를 수행하고 이러한 영상처리가 수행된 영상신호를 디스플레이부(303)에 출력함으로써 디스플레이부(303)에 출력영상(도 2의 207 참조)이 표시되게 한다. 영상처리부(301)는, 제어부(307)의 제어에 따라, 앞서 설명한 바와 같은, 제2영상처리(310)와 제1영상처리(311)를 수행할 수 있다. 추가적인 실시예로서, 영상처리부(301)는 제어부(307)의 제어에 따라, 앞서 설명한 바와 같은 제3영상처리를 더 수행할 수 있다. 본 발명의 일실시예에 의한 영상처리부(301)는, 단일 구성으로 구현되어, 제2영상처리(310), 제1영상처리(311) 및 제3영상처리를 모두 수행할 수 있다. 다른 실시예로서, 영상처리부(301)는, 제2영상처리(310), 제1영상처리(311) 및 제3영상처리 중 적어도 하나를 각각 수행하는 별개의 구성으로 구현될 수도 있다. 영상처리부(301)는, 제2영상처리(310), 제1영상처리(311) 및 제3영상처리 이외에, 영상의 해상도를 조정하는 스케일링(scailing) 등 적어도 하나의 영성처리를 더 수행할 수 있다. 영상처리부(301)는, 하나 이상의 하드웨어 및/또는 소프트웨어 모듈 혹은 그 조합으로서 구현될 수 있다.
디스플레이부(303)는, 영상처리부(301)가 입력영상에 제1영상처리 및 제2영상처리를 수행하여 생성한 출력영상(도 2의 207 참조)을 표시한다. 디스플레이부(303)의 구현 방식은 한정되지 않으며, 예를 들면 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 방식으로 구현될 수 있다.
디스플레이부(303)는, 액정 방식인 경우에, 액정 디스플레이 패널과 액정 디스플레이 패널에 광을 공급하는 백라이트유닛과, 액정 디스플레이 패널을 구동시키는 패널구동기판 등을 포함한다. 디스플레이부(303)는, 백라이트유닛없이, 자발광 소자인 OLED 패널로 구현될 수도 있다.
제어부(307)는, 디스플레이장치(1)의 제반 구성들이 동작하기 위한 제어를 수행한다. 제어부(307)는 이러한 제어 동작을 수행할 수 있도록 하는 제어프로그램과, 제어프로그램이 설치되는 비휘발성의 메모리, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리 및 로드된 제어프로그램을 실행하는 적어도 하나의 마이크로프로세서 혹은 CPU(central processing unit)를 포함할 수 있다. 제어프로그램은, BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 하나의 실시예로서, 응용프로그램은, 디스플레이장치(1)의 제조 시에 디스플레이장치(1)에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 디스플레이장치(1)에 설치될 수 있다. 응용프로그램의 데이터는, 예컨대, 어플리케이션 마켓과 같은 외부 서버로부터 디스플레이장치(1)로 다운로드될 수도 있다.
제어부(307)는, 하나의 실시예로서, 적어도 하나의 렌즈를 포함하는 카메라(2)로부터 획득된 복수의 영상으로부터 생성된 입력영상(200)을 수신하도록 영상수신부(300)를 제어한다. 제어부(307)는 입력영상(200)의 관심 영역(211)에 대하여 화소밀도를 변경하는 제1영상처리(311)를 수행하도록 하고, 제1영상처리(311) 이전에 특정 주파수성분을 변경하는 제2영상처리(310)를 수행하여 출력영상(207)이 출력되도록 영상처리부(301)를 제어한다. 제어부(307)는 사용자명령입력부(305)를 통해 입력된 사용자 입력에 따라 관심 영역(211)을 선택한다. 제어부(307)는 제1영상처리(310)가 수행된 영상(205)에 제3영상처리를 추가로 수행하도록 영상처리부(301)를 제어할 수 있다. 도 3에 도시된 디스플레이장치(1)는, 영상처리부(301)와, 제어부(307)가 별개의 구성으로 구현된 것을 나타내나, 이는 하나의 예시일 뿐이며, 본 발명의 다른 실시예에 의한 디스플레이장치는, 영상처리부와, 제어부가 병합된 구성으로 구현될 수도 있다. 예컨대, 하나 이상의 프로세서를 이용하여, 영상처리부와, 제어부의 기능을 수행하는 하나 이상의 소프트웨어를 실행할 수 있다.
도 9는 본 발명의 일 실시예에 따른 디스플레이장치의 제어흐름도를 도시한다. 먼저, 동작 S800에서, 영상처리부(301)는 입력영상(도 2의 200, 참조)의 특정 주파수성분을 변경하는 제2영상처리를 수행한다. 이어서, 동작 S801에서, 영상처리부(301)는 제2영상처리 이후에, 화소밀도를 변경하는 제1영상처리를 수행한다. 그리고, S803에서, 디스플레이부(303)는 제1영상처리가 수행된 출력영상(207)을 표시한다. 추가적인 실시예로서, 영상처리부(301)는 제1영상처리 수행 후에 영상의 전역특성을 변경하는 제3영상처리를 수행하여 출력영상(207)을 표시할 수 있다.

Claims (15)

  1. 디스플레이장치에 있어서,
    전방위에 대한 영상을 수신하는 영상수신부와;
    상기 수신된 영상에 대하여 영상처리를 수행하는 영상처리부와;
    상기 영상처리에 기초하여 영상을 표시하는 디스플레이부와;
    상기 영상의 일 영역의 특성을 변경시키는 제2영상처리를 수행하고, 화소밀도를 변경하는 제1영상처리를 수행하도록 상기 영상처리부를 제어하는 제어부를 포함하는 디스플레이장치.
  2. 제1항에 있어서,
    상기 제2영상처리는, 상기 영상의 고주파성분 및 저주파성분 중 어느 하나의 성분을 필터링하는 처리를 포함하는 디스플레이장치.
  3. 제1항에 있어서,
    상기 제어부는, 상기 제1영상처리가 수행된 영상의 전역특성을 변경하는 제3영상처리를 더 수행하도록 상기 영상처리부를 제어하는 디스플레이장치.
  4. 제1항에 있어서,
    사용자입력을 수신하는 사용자명령입력부를 더 포함하고,
    상기 제어부는, 상기 영상 중에서 상기 사용자입력에 따라 상기 일 영역을 선택하도록 상기 영상처리부를 제어하는 디스플레이장치.
  5. 제4항에 있어서,
    상기 제1영상처리는, 상기 수신된 영상을 구형영상으로 변환하는 처리를 포함하는 디스플레이장치.
  6. 제5항에 있어서,
    상기 제1영상처리는, 상기 구형영상을 평면영상으로 변환하는 처리를 포함하는 디스플레이장치.
  7. 제1항에 있어서,
    상기 제1영상처리는, 상기 영상의 일 영역을 확대 또는 축소하는 처리를 포함하는 디스플레이장치.
  8. 제1항에 있어서,
    상기 영상수신부는 상기 전방위에 대한 영상을 획득할 수 있는 적어도 하나의 렌즈를 가진 카메라를 포함하는 디스플레이장치.
  9. 디스플레이장치의 제어방법에 있어서,
    전방위에 대한 영상을 수신하는 단계와;
    상기 수신된 영상에 대하여 영상처리를 수행하는 단계; 및
    상기 영상처리에 기초하여 영상을 표시하는 단계를 포함하며,
    상기 영상처리를 수행하는 단계는,
    상기 영상의 일 영역의 특성을 변경하는 제2영상처리를 수행하는 단계; 및
    상기 제2영상처리 이후에, 화소밀도를 변경하는 제1영상처리를 수행하는 단계를 포함하는 디스플레이장치의 제어방법.
  10. 제 9항에 있어서,
    상기 제2영상처리는, 상기 입력영상의 고주파성분 및 저주파성분 중 어느 하나의 성분을 필터링하는 처리를 포함하는 디스플레이장치의 제어방법.
  11. 제 9항에 있어서,
    상기 영상처리를 수행하는 단계는,
    상기 제1영상처리가 수행된 영상의 전역특성을 변경하는 제3영상처리를 수행하는 단계를 더 포함하는 디스플레이장치의 제어방법.
  12. 제 9항에 있어서,
    사용자입력을 수신하는 단계와;
    상기 영상 중에서 상기 사용자입력에 따라 상기 일 영역을 선택하는 단계를 더 포함하는 디스플레이장치의 제어방법.
  13. 제 9항에 있어서,
    상기 제1영상처리는, 상기 수신된 영상을 구형영상으로 변환하는 처리를 포함하는 디스플레이장치의 제어방법.
  14. 제13항에 있어서,
    상기 제1영상처리는, 상기 구형영상을 평면영상으로 변환하는 처리를 포함하는 디스플레이장치의 제어방법.
  15. 제9항에 있어서,
    상기 제1영상처리는, 상기 영상의 일 영역을 확대 또는 축소하는 처리를 포함하는 디스플레이장치의 제어방법.
PCT/KR2017/008010 2016-09-09 2017-07-25 디스플레이장치 및 그 제어방법 WO2018048093A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/324,678 US20190180427A1 (en) 2016-09-09 2017-07-25 Display apparatus and method of controlling the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0116507 2016-09-09
KR1020160116507A KR102554743B1 (ko) 2016-09-09 2016-09-09 디스플레이장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
WO2018048093A1 true WO2018048093A1 (ko) 2018-03-15

Family

ID=61562874

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/008010 WO2018048093A1 (ko) 2016-09-09 2017-07-25 디스플레이장치 및 그 제어방법

Country Status (3)

Country Link
US (1) US20190180427A1 (ko)
KR (1) KR102554743B1 (ko)
WO (1) WO2018048093A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11153482B2 (en) * 2018-04-27 2021-10-19 Cubic Corporation Optimizing the content of a digital omnidirectional image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060039896A (ko) * 2003-07-03 2006-05-09 피지컬 옵틱스 코포레이션 왜곡없는 실시간 이미징을 구현하는 파노라마 비디오시스템
KR20070056550A (ko) * 2005-11-30 2007-06-04 주식회사 메디슨 영상 확대를 제어하는 영상 처리 시스템 및 방법
KR20110011356A (ko) * 2009-07-28 2011-02-08 삼성전자주식회사 영상 처리 방법 및 장치
KR20120012272A (ko) * 2010-07-30 2012-02-09 (주)엠아이웨어 왜곡 영상 보정 기능을 갖는 영상 처리 장치
KR20160048250A (ko) * 2014-10-23 2016-05-04 엘지디스플레이 주식회사 영상 변환 장치 및 이를 구비하는 디스플레이 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060039896A (ko) * 2003-07-03 2006-05-09 피지컬 옵틱스 코포레이션 왜곡없는 실시간 이미징을 구현하는 파노라마 비디오시스템
KR20070056550A (ko) * 2005-11-30 2007-06-04 주식회사 메디슨 영상 확대를 제어하는 영상 처리 시스템 및 방법
KR20110011356A (ko) * 2009-07-28 2011-02-08 삼성전자주식회사 영상 처리 방법 및 장치
KR20120012272A (ko) * 2010-07-30 2012-02-09 (주)엠아이웨어 왜곡 영상 보정 기능을 갖는 영상 처리 장치
KR20160048250A (ko) * 2014-10-23 2016-05-04 엘지디스플레이 주식회사 영상 변환 장치 및 이를 구비하는 디스플레이 장치

Also Published As

Publication number Publication date
KR20180028758A (ko) 2018-03-19
KR102554743B1 (ko) 2023-07-12
US20190180427A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
US10893194B2 (en) Display apparatus and control method thereof
KR102555953B1 (ko) 전지 장치, 디스플레이 장치 및 그의 제어 방법
WO2021147657A1 (zh) 插帧处理方法及相关产品
US11450044B2 (en) Creating and displaying multi-layered augemented reality
KR102349384B1 (ko) 투명 디스플레이 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
KR102508682B1 (ko) 표시장치와 그 영상 처리 방법
CN114630053A (zh) 一种hdr图像显示方法及显示设备
US20060055710A1 (en) Image processing method and device thereof
WO2021167231A1 (ko) 전자장치 및 그 제어방법
WO2018048093A1 (ko) 디스플레이장치 및 그 제어방법
US10939083B2 (en) Electronic apparatus and control method thereof
US11113850B2 (en) Electronic apparatus and control method thereof
KR102429559B1 (ko) 디스플레이 장치, 및 그 제어 방법
CN113689810B (zh) 图像显示设备及其方法
US10469789B2 (en) Digital device for improving image quality with low power and control method thereof
KR102478460B1 (ko) 표시장치와 그 영상 처리 방법
KR102640670B1 (ko) 디스플레이 장치 및 디스플레이 제어 방법
KR102538479B1 (ko) 디스플레이 장치 및 디스플레이 방법
KR20200035567A (ko) 디스플레이장치, 그 제어방법 및 기록매체
WO2024119922A1 (zh) 处理视频的方法、显示设备及存储介质
US20170069063A1 (en) Image processing apparatus and method, and decoding apparatus
KR20190006329A (ko) 디스플레이장치 및 그 제어방법
US11917284B2 (en) Electronic device and method for under-screen camera performing photographing and display, and computer-readable storage medium
AU2018323652B2 (en) Display device and control method thereof
WO2023134235A1 (zh) 图像处理方法及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17848977

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17848977

Country of ref document: EP

Kind code of ref document: A1