WO2019013443A1 - 디스플레이장치 및 그 제어방법 - Google Patents

디스플레이장치 및 그 제어방법 Download PDF

Info

Publication number
WO2019013443A1
WO2019013443A1 PCT/KR2018/005682 KR2018005682W WO2019013443A1 WO 2019013443 A1 WO2019013443 A1 WO 2019013443A1 KR 2018005682 W KR2018005682 W KR 2018005682W WO 2019013443 A1 WO2019013443 A1 WO 2019013443A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
correction
viewpoint
feature points
display device
Prior art date
Application number
PCT/KR2018/005682
Other languages
English (en)
French (fr)
Inventor
김범준
김동현
박세혁
한영석
Original Assignee
삼성전자(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자(주) filed Critical 삼성전자(주)
Publication of WO2019013443A1 publication Critical patent/WO2019013443A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Definitions

  • the present invention relates to a display device and a control method thereof, and more particularly, to a display device and a control method thereof for correcting an image corresponding to a user's viewpoint in a 360-degree image.
  • Modern display devices can provide a variety of images. 360 degree / VR (Virtual Reality) content video is one of them.
  • VR Virtual Reality
  • a plurality of cameras or a camera equipped with a plurality of lenses is used to photograph an image and map the three-dimensional object to the user, the user can view the image while moving the viewpoint. The effect makes the user feel as if they are in real space.
  • a process of mapping a planar image such as an equirectangular image into a stereoscopic image such as a sphere is performed. This geometric transformation of the image is called warping.
  • the image is distorted.
  • the degree of distortion may not be large in the center portion of the image but may be distorted in the outer portion thereof.
  • the portion where the degree of distortion is not large at one point is greatly distorted at the next point. There is a problem that the user may cause dizziness or tiredness.
  • an object of the present invention is to provide an image which can be comfortably appreciated to a user by displaying an image corresponding to a user's viewpoint by correcting it.
  • a display device including: a display; An image processor; And a second portion corresponding to a first portion of the first image corresponding to a first point of time determined according to a user's viewpoint movement, a second portion corresponding to a second point of time other than the first point of time, And controlling the image processing unit so that the generated image is displayed on the display unit.
  • the image corresponding to the user's viewpoint is corrected and displayed, thereby providing the user with a more comfortable image.
  • efficient correction is possible.
  • the second portion may be located at a central portion of the second image
  • the first portion may be located at an outer portion apart from the central portion of the first image
  • the first part and the second part include objects corresponding to each other, and the control unit extracts feature points of the respective objects of the first and second parts, and based on the correspondence relation of the extracted feature points
  • the correction can be performed. According to this, the correction speed is improved by performing the correction based on the correspondence of the feature points in correcting the first part with reference to the second part.
  • the controller may perform the correction by changing the number of feature points to be extracted according to the characteristics of the object or the image distortion. According to this, since the correction can be performed based on the feature points optimized for the correction, the correction speed is further improved.
  • the control unit may perform the correction based on at least one of a size and a direction between the extracted feature points.
  • the controller may selectively or alternatively perform the correction according to the difference between the second portion of the second image and the first portion of the first image.
  • the control unit may selectively or alternatively perform the correction according to the degree of interest of the first portion. According to this, the correction efficiency or the degree of correction can be adjusted depending on the situation, thereby improving the correction efficiency.
  • the degree of interest may be determined based on at least one of a depth of the first portion and a size of the first portion relative to the first image.
  • the controller may perform image processing on the background portion of the corrected first portion. According to this, a more natural correction image can be generated and displayed.
  • a method of controlling a display device comprising: determining a first image corresponding to a first viewpoint and including a first portion according to a viewpoint movement of a user; Selecting a second image including a second portion corresponding to the first portion and corresponding to a second viewpoint different from the first viewpoint; Generating an image in which a first portion of the first image is corrected with reference to a second portion of the second image; And displaying the generated image.
  • the image corresponding to the user's viewpoint is corrected and displayed, thereby providing the user with a more comfortable image.
  • efficient correction is possible.
  • the second portion may be located at a central portion of the second image
  • the first portion may be located at an outer portion apart from the central portion of the first image
  • the first part and the second part include objects corresponding to each other, and the step of generating the corrected image may include extracting a feature point of each object of the first part and the second part,
  • the correction may be performed by changing the number of feature points to be extracted according to the characteristics of the object or the image distortion. According to this, since the correction can be performed based on the feature points optimized for the correction, the correction speed is further improved.
  • the generating of the corrected image may perform the correction based on at least one of a size and a direction between the extracted feature points.
  • the generating of the corrected image may selectively or alternatively perform the correction according to the difference between the second portion of the second image and the first portion of the first image.
  • the step of generating the corrected image may selectively or alternatively perform the correction according to the degree of interest of the first part. According to this, the correction efficiency or the degree of correction can be adjusted depending on the situation, thereby improving the correction efficiency.
  • the degree of interest may be determined based on at least one of a depth of the first portion and a size of the first portion relative to the first image.
  • the generating of the corrected image may perform image processing on the background portion of the corrected first portion. According to this, a more natural correction image can be generated and displayed.
  • a computer program stored in a medium for executing a control method in combination with a display device.
  • the computer program may be a computer program stored on a medium in a server and downloadable to the electronic device via a network.
  • an image corresponding to a user's viewpoint is corrected and displayed, thereby providing a user with a more comfortable image.
  • FIG. 1 illustrates a display device according to one embodiment of the present invention
  • FIG. 2 is a diagram illustrating a process of generating a 360-degree image in a display device according to an exemplary embodiment of the present invention
  • FIG. 3 is a diagram illustrating a warping process during a 360-degree image generation process in a display device according to an embodiment of the present invention
  • FIG. 4 is a block diagram illustrating a configuration of a display device according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating an operation of a display apparatus according to an exemplary embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an example of distorted images displayed on a display device according to an exemplary embodiment of the present invention.
  • FIG. 7 is a diagram illustrating an operation outline of a display device according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating an example of feature point extraction according to an embodiment of the present invention.
  • FIGS. 9 to 10 are views showing an example of a feature point corresponding correction according to an embodiment of the present invention.
  • FIG. 11 is a view showing another example of feature point extraction according to an embodiment of the present invention.
  • FIG. 12 is a diagram showing another example of feature point extraction and correction according to an embodiment of the present invention.
  • FIG. 13 is a flowchart showing another example of the operation of a display device according to an embodiment of the present invention.
  • &quot comprising, " " including, " " having ", and the like, Or < / RTI >
  • 'module' or 'sub-module' performs at least one function or operation, and may be implemented in hardware or software, or a combination of hardware and software, And may be implemented as at least one processor.
  • the display device 1a, 1b, 1c according to an embodiment of the present invention can be implemented, for example, as a TV.
  • the display device 1a, 1b, or 1c according to another embodiment of the present invention may be a wearable device such as a smart phone, a tablet, a mobile phone, a smart watch, a head-mounted display, , A multimedia player, an electronic frame, a digital billboard, a large format display (LFD), a digital network, a set-top box, a refrigerator, and the like.
  • the display devices 1a, 1b, and 1c according to the embodiment of the present invention are not limited thereto, and any device capable of outputting images can be used.
  • An image output by the display device 1a, 1b, or 1c according to an embodiment of the present invention is, for example, an image of 360 degree VR (Virtual Reality) content.
  • the display devices 1a, 1b, and 1c in the present embodiment can directly generate the image or receive the image from the outside. 1, the display devices 1a, 1b, and 1c can receive images through an external device 1d such as a camera, a server, a USB storage device, a DVD, and a computer.
  • the display device 1a, 1b, 1c may include at least one camera.
  • FIG. 2 illustrates a process of generating a 360-degree image in a display device according to an exemplary embodiment of the present invention.
  • the captured image 201 in the present embodiment can be generated from a plurality of images obtained for different orientations using a camera equipped with at least one lens so that the viewpoint can be moved.
  • the at least one lens of the camera may be a wide-angle lens, as the case may be.
  • the means for generating the captured image 201 is not limited thereto, and the captured image 201 may be generated from a plurality of cameras.
  • the stitching image 202 is converted from the captured image 201.
  • the stitching image 202 can be generated by mapping the captured image 201 to an equirectangular shape or the like, for example, using a HDRI (High Dynamic Range Imaging) HDRI mapping method.
  • the stitching image 202 according to an embodiment of the present invention is not limited to the HDRI map method but can also be generated by a cube map method of mapping an image obtained in six directions to a cube.
  • the display apparatuses 1a, 1b and 1c according to the embodiment of the present invention may receive the captured image 201 from the outside to generate the stitching image 202 or may receive the stitching image 202 from the outside You may.
  • the display apparatuses 1a, 1b, and 1c convert the stitching image 202 to generate a stereoscopic image 203.
  • the shape of the stereoscopic image 203 according to an embodiment of the present invention may be, for example, a sphere, a rectangular parallelepiped, a cylinder, or the like.
  • the display devices 1a, 1b, 1c may receive the stereoscopic image 203 from the outside.
  • the display apparatuses 1a, 1b, and 1c generate a plane image 204 by performing a curved surface-plane mapping on the output area 205 to be displayed on the screen of the stereoscopic image 203.
  • FIG. The selection of the output area 205 according to an embodiment of the present invention may be determined by the user. Specifically, the display devices 1a, 1b, and 1c can change, enlarge, or reduce the output area 205 in accordance with the input of the user who changes the viewpoint of the screen during the display of the output area 205. [ Next, the display devices 1a, 1b, and 1c display the output image 206 on the screen based on the planar image 204. Next, The display devices 1a, 1b, and 1c may perform image quality processing or the like on the planar image 204. FIG.
  • FIG. 3 illustrates a warping process during a 360-degree image generation process in a display device according to an exemplary embodiment of the present invention.
  • the flat image is mapped to the stereoscopic image in the process of converting the stitched image 301 in the planar form to generate the stereoscopic image 302 in the process of warping the display devices 1a, 1b and 1c, .
  • a stereoscopic image 302 is generated as each pixel (x, y) of the stitching image 301 at the time of warping corresponds to a new position (x ', y'
  • the degree of distortion may be large at the center portion of the image 303 corresponding to the user's viewpoint, but the degree of distortion may be large at the outer portion of the stereoscopic image 302.
  • the portion where the degree of distortion is not large at one point is greatly distorted at the next point.
  • FIG. 4 is a block diagram showing a configuration of a display device according to an embodiment of the present invention.
  • the display apparatuses 1a, 1b and 1c according to the embodiment of the present invention include an image receiving unit 401, an image processing unit 402, a display unit 403, a user command input unit 404 and a control unit 405 .
  • the configurations of the display devices 1a, 1b, and 1c shown in FIG. 4 are merely examples, and the display device according to one embodiment of the present invention may be implemented with other configurations. That is, a display device according to an embodiment of the present invention may be implemented by adding a configuration other than the configuration shown in FIG. 4, or by excluding some of the configurations shown in FIG.
  • the image receiving unit 401 receives, for example, a video signal of 360 degree VR content.
  • the image receiving unit 401 may include a tuner for receiving a video signal of the same type as a broadcast signal.
  • the tuner can receive and receive a broadcast signal of any one of a plurality of channels selected by the user.
  • the image receiving unit 401 may receive a video signal from an external device 1d such as a camera, a server, a USB storage device, a DVD, a computer, or the like.
  • the image receiving unit 401 may include a communication unit for communicating with the external device 1d and receiving a video signal.
  • the communication unit is implemented in various ways depending on the external device.
  • the communication unit includes a connection unit for wired communication, and the connection unit transmits / receives signals / data according to standards such as HDMI (High Definition Multimedia Interface), HDMI-CFC (Consumer Electronics Control), USB, And includes at least one connector or terminal corresponding to each of these specifications.
  • the communication unit can perform wired communication with a plurality of servers through a wired LAN (Local Area Network).
  • LAN Local Area Network
  • the communication unit may be implemented by various other communication methods in addition to the connection unit including the connector or terminal for wired connection.
  • it may include an RF circuit for transmitting / receiving an RF (Radio Frequency) signal to perform wireless communication with an external device, and may be a Wi-Fi, a Bluetooth, a Zigbee, USB, Near Field Communication (NFC), or the like.
  • RF Radio Frequency
  • the image processing unit 402 performs image processing on the image signal received through the image receiving unit 401 under the control of the controller 405 and outputs the processed image signal to the display unit 403 So that the output image 206 is displayed on the display unit 403.
  • the image processing unit 402 converts the captured image 201 into the stitching image 202 or converts the stitching image 202 into the stereoscopic image 203 or the stereoscopic image 202 under the control of the control unit 405, The image processing for obtaining the planar image 204 from the plane image 203 can be performed.
  • the image processing unit 302 may further perform at least one image processing such as scaling for adjusting the resolution of the image in addition to the image processing described above.
  • the image processing unit 402 may be implemented as one or more hardware and / or software modules that perform the above-mentioned image processing, or a combination thereof.
  • the display unit 403 displays the output image 206 based on the plane image 204 obtained by the image processing unit 402.
  • the implementation of the display unit 403 is not limited, (Liquid Crystal), Plasma, Light-Emitting Diode, Organic Light-Emitting Diode, Surface-Conduction Electron-Emitter, Carbon Nano-Tube ), Nano-crystals, and the like.
  • the display unit 403 includes a liquid crystal display panel and a backlight unit for supplying light to the liquid crystal display panel, and a panel driver for driving the liquid crystal display panel.
  • the display unit 403 may be implemented as an OLED panel, which is a self-luminous element, without a backlight unit.
  • the user command input unit 404 receives the user input and transmits the user input to the control unit 405.
  • the user command input unit 404 may be implemented in various forms according to the manner of user input.
  • the user command input unit 404 may include a menu button provided outside the display apparatuses 1a, 1b, 1c and a remote control signal of a user input received from the remote controller
  • the user command input unit 404 can receive a user input that changes the viewpoint of the screen during the display of the output area 205.
  • the control unit 405 performs control for operating all the configurations of the display devices 1a, 1b, and 1c.
  • the control unit 405 includes a control program (or an instruction) for performing such a control operation, a nonvolatile memory in which the control program is installed, a volatile memory in which at least a part of the installed control program is loaded, And a central processing unit (CPU).
  • a control program can also be stored in electronic devices other than the display devices 1a, 1b, and 1c.
  • the control program may include program (s) implemented in the form of at least one of a BIOS, a device driver, an operating system, firmware, a platform and an application program.
  • the application program is installed or stored in the display device 1a, 1b, 1c in advance at the time of manufacturing the display device 1a, 1b, 1c, And may be installed in the display devices 1a, 1b, 1c based on the received and received data.
  • the data of the application program may be downloaded from an external server, such as an application market, to the display device 1a, 1b, 1c, but is not limited thereto.
  • the controller 405 may be implemented as a device, a S / W module, a circuit, a chip, or the like.
  • the control unit 405 controls the image receiving unit 401 to receive a video signal of, for example, 360 degrees VR content.
  • the control unit 405 controls the display unit 403 so that the image processing unit 402 performs image processing on the image signal and the output image 206 is displayed.
  • the display devices 1a, 1b, and 1c shown in FIG. 4 show that the image processing unit 402 and the control unit 405 are implemented in separate configurations, but this is only one example,
  • the display devices 1a, 1b, and 1c according to the first embodiment may be implemented with a combination of the image processing unit and the control unit.
  • the display device displays a first image of the first image, which is corrected in the first image, corresponding to the first viewpoint determined according to the user's viewpoint movement.
  • the first part means a part that needs to be corrected as a part of the first image.
  • the first portion may be a portion distorted according to the warping of the first image corresponding to the first viewpoint, but the present invention is not limited thereto.
  • control unit 405 first selects a second image including a second portion corresponding to the first portion as a second image corresponding to the second view (S501).
  • the second time point is different from the first time point.
  • the second part corresponding to the first part means a part that can be referred to in correcting the first part. For example, when the first part is a distorted image, 1, but the portion where the distortion is corrected or the distortion does not occur can be referred to as the second portion.
  • the controller 405 refers to the second selected image and generates an image in which the first portion of the first image is corrected by referring to the second portion corresponding to the first portion of the second image S502). Finally, the control unit 405 controls the image processing unit 402 to display the thus generated image, that is, the first corrected image of the first image, on the display unit 403.
  • FIG. 6 is a diagram related to a display device according to an embodiment of the present invention, showing an example in which an image is distorted and displayed. 6 illustrates a case where a 360-degree image is warped to a spherical solid body 601, a first image 610 corresponding to a first time point of the user and a second image 620 corresponding to a second time point of the user are displayed on the display device And a situation displayed on the screen, respectively.
  • the first image 610 and the second image 620 shown in FIG. 6 are, for example, images of a human being, and the first portion 611 and the second portion 620 612).
  • the degree of distortion of the second portion 621 is not large in the second image 620 because the second portion 621 is located at the center of the image. If the user's viewpoint moves from the second viewpoint to the first viewpoint in a state where the second image 620 is displayed, the first image 610 corresponding to the first viewpoint is displayed.
  • the user's viewpoint in the example shown in Fig. 6 is a viewpoint from the inside of the spherical solid 601 to the outside.
  • the second image 620 As the viewpoint of the user moves from the second viewpoint to the first viewpoint in the left direction (counterclockwise when the upper half of the spherical three-dimensional object 601 is the reference), in the second image 620, the second part 621 is displayed on the first part 611, which is the outer right part of the image in the first image 610. [ At this time, as the first portion 611 is displayed on the outer portion of the first image 610, the first portion 611 is displayed more distorted than the second portion 621. 6, the first portion 611 of the first image 610 is inclined sideways as compared with the second portion 621 of the second image 620 and the distortion of the overall length is increased Can be seen.
  • FIG. 7 is a diagram illustrating an operation outline of a control unit 405 of a display device according to an embodiment of the present invention.
  • the control unit 405 controls to generate and display an image corrected for the distortion of the first portion 611.
  • the control unit 405 refers to a second image (hereinafter also referred to as a 'reference image').
  • the reference image is an image corresponding to a second viewpoint different from the first viewpoint, and includes a second portion 621 having a relatively small (low) degree of distortion as compared to the first portion 611 .
  • the control unit 405 includes an image 710 that is obtained by correcting the first portion 611 of the first image 610 by referring to the second portion 621 of the reference image 620.
  • a " corrected image " Referring to FIG. 7, in the third portion 711 of the corrected image 710 corresponding to the first portion 611, distortion of the first portion 611 in which the person has been tilted and slackened due to warping has been corrected Able to know.
  • the image corresponding to the user's viewpoint is corrected and displayed, thereby providing the user with a more comfortable image.
  • efficient correction is possible.
  • the control unit 405 may select a reference image for correcting distortion of the first part in the first image.
  • the degree of distortion may not be large in the center part of the partial image of the stereoscopic image corresponding to the viewpoint of the user, but the degree of distortion tends to increase in the outer part apart from the center part . Therefore, it may be efficient to select the reference image so that the second part is positioned at the center of the reference image when selecting the reference image (hereinafter, the reference image is referred to as a 'center view image'). As the second portion of the reference image is located at the center thereof, the distortion is minimized, so that the effect of distortion correction is increased.
  • the control unit 405 can determine a first portion that requires distortion correction among the first images corresponding to the first viewpoint. For example, as described above, there is a tendency that the probability of occurrence of distortion in the outer frame portion away from the central portion of the first image increases. That is, the controller 405 according to an embodiment of the present invention can determine the first part based on the degree of distortion generated in the outer frame of the first image. That is, when it is determined that the degree of distortion generated in a part of the outer frame portion of the first image is equal to or larger than a predetermined value, the control unit 405 according to an embodiment of the present invention determines the portion as a first portion requiring distortion correction .
  • the controller 405 may determine the first part based on the object included in the first image. Specifically, the control unit 405 according to an embodiment of the present invention determines the degree of distortion in each object unit included in the outer frame of the first image, and determines an object having distortion equal to or greater than a predetermined value as the first portion have. As another example, the control unit 405 may determine a first portion that requires distortion correction in accordance with a user's input. Specifically, the controller 405 according to an exemplary embodiment of the present invention determines a type of an object requiring distortion correction according to an input of a user and determines whether there is an object of a determined type in the first image, The part can be determined.
  • the control unit 405 may select a reference image including a second portion corresponding to the first portion on an object-by-object basis.
  • the control unit 405 specifies an object of a first part that requires distortion correction, and can select a center view image in which the specified object is located at the center of the image.
  • the controller 405 may determine a similar object corresponding to an object of the first image in a frame different from the first image, and may select a center view image in which the similar object is located at the center of the image.
  • the first embodiment corrects the distorted first part of the first image.
  • the correction according to the present invention is not limited to the correction for the distorted portion. Even if the first portion is not a distorted portion, the present invention is applied to any case where the first image is corrected by referring to the second image, specifically, referring to the second portion corresponding to the first portion of the second image .
  • the first image and the second image are included in the same frame of the 360-degree image.
  • the first image and the second image may be present in different frames.
  • the control unit 405 of the display device may be configured such that the second portion of the reference image includes an object corresponding to the first portion of the first image to be corrected
  • the correction may be performed based on the correspondence relationship between the extracted feature points in the respective objects of the first and second parts.
  • the minutia refers to points that clearly reveal a unique characteristic of a specific object so that a specific object can be distinguished or distinguished from another object or a surrounding background.
  • the feature points are not changed, they can be easily identified, and even if the viewpoint or illumination of the camera changes, the feature points can be easily detected from the image without any change.
  • One example of the minutiae is a corner, but the minutiae of the present invention is not limited thereto.
  • Algorithms for finding these feature points include Harris corner extraction, Shi & Tomasi extraction, Scale Invariant Feature Transform (SIFT), and Speeded-Up Robust Features (SURF). Since it is a known algorithm, a detailed description will be omitted.
  • the controller 405 of the display device may extract feature points from an image.
  • 8 is a diagram illustrating an example of feature point extraction according to an embodiment of the present invention.
  • a first part 611 of the first image 610 corresponding to the first time point, which is required to be corrected, is a human image.
  • an example of extracting the minutiae from the first part 611 is the same as 613.
  • the points corresponding to the human head, neck, waist, arms, and legs are extracted as feature points.
  • distortion occurs in which the first portion 611 is inclined by warping and the length is deformed.
  • the characteristic point is a point that can be identified without changing its characteristics
  • the feature points 613 extracted for the first portion 611 and the feature points 623 extracted for the second portion 621 correspond to each other despite the distortion (eg, a-a ', b-b', c -c ', d-d').
  • the display device can correct the first portion 611 of the first image 610 based on the corresponding relationship between the feature points extracted from the respective objects of the first portion and the second portion, Can be performed. According to this, the correction speed is improved by performing the correction based on the correspondence of the feature points in correcting the first part with reference to the second part.
  • the display device can perform correction based on at least one of a size and a direction between extracted minutiae points. This will be described with reference to Figs. 9 to 10. Fig.
  • FIG. 9 is a diagram illustrating an example of a feature point corresponding correction according to an embodiment of the present invention, and shows an example of correcting a first portion of a first image based on a size between feature points.
  • the feature points 623 which are extracted for the second part of the reference image, are referred to as a, b, c, and d, respectively, and the feature points corresponding to the head,
  • the corresponding minutiae points of the minutia information 613 are referred to as a ', b', c ', and d', respectively.
  • the control unit 405 of the display device determines the size ratio between the adjacent line segments between the feature points 613 extracted for the first portion of the first image, for example, b ' ', c', and d 'with the ratio of the size between the corresponding line segments at the feature point 623 extracted for the second portion of the reference image, It is possible to judge whether or not a distortion has occurred. When it is determined that distortion has occurred, the control unit 405 can correct the distortion by correcting the first image first part according to the ratio of the reference partial second feature point, for example, as in the following [Expression 1] .
  • Fig. 10 is a diagram showing an example of correction of feature point correspondence according to an embodiment of the present invention, and shows an example of correcting a first portion of a first image based on a direction between feature points.
  • Fig. 9 feature points corresponding to the head, the neck, and the arms of the human being among the feature points 623 extracted for the second part of the reference image are denoted by a, b, c, and d,
  • the feature points corresponding to the feature points 613 extracted for the first part are referred to as a ', b', c ', and d', respectively.
  • the controller 405 of the display device determines the angle between the line segments between the feature points 613 extracted for the first portion of the first image, for example, b'a 'and b'd' ' May be compared with the angle between the corresponding line segment and the feature point 623 extracted for the second portion of the reference image to determine whether distortion of the first image first portion has occurred. If it is determined that distortion has occurred, the controller 405 can correct the distortion by correcting the first portion of the first image in accordance with the angle of the second portion of the reference image, for example, as in Equation 2 below.
  • the controller 405 of the display device extracts the feature points differently according to the characteristics of the object or the image distortion, for example, by changing the number of the feature points to be extracted, . This will be described with reference to FIG.
  • FIG. 11 is a diagram showing another example of feature point extraction according to an embodiment of the present invention. All the minutiae points among the minutiae points 613 of the first portion 611 and the minutiae points 623 of the second portion 621 illustrated in Figs. 8 to 10 may not necessarily be necessary for the first partial correction. For example, as shown in FIG. 11, when the first part 611 is a human image, only four feature points (p ', q', r ', s') located at the upper, Level calibration can be performed.
  • the control unit 405 of the display device extracts p ', q', r ', and s' as minutiae of the first portion 611, , P, q, r, and s, which are characteristic points of the first portion 611, and compare the size ratios and directions, for example, to correct the first portion 611 accordingly.
  • the accuracy of correction may be lowered, but it is advantageous in terms of correction speed.
  • the reduction in the number of minutiae points as described above is attributable to the characteristics of an object such as a human being and to the characteristics of image distortion caused by warping a planar image to a spherical stereoscopic image. That is, even if the feature points are extracted differently according to the characteristics of the object or the image distortion, they may be suitable for correction. According to this, since the correction can be performed based on the feature points optimized for the correction, the correction speed is further improved.
  • the controller 405 of the display device may select some of the extracted feature points as an example. In another example, May be set to limit the extracted feature points themselves. For example, the controller 405 may select only one of the upper, lower, left, and right end points of the minutiae in order to select some of the extracted minutiae. In another example, (So-called local maxima selection method).
  • the controller 405 of the display device may selectively or alternatively perform the correction according to the degree of interest of the first portion. For example, the control unit 405 may not perform the correction if the degree of interest of the first part is less than or equal to a predetermined minimum value, and is greater than or equal to a predetermined maximum value. As another example, the control unit 405 may perform a correction to a different degree depending on the degree of interest by setting a difference in the number of extracted feature points according to the degree of interest. For example, if the degree of interest is high, a larger number of feature points can be extracted and corrected. The more the feature points are extracted, the higher the accuracy of the correction becomes, so that the more detailed correction is performed for the parts of high interest.
  • the controller 405 of the display device can determine the degree of interest based on at least one of the depth of the first portion and the size of the first portion relative to the first image. For example, it can be determined that as the first portion is farther away from the screen, that is, the depth value of the first portion is larger, the degree of interest is lower. As another example, it can be determined that the smaller the proportion occupied by the first portion on the screen, that is, the smaller the size of the first portion with respect to the first image, the lower the degree of interest of the first portion.
  • FIG. 12 is a diagram showing another example of feature point extraction and correction according to an embodiment of the present invention.
  • the portion of the first person 1210 has a large depth value and a large ratio of lengths to the length of the entire image.
  • the portion of the second person 1220 has a small depth value and a small ratio of the length to the length of the entire image.
  • the controller 405 can determine that the degree of interest for the first person 1210 is greater than the degree of interest for the second person 1220. [ In this case, the controller 405 can extract a larger number of feature points from the first person 1210 having a high degree of interest than the second person 1220 having a relatively low interest level to perform correction. In this case, the correction processing time for the first person 1210 portion may be longer than that of the second person 1220 portion, but the quality of correction may be higher.
  • the controller 405 of the display device may selectively or alternatively perform correction according to the difference between the second portion of the reference image and the first portion of the first image.
  • the control unit 405 can perform correction only when the difference between the two images is equal to or greater than a predetermined value. That is, if it is determined that the necessity of the correction is low, the correction may be omitted or the correction may be simply performed. This will be described with reference to FIG.
  • the correction for the first portion may be performed only when the difference between the first portion and the second portion is equal to or greater than a predetermined value (S1303 to S1305).
  • a predetermined value S1303 to S1305
  • correction can be performed only when the distortion rate is equal to or more than a predetermined value.
  • M ref denotes a size ratio between the feature points for the second portion of the reference image
  • M est denotes a size ratio between the feature points for the first portion of the first image
  • D ref denotes a direction value between the feature points for the second portion of the reference image
  • D est denotes a direction value between the feature points for the first portion of the first image.
  • the controller 405 of the display device can extract minutia information about a certain portion of the image as three-dimensional information. For example, when extracting minutia information about a certain portion of an image mapped to a stereoscopic image, the position of the minutiae point can be extracted in the form of a three-dimensional vector. In this case, the control unit 405 can calculate the distortion rate by reflecting the rotation information between the minutiae points as in the following [Expression 4].
  • R ref denotes rotation information between feature points for the second part of the reference image
  • R est denotes rotation information between feature points of the first part of the first image
  • the control unit 405 can perform the correction for the first part only when the distortion rate is equal to or greater than a predetermined value after calculating the distortion rate as described above, for example, if the threshold value is 25%, or when the distortion rate is 25% or more. In this case, the correction is performed only when the difference between the first and second portions or the distortion is equal to or greater than a predetermined value. Otherwise, the correction is not performed. In other words, it is determined that the correction is unnecessary. The efficiency is increased.
  • the control unit 405 checks whether the degree of interest of the first part of the first area to be corrected is greater than or equal to a predetermined value, It is possible to determine whether or not the correction process itself enters (S1301). According to this, by calculating the distortion rate during the correction process and omitting the unnecessary correction according to the distortion rate, it is further judged whether or not to enter the correction process in the first step. For example, It is possible to further enhance the efficiency of the correction. According to this, it is possible to adjust the degree of correction or the degree of correction according to the situation, thereby further improving the correction efficiency.
  • the controller 405 of the display device can also perform image processing on the background portion of the corrected first portion. If the control unit 405 performs correction only for the first part, which is a part of the first image, and does not perform image processing for the background, the user may receive a heterogeneous feeling between the corrected first part and the background that is not.
  • the controller 405 may perform image processing on the background portion, for example, blending or matting techniques, when the first portion is corrected. It is possible to perform work to mitigate the sense of heterogeneity. This alleviates the sense of heterogeneity between the corrected portion and the background portion, thereby improving the quality of the corrected image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 상기 디스플레이장치는, 디스플레이부; 영상처리부; 및 사용자의 시점 이동에 따라 결정된 제1시점에 대응하는 제1영상 중의 제1부분에 대하여, 제1시점과는 다른 제2시점에 대응하는 제2영상 중에서 제1부분에 대응하는 제2부분을 참조하여, 제1부분을 보정한 영상을 생성하고, 생성된 영상이 디스플레이부에 표시되도록 영상처리부를 제어하는 제어부를 포함한다. 이에 의하면, 사용자의 시점에 대응하는 영상을 보정하여 표시함으로써 사용자에게 보다 편안하게 감상할 수 있는 영상을 제공할 수 있다.

Description

디스플레이장치 및 그 제어방법
본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 보다 구체적으로는, 360도 영상에서 사용자의 시점에 대응하는 영상을 보정하는 디스플레이장치 및 그 제어방법에 관한 것이다.
최근의 디스플레이장치는 다양한 영상을 제공할 수 있다. 360도/VR(Virtual Reality) 컨텐츠 영상이 그 중 하나이다. 여러 대의 카메라 혹은 복수의 렌즈를 장착한 카메라를 이용하여 영상을 촬영하고 이를 입체에 매핑하여 사용자에게 보여주면, 사용자는 시점을 이동하면서 영상을 감상할 수 있다. 그 효과로 사용자는 실제 공간에 있는 것처럼 느끼게 된다.
360도 영상을 디스플레이장치에서 재생 가능하도록 처리하는 과정에서 등장방형(Equirectangular)등의 평면 형태 영상을 구(Sphere) 등의 입체 형태로 매핑하는 과정이 수행된다. 영상의 이러한 기하학적 변형을 워핑(Warping)이라 한다.
평면 영상을 입체 영상으로 워핑함에 따라 영상에 왜곡이 발생하게 된다. 입체 영상 중의 일부 영상으로서 사용자의 시점에 대응하는 영상을 감상하는 사용자의 관점에서 보면, 해당 영상의 중심부에서는 왜곡의 정도가 크지 않을 수 있으나, 그 외곽부에서는 왜곡의 정도가 커질 수 있다. 그리고 워핑된 영상을 시청하는 사용자의 시점 변화 및 그에 따른 객체의 이동에 따라 한 시점에서는 왜곡 정도가 크지 않았던 부분이 다음 시점에서는 크게 왜곡되어 표시되기도 한다. 그에 따라 사용자에게 어지러움이나 피로감 등을 유발할 수 있는 문제가 있다.
이에 본 발명은, 사용자의 시점에 대응하는 영상을 보정하여 표시함으로써 사용자에게 보다 편안하게 감상할 수 있는 영상을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이장치는, 디스플레이부; 영상처리부; 및 사용자의 시점 이동에 따라 결정된 제1시점에 대응하는 제1영상 중의 제1부분에 대하여, 상기 제1시점과는 다른 제2시점에 대응하는 제2영상 중에서 상기 제1부분에 대응하는 제2부분을 참조하여, 상기 제1부분을 보정한 영상을 생성하고, 상기 생성된 영상이 상기 디스플레이부에 표시되도록 상기 영상처리부를 제어하는 제어부를 포함한다. 이에 의하면, 사용자의 시점에 대응하는 영상을 보정하여 표시함으로써 사용자에게 보다 편안하게 감상할 수 있는 영상을 제공할 수 있다. 또한, 영상 중 일 부분에 대해서만 보정이 가능하므로 효율적인 보정이 가능하다.
여기서, 상기 제2부분은 상기 제2영상의 중심부에 위치하고, 상기 제1부분은 상기 제1영상의 중심부로부터 떨어진 외곽부에 위치할 수 있다.
한편, 상기 제1부분과 제2부분은 각 서로 대응되는 객체를 포함하고, 상기 제어부는 상기 제1부분과 제2부분의 각 객체의 특징점을 추출하고, 상기 추출된 특징점의 대응관계에 기초하여 상기 보정을 수행할 수 있다. 이에 의하면, 제2부분을 참조하여 제1부분을 보정함에 있어서 특징점의 대응관계에 기초하여 보정을 수행함으로써 보정 속도가 향상된다.
나아가, 상기 제어부는 객체의 특성 또는 영상 왜곡의 특성에 따라 추출할 특징점의 개수를 다르게 하여 상기 보정을 수행할 수 있다. 이에 의하면 보정에 최적화 된 특징점에 기초하여 보정을 수행할 수 있으므로 보정 속도가 더욱 향상된다.
상기 제어부는 상기 추출된 특징점 사이의 크기, 방향 중 적어도 하나에 기초하여 상기 보정을 수행할 수 있다.
상기 제어부는 상기 제2영상의 제2부분과 상기 제1영상의 제1부분의 차이에 따라 선택적으로 또는 다른 정도로 상기 보정을 수행할 수 있다. 또한, 상기 제어부는 상기 제1부분의 관심도에 따라 선택적으로 또는 다른 정도로 상기 보정을 수행할 수 있다. 이에 의하면, 상황에 따라 보정 여부 또는 보정 정도를 조절할 수 있으므로 보정 효율이 향상된다. 여기서, 상기 관심도는 상기 제1부분의 깊이 및 상기 제1영상 대비 상기 제1부분의 크기 중 적어도 하나에 기초하여 결정될 수 있다.
상기 제어부는 보정한 상기 제1부분의 배경부분에 대한 영상처리를 수행할 수 있다. 이에 의하면, 더욱 자연스러운 보정 영상을 생성하여 표시할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이장치의 제어방법은, 사용자의 시점 이동에 따라 제1시점에 대응하며 제1부분을 포함하는 제1영상을 결정하는 단계; 상기 제1부분에 대응하는 제2부분을 포함하고 상기 제1시점과는 다른 제2시점에 대응하는 제2영상을 선택하는 단계; 상기 제2영상 중에서 제2부분을 참조하여 상기 제1영상의 제1부분을 보정한 영상을 생성하는 단계; 및 상기 생성된 영상을 표시하는 단계를 포함한다. 이에 의하면, 사용자의 시점에 대응하는 영상을 보정하여 표시함으로써 사용자에게 보다 편안하게 감상할 수 있는 영상을 제공할 수 있다. 또한, 영상 중 일 부분에 대해서만 보정이 가능하므로 효율적인 보정이 가능하다.
여기서, 상기 제2부분은 상기 제2영상의 중심부에 위치하고, 상기 제1부분은 상기 제1영상의 중심부로부터 떨어진 외곽부에 위치할 수 있다.
한편, 상기 제1부분과 제2부분은 각 서로 대응되는 객체를 포함하고, 상기 보정 영상을 생성하는 단계는, 상기 제1부분과 제2부분의 각 객체의 특징점을 추출하고, 상기 추출된 특징점의 대응관계에 기초하여 상기 보정을 수행할 수 있다. 이에 의하면, 제2부분을 참조하여 제1부분을 보정함에 있어서 특징점의 대응관계에 기초하여 보정을 수행함으로써 보정 속도가 향상된다.
나아가, 상기 보정 영상을 생성하는 단계는, 객체의 특성 또는 영상 왜곡의 특성에 따라 추출할 특징점의 개수를 다르게 하여 상기 보정을 수행 수행할 수 있다. 이에 의하면 보정에 최적화 된 특징점에 기초하여 보정을 수행할 수 있으므로 보정 속도가 더욱 향상된다.
상기 보정 영상을 생성하는 단계는, 상기 추출된 특징점 사이의 크기, 방향 중 적어도 하나에 기초하여 상기 보정을 수행할 수 있다.
상기 보정 영상을 생성하는 단계는, 상기 제2영상의 제2부분과 상기 제1영상의 제1부분의 차이에 따라 선택적으로 또는 다른 정도로 상기 보정을 수행할 수 있다. 또한, 상기 보정 영상을 생성하는 단계는, 상기 제1부분의 관심도에 따라 선택적으로 또는 다른 정도로 상기 보정을 수행할 수 있다. 이에 의하면, 상황에 따라 보정 여부 또는 보정 정도를 조절할 수 있으므로 보정 효율이 향상된다. 여기서, 상기 관심도는 상기 제1부분의 깊이 및 상기 제1영상 대비 상기 제1부분의 크기 중 적어도 하나에 기초하여 결정될 수 있다.
상기 보정 영상을 생성하는 단계는, 보정한 상기 제1부분의 배경부분에 대한 영상처리를 수행할 수 있다. 이에 의하면, 더욱 자연스러운 보정 영상을 생성하여 표시할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 컴퓨터프로그램은, 디스플레이장치와 결합되어 위 제어방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램이다.
상기 컴퓨터프로그램은 서버 내의 매체에 저장되고 네트워크를 통해 상기 전자장치에 다운로드 될 수 있는 컴퓨터프로그램일 수 있다.
상기한 바와 같이, 본 발명에 의하면, 사용자의 시점에 대응하는 영상을 보정하여 표시함으로써 사용자에게 보다 편안하게 감상할 수 있는 영상을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디스플레이장치를 나타내는 도면,
도 2는 본 발명의 일 실시예에 따른 디스플레이장치에서 360도 영상을 생성하는 과정을 나타내는 도면,
도 3은 본 발명의 일 실시예에 따른 디스플레이장치에서의 360도 영상 생성과정 중 워핑(Warping) 과정을 나타내는 도면,
도 4는 본 발명의 일 실시예에 따른 디스플레이장치의 구성을 나타내는 블록도,
도 5는 본 발명의 일 실시예에 따른 디스플레이장치의 동작을 나타내는 흐름도,
도 6은 본 발명의 일 실시예에 따른 디스플레이장치에서 영상이 왜곡되어 표시되는 일 예를 나타내는 도면,
도 7은 본 발명의 일 실시예에 따른 디스플레이장치의 작동 개요를 나타내는 도면,
도 8은 본 발명의 일 실시예에 따른 특징점 추출의 일 예를 나타내는 도면,
도 9 내지 도 10은 본 발명의 일 실시예에 따른 특징점 대응 보정의 일 예를 나타내는 도면,
도 11은 본 발명의 일 실시예에 따른 특징점 추출의 다른 예를 나타내는 도면,
도 12는 본 발명의 일 실시예에 따른 특징점 추출 및 보정의 다른 예를 나타내는 도면,
도 13은 본 발명의 일 실시예에 따른 디스플레이장치 동작의 다른 예를 나타내는 흐름도.
이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 디스플레이장치를 도시한다. 본 발명의 일 실시예에 따른 디스플레이장치(1a, 1b, 1c)는, 예컨대, TV로 구현될 수 있다. 또한, 본 발명의 다른 실시예에 따른 디스플레이장치 (1a, 1b, 1c)는, 예컨대, 스마트폰, 태블릿, 모바일폰, 스마트워치, 헤드 마운트형 디스플레이(Head-Mounted Display) 등의 웨어러블 디바이스, 컴퓨터, 멀티미디어 재생기, 전자액자, 디지털 광고판, LFD(Large Format Display), 디지털 싸이니지, 셋탑박스, 냉장고 등 컨텐츠의 영상을 출력할 수 있는 장치로 구현될 수 있다. 그러나 본 발명의 일 실시예에 따른 디스플레이장치(1a, 1b, 1c)는 이에 한정되지 않고, 영상을 출력할 수 있는 장치라면 무엇이든 가능하다.
본 발명의 일 실시예에 따른 디스플레이장치(1a, 1b, 1c)가 출력하는 영상은, 예컨대, 360도 VR(Virtual Reality) 컨텐츠의 영상이다. 본 실시예에서의 디스플레이장치(1a, 1b, 1c)는 상기 영상을 직접 생성하거나, 혹은 외부로부터 수신할 수 있다. 도 1에 도시된 바와 같이, 디스플레이장치(1a, 1b, 1c)는 카메라, 서버, USB 저장장치, DVD, 컴퓨터 등 외부장치(1d)를 통하여 영상을 수신할 수 있다. 다른 실시예로서, 디스플레이장치(1a, 1b, 1c)는 적어도 하나의 카메라를 포함할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 디스플레이장치에서 360도 영상을 생성하는 과정을 도시한다. 본 실시예에서의 촬상영상(201)은, 시점의 이동이 가능하도록 적어도 하나 이상의 렌즈를 장착한 카메라를 이용하여 서로 다른 방위에 대하여 획득한 복수의 영상으로부터 생성될 수 있다. 카메라의 적어도 하나 이상의 렌즈는, 경우에 따라 광각렌즈일 수 있다. 그러나 촬상영상(201)을 생성하기 위한 수단은 이에 제한되지 않으며, 촬상영상(201)은 복수의 카메라로부터 생성될 수도 있다.
다음으로, 본 발명의 일 실시예에 의한 스티칭영상(202)은 촬상영상(201)으로부터 변환된다. 스티칭영상(202)은, 예컨대, HDRI(High Dynamic Range Imaging, HDRI) 맵 방식을 이용하여, 촬상영상(201)을 등장방형(Equirectangular) 등에 맵핑함으로써 생성될 수 있다. 본 발명의 일 실시예에 의한 스티칭영상(202)은 HDRI 맵 방식에 한정되지 않으며, 여섯 방향으로 획득한 영상을 정육면체에 맵핑하는 큐브(Cube) 맵 방식 등에 의해서도 생성될 수 있다. 본 발명의 일 실시예에 따른 디스플레이장치(1a, 1b, 1c)는 촬상영상(201)을 외부로부터 수신하여 스티칭영상(202)을 생성할 수도 있고, 혹은, 스티칭영상(202)을 외부로부터 수신할 수도 있다.
본 발명의 일 실시예에 의한 디스플레이장치(1a, 1b, 1c)는 스티칭영상(202)을 변환하여 입체영상(203)을 생성한다. 본 발명의 일 실시예에 의한 입체영상(203)의 형태는, 예컨대, 구, 직육면체, 원통 등일 수 있다. 다른 실시예로서, 디스플레이장치(1a, 1b, 1c)는 외부로부터 입체영상(203)을 수신할 수도 있다.
다음으로, 디스플레이장치(1a, 1b, 1c)는 입체영상(203) 중 화면에 표시될 출력영역(205)에 곡면-평면 맵핑을 수행하여 평면영상(204)을 생성한다. 본 발명의 일 실시예에 의한 출력영역(205)의 선택은 사용자에 의해 결정될 수 있다. 구체적으로, 디스플레이장치(1a, 1b, 1c)는 출력영역(205)의 표시 중에 화면의 시점을 변경하는 사용자의 입력에 따라 출력영역(205)을 변경, 확대 또는 축소할 수 있다. 다음으로, 디스플레이장치(1a, 1b, 1c)는 평면영상(204)에 기초하여 출력영상(206)을 화면에 표시한다. 디스플레이장치(1a, 1b, 1c)는 평면영상(204)에 화질처리 등을 수행할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 디스플레이장치에서의 360도 영상 생성과정 중 워핑(Warping) 과정을 도시한다. 디스플레이장치(1a, 1b, 1c)가 평면 형태의 스티칭영상(301)을 변환하여 입체영상(302)을 생성하는 과정, 즉 워핑(Warping) 과정에서는 평면 영상이 입체 영상으로 매핑됨에 따라 영상에 왜곡이 발생하게 된다. 도 3을 참조하면, 워핑 시 스티칭영상(301)의 각 화소 (x, y)가 구 형태의 새로운 위치인 (x', y')으로 대응됨에 따라 입체영상(302)이 생성되게 되는데, 생성된 입체영상(302) 중 사용자의 시점에 대응하는 영상(303)의 중심부에서는 왜곡의 정도가 크지 않을 수 있으나, 그 외곽부에서는 왜곡의 정도가 크게 나타날 수 있다. 나아가 워핑된 영상을 시청하는 사용자의 시점 변화 및 그에 따른 객체의 이동에 따라 한 시점에서는 왜곡 정도가 크지 않았던 부분이 다음 시점에서는 크게 왜곡되어 표시되기도 한다.
이하 이러한 왜곡을 보정하기 위한 본 발명의 일 실시예에 따른 디스플레이장치의 구성을 설명한다.
도 4는 본 발명의 일 실시예에 따른 디스플레이장치의 구성을 나타내는 블록도이다. 본 발명의 일 실시예에 따른 디스플레이장치(1a, 1b, 1c)는 영상수신부(401), 영상처리부(402), 디스플레이부(403), 사용자명령입력부(404) 및 제어부(405)를 포함한다. 다만, 도 4에 도시된 본 디스플레이장치(1a, 1b, 1c)의 구성은 하나의 예시일 뿐이며, 본 발명의 일 실시예에 의한 디스플레이장치는 다른 구성으로도 구현될 수 있다. 즉, 본 발명의 일 실시예에 의한 디스플레이장치는 도 4에 도시된 구성 외에 다른 구성이 추가되거나, 혹은 도 4에 도시된 구성 중 일부가 배제되어 구현될 수도 있다.
영상수신부(401)은, 예컨대, 360도 VR 컨텐츠의 영상신호를 수신한다. 영상수신부(401)는 방송신호와 같은 형태의 영상신호를 수신하기 위한 튜너(tuner)를 구비할 수 있다. 튜너는 복수의 채널 중 사용자에 의해 선택된 어느 하나의 채널의 방송신호를 튜닝하여 수신할 수 있다. 또는, 영상수신부(401)는 카메라, 서버, USB저장장치, DVD, 컴퓨터 등과 같은 외부장치(1d)로부터 영상신호를 수신할 수도 있다.
영상수신부(401)는 외부장치(1d)와 통신하여 영상신호를 수신하는 통신부를 구비할 수 있다. 통신부는 외부 장치에 따라서 다양한 방식으로 구현된다. 예컨대, 통신부는 유선통신을 위한 접속부를 포함하며, 접속부는 HDMI(High Definition Multimedia Interface), HDMI-CFC(Consumer Electronics Control), USB, 컴포넌트(Component) 등의 규격에 따른 신호/데이터를 송/수신할 수 있으며, 이들 각각의 규격에 대응하는 적어도 하나 이상의 커넥터 또는 단자를 포함한다. 통신부는 유선 LAN(Local Area Network)을 통해 복수의 서버들과 유선 통신을 수행할 수 있다.
통신부는 유선 접속을 위한 커넥터 또는 단자를 포함하는 접속부 이외에도 다양한 다른 통신 방식으로 구현될 수 있다. 예컨대, 외부 장치와 무선 통신을 수행하기 위해 RF(Radio Frequency)신호를 송/수신하는 RF회로를 포함할 수 있으며, Wi-Fi, 블루투스, 지그비(Zigbee), UWB(Ultra-Wide Band), Wireless USB, NFC(Near Field Communication) 중 하나 이상의 통신을 수행하도록 구성될 수 있다.
영상처리부(402)는, 제어부(405)의 제어에 따라, 영상수신부(401)를 통해 수신되는 영상신호에 대해 영상처리를 수행하고, 이러한 영상처리가 수행된 영상신호를 디스플레이부(403)에 출력함으로써 디스플레이부(403)에 출력영상(206)이 표시되게 한다.
영상처리부(402)는, 제어부(405)의 제어에 따라, 촬상영상(201)을 스티칭영상(202)으로 변환하거나, 스티칭영상(202)을 입체영상(203)으로 변환하거나, 혹은, 입체영상(203)으로부터 평면영상(204)을 얻어내는 영상처리를 할 수 있다. 영상처리부(302)는, 앞서 언급한 영상처리 이외에, 영상의 해상도를 조정하는 스케일링(Scaling) 등 적어도 하나의 영상처리를 더 수행할 수 있다. 영상처리부(402)는, 이상 언급된 영상처리를 수행하는 하나 이상의 하드웨어 및/또는 소프트웨어 모듈 혹은 그 조합으로서 구현될 수 있다.
디스플레이부(403)는, 영상처리부(402)가 영상처리를 수행하여 얻은 평면영상(204에 기초하여 출력영상(206)을 표시한다. 디스플레이부(403)의 구현 방식은 한정되지 않으며, 예컨대 액정(Liquid Crystal), 플라즈마(Plasma), 발광 다이오드(Light-Emitting Diode), 유기발광 다이오드(Organic Light-Emitting Diode), 면전도 전자총(Surface-Conduction Electron-Emitter), 탄소 나노 튜브(Carbon Nano-Tube), 나노 크리스탈(Nano-Crystral) 등의 다양한 디스플레이 방식으로 구현될 수 있다.
디스플레이부(403)는, 액정 방식인 경우에, 액정 디스플레이 패널과 액정 디스플레이 패널에 광을 공급하는 백라이트유닛과, 액정 디스플레이 패널을 구동시키는 패널구동부 등을 포함한다. 디스플레이부(403)는, 백라이트유닛 없이, 자발광 소자인 OLED 패널로 구현될 수 있다.
사용자명령입력부(404)는 사용자입력을 수신하여 제어부(405)로 전달한다. 사용자명령입력부(404)는 사용자입력의 방식에 따라서 다양한 형태로 구현될 수 있는바, 예컨대 디스플레이장치(1a, 1b, 1c)의 외측에 설치된 메뉴버튼, 리모컨으로부터 수신되는 사용자입력의 리모컨신호를 수신하는 리모컨신호수신부, 디스플레이부(403)에 마련되어 사용자의 터치입력을 수신하는 터치스크린(Touch-Screen), 사용자의 제스처입력을 감지하는 카메라, 사용자의 음성입력을 인식하는 마이크 등으로 구현될 수 있다. 사용자명령입력부(404)는 출력영역(205)의 표시 중에, 화면의 시점을 변경하는 사용자입력을 수신할 수 있다.
제어부(405)는, 디스플레이장치(1a, 1b, 1c)의 제반 구성들이 동작하기 위한 제어를 수행한다. 제어부(405)는 이러한 제어 동작을 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션)과, 제어프로그램이 설치되는 비휘발성의 메모리, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리 및 로드된 제어프로그램을 실행하는 적어도 하나의 프로세서 혹은 CPU(Central Processing Unit)를 포함할 수 있다. 또한, 이와 같은 제어프로그램은, 디스플레이장치(1a, 1b, 1c) 이외의 다른 전자기기에도 저장될 수 있다.
제어프로그램은 BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 응용프로그램은, 디스플레이장치(1a, 1b, 1c)의 제조 시에 디스플레이장치(1a, 1b, 1c)에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 디스플레이장치(1a, 1b, 1c)에 설치될 수 있다. 응용프로그램의 데이터는, 예컨대, 어플리케이션 마켓과 같은 외부 서버로부터 디스플레이장치(1a, 1b, 1c)로 다운로드될 수도 있으나, 이에 한정되는 것은 아니다. 한편, 제어부(405)는 device, S/W module, circuit, chip 등의 형태로 구현될 수 있다.
제어부(405)는, 예컨대, 360도 VR 컨텐츠의 영상신호를 수신하도록 영상수신부(401)를 제어한다. 제어부(405)는 영상처리부(402)가 영상신호에 대하여 영상처리를 수행하도록 하고, 출력영상(206)이 표시되도록 디스플레이부(403)를 제어한다. 도 4에 도시된 디스플레이장치(1a, 1b, 1c)는 영상처리부(402)와, 제어부(405)가 별개의 구성으로 구현된 것을 나타내나, 이는 하나의 예시일 뿐이며, 본 발명의 다른 실시예에 의한 디스플레이장치(1a, 1b, 1c)는 영상처리부와 제어부가 병합된 구성으로 구현될 수도 있다.
이하 본 발명의 일 실시예에 의한 제어부(405)를 구체적으로 설명한다. 도 5는 본 발명의 일 실시예에 따른 디스플레이장치의 동작을 나타내는 흐름도이다. 본 발명의 일 실시예에 따른 디스플레이장치는 사용자의 시점 이동에 따라 결정된 제1시점에 대응하는 제1영상을 표시함에 있어서, 제1영상 중 제1부분을 보정한 영상을 표시한다. 여기서 제1부분이란 제1영상의 일 부분으로서 보정이 필요한 부분을 의미한다. 예를 들어, 제1부분은 제1시점에 대응하는 제1영상 중 워핑에 따라 왜곡된 부분일 수 있으나, 이에 한정되는 것은 아니다.
구체적으로, 제어부(405)는 먼저 제2시점에 대응하는 제2영상으로서 상기 제1부분에 대응하는 제2부분을 포함한 제2영상을 선택한다(S501). 여기서 제2시점은 제1시점과는 다른 시점이다. 그리고 제1부분에 대응하는 제2부분이란, 제1부분을 보정하는 데 있어서 참고가 될 수 있는 부분을 의미하는 것으로서, 예를 들어 제1부분이 왜곡된 영상일 경우, 그 컨텐츠의 내용은 제1부분과 동일하나 왜곡이 보정되었거나 왜곡이 발생하지 않은 부분을 제2부분이라 할 수 있다.
이후, 제어부(405)는 위 선택된 제2영상을 참조하여, 구체적으로 제2영상 중에서 상기 제1부분에 대응하는 제2부분을 참조하여 제1영상 중 제1부분을 보정한 영상을 생성한다(S502). 마지막으로, 제어부(405)는 이처럼 생성된 영상, 즉 제1영상 중 제1부분이 보정된 영상이 디스플레이부(403)에 표시되도록 영상처리부(402)를 제어한다.
이하 도 6 내지 도 7을 참조하여 본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)의 동작을 구체적인 영상과 함께 설명한다.
도 6은 본 발명의 일 실시예에 따른 디스플레이장치와 관련된 기술로서, 영상이 왜곡되어 표시되는 경우의 일 예를 나타내는 도면이다. 도 6은 360도 영상이 구형 입체(601)에 워핑된 경우, 사용자의 제1시점에 대응하는 제1영상(610) 및 사용자의 제2시점에 대응하는 제2영상(620)이 디스플레이장치의 화면에 표시되는 상황을 각각 도시한다. 도 6에 도시된 제1영상(610) 및 제2영상(620)은, 일 예로, 사람이 촬영된 영상이며, 각 영상에서 사람이 있는 부분을 각각 제1부분(611) 및 제2부분(612)이라 한다. 제2영상(620)을 먼저 참조하면, 제2영상(620)에서는 제2부분(621)이 영상의 중심부에 있어서 제2부분(621)의 왜곡 정도는 크지 않다. 만일 제2영상(620)이 표시된 상태에서 사용자의 시점이 제2시점에서 제1시점으로 이동하면, 제1시점에 대응하는 제1영상(610)이 표시된다. 참조로, 도 6에 도시된 예시에서의 사용자의 시점은, 구형 입체(601)의 내부에서 외부를 바라보는 시점이다. 즉, 제2시점에서 제1시점으로 사용자의 시점이 좌측(구형 입체(601)의 상반구를 기준으로 할 때 반시계방향)으로 이동함에 따라, 제2영상(620)에서는 영상의 중심부에 표시되었던 제2부분(621)이 제1영상(610)에서는 영상의 우측 외곽부인 제1부분(611)에 표시된다. 이 때 제1부분(611)이 제1영상(610)의 외곽부에 표시되게 됨에 따라 제1부분(611)은 제2부분(621)보다 상대적으로 더 왜곡되어 표시된다. 즉, 도 6에서 볼 수 있듯이, 제1영상(610)의 제1부분(611)은 제2영상(620)의 제2부분(621)과 비교하여 옆으로 기울어지고 전체적인 길이가 늘어나는 등의 왜곡이 나타남을 알 수 있다.
이러한 왜곡을 보정하기 위한 본 발명의 일 실시예를 도 7을 참조하여 설명한다. 도 7은 본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)의 작동 개요를 나타내는 도면이다. 앞서 도 6을 참조하여 설명한 바와 같이, 본 발명의 일 실시예에 따른 제어부(405)는 제1부분(611)의 왜곡을 보정한 영상을 생성하여 표시하도록 제어한다. 제1부분(611)의 왜곡을 보정한 영상을 생성함에 있어서, 본 발명의 일 실시예에 따른 제어부(405)는, 제2영상(이하 '참조영상'이라고도 한다)을 참조한다. 즉, 참조영상은 제1시점과는 다른 제2시점에 대응하는 영상으로서, 제1부분(611)과 대비하여 왜곡의 정도가 상대적으로 작은(낮은) 제2부분(621)을 포함하는 영상이다. 이후, 본 발명의 일 실시예에 따른 제어부(405)는 참조영상(620)의 제2부분(621)을 참조하여 제1영상(610)의 제1부분(611)을 보정한 영상(710; 이하, '보정영상'이라고도 함)을 생성하도록 제어한다. 도 7을 참조하면, 제1부분(611)에 대응하는 보정영상(710)의 제3부분(711)에서는 워핑으로 인해 사람이 기울어지고 늘어지게 표시되었던 제1부분(611)의 왜곡이 보정되었음을 알 수 있다. 이에 의하면, 사용자의 시점에 대응하는 영상을 보정하여 표시함으로써 사용자에게 보다 편안하게 감상할 수 있는 영상을 제공할 수 있다. 또한, 영상 중 일 부분에 대해서만 보정이 가능하므로 효율적인 보정이 가능하다.
본 발명의 일 실시예에 따른 제어부(405)는, 제1영상에서의 제1부분의 왜곡을 보정하기 위한 참조영상을 선택할 수 있다. 평면 영상이 구 형태의 입체 영상으로 워핑된 경우, 사용자의 시점에 대응하는 입체 영상의 일부 영상 중 중심부에서는 왜곡의 정도가 크지 않을 수 있으나, 중심부로부터 떨어진 외곽부에서는 왜곡의 정도가 커지는 경향이 있다. 따라서 참조영상 선택 시 제2부분이 참조영상의 중심부에 위치하도록 참조영상을 선택하는 것이 효율적일 수 있다(이하, 이러한 참조영상을 '중심시점영상'이라 한다). 참조영상의 제2부분이 그 중심부에 위치할수록 왜곡은 최소화되므로, 왜곡 보정의 효과가 커진다.
한편, 본 발명의 일 실시예에 따른 제어부(405)는, 제1시점에 대응하는 제1영상 중 왜곡 보정이 필요한 제1부분을 결정할 수 있다. 일 예로, 앞서 설명한 바와 같이, 제1영상의 중심부로부터 떨어진 외곽부에 왜곡이 발생할 확률이 높아지는 경향이 있다. 즉, 본 발명의 일 실시예에 따른 제어부(405)는, 제1영상의 외곽부에서 발생되는 왜곡의 정도에 기초하여 제1부분을 결정할 수 있다. 즉, 본 발명의 일 실시예에 따른 제어부(405)는, 제1영상의 외곽부의 일부분에서 발생되는 왜곡의 정도가 소정치 이상이라고 판단되는 경우, 해당 부분을 왜곡 보정이 필요한 제1부분으로 결정할 수 있다. 또한, 본 발명의 일 실시예에 따른 제어부(405)는, 제1영상에 포함된 객체에 기초하여 제1부분을 결정할 수도 있다. 구체적으로, 본 발명의 일 실시예에 따른 제어부(405)는, 제1영상의 외곽부에 포함된 각 객체 단위로 왜곡의 정도를 판단하여, 왜곡이 소정치 이상인 객체를 제1부분으로 결정할 수 있다. 다른 예로, 제어부(405)는, 사용자의 입력에 따라 왜곡 보정이 필요한 제1부분을 결정할 수도 있다. 구체적으로, 본 발명의 일 실시예에 따른 제어부(405)는, 사용자의 입력에 따라 왜곡 보정이 필요한 객체의 유형을 결정하고, 제1영상 중에 결정된 유형의 객체가 있는지를 판단하는 방법으로 제1부분을 결정할 수 있다.
본 발명의 일 실시예에 따른 제어부(405)는, 객체 단위로 제1부분에 대응하는 제2부분을 포함하는 참조영상을 선택할 수 있다. 일 예로, 제어부(405)는, 왜곡 보정이 필요한 제1부분의 객체를 특정하고, 해당 프레임 내에서, 상기 특정된 객체가 영상의 중심부에 위치하는 중심시점영상을 선택할 수 있다. 다른 예로, 제어부(405)는, 제1영상과는 다른 프레임에서 제1영상의 객체에 대응하는 유사 객체를 결정하고, 해당 유사 객체가 영상의 중심부에 위치하는 중심시점영상을 선택할 수도 있다.
이상 제1영상 중 왜곡된 제1부분을 보정하는 실시예를 설명하였다. 그러나 본 발명에 따른 보정이 왜곡된 부분에 대한 보정으로만 한정되는 것은 아니다. 제1부분이 왜곡된 부분이 아니더라도 제2영상을 참조하여, 구체적으로는 제2영상 중 제1부분에 대응하는 제2부분을 참조하여 제1영상을 보정하는 경우라면 어떤 경우라도 본 발명이 적용될 수 있다.
또한, 이상에서는 제1영상과 제2영상이 360도 영상의 동일 프레임 내에 존재하는 영상인 경우를 예로 들어 설명하였으나, 제1영상과 제2영상은 이와 달리 각각 다른 프레임에 존재해도 무방하다.
이하 참조영상의 제2부분을 참조하여 제1영상의 제1부분을 보정한 영상을 생성하는 방법을 더욱 구체적으로 살펴본다. 보정 방법의 일 예로, 본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는, 참조영상의 제2부분이, 보정하고자 하는 제1영상의 제1부분과 서로 대응되는 객체를 포함하도록 참조영상과 제2부분을 선택한 후, 상기 제1부분과 제2부분의 각 객체에서 추출된 특징점의 대응관계에 기초하여 보정을 수행할 수 있다. 여기서 특징점이란 특정 객체를 다른 객체 또는 주위 배경과 구별 내지 식별할 수 있도록 해당 객체의 독특한 특징을 잘 드러내는 점들을 의미하는 것으로서, 좋은 특징점이 되기 위한 조건으로는, 객체의 크기나 형태, 위치가 변해도 특징점은 변하지 않고 쉽게 식별 가능할 것, 카메라의 시점이나 조명 등이 변해도 특징점은 변함 없이 영상에서 해당 지점을 쉽게 찾아낼 수 있을 것 등이 있다. 특징점의 일 예로는 코너점이 있으나 본 발명의 특징점이 이에 한정되는 것은 아니다. 이러한 특징점을 찾아내는 알고리즘으로는 Harris corner 추출법, Shi & Tomasi 추출법, SIFT (Scale Invariant Feature Transform), SURF(Speeded-Up Robust Features) 등의 방법이 있다. 공지의 알고리즘이므로 구체적인 설명은 생략한다.
본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는 영상으로부터 특징점을 추출할 수 있다. 도 8은 본 발명의 일 실시예에 따른 특징점 추출의 일 예를 나타내는 도면이다. 제1시점에 대응하는 제1영상(610) 중 보정이 필요한 제1부분(611)이 사람에 관한 영상인 경우를 도시한다. 이 경우 제1부분(611)에 대하여 특징점을 추출한 일 예는 613과 같다. 즉, 사람의 머리, 목, 허리, 양 팔, 양 다리에 해당하는 지점이 각각 특징점으로 추출된 예를 나타낸다.
한편, 제1부분(611)에 대응하는 제2부분(621)이 영상의 중심에 위치하는 중심시점영상을 참조영상(620)으로 선택한 후, 제2부분(621)에 대한 특징점을 추출한 예는 623과 같다. 제2부분(621)과 비교하여 제1부분(611)이 워핑에 의해 기울어지고 길이가 변형되는 왜곡이 발생하였으나, 특징점은 객체의 크기나 형태, 위치가 변해도 그 특성이 변하지 않고 식별 가능한 지점이므로, 제1부분(611)에 대해 추출한 특징점(613)과 제2부분(621)에 대해 추출한 특징점(623)은 왜곡에도 불구하고 서로 대응된다(예. a-a', b-b', c-c', d-d').
본 발명의 일 실시예에 따른 디스플레이장치는, 이처럼 제1부분과 제2부분의 각 객체에서 추출된 특징점 사이의 대응관계에 기초하여 제1영상(610)의 제1부분(611)에 대한 보정을 수행할 수 있다. 이에 의하면, 제2부분을 참조하여 제1부분을 보정함에 있어서 특징점의 대응관계에 기초하여 보정을 수행함으로써 보정 속도가 향상된다.
구체적으로, 본 발명의 일 실시예에 따른 디스플레이장치는 기 추출된 특징점 사이의 크기, 방향 중 적어도 하나에 기초하여 보정을 수행할 수 있다. 도 9 내지 도 10을 참조하여 이를 설명한다.
도 9는 본 발명의 일 실시예에 따른 특징점 대응 보정의 일 예를 나타내는 도면으로, 특징점 사이의 크기에 기초하여 제1영상의 제1부분을 보정하는 예를 도시한다.
이하 참조영상의 제2부분에 대해 추출한 특징점(623) 중 사람의 머리, 목, 양 팔에 해당하는 특징점을 각각 a, b, c, d라 하고, 제1영상의 제1부분에 대해 추출한 특징점(613) 중 그에 대응하는 특징점을 각각 a', b', c', d'라 한다. 본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는, 제1영상의 제1부분에 대해 추출한 특징점(613) 사이를 이은 선분 사이의 크기 비율, 예를 들어 b'과 나머지 각 점 a', c', d'을 이은 선분 사이의 크기 비율을, 참조영상의 제2부분에 대해 추출한 특징점(623)에서 각 대응하는 선분 사이의 크기 비율과 비교하여, 제1영상 제1부분에 대한 왜곡 발생 여부를 판단할 수 있다. 왜곡이 발생된 것으로 판단되는 경우 제어부(405)는, 예를 들어 아래 [수식 1]과 같이, 참조영상 제2부분 특징점의 비율에 맞추어 제1영상 제1부분을 보정함으로써 왜곡을 보정할 수 있다.
[수식 1]
Figure PCTKR2018005682-appb-I000001
도 10도 본 발명의 일 실시예에 따른 특징점 대응 보정의 일 예를 나타내는 도면으로, 특징점 사이의 방향에 기초하여 제1영상의 제1부분을 보정하는 예를 도시한다. 위 도 9에서와 마찬가지로, 참조영상의 제2부분에 대해 추출한 특징점(623) 중 사람의 머리, 목, 양 팔에 해당하는 특징점을 각각 a, b, c, d라 하고, 제1영상의 제1부분에 대해 추출한 특징점(613) 중 그에 대응하는 특징점을 각각 a', b', c', d'라 한다. 본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는, 제1영상의 제1부분에 대해 추출한 특징점(613) 사이를 이은 선분 사이의 각도, 예를 들어 b'a'과 b'd' 을 이은 선분 사이의 각도를, 참조영상의 제2부분에 대해 추출한 특징점(623)에서 이에 대응하는 선분 사이의 각도와 비교하여, 제1영상 제1부분의 왜곡 발생 여부를 판단할 수 있다. 왜곡이 발생된 것으로 판단되는 경우 제어부(405)는, 예를 들어 아래 [수식 2]와 같이 참조영상 제2부분의 각도에 맞추어 제1영상의 제1부분을 보정함으로써 왜곡을 보정할 수 있다.
[수식 2]
Figure PCTKR2018005682-appb-I000002
한편, 본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는, 객체의 특성 또는 영상 왜곡의 특성에 따라 특징점을 다르게 추출하여, 예를 들어 추출할 특징점의 개수를 다르게 하여, 상기 보정을 수행할 수도 있다. 도 11을 참조하여 이를 설명한다.
도 11은 본 발명의 일 실시예에 따른 특징점 추출의 다른 예를 나타내는 도면이다. 앞서 도 8 내지 도 10에서 예시된 제1부분(611)의 특징점(613) 및 제2부분(621)의 특징점(623) 중에서 모든 특징점이 제1부분 보정에 반드시 필요한 것은 아닐 수 있다. 예를 들어 도 11과 같이 제1부분(611)이 사람에 관한 영상일 경우, 그 특징점 중 상하좌우 각 끝부분에 위치한 4개의 특징점(p', q', r', s')만으로도 충분히 적절한 수준의 보정을 수행할 수 있다. 즉, 본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는, 제1부분(611)의 특징점으로 p', q', r', s'을 추출하고, 그와 제2부분(621)의 특징점인 p, q, r, s와의 대응관계를 비교하여, 예를 들어 크기 비율 및 방향을 비교하여, 그에 따라 제1부분(611)을 보정할 수 있다. 이 경우 특징점을 다수 추출한 도 8 내지 도 10의 경우와 비교하여 보정의 정밀성은 떨어질 수 있으나 보정 속도 면에서는 유리하다. 이처럼 특징점의 개수를 줄여도 충분히 보정을 수행할 수 있는 것은, 사람이라는 객체의 특성에 기인한 것이기도 하고, 평면 영상을 구형 입체 영상으로 워핑하면서 발생한 영상 왜곡의 특성에 기인한 것이기도 하다. 즉, 객체의 특성 또는 영상 왜곡의 특성에 따라서 특징점을 다르게 추출하더라도 보정에는 적합할 수 있다. 이에 의하면 보정에 최적화 된 특징점에 기초하여 보정을 수행할 수 있으므로 보정 속도가 더욱 향상된다.
추출할 특징점의 개수를 조절하기 위하여, 본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는, 일 예로 기 추출된 특징점들 중에서 일부를 선택할 수 있고, 다른 예로 특징점 추출 알고리즘에서 문턱값 등을 설정하여 추출되는 특징점 자체를 제한할 수도 있다. 기 추출된 특징점들 중 일부를 선택하기 위하여 제어부(405)는, 일 예로 특징점 중 상하좌우 각 끝점만을 선택할 수 있고, 다른 예로 일정 영역별(예를 들면 10x10 픽셀)로 그 안에 포함된 특징점 중 극대점만을 선택할 수도 있다(소위 local maxima 선택법).
본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는, 제1부분의 관심도에 따라 선택적으로 또는 다른 정도로 상기 보정을 수행할 수 있다. 제어부(405)는, 일 예로 제1부분의 관심도가 소정 최저치 이하이거나 소정 최고치 이상이면 보정을 수행하지 않을 수 있다. 다른 예로 제어부(405)는, 관심도에 따라 특징점 추출 개수에 차등을 두어 관심도에 따라 다른 정도로 보정을 수행할 수도 있다. 예를 들어, 관심도가 낮은 경우에 비해 관심도가 높은 경우 더 많은 수의 특징점을 추출하여 보정을 수행할 수 있다. 특징점을 많이 추출할수록 보정의 정밀도가 높아질 수 있으므로 관심도가 높은 부분에 대해 더 세밀한 보정을 하게 되는 효과가 있다.
본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는, 제1부분의 깊이, 제1영상 대비 제1부분의 크기 중 적어도 하나에 기초하여 관심도를 결정할 수 있다. 일 예로, 제1부분이 화면에서 멀리 위치하고 있을수록, 즉 제1부분의 깊이값이 클수록 관심도가 낮은 것으로 결정할 수 있다. 다른 예로, 제1부분이 화면에서 차지하는 비중이 작을수록, 즉 제1영상 대비 제1부분의 크기가 작을수록 제1부분의 관심도가 낮은 것으로 결정할 수 있다.
본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)가 제1부분의 관심도에 따라 다른 정도로 보정을 수행하는 예를 도 12를 참조하여 설명한다. 도 12는 본 발명의 일 실시예에 따른 특징점 추출 및 보정의 다른 예를 나타내는 도면이다. 사용자의 시점에 대응하는 영상(1201)에 제1인물(1210)과 제2인물(1220) 두 명의 사람이 있는 경우를 도시한다. 여기서 제1인물(1210) 부분은 깊이값이 크고 전체 영상의 세로길이 대비 차지하는 길이 비율이 크다. 반면, 제2인물(1220) 부분은 깊이값이 작고 전체 영상의 세로길이 대비 차지하는 길이 비율이 작다. 따라서 제어부(405)는 제1인물(1210)에 대한 관심도가 제2인물(1220)에 대한 관심도보다 크다고 판단할 수 있다. 이 경우 제어부(405)는 관심도가 높은 제1인물(1210) 부분에 대하여, 관심도가 상대적으로 낮은 제2인물(1220) 부분과 비교해 더 많은 수의 특징점을 추출하여 보정을 수행할 수 있다. 그 경우 제2인물(1220) 부분에 비해 제1인물(1210) 부분에 대한 보정 처리 시간이 더 길어질 수는 있으나, 보정의 품질은 더 높을 수 있다.
한편, 본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는, 기준영상의 제2부분과 제1영상의 제1부분의 차이에 따라 선택적으로 또는 다른 정도로 보정을 수행할 수 있다. 예를 들어 제어부(405)는, 두 영상 간 차이가 소정값 이상인 경우에만 보정을 수행할 수 있다. 즉, 보정의 필요성이 낮다고 판단할 경우 보정을 생략하거나 보정을 간략하게만 수행할 수 있다. 도 13을 참조하여 이를 설명한다.
도 13은 본 발명의 일 실시예에 따른 디스플레이장치 제어부(405) 동작의 다른 예를 나타내는 흐름도이다. 본 실시예의 디스플레이장치 제어부(405)는 제1부분에 대응하는 제2부분을 포함하며 제2시점에 대응하는 제2영상을 선택한 후(S1302), 제1부분과 제2부분의 차이를 계산한다. 제1부분이 왜곡된 영상인 경우, 제1부분과 제2부분의 차이는 왜곡률에 해당할 수 있다.
이후, 제1부분과 제2부분의 차이가 소정값 이상인 경우에만 제1부분에 대한 보정을 수행하도록 할 수 있다(S1303 ~ S1305). 제1부분과 제2부분의 차이가 왜곡률일 경우, 왜곡률이 일정 이상인 경우에만 보정을 수행할 수 있다.
왜곡률을 계산하는 구체적인 예를 도 9와 도 10을 다시 참조하여 설명한다. 제1영상의 제1부분과 제2영상의 제2부분에 대해 추출한 특징점이 각각 613 및 623과 같은 경우, 제2부분과 대비한 제1부분의 왜곡률은 다음의 [수식 3]과 같이 계산할 수 있다.
[수식 3]
Figure PCTKR2018005682-appb-I000003
여기서 Mref는 참조영상의 제2부분에 대한 특징점 사이의 크기 비율을 의미하고, Mest는 제1영상의 제1부분에 대한 특징점 사이의 크기 비율을 의미한다. Dref는 참조영상의 제2부분에 대한 특징점 사이의 방향값을 의미하고, Dest는 제1영상의 제1부분에 대한 특징점 사이의 방향값을 의미한다.
본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는, 영상의 일정 부분에 대한 특징점 정보를 3차원 정보로 추출할 수 있다. 예를 들어, 입체 영상에 매핑된 한 영상의 일정 부분에 대한 특징점 정보를 추출함에 있어서 해당 특징점의 위치를 3차원 벡터의 형태로 추출할 수 있다. 이 경우 제어부(405)는, 아래의 [수식 4]와 같이 특징점 사이의 회전정보까지 반영하여 왜곡률을 계산할 수 있다.
[수식 4]
Figure PCTKR2018005682-appb-I000004
여기서 Rref는 참조영상의 제2부분에 대한 특징점 사이의 회전정보를 의미하고, Rest는 제1영상의 제1부분에 대한 특징점 사이의 회전정보를 의미한다.
제어부(405)는, 이상과 같이 왜곡률을 계산한 후 왜곡률이 소정값 이상인 경우, 예를 들어 임계값이 25%이면 왜곡률이 25% 이상인 경우에만 제1부분에 대한 보정을 수행할 수 있다. 이에 의하면, 제1부분과 제2부분의 차이 또는 왜곡률이 일정값 이상인 경우에만 보정을 수행하고 그렇지 않은 경우에는 보정을 하지 않음으로써, 즉 보정이 불필요한 경우를 판단하여 불필요할 경우 보정을 생략함으로써 보정 효율이 높아진다.
나아가 위 실시예에, 관심도에 따라 선택적으로 또는 다른 정도로 보정을 수행하는 실시예를 결합하면 더욱 효율적일 수 있다. 예를 들어, 제어부(405)가 참조영상인 제2영상을 선택하는 단계(S1302)를 수행하기 이전에, 보정을 하려는 제1영역 중 제1부분의 관심도가 소정값 이상인지를 확인하여 그에 따라 보정 처리 과정 자체의 진입 여부를 결정할 수 있다(S1301). 이에 의하면, 보정 처리 과정 중에 왜곡률을 계산하고 왜곡률에 따라 불필요한 보정을 생략하는 것에서 더 나아가, 보정 처리 과정에 진입할 것인지 여부 자체를 첫 단계에서 판단함으로써, 일 예로 관심도가 낮은 제1부분에 대해서는 애초부터 보정 자체를 수행하지 않도록 함으로써, 보정의 효율성을 더욱 높일 수 있다. 이에 의하면, 상황에 따라 보정 여부 또는 보정 정도를 조절할 수 있게 되어 보정 효율이 더욱 향상된다.
본 발명의 일 실시예에 의한 디스플레이장치의 제어부(405)는, 보정한 제1부분의 배경부분에 대한 영상처리도 수행할 수 있다. 제어부(405)가 제1영상 중 일부인 제1부분에 대해서만 보정을 수행하고 그 배경에 대해서는 영상처리를 하지 않을 경우, 보정된 제1부분과 그렇지 않은 배경 사이에서 사용자는 이질적인 느낌을 받을 수 있다. 이를 해결하기 위해 제어부(405)는, 제1부분을 보정하는 경우 그 배경부분에 대한 영상처리, 예를 들어 blending 또는 matting 기술을 사용한 처리를 수행할 수 있다. 이질감을 완화시키는 작업을 수행할 수 있다. 이에 의하면, 보정된 부분과 그 배경부분의 이질감이 완화되어 보정 영상의 품질이 향상된다.

Claims (15)

  1. 디스플레이장치에 있어서,
    디스플레이부;
    영상처리부; 및
    사용자의 시점 이동에 따라 결정된 제1시점에 대응하는 제1영상 중의 제1부분에 대하여, 상기 제1시점과는 다른 제2시점에 대응하는 제2영상 중에서 상기 제1부분에 대응하는 제2부분을 참조하여, 상기 제1부분을 보정한 영상을 생성하고, 상기 생성된 영상이 상기 디스플레이부에 표시되도록 상기 영상처리부를 제어하는 제어부를 포함하는 디스플레이장치.
  2. 제1항에 있어서,
    상기 제2부분은 상기 제2영상의 중심부에 위치하고, 상기 제1부분은 상기 제1영상의 중심부로부터 떨어진 외곽부에 위치하는 디스플레이장치.
  3. 제1항에 있어서,
    상기 제1부분과 제2부분은 각 서로 대응되는 객체를 포함하고,
    상기 제어부는 상기 제1부분과 제2부분의 각 객체의 특징점을 추출하고, 상기 추출된 특징점의 대응관계에 기초하여 상기 보정을 수행하는 디스플레이장치.
  4. 제3항에 있어서,
    상기 제어부는 객체의 특성 또는 영상 왜곡의 특성에 따라 특징점을 다르게 추출하여 상기 보정을 수행하는 디스플레이장치.
  5. 제3항에 있어서,
    상기 제어부는 상기 추출된 특징점 사이의 크기, 방향 중 적어도 하나에 기초하여 상기 보정을 수행하는 디스플레이장치.
  6. 제1항에 있어서,
    상기 제어부는 상기 제2영상의 제2부분과 상기 제1영상의 제1부분의 차이에 따라 선택적으로 또는 다른 정도로 상기 보정을 수행하는 디스플레이장치.
  7. 제1항에 있어서,
    상기 제어부는 상기 제1부분의 관심도에 따라 선택적으로 또는 다른 정도로 상기 보정을 수행하는 디스플레이장치.
  8. 제6항에 있어서,
    상기 관심도는 상기 제1부분의 깊이 및 상기 제1영상 대비 상기 제1부분의 크기 중 적어도 하나에 기초하여 결정되는 디스플레이장치.
  9. 제1항에 있어서,
    상기 제어부는 보정한 상기 제1부분의 배경부분에 대한 영상처리를 수행하는 디스플레이장치.
  10. 디스플레이장치의 제어방법에 있어서,
    사용자의 시점 이동에 따라 제1시점에 대응하며 제1부분을 포함하는 제1영상을 결정하는 단계;
    상기 제1부분에 대응하는 제2부분을 포함하고 상기 제1시점과는 다른 제2시점에 대응하는 제2영상을 선택하는 단계;
    상기 제2영상 중에서 제2부분을 참조하여 상기 제1영상의 제1부분을 보정한 영상을 생성하는 단계; 및
    상기 생성된 영상을 표시하는 단계를 포함하는 디스플레이장치의 제어방법.
  11. 제10항에 있어서,
    상기 제2부분은 상기 제2영상의 중심부에 위치하고, 상기 제1부분은 상기 제1영상의 중심부로부터 떨어진 외곽부에 위치하는 디스플레이장치의 제어방법.
  12. 제10항에 있어서,
    상기 제1부분과 제2부분은 각 서로 대응되는 객체를 포함하고,
    상기 보정 영상을 생성하는 단계는, 상기 제1부분과 제2부분의 각 객체의 특징점을 추출하고, 상기 추출된 특징점의 대응관계에 기초하여 상기 보정을 수행하는 디스플레이장치의 제어방법.
  13. 제12항에 있어서,
    상기 보정 영상을 생성하는 단계는, 객체의 특성 또는 영상 왜곡의 특성에 따라 특징점을 다르게 추출하여 상기 보정을 수행하는 디스플레이장치의 제어방법.
  14. 제12항에 있어서,
    상기 보정 영상을 생성하는 단계는, 상기 추출된 특징점 사이의 크기, 방향 중 적어도 하나에 기초하여 상기 보정을 수행하는 디스플레이장치의 제어방법.
  15. 디스플레이장치와 결합되어 제10항의 제어방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.
PCT/KR2018/005682 2017-07-10 2018-05-17 디스플레이장치 및 그 제어방법 WO2019013443A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170087188A KR20190006329A (ko) 2017-07-10 2017-07-10 디스플레이장치 및 그 제어방법
KR10-2017-0087188 2017-07-10

Publications (1)

Publication Number Publication Date
WO2019013443A1 true WO2019013443A1 (ko) 2019-01-17

Family

ID=65002112

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/005682 WO2019013443A1 (ko) 2017-07-10 2018-05-17 디스플레이장치 및 그 제어방법

Country Status (2)

Country Link
KR (1) KR20190006329A (ko)
WO (1) WO2019013443A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200140607A (ko) 2019-06-07 2020-12-16 삼성전자주식회사 디스플레이를 포함하는 전자 장치 및 상기 전자 장치가 표시하는 영상을 보정하는 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080085044A (ko) * 2006-01-18 2008-09-22 이스트맨 코닥 캄파니 입체 표시 시스템에서의 오정렬 보정 방법, 입체 표시시스템 및 영상 처리 시스템
KR20120051308A (ko) * 2010-11-12 2012-05-22 삼성전자주식회사 3ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치
KR101213855B1 (ko) * 2005-04-14 2012-12-18 마이크로소프트 코포레이션 360도 파노라마 이미지에서의 머리 사이즈 균등화를 위한시스템 및 방법
KR101644426B1 (ko) * 2015-09-30 2016-08-02 상명대학교서울산학협력단 변형3d모델에 대응되는 원본3d모델 인식방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101213855B1 (ko) * 2005-04-14 2012-12-18 마이크로소프트 코포레이션 360도 파노라마 이미지에서의 머리 사이즈 균등화를 위한시스템 및 방법
KR20080085044A (ko) * 2006-01-18 2008-09-22 이스트맨 코닥 캄파니 입체 표시 시스템에서의 오정렬 보정 방법, 입체 표시시스템 및 영상 처리 시스템
KR20120051308A (ko) * 2010-11-12 2012-05-22 삼성전자주식회사 3ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치
KR101644426B1 (ko) * 2015-09-30 2016-08-02 상명대학교서울산학협력단 변형3d모델에 대응되는 원본3d모델 인식방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KIM, B. ET. AL.: "Exemplar-Based Image Inpainting for Spherical Panoramic Image", JOURNAL OF KIISE, VOL. 43, N.4, 30 April 2016 (2016-04-30), pages 437 - 449 *

Also Published As

Publication number Publication date
KR20190006329A (ko) 2019-01-18

Similar Documents

Publication Publication Date Title
WO2020171583A1 (en) Electronic device for stabilizing image and method for operating same
WO2018093143A1 (en) Display apparatus and control method thereof
CN110809115B (zh) 拍摄方法及电子设备
EP3198865A1 (en) Camera system for three-dimensional video
WO2014104521A1 (en) Image transformation apparatus and method
WO2016048020A1 (ko) 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
EP3603054A1 (en) Method and apparatus for rendering timed text and graphics in virtual reality video
WO2017095179A1 (en) Method and apparatus for image enhancement of virtual reality images
WO2017057926A1 (ko) 디스플레이 장치 및 이의 제어 방법
WO2020197070A1 (en) Electronic device performing function according to gesture input and operation method thereof
EP3412031A1 (en) Method and apparatus for creating, streaming, and rendering hdr images
US10750080B2 (en) Information processing device, information processing method, and program
US11915667B2 (en) Method and system for displaying corrected image, and display device
WO2021167231A1 (ko) 전자장치 및 그 제어방법
WO2021080307A1 (en) Method for controlling camera and electronic device therefor
WO2019013443A1 (ko) 디스플레이장치 및 그 제어방법
JP2018157578A (ja) 映像表示システム、映像表示装置及び映像表示方法
WO2024055531A1 (zh) 照度计数值识别方法、电子设备及存储介质
WO2018066902A1 (en) Consistent spherical photo and video orientation correction
WO2021162263A1 (ko) 이미지의 생성 방법 및 그 전자 장치
WO2021162241A1 (ko) 이미지 센서 제어 방법 및 장치
US11113850B2 (en) Electronic apparatus and control method thereof
WO2020159115A1 (ko) 복수의 렌즈를 구비하는 전자 장치 및 그 제어 방법
WO2024005356A1 (ko) 이미지 표시를 위한 전자 장치 및 그 동작 방법
CN111918089A (zh) 视频流处理方法、视频流显示方法、装置及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18832386

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18832386

Country of ref document: EP

Kind code of ref document: A1