WO2013081435A1 - 3d 영상 표시 장치 및 방법 - Google Patents

3d 영상 표시 장치 및 방법 Download PDF

Info

Publication number
WO2013081435A1
WO2013081435A1 PCT/KR2012/010375 KR2012010375W WO2013081435A1 WO 2013081435 A1 WO2013081435 A1 WO 2013081435A1 KR 2012010375 W KR2012010375 W KR 2012010375W WO 2013081435 A1 WO2013081435 A1 WO 2013081435A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
depth
stereo image
information
stereo
Prior art date
Application number
PCT/KR2012/010375
Other languages
English (en)
French (fr)
Inventor
양정휴
신성욱
임정은
이주현
오승균
김종찬
임진석
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US14/362,244 priority Critical patent/US20140333739A1/en
Publication of WO2013081435A1 publication Critical patent/WO2013081435A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/007—Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format

Definitions

  • the present invention relates to an apparatus and method for displaying a 3D image, and more particularly, to an apparatus and a method for controlling stereoscopic effect of a 3D image using depth information extracted from the 3D image.
  • 3D image is based on the stereo vision principle of two eyes.
  • the binocular parallax is an important factor that makes you feel a three-dimensional feeling.
  • the brain fuses these two different images to create the original three-dimensional image (or depth) and reality.
  • binocular disparity refers to the disparity of two eyes, and means the difference between the left and right eyes visible according to the distance between the two eyes that are about 65mm apart.
  • the 3D image is recognized in three dimensions by the human brain due to the difference in the image between the left and right eyes.
  • the 3D image display device makes a difference in the visible image between the left eye and the right eye in various ways.
  • the eyeglasses are divided into passive and active methods.
  • the passive method distinguishes the left image from the right image using a polarization filter.
  • the passive method is to wear blue and red sunglasses on both eyes.
  • the active method distinguishes the left image from the right image by sequentially covering the left eye and the right eye in time.
  • the active method is a method of wearing and viewing glasses with an electronic shutter that is periodically repeated and synchronized with the time-divided screen, and may be referred to as a time division method or a shuttered glass method.
  • the glasses-free type is a special device in front of the display device to create different images.
  • a typical autostereoscopic type is a parallax barrier having a lenticular method in which a lenticular lens plate in which a cylindrical lens array is arranged vertically is installed in front of an image panel, and a barrier layer having periodic slits on the image panel. barrier).
  • the 3D image display device generates a three-dimensional effect by making the most of the binocular depth principle. That is, the left and right images shown in the form of interleaving (interleaving) on the display are separated into left and right sides using polarized glasses or shutter glasses, respectively. At this time, the size of the three-dimensional sense felt according to the size of the parallax is different, even if the same image, the size of the physical parallax is changed according to the size of the display. In addition, even in the same parallax, there is an individual deviation with respect to a three-dimensional effect according to the pupillary distance of the human eye.
  • the present invention has been made to solve the above problems, and an object of the present invention is to provide a 3D image display apparatus and method for adjusting the three-dimensional image of a 3D image.
  • Another object of the present invention is to provide a 3D image display apparatus and a method for allowing a user to adjust a 3D image of a 3D image according to an individual taste.
  • the 3D image display device for achieving the above object, receiving a stereo image consisting of a left image and a right image to detect image information including at least one of edge information, color information, scene change information
  • a stereo image analyzer determines a reference point by analyzing a depth distribution of the stereo image based on the detected image information, and shifts the stereo image based on the determined reference point to adjust a stereoscopic sense of the stereo image.
  • Adjusting unit after reducing the size of the stereo image to extract depth map information in units of pixels, and a second depth control unit for adjusting the stereoscopic feeling of the stereo image by warping the extracted depth map information to generate a new view of the image
  • a second depth control unit for adjusting the stereoscopic feeling of the stereo image by warping the extracted depth map information to generate a new view of the image
  • at least one of the first depth adjusting part and the second depth adjusting part has a three-dimensional effect.
  • Is stunned for a stereo image to the display device comprises a formatter for converting the format in one embodiment.
  • the stereo image analyzer sequentially reduces the stereo image to a preset size to form a plurality of levels of images, and detects image information including at least one of edge information, color information, and scene change information from at least one level image. In one embodiment.
  • the first depth adjusting unit extracts a feature correspondence point between the left image and the right image in the stereo image based on the image information, constructs a depth histogram indicating the depth distribution of the stereo image, and determines a reference point from the depth histogram.
  • a depth distribution analyzer may be configured to adjust the stereoscopic effect of the stereo image by shifting the stereo image based on the determined reference point.
  • the depth distribution analyzer may receive depth map information in units of pixels from the second depth adjuster to form a depth histogram indicating a depth distribution of the stereo image, and determine a reference point from the depth histogram. .
  • the image shift control unit may be configured to shift the stereo image based on the reconstructed reference point and depth level by reconstructing the reference point by weighting a depth statistical value in a previous frame to a reference point determined by the depth distribution analyzer.
  • the shift value calculator includes a shift value calculator configured to shift the stereo image after calculating the shift value.
  • the depth level may be set by a user through a user interface (UI) or automatically set by the 3D image display device.
  • UI user interface
  • the image shift adjusting unit shifts the stereo image within the reference depth range when the stereo image is out of a preset reference depth range.
  • a depth map extractor for estimating depth map information of each pixel from a stereo image having a lower level than the resolution of the original image, and upsampling the depth map information at the resolution of the original image, and the depth map information
  • a new view image synthesizer which generates an image of a new view by warping.
  • the depth map extractor estimates a search range by estimating depth map information of each pixel from a stereo image of a second level, and extracts base depth map information of each pixel from a stereo image of a first level within the estimated search range.
  • a base depth estimator for estimating and an enhanced depth estimator for upsampling the base depth map information at a resolution of an original image are included.
  • the new view image synthesizing unit warps the depth map information according to a depth level and generates a new view image based on the warped depth map information, a hole filling unit filling a hole formed in the warping process, and the According to an embodiment of the present invention, a boundary handling unit for removing a hole area generated in a boundary of a new view image is included.
  • 3D image display method is a stereo image analysis step of receiving a stereo image consisting of a left image and a right image to detect image information including at least one of edge information, color information, scene change information, A first depth adjustment step of determining a reference point by analyzing a depth distribution of the stereo image based on the detected image information, and adjusting the stereoscopic sense of the stereo image by shifting the stereo image based on the determined reference point; A second depth adjustment step of adjusting the stereoscopic effect of the stereo image by reducing the size of the image and extracting depth map information in pixel units and warping the extracted depth map information to generate an image of a new view, and the first The three-dimensional adjustment of the switch in at least one of the depth adjustment step and the second depth adjustment step
  • the method may include converting a stereo image to a display device.
  • the distribution of the depth value is analyzed from the 3D input image, and based on the analysis result, at least one of the left and right images is shifted to adjust the 3D image of the 3D image, or to extract and extract the depth map from the 3D input image.
  • the 3D image is controlled by synthesizing a new view image based on the extracted depth map. By doing so, it is possible to adjust the stereoscopic feeling of the 3D image without distortion.
  • the user interface allows the user to select the depth level desired to adjust, it is possible to adjust the three-dimensional image of the 3D image to the user's taste.
  • FIG. 1 is a block diagram schematically showing a 3D image display device according to an embodiment of the present invention
  • FIG. 2 is a block diagram illustrating an embodiment of a depth controller of a 3D image display device according to the present invention
  • FIG. 3 is a block diagram illustrating another embodiment of the depth controller in the 3D image display device according to the present invention.
  • FIG. 4 is a block diagram illustrating still another embodiment of the depth controller in the 3D image display device according to the present invention.
  • FIG. 5 is a detailed block diagram illustrating an embodiment of a stereo image analyzer according to the present invention.
  • FIG. 6 is a detailed block diagram showing an embodiment of a depth distribution analyzer according to the present invention.
  • FIG. 7A is a diagram illustrating an example of a left image according to the present invention.
  • FIG. 7B is a diagram illustrating an example of a right image according to the present invention.
  • FIG. 7C is a diagram illustrating an example of feature correspondence points obtained for the left image of FIG. 7A and the right image of FIG. 7B.
  • FIG 7D illustrates an example of depth map information extracted in units of pixels by the depth map extractor according to the present invention.
  • FIG. 7E illustrates an example of a depth histogram configured in the depth histogram unit according to the present invention.
  • FIG. 8 is a detailed block diagram illustrating an embodiment of an image shift controller according to the present invention.
  • FIG. 9 is a diagram illustrating an example of shifting an image in an image shift controller according to the present invention.
  • 10 (a) to 10 (c) are views showing another example of shifting an image in the image shift adjusting unit according to the present invention.
  • FIG. 11 is a detailed block diagram illustrating an embodiment of a depth map extractor according to the present invention.
  • FIG. 12 is a detailed block diagram illustrating an embodiment of a base depth estimator in accordance with the present invention.
  • FIG. 13 is a detailed block diagram illustrating an embodiment of an enhanced depth estimation unit according to the present invention.
  • FIG. 14 is a detailed block diagram illustrating an embodiment of a new viewpoint image synthesizer according to the present invention.
  • 16 is a block diagram showing an example of a hardware configuration when implementing the present invention in an ASIC
  • 17 (a) and 17 (b) show a configuration example in an ASIC according to the present invention.
  • FIG. 18 is a flowchart illustrating an embodiment of a method of controlling stereoscopic effect of a stereoscopic image in a 3D image display device according to the present invention.
  • 19A to 19F are diagrams illustrating an example of a scenario of executing a depth control UI in a 3D image display device according to the present invention.
  • 20A to 20F illustrate another example of a scenario of executing a depth control UI in the 3D image display device according to the present invention.
  • Embodiments according to the inventive concept may be variously modified and may have various forms, and specific embodiments will be illustrated in the drawings and described in detail herein. However, this is not intended to limit the embodiments in accordance with the concept of the present invention to a particular disclosed form, it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention.
  • first and / or second may be used to describe various components, but the components should not be limited by the terms.
  • the terms are used only for the purpose of distinguishing one component from another, for example, without departing from the scope of rights in accordance with the inventive concept, and the first component may be called a second component and similarly The second component may also be referred to as the first component.
  • the 3D image includes a stereo (or stereoscopic) image considering two viewpoints, a multiview image considering three or more viewpoints, and the like.
  • the stereo image refers to a pair of left and right images obtained by photographing the same subject with a left camera and a right camera spaced apart from each other by a certain distance.
  • the multi-view image refers to three or more images obtained by photographing the same subject with three or more cameras having a constant distance or angle.
  • the transmission format of the stereo video includes a single video stream format and a multi video stream format.
  • the single video stream format includes side by side, top / bottom, interlaced, frame sequential, checker board, and anagriph. Etc.
  • the multi video stream formats include full left / right, full left / half right, 2D video / depth, and the like.
  • one stereo image is created by sub-sampling a left image and a right image in the horizontal direction, and placing the sampled left image on the left and the sampled right image on the right.
  • the top / bottom format is a case where one stereo image is created by sub-sampling the left image and the right image in the vertical direction, and placing the sampled left image at the top and the sampled right image at the bottom.
  • the left and right images are 1/2 subsampled in the vertical direction, and the pixels of the sampled left image and the pixels of the right image are alternately positioned for each line to make a stereo image, This is the case where a stereo image is created by sub-sampling the right image 1/2 in the horizontal direction, and the pixels of the sampled left image and the pixels of the right image are alternately positioned one pixel.
  • the present invention is to extract the depth information from the 3D image to adjust the stereoscopic feeling of the 3D image.
  • a user may adjust a 3D image of a 3D image through a user interface (UI).
  • UI user interface
  • the depth of the 3D image is automatically adjusted.
  • the user can adjust the 3D image of the 3D image through the UI, and at the same time to automatically adjust the depth of the 3D image when the depth of the 3D image is out of a certain range.
  • an analysis of a distribution of depth values from a 3D input image and shifting at least one of the left and right images using the analysis result will be described as an embodiment.
  • a depth map is extracted from a 3D input image, and synthesis (or generation) of an image of a new viewpoint using the extracted depth map to adjust stereoscopic 3D image is described in another embodiment. Shall be.
  • the depth means the distance between the left / right image, the depth makes the viewer feel a three-dimensional feeling in the image. That is, due to the depth between the left and right images, the user may experience parallax between two eyes, and such binocular parallax may cause a stereoscopic feeling. In other words, depth and parallax are correlated.
  • Negative parallax is when an object in an image appears to protrude from the screen.
  • the positive parallax is when the object included in the image appears to enter the screen, and the zero parallax is when the object included in the image appears to have the same depth as the screen.
  • FIG. 1 is a block diagram schematically illustrating a 3D image display device according to an exemplary embodiment of the present invention, wherein a receiver 101, a left image processor 102, a right image processor 103, a depth controller 104, and a formatter are shown. 105.
  • the 3D image display device may correspond to a digital television, a set top box, or the like.
  • the 3D video display device may be a mobile terminal such as a mobile phone, a smart phone, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigation device, or the like, and a desktop, a laptop (or a laptop), a tablet, or the like. It may also be a personal computer system such as a handheld computer.
  • the receiver 101 is a broadcast receiver.
  • the receiver 101 may include a tuner, a demodulator, a decoder, and the like. That is, the tuner receives the channel selected by the user, and the demodulator demodulates the broadcast signal of the received channel.
  • the decoder decodes the demodulated broadcast signal and restores it to the state before compression. At this time, if the demodulated broadcast signal is a 3D video signal, the decoder decodes the broadcast signal according to a transmission format and outputs the left and right images.
  • the transmission format is a side by side format
  • the left half pixel is decoded and output as the left image in one frame
  • the right half pixel is decoded and output as the right image.
  • the reverse is also possible.
  • the transmission format is a top / bottom format
  • the upper half of the pixels is decoded and output as the left image in one frame
  • the lower half of the pixels is decoded and output as the right image.
  • the left image is output to the left image processor 102
  • the right image is output to the right image processor 103.
  • the left image processor 102 may also be referred to as a left image scaler.
  • the left image processor 102 scales the input left image to match the resolution or a predetermined aspect ratio of the display device and outputs the same to the depth controller 104.
  • the right image processor 102 may also be referred to as a right image scaler, and scales the input right image to match the resolution or a predetermined aspect ratio of the display device and outputs the same to the depth controller 104.
  • the display device may have a predetermined resolution according to product specifications, for example, 720x480 format, 1024x768 format, 1280 ⁇ 720 format, 1280 ⁇ 768 format, 1280 ⁇ 800 format, 1920 ⁇ 540 format, 1920 ⁇ 1080 format, or 4K ⁇ 2K format. It is produced to output a video screen. Accordingly, the left image processor 102 and the right image processor 103 may convert the resolution of the left image and the right image, which may be input with various values, to match the resolution of the corresponding display device.
  • the left image processed by the left image processor 102 and the right image processed by the right image processor 103 are referred to as a 3D input image or a stereo image.
  • the depth controller 104 analyzes the distribution of depth values from the 3D input image, shifts the left and right images using the analysis result, and adjusts the 3D image of the 3D image to the formatter 105. You can print
  • the depth controller 104 extracts a depth map from the 3D input image, synthesizes a new view image using the extracted depth map, and adjusts a 3D image of a 3D image, and then a formatter. And output to 105.
  • the depth control unit 104 may automatically adjust the 3D image of the 3D image by the system design, or may adjust the 3D image of the 3D image at the request of the user through the UI.
  • the formatter 105 converts the 3D image of which the stereoscopic effect is adjusted in the depth controller 104 to match the output format of the display device and outputs the converted 3D image to the display device.
  • the formatter 105 may perform a function of mixing the left image and the right image whose depth is adjusted in units of lines.
  • the display device displays a 3D image output from the formatter 105.
  • the display device may be a screen, a monitor, a projector, or the like.
  • the display device may be a device capable of displaying a general 2D image, a device capable of displaying a 3D image requiring glasses, a device capable of displaying a 3D image not requiring glasses, and the like.
  • the broadcast signal received by the receiver in FIG. 1 is a 2D image
  • only one of the left image processor 102 and the right image processor 103 is activated, and the depth controller 104 bypasses.
  • FIG. 2 is a detailed block diagram illustrating an embodiment of the depth controller 104 of FIG. 1, and includes a stereo image analyzer 121, a depth distribution analyzer 131, an image shift adjuster 132, and a depth map extractor. 141, a new view image synthesizer 142, and a depth adjustment UI unit 151.
  • the depth distribution analyzer 131 and the image shift controller 132 are combined to be called first depth controllers, and the depth map extractor 141 and the new viewpoint image synthesizer 142 are combined to have a second depth.
  • the control unit will be referred to as.
  • the first depth adjusting unit and the second depth adjusting unit may be selectively operated, or both may be operated at the same time and the formatter 105 may select one of them.
  • One of the first depth adjusting unit and the second depth adjusting unit may be automatically selected by the 3D image display device, or the user may be selected through the UI.
  • the 3D input image is a stereo image including a left image and a right image. The stereo image is input to the stereo image analyzer 121.
  • the stereo image analyzer 121 analyzes basic image information from the input stereo image and outputs the basic image information to the depth distribution analyzer 131 and the depth map extractor 141.
  • the depth distribution analyzer 131 may include a left image included in the stereo image based on at least one of the image information analyzed by the stereo image analyzer 121 and the depth map information extracted by the depth map extractor 141. After analyzing the depth distribution of the wow image to obtain a reference point and outputs to the image shift control unit 132.
  • the image shift adjuster 132 shifts at least one of a left image and a right image based on a depth level determined by a user or by a 3D image display device and a reference point output from the depth distribution analyzer 131, thereby allowing a stereo image to be shifted. Adjust the depth of the That is, the image shift adjusting unit 132 controls the depth of the image by controlling the depth of the image in units of frames.
  • the depth map extractor 141 extracts depth map information of the left image and the right image included in the stereo image, and outputs the result to the depth distribution analyzer 131 and the new view image synthesizer 142.
  • the depth map extractor 141 receives the image from which the size of the input stereo image is reduced from the stereo image analyzer 121 in order to reduce the image processing load and utilize wider area information about the same processing block size.
  • the depth map information is extracted.
  • the stereo image analyzer 121 sequentially reduces the input stereo image to a preset size to form an image layer.
  • the depth map information means distance information for each pixel on the screen based on the Z axis. For example, assuming that the screen is 0, it indicates how much (+) and how long (-) each pixel is in the image.
  • the new viewpoint image synthesizer 142 generates an image of a new viewpoint based on a depth level determined by a user or a 3D image display device, depth map information extracted by the depth map extractor 141, and an original image. By adjusting the depth of the stereo image. That is, the new viewpoint image synthesizer 142 controls the depth of the image by controlling the depth of the image in units of pixels.
  • the depth adjustment UI unit 151 may be provided in a menu form, and the user may enter a menu providing the depth adjustment UI by using a remote controller or a key input unit attached to the 3D image display device. The user may select a depth level for adjusting a 3D image of the 3D image through the depth adjustment UI unit 151.
  • 2 illustrates an example in which both the first depth adjuster and the second depth adjuster are implemented in the 3D image display apparatus.
  • FIG. 3 is a block diagram illustrating another embodiment of the depth controller of the 3D image display device according to the present invention.
  • FIG. 3 illustrates an example in which only the first depth controller is implemented in the 3D image display device. That is, in FIG. 3, the 3D image display apparatus includes a stereo image analyzer 151, a depth distribution analyzer 152, a depth map extractor 153, an image shift adjuster 154, and a depth adjust UI 155. It includes. Since the operation of each part of FIG. 3 is the same as that of the operation of the same block of FIG. 2, the description of FIG. 2 will be referred to and will be omitted here. 3, the depth map extractor 153 is optional.
  • FIG. 4 is a block diagram illustrating still another embodiment of the depth controller of the 3D image display apparatus according to the present invention.
  • FIG. 4 illustrates an example in which only the second depth controller is implemented in the 3D image display apparatus. That is, in FIG. 4, the 3D image display apparatus includes a stereo image analyzer 161, a depth map extractor 162, a new view image synthesizer 163, and a depth control UI unit 164. Since the operation of each part of FIG. 4 is the same as that of the operation of the same block of FIG. 2, the description of FIG. 2 will be referred to and will be omitted here.
  • FIG. 5 is a detailed block diagram illustrating an example of the stereo image analyzer 121, and includes an image layer 211, an edge analyzer 212, a color analyzer 213, and a scene change analyzer 214. It may include.
  • the stereo image analyzer 121 generates a plurality of level images by sequentially reducing the original resolution stereo image to 2-N, and then detects image information such as edge information, color information, and scene change information from the image of each level. . At least one of the detected edge information, color information, and scene change information is output to the depth distribution analyzer 131 and the depth map extractor 141 together with the image of each level.
  • the image hierarchy 211 of the stereo image analyzer 121 configures an image hierarchy by reducing the size of the input stereo image.
  • an image layer may be configured by sequentially generating an image of which the image is reduced by 1/2 of the width and length of the input stereo image.
  • an image in which the original resolution image (ie, the original image) is reduced to level 0 (or level 0 image) and 2-N in horizontal / vertical direction will be referred to as level N (or level N image). That is, an image in which the original resolution image is reduced by 1/2 in each of the horizontal and vertical directions is used for level 1 (or level 1 image) and an image in which the image of level 1 is reduced by 1/2 in both the horizontal and vertical directions is level 2 (or level) 2 video).
  • This level 0 to N image will be referred to as an image hierarchy.
  • the image of each level configured in the image layer unit 211 is output to the depth distribution analyzer 131 and the depth map extractor 141.
  • the image of each level is output to at least one of the edge detector 212, the color analyzer 213, and the scene change detector 214 in the stereo image analyzer 121.
  • the edge analyzer 212 extracts edge information from at least one level image.
  • a 3x3 sobel filter is used to detect the edge information.
  • the 3x3 Sobel filter allocates different filter coefficients according to a direction to be obtained for a 3x3 neighboring block with respect to a pixel for finding an edge. That is, the 3x3 Sobel filter plays a role of emphasizing the boundary area by obtaining a difference between sums of pixels belonging to both ends in a mask window region used as a nonlinear operator, and then obtaining an average size in the horizontal and vertical directions. .
  • the color analyzer 213 extracts color information from at least one level image. At this time, when 8 bits (bits) of R / G / B each, the color combination is 224 pieces. The color analyzer 213 performs color segmentation in order to use color distribution characteristics by grouping similar colors. In addition, the color correction of the left and right images may be performed.
  • the scene change detector 214 detects a scene change from a sequence of at least one level image. That is, the image sequence is made up of a series of scenes, and there is a correlation in image characteristics or 3D depth between image frames in the same scene. Therefore, the scene change detection unit 214 detects a scene change point from the at least one level image sequence and outputs scene change information.
  • At least one of the edge information extracted by the edge analyzer 212, the color information extracted by the color analyzer 213, and the scene change information detected by the scene change detector 214 may include a depth distribution analyzer 131.
  • the depth map extractor 141 is output.
  • FIG. 6 is a detailed block diagram illustrating an embodiment of the depth distribution analyzer 131, and may include a feature analysis unit 221, a depth histogram unit 222, and a histogram statistics unit 223. Can be.
  • the depth distribution analyzer 131 constructs a depth histogram and derives various statistics. That is, the depth distribution analyzer 131 analyzes at which position the objects are distributed based on the screen. In other words, the distribution ratio of pixels for each depth is analyzed for one frame.
  • the feature analyzer 221 of the depth distribution analyzer 131 may include at least one level image and image information (eg, edge information, color information, and scene change) output from the stereo image analyzer 104.
  • a feature of the stereo image is extracted using at least one of the information, and a feature correspondence point is obtained for the left / right image using the extracted feature.
  • the feature analyzer 221 extracts a feature such as an edge / corner and obtains a feature correspondence point for a left / right image (ie, a stereo image) using the extracted feature.
  • FIG. 7A shows an example of a left image
  • FIG. 7B shows an example of a right image
  • the left image is more moved to the left than the right image. In other words, an object pops out of the screen.
  • FIG. 7C shows feature correspondence points obtained for the left image of FIG. 7A and the right image of FIG. 7B.
  • the feature correspondence points representing the same point of the object in the left image and the right image appear horizontally spread in the left and right images.
  • the gap (lag) is varied depending on the depth. For example, when an object sticks out of the screen, the feature correspondence point shown in the left image is located to the right of the feature correspondence point shown in the right image. On the contrary, when the object enters the screen, the position is reversed.
  • FIG. 7C the left and right images are separated by a thick solid line, and x at the right end of the thick solid line represents a feature correspondence point extracted from the left image.
  • the left end of the thick solid line is the feature correspondence point extracted from the right image.
  • FIG. 7D illustrates an example of depth map information extracted in units of pixels by the depth map extractor 141. That is, the depth map information includes distance information of each pixel based on the Z axis on the screen.
  • the depth histogram unit 222 may include depth values (ie, feature correspondence points) on features output from the feature analyzer 221 or depth values (pixel distances) output from the depth map extractor 141. Information) to construct the depth histogram.
  • the histogram statistic unit 223 obtains various statistical values from the depth histogram, and obtains a reference point for shifting an image by the image shift control unit 132 using the statistics.
  • FIG. 7E shows an example of the depth histogram configured in the depth histogram unit 222, and the histogram statistics unit 223 obtains various statistics using the histogram statistics unit 223.
  • the horizontal axis represents depth and the vertical axis represents depth distribution.
  • histogram statistics may include a minimum depth, a maximum depth, a mean depth, a peak at each depth, and the like.
  • the peak at each depth may be the number of pixels at that depth. For example, it can be seen that there are about 75 pixels at the minimum depth of FIG. 7E. 7E shows that the depth distribution is biased in the negative direction. If the depth distribution is biased in the negative or negative direction, the user may easily feel tired when viewing the 3D image.
  • Positioning the depth distribution close to zero can provide a comfortable three-dimensional appearance. Conversely, positioning far from zero can increase fatigue but provide a richer three-dimensional appearance. Therefore, the present invention allows the user to position the 3D image closer to the zero point or farther from the zero point through the UI. That is, when the user selects the depth level through the depth adjustment UI unit 151, the image shift control unit 132 shifts the 3D image based on the reference point according to the depth level selected by the user, and positions the 3D image close to zero point or zero. Positioning can be remote from the point. In another exemplary embodiment, the 3D image display apparatus may automatically position the 3D image closer to the zero point or position away from the zero point.
  • the process can be processed at the rear end as a global characteristic. If the image is divided into blocks and the depth distribution is obtained for each block, the image can be adjusted at the rear end to reflect the local characteristics.
  • a mean value of the histogram is set as a reference point for shifting an image.
  • the depth control value can be obtained to move the reference point closer to or farther from zero, or to move in the opposite axis direction to the center of zero.
  • the depth adjustment value may be set by the user by selecting the depth level through the depth adjustment UI unit 151 or may be automatically set by the 3D image display device.
  • the image shift controller 132 scales the depth adjustment value according to a depth level selected by the depth adjustment UI unit 151 or a depth level automatically set by the 3D image display device, and based on a reference point.
  • the stereoscopic image of the stereo image is adjusted by shifting the left / right image in the opposite direction by the scaled depth adjustment value. That is, the image shift controller 132 shifts the left / right image by obtaining a value for adjusting the distribution position of the depth value.
  • FIG. 8 is a detailed block diagram illustrating an embodiment of the image shift controller 132 and may include a depth range analysis unit 231 and a shift value calculator 232.
  • the depth range analyzer 231 reconstructs the reference point obtained by the histogram statistics unit 223.
  • the reference point may be reconstructed by weighting the depth statistics in the previous frame.
  • the depth range analyzer 231 may include temporal depth range information, reference point information of the depth distribution obtained by the histogram statistic unit 223, preset reference depth range information, and the like. Reconstruct the reference point of the depth distribution for the current frame. This is to change naturally in time and to allow discontinuities in scene changes.
  • the shift value calculator 232 calculates a shift value of the left / right image, that is, a depth adjustment value, based on the depth level selected by the depth adjustment UI unit 151 or automatically selected by the 3D image display device.
  • the dotted line represents the temporal change of the maximum / minimum values of the depths of the input images.
  • Solid lines represent temporal changes after depth adjustment.
  • the square box in the figure indicates a reference depth range (or referred to as a guide line). This is an example in which the depth range of the dotted line is changed to the depth range of the solid line by the depth adjustment. That is, the image is out of the reference depth range is shifted within the reference depth range. By doing so, it is possible to meet the safe viewing conditions of the 3D image, it is possible to reduce the visual fatigue of the user occurs when viewing the 3D image.
  • the shifting of the image outside the reference depth range within the reference depth range may be automatically performed by the 3D image display apparatus. Alternatively, the user can choose to turn on / off via the UI, and automatically do so only when on is selected.
  • the previous depth range history is reflected.
  • Equation 1 shows an example of obtaining a depth deviation when assuming a maximum depth as a reference point and adjusting depth based on the reference point.
  • the actual depth adjustment value reflects the depth deviation of the previous time, as shown in Equation 2 below.
  • the reference depth range may be set step by step.
  • the depth adjustment function can be performed by setting the reference depth range in a few steps while extending the maximum and minimum ranges from the narrowest step range.
  • the shift value for shifting the reference point to 0 or a specific value is determined by the depth level, and the depth level may be adjusted by the user through the depth adjustment UI unit 151 or may be forcibly adjusted by the 3D image display device. . Then, the shift value calculator 232 calculates a shift value of the left / right image, that is, a depth adjustment value, based on the reference point and the depth level. In addition, when the reference point is forcibly (or automatically) shifted to 0 or a specific value, the user may be allowed to select ON / OFF only through the UI.
  • 10 (a) to 10 (c) show another example of the depth adjustment operation by the image shift controller 132.
  • the white arrows on the left image and the right image indicate depth adjustment amounts, and the depth (3D) of the 3D image is adjusted by shifting at least one of the left image and the right image by the depth adjustment amount.
  • FIG. 10B when the left image is shifted by the depth adjustment amount in the left direction and the right image in the right direction, the object moves away from the viewer.
  • FIG. 10C when the left image and the right image are shifted by the depth adjustment amount in the opposite direction, the object is closer to the viewer.
  • the depth adjustment amount is obtained by the shift value calculator 232.
  • the present invention may shift the left / right image based on the reference point according to the reference level selected by the user while shifting the left / right image out of the reference depth range within the reference depth range.
  • the depth map extractor 141 calculates a final depth map (ie, distance information of each pixel) through basic depth map extraction, refinement, and interpolation, and then a depth distribution analyzer 131 and a new view image synthesizer. Output to (142).
  • a final depth map ie, distance information of each pixel
  • FIG. 11 is a detailed block diagram illustrating an embodiment of the depth map extractor 141, and includes a pre-processor 241, a base depth estimator 242, and an enhanced depth estimator 243. It may include.
  • the preprocessor 241 uses the image of at least one level of the image layer output from the stereo image analyzer 121 to determine a depth range or disparity range (distance information of each pixel on the Z axis on the screen). Estimates in advance to approximate the depth range. That is, the preprocessor 241 estimates the depth range before performing the depth estimation from the image hierarchy of the stereo image in earnest. At this time, an embodiment of estimating the depth range using an image of a level lower than or equal to an image of a level used by the base depth estimator 242 at the rear stage may be used.
  • the preprocessor 241 approximates the depth range by performing a sum of absorptive difference (SAD) from the level 3 image.
  • SAD is a value obtained by adding an absolute value of values obtained by subtracting the same position pixel values between two blocks. The smaller the value, the higher the similarity between blocks.
  • a depth range or a disparity range may be obtained for each line.
  • a depth range may also be obtained for each rectangular block and used when estimating the base depth. As described above, the present invention can obtain the depth range of a specific position in various ways.
  • the present invention estimates in advance a search range in which an actual candidate may occur through the preprocessor 241 in order to minimize a matching error that may occur during stereo matching. will be.
  • FIG. 12 is a detailed block diagram illustrating an example of the base depth estimator of FIG. 11, which includes a stereo search unit 251, a filtering and optimization unit 252, and an occlusion handling unit 253. can do.
  • the base depth estimator 242 estimates the base depth using a small size image on the image layer because the calculation amount is large when estimating the depth range using the level 0 image (that is, the original resolution stereo image). According to an embodiment of the present invention, estimating a base depth using a level 2 image.
  • the stereo search unit 251 obtains a similarity of SAD, etc. in units of pixels or blocks to be compared in left and right images within a given depth search range, and obtains pairs having the highest similarity.
  • the difference between the two pairs of x-coordinate values reflects the depth magnitude (ie parallax). In this case, if the difference between the two x coordinate values is 0, the object of the image is on the screen, and the larger the difference of the x coordinate value is, the more the object of the image sticks out or enters the screen.
  • the filtering and optimizing unit 252 aligns the boundary of the object in the image with the boundary of the object in the depth map using a filter.
  • the boundary of the object in the depth map is displayed thicker than the boundary of the object in the image only by SAD.
  • the filtering and optimization unit 252 aligns the boundary of the object in the image with the boundary of the object in the depth map.
  • the bilateral filter is used to compare the similarities by reflecting two items between two blocks to be compared
  • the trilateral filter is used to compare the similarities by reflecting three items. In one embodiment.
  • the similarity is compared by reflecting the difference between the color difference and the mean value between the two blocks to be compared, and when using the trilite filter, the color difference between the two blocks to be compared and the mean value is compared.
  • the similarity is compared by reflecting a difference item with a difference and a depth value.
  • the filtering and optimizing unit 252 may perform an optimization method of adjusting the current result so that the result of the entire frame is optimized using not only the information near the position to be obtained but the correlation of the entire frame. It may be.
  • the occlusion handling unit 253 detects an occlusion area by checking a correspondence relationship between left and right depths, and then uses a filter (for example, a biliteral filter or a triliteral filter) and based on the image information. To obtain and update the depth of the occlusion area. For example, an object or background visible in the left image may be hidden by another object in the right image. That is, another object or background that is obscured by a specific object according to a viewpoint is called an occlusion area.
  • a filter for example, a biliteral filter or a triliteral filter
  • the depth search range used in the base depth estimation process may reduce depth noise by deriving a valid depth range or candidate in a local area such as a line or a block.
  • FIG. 13 is a detailed block diagram illustrating an example of the enhanced depth estimator 243 of FIG. 11, which includes a depth up sampling unit 261, a depth refinement unit 262, and a depth filtering unit 263. ) May be included.
  • the enhanced depth estimator 243 improves the base depth estimated by the base depth estimator 242 to a higher level of resolution. In one embodiment of the present invention, the depth of the original image is improved.
  • the depth up sampling unit 261 upsamples the base depth of the level image estimated by the base depth estimator 242 to the depth of the higher level image using a filter.
  • the filter may be a linear filter such as bilinear or an edge-preserving filter such as a bilateral filter.
  • the base depth estimator 242 estimates the base depth using the level 2 image
  • the depth up sampling unit 261 upsamples the depth of the level 1 image.
  • the upsampling unit 261 upsamples the depth of the level 0 image.
  • the depth improvement unit 262 increases depth precision by performing a local search around the up-sampled depth value in the upsampling unit 261.
  • the depth filtering unit 263 removes (or cancels) noise of a depth having increased accuracy using a filter.
  • the depth of each pixel from which noise is removed by the depth filtering unit 263, that is, depth map information, is output to the new view image synthesizer 142.
  • the new viewpoint image synthesizer 142 transforms the original images based on the depth map information output from the depth map extractor 141 and the depth level input through the depth control UI unit 151 to determine a desired viewpoint. Create an image. That is, the new viewpoint image synthesizer 142 generates an image of a new viewpoint to match the depth level input through the depth adjustment UI unit 151 using the original image and the depth map information.
  • FIG. 14 is a detailed block diagram illustrating an embodiment of a new view image synthesis unit 142 according to the present invention, including a depth reverse warping unit 271 and an image forward warping unit 272. ), A hole filling unit 273, and a boundary handling unit 274.
  • the depth reverse warping unit 271 warps the depth map at the left and right original image positions to obtain a depth at a new viewpoint position corresponding to the depth level input through the depth adjustment UI unit 151.
  • the image forward warping unit 272 composes an image of the new view by shifting the original image pixel value to a position indicated by the depth map of the new view.
  • the depth reverse warping unit 271 and the image forward warping unit 272 manipulate the depth map extracted by the depth map extractor 141 according to the depth level input by the user through the UI, and operate the depth map.
  • an image of a new viewpoint is generated (synthesized).
  • the image of the new view and the original image are output to the hole filling unit 273.
  • the hole filling unit 273 fills the hole region generated during the warping process.
  • the hole area may be filled with pixel values existing in the left and right images.
  • the holes that do not exist in both images may be filled with color values that are already filled by using color value similarity and depth value similarity information with the biliteral or triliteral filter.
  • the boundary conversion condition may be checked using information on which edges are warped, and the image may be processed.
  • the boundary handling unit 274 removes the large hole area at the left / right interface of the image generated after the new view image synthesis. At this time, the analysis of the warping direction on the left / right boundary of the image determines the part to apply the boundary handling, and then proceeds in the order of applying the boundary handling.
  • boundary handling proposes a method of stretching a left / right boundary region of a depth map such that a depth value converges to zero. In this way, the large hole area at the image boundary surface is stretched to cover the image area in which no hole is generated.
  • a predetermined area of the left / right boundary surface of the depth map may be set to a fixed value, or may be set as the value by analyzing warping size at the image boundary surface for each horizontal line, or may be appropriately modified. It can also be set.
  • 15 (a) and 15 (b) show examples of boundary handling of a giant hole region generated after synthesizing a new view image. That is, the giant hole region generated in FIG. 15A disappears as shown in FIG. 15B after the boundary handling.
  • the depth level may be set by the user through the depth adjustment UI unit 151 as described above, or may be automatically determined by image analysis in the 3D image display device.
  • the depth level determined by the user or automatically is provided to the image shift controller 132 and / or the new image viewpoint synthesizer 142.
  • the stereoscopic image of which the stereoscopic effect is adjusted by the image shift controller 132 and / or the new view image synthesizer 142 is output to the formatter 105.
  • the formatter 105 converts one of the stereoscopic image of which the stereoscopic sense is adjusted by the image shift adjuster 132 and the stereoscopic image of which the stereoscopic sense is adjusted by the new viewpoint image synthesizer 142 according to the output format of the display device.
  • the formatter 105 may perform a function of mixing the left image and the right image whose depth is adjusted in units of lines.
  • FIG. 16 illustrates a hardware block diagram of an apparatus for extracting a depth map and synthesizing a new view image when implementing the present invention as an application specific integrated circuit (ASIC). That is, the left / right image is input through an interface input (eg, HS-LVDS RX) terminal, and the input left / right image is pre-processed by the depth map extractor 141 through the stereo image analyzer 121. Inputted at 241.
  • ASIC application specific integrated circuit
  • the preprocessor 241, the base depth estimator 242, the enhanced depth estimator 243, and the new view image synthesizer 142 may independently communicate with a memory to transmit input and result values.
  • Information required in each process is transmitted through a controller (Micro Controller Unit, MCU), and the MCU may be in charge of a part of the calculation process.
  • One original image and a new view image result may be output through an interface output (eg, HS-LVDS TX) terminal.
  • FIG. 17A and 17B show an example configuration on the system of the ASIC for the depth control unit 104.
  • (a) of FIG. 17 illustrates an example in which an ASIC for depth adjustment receives a stereo image from a main SoC in dual full HD 60Hz, adjusts the depth, and outputs the same.
  • the frame rate conversion (FRC) block converts the frame rate of the stereo image whose depth is adjusted to a specific frame rate (eg, 120 Hz) and outputs the converted frame rate.
  • FIG. 17 (b) shows an example of receiving a stereo image with 120 Hz frame compatibility and adjusting the depth and outputting the line image by line-by-line.
  • the timing controller (TCON) block outputs the stereo image whose depth is adjusted to the display device in accordance with the timing.
  • FIG. 18 is a flowchart illustrating an embodiment of a method of controlling stereoscopic effect of a stereo image in a 3D image display device such as a TV receiver according to the present invention.
  • the depth level is input through the depth adjustment UI unit 151.
  • the 3D image display device switches to the depth adjustment mode (S302). For example, the user starts the depth adjustment mode by selecting a desired depth level from the 3D adjustment item displayed on the menu through the remote controller.
  • the CPU and MCU in the image processing chip of the 3D video display device process the depth adjustment UI to switch to the depth adjustment mode.
  • at least one of the first depth adjuster and the second depth adjuster is activated to adjust the depth of the stereo image being input or displayed (S303).
  • the 3D image whose depth is adjusted is output to the display device through the formatter and displayed (S304). That is, the 3D image in which the stereoscopic effect is adjusted according to the depth level is displayed on the display device.
  • FIGS. 19A to 19F illustrate a scenario of executing a depth control UI in a 3D image display device. The user may proceed sequentially from FIGS. 19A to 19F to adjust the depth level.
  • FIG. 19A illustrates a current 3D image screen
  • FIG. 19B illustrates an example in which a system setting menu item (or icon) is displayed at the bottom of the screen.
  • FIG. 19C illustrates an example of menu items that appear when an image menu item is selected among menu items displayed when the user selects a system setting menu item.
  • the 3D setting menu item appears when the user selects the image menu item.
  • menu items related to the 3D setting are displayed as shown in FIG. 19E.
  • the menu items related to the 3D setting may be a starting menu item with a 3D image, a 3D stereoscopic adjustment menu item, a 3D perspective adjustment menu item, a 3D color correction menu item, and a 3D sound menu item.
  • a screen for setting the depth level is displayed as shown in FIG.
  • a bubble is provided to explain the function of the menu item, such as “adjust the 3D perspective between the object and the background”.
  • the depth level of the current frame (or the current image displayed behind the menu items) may be displayed using a horizontal bar or the like.
  • the user may select one of 0 to 20 depth levels, and the 3D image of the 3D image may be adjusted behind the menu according to the selected depth level.
  • the 3D image of which the depth (that is, stereoscopic) is adjusted is displayed on the display device. In one embodiment.
  • the present invention may apply two modes for depth control as an additional UI. That is, the user may select the automatic mode and the manual (or user) mode. In manual mode, the user can adjust the detailed settings of the above UI.In the automatic mode, the user can select only automatic mode on (i.e. on) / off (i.e., off). ON) to apply the depth and image shift adjustment values extracted earlier to automatically adjust to the appropriate 3D effect depending on the content.
  • FIGS. 20A to 20D illustrates a scenario of executing a depth control UI in a 3D image display device to which an automatic mode and a manual mode are applied to adjust a 3D effect of a 3D image.
  • the user may sequentially proceed from (a) to (f) of FIG. 20 to adjust the depth level.
  • FIGS. 20A to 20D since the description of FIGS. 20A to 20D is the same as that of FIGS. 19A to 19D, detailed descriptions will be omitted herein.
  • both the 3D stereoscopic automatic adjustment menu item and the 3D stereoscopic manual adjustment menu item are displayed.
  • the user may select ON (ON) or OFF (OFF) from the 3D auto adjustment menu item, and when the user selects ON, the 3D image display device automatically adjusts the 3D image. For example, when the 3D image is out of the reference level range, the corresponding image may be shifted within the reference level range. As another example, the reference point may be forcibly shifted to zero.
  • a screen for setting the depth level by the user is displayed as shown in FIG. 20 (f).
  • the reference point may be shifted to a specific value according to the depth level set by the user.
  • FIG. 20F when the user selects a storage item, a 3D image of which the depth (ie, stereoscopic) is adjusted is displayed on the display device.
  • the 3D image before the depth (ie, 3D) is adjusted Displayed on the display device. Parts not described in FIG. 20 follow the description of FIG. 19 according to an embodiment.
  • the present invention can be applied to not only a TV receiver but also a device for displaying 3D images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

3D 영상을 표시하는 장치 및 방법이 개시된다. 3D 영상 표시 장치는 좌 영상과 우 영상으로 구성된 스테레오 영상을 입력받아 에지 정보, 칼라 정보, 장면 변화 정보 중 적어도 하나를 포함하는 영상 정보를 검출하는 스테레오 영상 분석부, 상기 검출된 영상 정보를 기반으로 상기 스테레오 영상의 깊이 분포를 분석하여 기준점을 결정하고, 상기 결정된 기준점을 기준으로 상기 스테레오 영상을 쉬프트시켜 상기 스테레오 영상의 입체감을 조절하는 제1 깊이 조절부, 상기 스테레오 영상의 크기를 줄인 후 픽셀 단위로 깊이 맵 정보를 추출하고, 추출된 깊이 맵 정보를 와핑하여 새로운 시점의 영상을 생성함에 의해 상기 스테레오 영상의 입체감을 조절하는 제2 깊이 조절부, 및 상기 제1 깊이 조절부와 제2 깊이 조절부 중 적어도 하나에서 입체감이 조절된 스테레오 영상을 디스플레이 장치에 맞게 포맷 변환하는 포맷터를 포함할 수 있다.

Description

3D 영상 표시 장치 및 방법
본 발명은 3D(Dimensional) 영상을 표시하는 장치 및 방법에 관한 것으로서, 더욱 상세하게는 3D 영상으로부터 추출한 깊이(depth) 정보를 이용하여 3D 영상의 입체감을 조절하기 위한 장치 및 방법에 관한 것이다.
일반적으로 3D 영상은 두 눈의 스테레오(stereo) 시각 원리에 의한다. 양안 시차(binocular parallax)는 입체감을 느끼게 하는 중요한 요인으로 좌우 눈이 각각 연관된 평면 영상을 볼 경우, 뇌는 이들 서로 다른 두 영상을 융합하여 3차원 영상 본래의 입체감(또는 깊이감이라 함)과 실재감을 재생할 수 있다. 여기서, 양안 시차란, 두 눈의 시차를 말하는 것으로, 약 65mm 정도 떨어져 존재하는 두 눈 사이의 간격에 따라 발생하는 좌안과 우안의 보이는 것의 차이를 뜻한다. 즉, 3D 영상은 왼쪽 눈과 오른쪽 눈에 맺히는 상의 차이로 인해서 사람의 두뇌에서 입체로 인식된다. 이를 위해서 3D 영상 표시 장치는 여러 가지 방법으로 왼쪽 눈과 오른쪽 눈에 보이는 상의 차이를 만들어 낸다.
그리고 3D 영상을 보여주는 방식에는 크게 안경식과 무안경식이 있다. 여기서 안경식은 다시 패시브(passive) 방식과 액티브(active) 방식으로 나눈다. 패시브 방식은 편광필터를 사용해서 좌영상과 우영상을 구분해서 보여주는 방식이다. 즉, 패시브 방식은 양안에 각각 청색과 적색의 색안경을 쓰고 보는 방식이다. 액티브 방식은 시간적으로 왼쪽 눈과 오른쪽 눈을 순차적으로 가림으로써 좌영상과 우영상을 구분하는 방식이다. 즉, 액티브 방식은 시간 분할된 화면을 주기적으로 반복시키고 이 주기에 동기시킨 전자 셔터가 설치된 안경을 쓰고 보는 방식이며, 시분할 방식 또는 셔텨드 글래스 방식이라 하기도 한다. 무안경식은 디스플레이 장치 앞에 특수한 장치를 해서 양쪽 눈에 보이는 상을 달리 만드는 방식이다. 무안경식의 대표적인 것으로는 원통형의 렌즈 어레이를 수직으로 배열한 렌티큘러(lenticular) 렌즈 판을 영상 패널 전방에 설치하는 렌티큘러 방식과 영상 패널 상부에 주기적인 슬릿을 갖는 배리어 층을 구비하는 패러랙스 배리어(parallax barrier) 방식이 있다.
이와 같이 3D 영상 표시 장치는 양안 깊이(depth) 원리를 최대한 활용하여 입체감을 생성한다. 즉, 디스플레이 상에 시공간적으로 인터리빙(interleaving) 형태로 보여주는 좌우 영상을 편광 안경이나 셔터 안경을 이용해서 각각 좌우안에 분리시켜준다. 이때 시차의 크기에 따라서 느껴지는 입체감의 크기가 달라지게 되는데, 동일한 영상이라고 하더라도 디스플레이의 크기에 따라서 물리적인 시차의 크기가 달라지게 된다. 또한, 동일 시차라 하더라도 사람 눈의 동공간 거리 등에 따라서 입체감에 대한 개인 편차가 존재하게 된다.
그러므로 3D 영상 표시 장치에서 사용자에게 3D 영상을 서비스하기 위해서는 이러한 변수에 대해서 개인의 취향에 맞게 입체감을 조절할 수 있도록 하는 수단을 제공할 필요가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 3D 영상의 입체감을 조절할 수 있도록 하는 3D 영상 표시 장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은 사용자가 개인의 취향에 맞게 3D 영상의 입체감을 조절할 수 있도록 하는 3D 영상 표시 장치 및 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 3D 영상 표시 장치는, 좌 영상과 우 영상으로 구성된 스테레오 영상을 입력받아 에지 정보, 칼라 정보, 장면 변화 정보 중 적어도 하나를 포함하는 영상 정보를 검출하는 스테레오 영상 분석부, 상기 검출된 영상 정보를 기반으로 상기 스테레오 영상의 깊이 분포를 분석하여 기준점을 결정하고, 상기 결정된 기준점을 기준으로 상기 스테레오 영상을 쉬프트시켜 상기 스테레오 영상의 입체감을 조절하는 제1 깊이 조절부, 상기 스테레오 영상의 크기를 줄인 후 픽셀 단위로 깊이 맵 정보를 추출하고, 추출된 깊이 맵 정보를 와핑하여 새로운 시점의 영상을 생성함에 의해 상기 스테레오 영상의 입체감을 조절하는 제2 깊이 조절부, 및 상기 제1 깊이 조절부와 제2 깊이 조절부 중 적어도 하나에서 입체감이 조절된 스테레오 영상을 디스플레이 장치에 맞게 포맷 변환하는 포맷터를 포함하는 것을 일 실시예로 한다.
상기 스테레오 영상 분석부는 상기 스테레오 영상을 기 설정된 크기로 순차적으로 줄여 복수 레벨의 영상을 구성하고, 적어도 하나의 레벨의 영상으로부터 에지 정보, 칼라 정보, 장면 변화 정보 중 적어도 하나를 포함하는 영상 정보를 검출하는 것을 일 실시예로 한다.
상기 제1 깊이 조절부는 상기 영상 정보를 기반으로 상기 스테레오 영상 내 좌 영상과 우 영상에 대한 특징 대응점을 추출하여 상기 스테레오 영상의 깊이 분포를 표시하는 깊이 히스토그램을 구성하고, 상기 깊이 히스토그램으로부터 기준점을 결정하는 깊이 분포 분석부, 및 상기 결정된 기준점을 기준으로 상기 스테레오 영상을 쉬프트시켜 상기 스테레오 영상의 입체감을 조절하는 영상 쉬프트 조절부를 포함하는 일 실시예로 한다.
상기 깊이 분포 분석부는 상기 제2 깊이 조절부로부터 픽셀 단위의 깊이 맵 정보를 입력받아 상기 스테레오 영상의 깊이 분포를 표시하는 깊이 히스토그램을 구성하고, 상기 깊이 히스토그램으로부터 기준점을 결정하는 것을 일 실시예로 한다.
상기 영상 쉬프트 조절부는 상기 깊이 분포 분석부에서 결정된 기준점에 이전 프레임에서의 깊이 통계치를 가중치하여 상기 기준점을 재구성하는 깊이 범위 분석부, 및 상기 재구성된 기준점과 깊이 레벨을 기반으로 상기 스테레오 영상을 쉬프트시킬 쉬프트 값을 계산한 후 상기 스테레오 영상을 쉬프트시키는 쉬프트 값 계산부를 포함하는 것을 일 실시예로 한다.
상기 깊이 레벨은 사용자 인터페이스(UI)를 통해 사용자가 설정하거나 3D 영상 표시 장치에서 자동으로 설정하는 것을 일 실시예로 한다.
상기 영상 쉬프트 조절부는 상기 스테레오 영상이 기 설정된 기준 깊이 범위를 벗어나면, 상기 스테레오 영상을 상기 기준 깊이 범위 내로 쉬프트시키는 것을 일 실시예로 한다.
상기 제2 깊이 조절부는 원영상의 해상도보다 낮은 레벨의 스테레오 영상으로부터 각 픽셀의 깊이 맵 정보를 추정한 후 원영상의 해상도로 상기 깊이 맵 정보를 업샘플링하는 깊이 맵 추출부, 및 상기 깊이 맵 정보를 와핑하여 새로운 시점의 영상을 생성하는 새로운 시점 영상 합성부를 포함하는 것을 일 실시예로 한다.
상기 깊이 맵 추출부는 제2 레벨의 스테레오 영상으로부터 각 픽셀의 깊이 맵 정보를 추정하여 서치 범위를 추정하는 전 처리부, 상기 추정된 서치 범위 내 제1 레벨의 스테레오 영상으로부터 각 픽셀의 베이스 깊이 맵 정보를 추정하는 베이스 깊이 추정부, 및 원영상의 해상도로 상기 베이스 깊이 맵 정보를 업샘플링하는 인핸스드 깊이 추정부를 포함하는 것을 일 실시예로 한다.
상기 새로운 시점 영상 합성부는 깊이 레벨에 따라 상기 깊이 맵 정보를 와핑하고, 와핑된 깊이 맵 정보를 기반으로 새로운 시점의 영상을 생성하는 와핑부, 상기 와핑 과정에서 생긴 홀을 채우는 홀 채움부, 및 상기 새로운 시점 영상의 바운더리에 발생된 홀 영역을 제거하는 바운더리 핸들링부를 포함하는 것을 일 실시예로 한다.
본 발명의 일 실시예에 따른 3D 영상 표시 방법은 좌 영상과 우 영상으로 구성된 스테레오 영상을 입력받아 에지 정보, 칼라 정보, 장면 변화 정보 중 적어도 하나를 포함하는 영상 정보를 검출하는 스테레오 영상 분석 단계, 상기 검출된 영상 정보를 기반으로 상기 스테레오 영상의 깊이 분포를 분석하여 기준점을 결정하고, 상기 결정된 기준점을 기준으로 상기 스테레오 영상을 쉬프트시켜 상기 스테레오 영상의 입체감을 조절하는 제1 깊이 조절 단계, 상기 스테레오 영상의 크기를 줄인 후 픽셀 단위로 깊이 맵 정보를 추출하고, 추출된 깊이 맵 정보를 와핑하여 새로운 시점의 영상을 생성함에 의해 상기 스테레오 영상의 입체감을 조절하는 제2 깊이 조절 단계, 및 상기 제1 깊이 조절 단계와 제2 깊이 조절 단계 중 적어도 하나에서 입체감이 조절된 스테레오 영상을 디스플레이 장치에 맞게 포맷 변환하는 단계를 포함하는 것을 일 실시예로 한다.
본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명에서는 3D 입력 영상으로부터 깊이 값의 분포를 분석하고, 분석 결과를 기반으로 좌/우 영상 중 적어도 하나를 쉬프트시켜 3D 영상의 입체감을 조절하거나, 또는 3D 입력 영상으로부터 깊이 맵을 추출하고, 추출된 깊이 맵을 기반으로 새로운 시점 영상을 합성하여 3D 영상의 입체감을 조절한다. 이렇게 함으로써, 왜곡없이 3D 영상의 입체감을 조절할 수 있게 된다. 특히 사용자 인터페이스(UI)를 통해 사용자가 조절을 원하는 깊이 레벨을 선택할 수 있도록 함으로써, 사용자의 취향에 맞게 3D 영상의 입체감을 조절할 수 있게 된다.
또한, 3D 영상의 깊이가 일정 범위를 벗어나는 경우에 상기 3D 영상의 깊이를 자동으로 조절하도록 함으로써, 3D 영상의 안전 시청 조건을 충족시킬 수 있게 되므로, 3D 영상 시청시 발생하는 사용자의 시각 피로도를 줄일 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 3D 영상 표시 장치를 개략적으로 보인 블록도
도 2는 본 발명에 따른 3D 영상 표시 장치 중 깊이 제어부의 일 실시예를 보인 구성 블록도
도 3은 본 발명에 따른 3D 영상 표시 장치 중 깊이 제어부의 다른 실시예를 보인 구성 블록도
도 4는 본 발명에 따른 3D 영상 표시 장치 중 깊이 제어부의 또 다른 실시예를 보인 구성 블록도
도 5는 본 발명에 따른 스테레오 영상 분석부의 일 실시예를 보인 상세 블록도
도 6은 본 발명에 따른 깊이 분포 분석부의 일 실시예를 보인 상세 블록도
도 7a는 본 발명에 따른 좌 영상의 일 예를 보인 도면
도 7b는 본 발명에 따른 우 영상의 일 예를 보인 도면
도 7c는 도 7a의 좌 영상, 도 7b의 우 영상에 대해서 구한 특징 대응점의 일 예를 보인 도면
도 7d는 본 발명에 따른 깊이 맵 추출부에서 픽셀 단위로 추출한 깊이 맵 정보의 일 예를 보인 도면
도 7e는 본 발명에 따른 깊이 히스토그램부에서 구성된 깊이 히스토그램의 일 예를 보인 도면
도 8은 본 발명에 따른 영상 쉬프트 조절부의 일 실시예를 보인 상세 블록도
도 9는 본 발명에 따른 영상 쉬프트 조절부에서 영상을 쉬프트하는 일 예를 보인 도면
도 10의 (a) 내지 도 10의 (c)는 본 발명에 따른 영상 쉬프트 조절부에서 영상을 쉬프트하는 다른 예를 보인 도면
도 11은 본 발명에 따른 깊이 맵 추출부의 일 실시예를 보인 상세 블록도
도 12는 본 발명에 따른 베이스 깊이 추정부의 일 실시예를 보인 상세 블록도
도 13은 본 발명에 따른 인핸스드 깊이 추정부의 일 실시예를 보인 상세 블록도
도 14는 본 발명에 따른 새로운 시점 영상 합성부의 일 실시예를 보인 상세 블록도
도 15는 본 발명에 따른 새로운 시점 영상 합성시 바운더리 핸들링의 일 예를 보인 도면
도 16은 본 발명을 ASIC으로 구현 시, 하드웨어 구성의 일 예를 보인 블록도
도 17의 (a), (b)는 본 발명에 따른 ASIC에서의 컨피규레이션 예를 보인 도면
도 18은 본 발명에 따른 3D 영상 표시 장치에서 스테레오 영상의 입체감을 조절하는 방법의 일 실시예를 보인 흐름도
도 19의 (a) 내지 도 19의 (f)는 본 발명에 따른 3D 영상 표시 장치에서 깊이 조절 UI를 실행하는 시나리오의 일 예를 보인 도면
도 20의 (a) 내지 도 20의 (f)는 본 발명에 따른 3D 영상 표시 장치에서 깊이 조절 UI를 실행하는 시나리오의 다른 예를 보인 도면
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.
또한 본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
그리고 본 발명에서 제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
본 발명에서 3D 영상으로는 두 개의 시점을 고려하는 스테레오(또는 스테레오스코픽) 영상, 세 시점 이상을 고려하는 다시점 영상 등이 있다.
상기 스테레오 영상은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 1쌍의 좌우 영상을 말한다. 상기 다시점 영상은 일정한 거리나 각도를 갖는 3개 이상의 카메라로 동일한 피사체를 촬영하여 획득한 3개 이상의 영상을 말한다.
본 발명은 스테레오 영상을 일 실시예로 설명할 것이나, 다시점 영상도 본 발명에 적용될 수 있음은 당연하다.
상기 스테레오 영상의 전송 포맷으로는 싱글 비디오 스트림 포맷과 멀티 비디오 스트림 포맷이 있다.
상기 싱글 비디오 스트림 포맷으로는 사이드 바이 사이드(side by side), 톱/바텀(top/bottom), 인터레이스드(interlaced), 프레임 시퀀셜(frame sequential), 체커 보드(checker board), 애너그리프(anaglyph) 등이 있다.
상기 멀티 비디오 스트림 포맷으로는 풀 좌/우(Full left/right), 풀 좌/하프 우(Full left/Half right), 2D 비디오/깊이(2D video/depth) 등이 있다.
예를 들어, 사이드 바이 사이드 포맷은 좌 영상과 우 영상을 각각 수평 방향으로 1/2 서브 샘플링하고, 샘플링한 좌 영상을 좌측에, 샘플링한 우 영상을 우측에 위치시켜 하나의 스테레오 영상을 만든 경우이다. 그리고 탑/바텀 포맷은 좌 영상과 우 영상을 각각 수직 방향으로 1/2 서브 샘플링하고, 샘플링한 좌 영상을 상부에, 샘플링한 우 영상을 하부에 위치시켜 하나의 스테레오 영상을 만든 경우이다. 그리고 인터레이스드 포맷은 좌 영상과 우 영상을 각각 수직 방향으로 1/2 서브 샘플링하고, 샘플링한 좌 영상의 화소와 우 영상의 화소가 라인마다 교대로 위치하도록 하여 스테레오 영상을 만들거나, 좌 영상과 우 영상을 각각 수평 방향으로 1/2 서브 샘플링하고, 샘플링한 좌 영상의 화소와 우 영상의 화소가 한 화소씩 교대로 위치하도록 하여 스테레오 영상을 만든 경우이다.
본 발명은 3D 영상으로부터 깊이 정보를 추출하여 3D 영상의 입체감을 조절하는데 있다. 본 발명은 일 실시예로, 사용자가 유저 인터페이스(User Interface; UI)를 통해 3D 영상의 입체감을 조절할 수 있도록 하는데 있다. 본 발명은 다른 실시예로, 3D 영상의 깊이가 일정 범위를 벗어나는 경우에 상기 3D 영상의 깊이를 자동으로 조절하도록 하는데 있다. 본 발명은 또 다른 실시예로, 사용자가 UI를 통해 3D 영상의 입체감을 조절할 수 있도록 함과 동시에 3D 영상의 깊이가 일정 범위를 벗어나면 자동으로 상기 3D 영상의 깊이를 조절하도록 하는데 있다.
본 발명은 3D 입력 영상으로부터 깊이 값의 분포를 분석하고, 분석 결과를 이용하여 좌/우 영상 중 적어도 하나를 쉬프트함으로써, 3D 영상의 입체감을 조절하는 것을 일 실시예로 설명하기로 한다.
본 발명은 3D 입력 영상으로부터 깊이 맵(depth map)을 추출하고, 추출된 깊이 맵을 이용해서 새로운 시점의 영상을 합성(또는 생성)함으로써, 3D 영상의 입체감을 조절하는 것을 다른 실시예로 설명하기로 한다.
본 발명에서 깊이(depth or disparity)란 좌/우 영상 사이의 거리를 의미하며, 이러한 깊이는 시청자로 하여금 영상에 입체감을 느끼게 한다. 즉, 좌우 영상 사이의 깊이로 인해 사용자는 두 눈 사이에 시차를 느끼게 되고, 이러한 양안 시차는 입체감을 느끼게 한다. 다시 말해, 깊이와 시차는 상관 관계를 가진다.
그리고 3D 영상과 같은 입체 영상 시청시 사용자가 느끼는 양안 시차는 음의 시차, 양의 시차, 및 제로 시차로 세가지가 있다. 음의 시차는 영상에 포함된 물체가 스크린으로부터 튀어 나온 것처럼 보이는 경우이다. 그리고, 양의 시차는 영상에 포함된 물체가 스크린 속으로 들어간 것처럼 보이는 경우이며, 제로 시차는 영상에 포함된 물체가 스크린과 동일한 깊이로 보이는 경우이다.
일반적으로, 입체 영상에서 음의 시차가 양의 시차보다 입체 효과가 더 크지만, 양안의 수렴각이 음의 시차에서 양의 시차일 때보다 크기 때문에 양안의 편안함은 양의 시차가 더 크다. 그러나, 양의 시차가 편안하더라도 입체 영상 내에 물체들이 양의 시차만을 가지면 양안은 피로감을 느끼게 된다. 마찬가지로, 입체 영상 내에 물체들이 음의 시차만을 가져도 양안은 피로감을 느끼게 된다.
도 1은 본 발명의 일 실시예에 따른 3D 영상 표시 장치를 개략적으로 보인 블록도로서, 수신기(101), 좌 영상 처리부(102), 우 영상 처리부(103), 깊이 제어부(104), 및 포맷터(105)를 포함한다.
본 발명에서 3D 영상 표시 장치는 디지털 텔레비전, 셋톱 박스 등이 해당될 수 있다. 또한 상기 3D 영상 표시 장치는 휴대폰, 스마트 폰, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등과 같은 이동 단말기일 수도 있고, 데스크 탑, 랩탑(또는 노트북), 태블릿 또는 핸드헬드 컴퓨터 등의 퍼스널 컴퓨터 시스템일 수도 있다.
그리고 도 1에서 수신기(101)는 방송 수신기인 것을 일 실시예로 한다. 이 경우 수신기(101)는 튜너, 복조부, 디코더 등을 포함할 수 있다. 즉, 튜너는 사용자가 선택한 채널을 수신하고, 복조부는 수신된 채널의 방송 신호를 복조한다. 디코더는 복조된 방송 신호를 디코딩하여 압축 이전의 상태로 복원한다. 이때 복조된 방송 신호가 3D 영상 신호라면 상기 디코더는 전송 포맷에 따라 상기 방송 신호를 디코딩하여 좌 영상과 우 영상으로 출력한다. 예를 들어, 전송 포맷이 사이드 바이 사이드 포맷이면 한 프레임 내에서 좌측 절반의 픽셀은 디코딩하여 좌 영상으로 출력하고, 우측 절반의 픽셀은 디코딩하여 우 영상으로 출력한다. 이때 반대의 경우도 가능하다. 다른 예로, 전송 포맷이 톱/바텀 포맷이면 한 프레임 내에서 상측 절반의 픽셀은 디코딩하여 좌 영상으로 출력하고, 하측 절반의 픽셀은 디코딩하여 우 영상으로 출력한다. 이때 반대의 경우도 가능하다. 그리고 상기 좌 영상은 좌 영상 처리부(102)로 출력되고, 우 영상은 우 영상 처리부(103)로 출력된다.
상기 좌 영상 처리부(102)는 좌 영상 스케일러(L scaler)라 하기도 하며, 입력된 좌 영상을 디스플레이 장치의 해상도 또는 소정 화면비에 맞도록 스케일링(scaling)한 후 깊이 제어부(104)로 출력한다.
상기 우 영상 처리부(102)는 우 영상 스케일러(R scaler)라 하기도 하며, 입력된 우 영상을 디스플레이 장치의 해상도 또는 소정 화면비에 맞도록 스케일링한 후 깊이 제어부(104)로 출력한다.
상기 디스플레이 장치는 제품 사양 별로 소정 해상도, 예를 들어 720x480 포맷, 1024x768 포맷, 1280×720 포맷, 1280×768 포맷, 1280×800 포맷, 1920×540 포맷, 1920×1080 포맷 또는 4K ×2K 포맷 등을 갖는 영상 화면을 출력하도록 제작되어 있다. 그에 따라서, 좌 영상 처리부(102)와 우 영상 처리부(103)는 다양한 값으로 입력될 수 있는 좌 영상과 우 영상의 해상도를 해당 디스플레이 장치의 해상도에 맞춰 변환할 수 있다.
본 발명은 상기 좌 영상 처리부(102)에서 처리된 좌 영상과 상기 우 영상 처리부(103)에서 처리된 우 영상을 합하여 3D 입력 영상 또는 스테레오 영상이라 하기로 한다.
상기 깊이 제어부(104)는 일 실시예로, 상기 3D 입력 영상으로부터 깊이 값의 분포를 분석하고, 분석 결과를 이용하여 좌/우 영상을 쉬프트하여 3D 영상의 입체감을 조절한 후 포맷터(105)로 출력할 수 있다.
상기 깊이 제어부(104)는 다른 실시예로, 상기 3D 입력 영상으로부터 깊이 맵(depth map)을 추출하고, 추출된 깊이 맵을 이용해서 새로운 시점의 영상을 합성하여 3D 영상의 입체감을 조절한 후 포맷터(105)로 출력할 수 있다.
본 발명에 따른 깊이 제어부(104)는 시스템 설계에 의해 자동으로 3D 영상의 입체감을 조절할 수도 있고, UI를 통한 사용자의 요청에 따라 3D 영상의 입체감을 조절할 수도 있다.
상기 포맷터(105)는 상기 깊이 제어부(104)에서 입체감이 조절된 3D 영상을 디스플레이 장치의 출력 포맷에 맞게 변환하여 디스플레이 장치로 출력한다. 일 예로, 상기 포맷터(105)는 깊이가 조절된 좌 영상과 우 영상을 라인 단위로 섞어주는 역할을 수행하기도 한다.
상기 디스플레이 장치는 상기 포맷터(105)로부터 출력되는 3D 영상을 디스플레이한다. 상기 디스플레이 장치는 스크린, 모니터, 프로젝터 등이 될 수 있다. 또한 상기 디스플레이 장치는 일반 2D 영상을 디스플레이할 수 있는 장치, 안경을 필요로 하는 3D 영상을 디스플레이할 수 있는 장치, 안경을 필요로 하지 않는 3D 영상을 디스플레이할 수 있는 장치 등이 될 수 있다.
도 1에서 수신기로 수신된 방송 신호가 2D 영상이라면 좌 영상 처리부(102)와 우 영상 처리부(103) 중 하나만 활성화되고, 깊이 제어부(104)는 바이패스하는 것을 일 실시예로 한다.
도 2는 도 1의 깊이 제어부(104)의 일 실시예를 보인 상세 블록도로서, 스테레오 영상 분석부(121), 깊이 분포 분석부(131), 영상 쉬프트 조절부(132), 깊이 맵 추출부(141), 새로운 시점 영상 합성부(142), 및 깊이 조절 UI부(151)를 포함할 수 있다.
본 발명에서는 상기 깊이 분포 분석부(131)와 영상 쉬프트 조절부(132)를 합하여 제1 깊이 조절부라 하고, 상기 깊이 맵 추출부(141)와 새로운 시점 영상 합성부(142)을 합하여 제2 깊이 조절부라 하기로 한다. 상기 제1 깊이 조절부와 제2 깊이 조절부는 선택적으로 동작될 수도 있고, 동시에 모두 동작된 후 포맷터(105)에서 그 중 하나를 선택하게 할 수도 있다. 상기 제1 깊이 조절부와 제2 깊이 조절부 중 하나를 3D 영상 표시 장치에서 자동으로 선택하게 할 수도 있고, 사용자가 UI를 통해 선택하게 할 수도 있다. 그리고 3D 입력 영상은 좌 영상과 우 영상으로 구성된 스테레오 영상인 것을 일 실시예로 한다. 상기 스테레오 영상은 스테레오 영상 분석부(121)로 입력된다.
상기 스테레오 영상 분석부(121)는 입력되는 스테레오 영상으로부터 기본적인 영상 정보를 분석하여 깊이 분포 분석부(131)와 깊이 맵 추출부(141)로 출력한다.
상기 깊이 분포 분석부(131)는 상기 스테레오 영상 분석부(121)에서 분석된 영상 정보와 상기 깊이 맵 추출부(141)에서 추출된 깊이 맵 정보 중 적어도 하난를 기반으로 상기 스테레오 영상에 포함된 좌 영상과 우 영상의 깊이 분포를 분석하여 기준점을 구한 후 영상 쉬프트 조절부(132)로 출력한다.
상기 영상 쉬프트 조절부(132)는 사용자에 의해 또는 3D 영상 표시 장치에서 결정된 깊이 레벨과 상기 깊이 분포 분석부(131)에서 출력되는 기준점을 기반으로 좌 영상과 우 영상 중 적어도 하나를 쉬프트시켜 스테레오 영상의 깊이를 조절한다. 즉, 상기 영상 쉬프트 조절부(132)는 프레임 단위로 영상의 깊이를 제어하여 입체감을 조절한다.
상기 깊이 맵 추출부(141)는 스테레오 영상에 포함된 좌 영상과 우 영상의 깊이 맵 정보를 추출한 후, 그 결과를 깊이 분포 분석부(131)와 새로운 시점 영상 합성부(142)로 출력한다.
이때 영상 처리 부하를 줄이고 동일 처리 블록 크기에 대해서 더 넓은 주위 영역 정보를 활용하기 위해서 상기 깊이 맵 추출부(141)는 입력되는 스테레오 영상의 크기를 줄인 영상을 스테레오 영상 분석부(121)로부터 제공받아 깊이 맵 정보를 추출하는 것을 일 실시예로 한다. 즉, 영상의 크기를 줄임으로써, 계산량이 줄어들고 구현성이 좋아지며 동일 처리 블록 크기에 대해 더 넓은 주위 영역 정보를 활용할 수 있다. 이를 위해 상기 스테레오 영상 분석부(121)는 입력되는 스테레오 영상을 기 설정된 크기로 순차적으로 줄여 영상 계층을 구성한다. 상기 깊이 맵 정보는 스크린에서 Z축을 기준으로 각 픽셀당 거리 정보를 의미한다. 예를 들어, 스크린을 0으로 가정하였을 때 해당 영상에서 각 픽셀이 얼마나 나오고(+), 얼마나 들어갔는지(-)를 나타낸다.
상기 새로운 시점 영상 합성부(142)는 사용자에 의해 또는 3D 영상 표시 장치에서 결정된 깊이 레벨, 상기 깊이 맵 추출부(141)에서 추출된 깊이 맵 정보, 그리고 원본 영상을 기반으로 새로운 시점의 영상을 생성함으로서, 스테레오 영상의 깊이를 조절한다. 즉, 상기 새로운 시점 영상 합성부(142)는 픽셀 단위로 영상의 깊이를 제어하여 입체감을 조절한다.
상기 깊이 조절 UI부(151)는 메뉴 형태로 제공될 수 있으며, 사용자는 리모콘이나 3D 영상 표시 장치에 부착된 키 입력부를 이용하여 상기 깊이 조절 UI를 제공하는 메뉴에 진입할 수 있다. 사용자는 상기 깊이 조절 UI부(151)를 통해 3D 영상의 입체감을 조절하기 위한 깊이 레벨을 선택할 수 있다. 도 2는 3D 영상 표시 장치에 제1 깊이 조절부와 제2 깊이 조절부가 모두 구현된 예를 보이고 있다.
도 3은 본 발명에 따른 3D 영상 표시 장치 중 깊이 제어부의 다른 실시예를 보인 구성 블록도로서, 특히 3D 영상 표시 장치에 제1 깊이 조절부만 구현된 예를 보이고 있다. 즉, 도 3에서 3D 영상 표시 장치는 스테레오 영상 분석부(151), 깊이 분포 분석부(152), 깊이 맵 추출부(153), 영상 쉬프트 조절부(154), 및 깊이 조절 UI부(155)를 포함한다. 도 3의 각 부의 동작은 도 2의 동일 블록의 동작 설명과 동일하므로, 도 2의 설명을 참조하기로 하고 여기서는 생략한다. 또한 도 3에서 깊이 맵 추출부(153)는 선택적(optional)이다.
도 4는 본 발명에 따른 3D 영상 표시 장치 중 깊이 제어부의 또 다른 실시예를 보인 구성 블록도로서, 특히 3D 영상 표시 장치에 제2 깊이 조절부만 구현된 예를 보이고 있다. 즉, 도 4에서 3D 영상 표시 장치는 스테레오 영상 분석부(161), 깊이 맵 추출부(162), 새로운 시점 영상 합성부(163), 및 깊이 조절 UI부(164)를 포함한다. 도 4의 각 부의 동작은 도 2의 동일 블록의 동작 설명과 동일하므로, 도 2의 설명을 참조하기로 하고 여기서는 생략한다.
이 후 도 2 내지 도 4의 3D 영상 표시 장치의 각 부의 상세 동작을 설명한다. 도 2 내지 도 4에서 동일한 이름을 가진 블록들로 동일한 동작을 수행한다. 하지만 설명의 편의를 위해 도 2의 도면 부호를 가지고 각 부의 동작을 상세히 설명하기로 한다.
도 5는 스테레오 영상 분석부(121)의 일 실시예를 보인 상세 블록도로서, 영상 계층부(211), 에지 분석부(212), 컬러 분석부(213), 및 장면 변화 분석부(214)를 포함할 수 있다.
상기 스테레오 영상 분석부(121)는 원해상도 스테레오 영상을 2-N으로 순차적으로 줄여 복수개의 레벨 영상을 생성한 후 각 레벨의 영상으로부터 에지 정보, 컬러 정보, 장면 변화 정보와 같은 영상 정보를 검출한다. 이렇게 검출된 에지 정보, 컬러 정보, 장면 변화 정보 중 적어도 하나는 각 레벨의 영상과 함께 깊이 분포 분석부(131)와 깊이 맵 추출부(141)로 출력된다.
즉, 상기 스테레오 영상 분석부(121)의 영상 계층부(211)는 입력되는 스테레오 영상의 크기를 줄여 영상 계층(image hierarchy)을 구성한다. 예를 들어, 입력되는 스테레오 영상에 대해 가로/세로 각각 1/2씩 줄인 영상을 순차적으로 생성하여 영상 계층을 구성할 수 있다. 본 발명은 원해상도 영상(즉, 원본 영상)을 레벨 0(또는 레벨 0 영상), 가로/세로로 각각 2-N으로 줄인 영상을 레벨 N(또는 레벨 N 영상)이라 하기로 한다. 즉, 원해상도 영상을 가로/세로로 각각 1/2씩 줄인 영상은 레벨 1(또는 레벨 1 영상), 레벨 1의 영상을 다시 가로/세로로 각각 1/2씩 줄인 영상을 레벨 2 (또는 레벨 2 영상)이라 하기로 한다. 그리고 이러한 레벨 0~N 영상을 영상 계층(image hierarchy)이라 하기로 한다. 상기 영상 계층부(211)에서 구성된 각 레벨의 영상은 깊이 분포 분석부(131)와 깊이 맵 추출부(141)로 출력된다. 또한 상기 각 레벨의 영상은 스테레오 영상 분석부(121) 내 에지 검출부(212), 컬러 분석부(213) 및 장면 변화 검출부(214) 중 적어도 하나로 출력된다.
상기 에지 분석부(212)는 적어도 하나의 레벨 영상으로부터 에지 정보를 추출한다. 본 발명은 상기 에지 정보를 검출하기 위하여 3x3 소벨 필터(sobel filter)를 사용하는 것을 일 실시예로 한다. 상기 3x3 소벨 필터는 에지를 구하기 위한 픽셀을 중심으로 하여 3x3 이웃 블록에 대해서 구하고자 하는 방향에 따라 다른 필터 계수를 할당한다. 즉, 상기 3x3 소벨 필터는 비선형 연산자로서 사용하는 마스크 윈도우 영역에서 양 끝단에 속한 픽셀들 사이의 합의 차이를 구한 후 이를 수평과 수직 방향에 대하여 평균 크기를 구함으로써, 경계 부위를 강조하는 역할을 한다.
상기 컬러 분석부(213)는 적어도 하나의 레벨 영상으로부터 컬러 정보를 추출한다. 이때 R/G/B 각각 8 비트(bit) 인 경우 컬러의 조합은 224 개가 된다. 상기 컬러 분석부(213)에서는 유사한 컬러들을 그룹핑하여 컬러 분포 특성을 이용하기 위해서 컬러 세그멘테이션(color segmentation)을 수행한다. 또한, 좌/우 영상의 컬러를 분석하여 보정하는 작업을 수행할 수 있다.
상기 장면 변화 검출부(214)는 적어도 하나의 레벨 영상의 시퀀스로부터 장면 변화를 검출한다. 즉, 영상 시퀀스는 장면(scene)들의 연속으로 이루어지며, 동일 장면 내의 영상 프레임들간에 영상 특성이나 3D 깊이에 있어서 상관성이 존재한다. 그러므로 장면 전환 검출부(214)에서는 적어도 하나의 레벨의 영상 시퀀스로부터 장면이 바뀌는 지점을 검출한 후 장면 변화 정보를 출력한다.
상기 에지 분석부(212)에서 추출된 에지 정보, 컬러 분석부(213)에서 추출된 컬러 정보, 상기 장면 변화 검출부(214)에서 검출된 장면 변화 정보 중 적어도 하나는 깊이 분포 분석부(131)와 깊이 맵 추출부(141)로 출력된다.
도 6은 상기 깊이 분포 분석부(131)의 일 실시예를 보인 상세 블록도로서, 특징 분석(feature analysis)부(221), 깊이 히스토그램부(222), 및 히스토그램 통계부(223)를 포함할 수 있다.
상기 깊이 분포 분석부(131)는 깊이 값 히스토그램(histogram)을 구성하고 각종 통계치를 도출한다. 즉, 상기 깊이 분포 분석부(131)는 스크린을 기준으로 어느 위치에 물체들이 분포되어 있는지를 분석한다. 다시 말해, 하나의 프레임에 대해 각 깊이 별로 픽셀들의 분포 비율을 분석한다.
이를 위해 상기 깊이 분포 분석부(131)의 특징 분석부(221)는 상기 스테레오 영상 분석부(104)에서 출력되는 적어도 하나의 레벨 영상 및 영상 정보(예를 들어, 에지 정보, 컬러 정보, 장면 변화 정보 중 적어도 하나)를 이용하여 스테레오 영상의 특징(feature)을 추출하고, 추출된 특징을 이용하여 좌/우 영상에 대해서 특징 대응점을 구한다. 예를 들어, 상기 특징 분석부(221)는 에지/코너(edge/corner) 등의 특징을 추출하고, 추출된 특징을 이용하여 좌/우 영상(즉, 스테레오 영상)에 대해서 특징 대응점을 구한다.
도 7a는 좌 영상의 예를 보이고, 도 7b는 우 영상의 예를 보이고 있다. 도 7a와 도 7b에서 보면, 좌 영상이 우 영상보다 좌측으로 좀 더 이동되어 있다. 다시 말해, 물체가 화면 밖으로 튀어 나오는 예이다.
도 7c는 도 7a의 좌 영상, 도 7b의 우 영상에 대해서 구한 특징 대응점을 표시하고 있다.
즉, 좌 영상과 우 영상에서 물체의 동일 지점을 나타내는 특징 대응점들은 좌우 영상에서 수평적으로 벌어져서 나타난다. 이때 벌어진 정도(시차)는 깊이 정도에 따라서 달라지게 된다. 예를 들어, 물체가 화면 밖으로 튀어나오는 경우는 좌영상에 나타난 특징 대응점이 우영상에 나타난 특징 대응점보다 오른쪽에 위치한다. 반대로 물체가 화면 안으로 들어가는 경우는 반대로 위치한다. 도 7c에서 굵은 실선으로 좌우 영상이 벌어진 정도를 나타내고, 굵은 실선의 오른쪽 끝의 x는 좌 영상에서 추출한 특징 대응점을 나타낸다. 반대로 굵은 실선의 왼쪽 끝은 우 영상에서 추출한 특징 대응점이 된다. 이때 좌 영상에서 추출한 특징 대응점과 우 영상에서 추출한 특징 대응점이 일치하면 물체는 스크린 상에 있는 것이고, 벌어진 정도가 클수록 즉, 굵은 실선이 길수록 영상은 스크린에서 멀어지고, 물체는 화면 밖으로 튀어나오거나 들어간다.
도 7d는 상기 깊이 맵 추출부(141)에서 픽셀 단위로 추출한 깊이 맵 정보의 예를 보이고 있다. 즉, 상기 깊이 맵 정보는 스크린에서 Z축을 기준으로 각 픽셀의 거리 정보를 포함한다.
상기 깊이 히스토그램부(222)는 상기 특징 분석부(221)에서 출력되는 특징 상의 깊이 값들(즉, 특징 대응점) 또는 상기 깊이 맵 추출부(141)에서 출력되는 픽셀 단위의 깊이 값들(각 픽셀의 거리 정보)을 이용하여 깊이 히스토그램을 구성한다. 상기 히스토그램 통계부(223)는 상기 깊이 히스토그램에서 다양한 통계치를 구하고, 이를 이용하여 영상 쉬프트 조절부(132)에서 영상을 쉬프트하기 위한 기준점을 구한다.
도 7e는 깊이 히스토그램부(222)에서 구성된 깊이 히스토그램의 예를 보이고 있고, 히스토그램 통계부(223)에서는 이를 이용하여 다양한 통계치를 구한다. 도 7e의 깊이 히스토그램에서 가로축은 깊이를 나타내고, 세로축은 깊이 분포를 나타낸다. 본 발명에서 히스토그램 통계치는 최소(Min) 깊이, 최대(Max) 깊이, 평균(Mean) 깊이, 각 깊이에서의 피크 등이 있을 수 있다. 여기서 각 깊이에서의 피크는 해당 깊이에서의 픽셀 수가 될 수 있다. 예를 들어, 도 7e의 최소 깊이에서는 대략 75개 정도의 픽셀이 존재함을 알 수 있다. 도 7e는 깊이 분포가 (-) 방향으로 편향되어 있음을 나타낸다. 깊이 분포가 (-) 또는 (+) 방향으로 편향되어 있을 경우, 3D 영상 시청시 사용자는 쉽게 피로감을 느끼게 된다. 만일 깊이 분포를 0 지점으로 가깝게 포지셔닝(positioning)하면 편안한 입체감을 제공할 수 있다. 반대로 0 지점으로부터 멀게 포지셔닝하면 피로도는 증가하나 더 풍부한 입체감을 제공할 수 있다. 따라서 본 발명은 UI를 통해 사용자가 3D 영상을 0 지점으로 가깝게 포지셔닝하거나 0 지점으로부터 멀게 포지셔닝할 수 있도록 한다. 즉, 사용자가 깊이 조절 UI부(151)를 통해 깊이 레벨을 선택하면, 영상 쉬프트 조절부(132)에서는 사용자가 선택한 깊이 레벨에 따라 기준점을 기준으로 3D 영상을 쉬프트시켜 0 지점으로 가깝게 포지셔닝하거나 0 지점으로부터 멀게 포지셔닝할 수 있다. 다른 실시예로, 3D 영상 표시 장치에서 자동으로 3D 영상을 0 지점으로 가깝게 포지셔닝하거나 0 지점으로부터 멀게 포지셔닝할 수도 있다.
이때 깊이 분포를 프레임 전체에 대해서 구하면 글로벌 특성으로 후단에서 처리를 할 수 있고, 영상을 블록으로 나눠서 블록 별로 깊이 분포를 구하면 후단에서 로컬 특성을 반영해서 영상 조정이 가능하게 된다.
그리고 본 발명은 히스토그램의 평균(Mean) 값을 영상을 쉬프트하기 위한 기준점으로 설정하는 것을 일 실시예로 한다. 이때 이 기준점을 0에 가깝게 하거나 멀게 하거나 또는 0 중심으로 축 반대 방향으로 이동하도록 깊이 조절 값을 구할 수 있다. 상기 깊이 조절 값은 상기 깊이 조절 UI부(151)를 통해 사용자가 깊이 레벨을 선택하여 설정할 수도 있고, 3D 영상 표시 장치에서 자동으로 설정할 수도 있다.
상기 영상 쉬프트 조절부(132)는 상기 깊이 조절 UI부(151)에서 선택된 깊이 레벨 또는 3D 영상 표시 장치에서 자동으로 설정한 깊이 레벨에 따라서 상기 깊이 조절 값을 스케일링(scaling)하고, 기준점을 기준으로 상기 스케일링된 깊이 조절 값만큼 좌/우 영상을 반대 방향으로 쉬프트함으로써, 스테레오 영상의 입체감을 조절한다. 즉, 상기 영상 쉬프트 조절부(132)는 깊이 값의 분포 위치를 조절하기 위한 값을 구하여 좌/우 영상을 쉬프트한다.
도 8은 상기 영상 쉬프트 조절부(132)의 일 실시예를 보인 상세 블록도로서, 깊이 범위 분석(depth range analysis)부(231)과 쉬프트 값 계산부(232)를 포함할 수 있다.
상기 깊이 범위 분석부(231)는 상기 히스토그램 통계부(223)에서 구한 기준점을 재구성한다. 이때 이전 프레임에서의 깊이 통계치들을 가중치하여 기준점을 재구성할 수도 있다. 예를 들어, 상기 깊이 범위 분석부(231)는 시간적인 깊이 범위(depth range) 정보, 상기 히스토그램 통계부(223)에서 구한 깊이 분포의 기준점 정보, 기 설정된 기준 깊이(reference depth) 범위 정보 등을 기반으로 현재 프레임에 대한 깊이 분포의 기준점을 재구성한다. 이는 시간적으로 자연스럽게 변하고 장면 변화에서 불연속성이 가능하도록 하기 위해서이다.
상기 쉬프트 값 계산부(232)는 상기 깊이 조절 UI부(151)에 의해 선택된 또는 3D 영상 표시 장치에서 자동으로 선택된 깊이 레벨을 기반으로 좌/우 영상의 쉬프트 값 즉, 깊이 조절 값을 계산한다.
도 9는 본 발명에 따른 영상 쉬프트 조절부(132)의 동작 예를 보여준다. 도 9에서 점선은 입력 영상들의 깊이의 최대/최소값들의 시간적 변화를 나타낸다. 실선은 깊이 조절 후의 시간적 변화를 나타낸다. 그리고 도면에서 네모 박스는 기준 깊이 범위(또는 가이드 라인이라 함)를 나타낸다. 깊이 조절에 의해서 점선의 깊이 범위를 실선의 깊이 범위로 변경한 예이다. 즉, 기준 깊이 범위를 벗어나는 영상에 대해서는 기준 깊이 범위 내로 쉬프트시킨다. 이렇게 함으로써, 3D 영상의 안전 시청 조건을 충족시킬 수 있게 되므로, 3D 영상 시청시 발생하는 사용자의 시각 피로도를 줄일 수 있게 된다. 상기 기준 깊이 범위를 벗어나는 영상에 대해서 기준 깊이 범위 내로 쉬프트시키는 동작은 3D 영상 표시 장치에서 자동으로 수행할 수 있다. 또는 사용자가 UI를 통해 온/오프를 선택할 수 있도록 하고, 온을 선택한 경우에만 자동으로 수행하게 할 수도 있다.
그리고 시간적으로 부드러운 깊이 변화를 구하기 위해서 깊이 범위 조절을 수행할 때는 이전의 깊이 범위 히스토리(history)를 반영해주는 것을 일 실시예로 한다.
다음의 수학식 1은 최대 깊이를 기준점으로 하고, 그 기준점을 기준으로 깊이 조절을 한다고 가정할 경우의 깊이 편차(depth deviation)를 구하는 예를 보이고 있다.
수학식 1
Figure PCTKR2012010375-appb-M000001
(현재의 최대 깊이 (t) - 기준최대 깊이 (t), 0)
상기 수학식 1에서 depth_deviation(t) 값이 (+)이면 현재 시간(t)의 최대 깊이가 기준 최대 깊이를 넘어선 경우이다.
이때 실제 깊이 조절 값은 다음의 수학식 2와 같이 이전 시간의 깊이 편차를 반영하는 것을 일 실시에로 한다.
수학식 2
Figure PCTKR2012010375-appb-M000002
가중치 wk는 k=0부터 n까지에 대해서 단조 감소하게 할당함으로써, 현재 영상과 시간적으로 가까운 영상의 depth_deviation에 더 큰 가중치를 부여한다. 만일 W0=1이고, 나머지는 0인 경우는 이전 시간의 depth_deviation을 반영하지 않는 경우가 된다.
그리고 최대 또는 최소 기준 깊이 값 중 하나를 기준으로 depth_deviation을 계산하고 깊이를 조절할 경우, 다른 깊이 값이 기준을 벗어나는 경우들이 발생할 수 있다. 이렇게 전체적인 기준 깊이 범위를 충족시키지 못하는 경우에는 2D로 전환해서 보여 줄 수도 있다.또한 상기 기준 깊이(reference depth) 범위는 단계별로 설정할 수 있다. 범위를 가장 좁게 설정한 1단계 범위부터 최대, 최소를 확장시켜가면서 몇 단계로 기준 깊이 범위를 설정하여 깊이 조절 기능을 수행할 수도 있다.
다른 실시 예로는, 기준 깊이 범위를 설정하지 않고, 기준점을 0 또는 특정 값으로 이동시키도록 조절할 수도 있다. 깊이가 전면이나 후면으로 치우칠 경우 전체적으로 스크린 위치(즉, 깊이=0인 지점)로 이동하면 편안한 입체감을 느낄 수 있다. 이와 반대 방향으로 조절할 경우, 더욱 큰 입체감을 제시하게 된다. 기준점을 0 또는 특정 값으로 쉬프트시키기 위한 쉬프트 값은 깊이 레벨에 의해 결정되며, 상기 깊이 레벨은 상기 깊이 조절 UI부(151)를 통해 사용자가 조절할 수도 있고, 3D 영상 표시 장치에서 강제로 조절할 수도 있다. 그러면 상기 쉬프트 값 계산부(232)는 상기 기준점 및 상기 깊이 레벨을 기반으로 좌/우 영상의 쉬프트 값 즉, 깊이 조절 값을 계산한다. 또한 기준점을 강제로(또는 자동으로) 0 또는 특정값으로 쉬프트시킬 경우, 사용자는 UI를 통해 온/오프만 선택하게 할 수도 있다.
도 10의 (a) 내지 도 10의 (c)는 상기 영상 쉬프트 조절부(132)에 의한 깊이 조절 동작의 다른 예를 보여준다. 좌 영상 및 우 영상 위의 흰색 화살표는 깊이 조절량을 나타내고, 상기 깊이 조절량만큼 좌 영상과 우 영상 중 적어도 하나의 영상을 쉬프트함으로써 3D 영상의 깊이감(즉, 입체감)이 조절된다. 이때 도 10의 (b)와 같이 좌 영상은 왼쪽 방향, 우 영상은 오른쪽 방향으로 깊이 조절량만큼 쉬프트하면 물체가 시청자로부터 멀어지는 효과가 있다. 또한 도 10의 (c)와 같이 각각 반대 방향으로 깊이 조절량만큼 좌 영상과 우 영상을 쉬프트하면 물체가 시청자에게 가까워지는 효과가 있다. 여기서 깊이 조절량은 상기 쉬프트 값 계산부(232)에서 구해진다.
또한 본 발명은 기준 깊이 범위를 벗어나는 좌/우 영상에 대해서는 기준 깊이 범위 내로 쉬프트시키면서 동시에 사용자가 선택한 기준 레벨에 따라 기준점을 기준으로 좌/우 영상을 쉬프트시킬 수도 있다.
한편 상기 깊이 맵 추출부(141)는 기본 깊이 맵 추출, 정교화, 보간 작업을 통해서 최종 깊이 맵(즉, 각 픽셀의 거리 정보)을 계산한 후 깊이 분포 분석부(131)와 새로운 시점 영상 합성부(142)로 출력한다.
도 11은 상기 깊이 맵 추출부(141)의 일 실시예를 보인 상세 블록도로서, 전 처리부(pre-processor)(241), 베이스 깊이 추정부(242) 및 인핸스드 깊이 추정부(243)를 포함할 수 있다.
상기 전 처리부(241)는 상기 스테레오 영상 분석부(121)에서 출력되는 영상 계층 중 적어도 하나의 레벨의 영상을 이용하여 깊이 범위(depth range or disparity range, 스크린에서 Z축을 각 픽셀의 거리 정보)를 미리 추정하여 깊이 범위를 근사화시킨다. 즉, 상기 전 처리부(241)는 스테레오 영상의 영상 계층(image hierarchy)으로부터 깊이 추정을 본격적으로 수행하기 전에 깊이 범위를 추정한다. 이때, 뒷 단의 베이스 깊이 추정부(242)에서 이용하는 레벨의 영상과 같거나 더 낮은 레벨의 영상을 이용하여 깊이 범위를 추정하는 것을 일 실시예로 한다.
만일 상기 베이스 깊이 추정부(242)에서 베이스 깊이(base depth)를 레벨 2 영상으로 구한다면, 상기 전 처리부(241)에서는 레벨 3 영상으로부터 SAD(Sum of Absolute Difference)를 수행하여 깊이 범위를 근사화시키는 것을 일 실시예로 한다. 여기서 SAD는 두 블록 사이에 같은 위치 픽셀 값끼리 뺀 값의 절대값을 더한 값이며, 작을 수록 블록간 유사도가 크다.
다른 실시예로, 각 라인 별로 깊이 범위(depth range or disparity range)를 구할 수도 있다. 또 다른 실시예로, 직사각형 블록 별로도 깊이 범위를 구하여 베이스 깊이 추정시에 활용할 수도 있다. 이와 같이 본 발명은 특정 위치의 깊이 범위를 다양한 방법으로 구할 수 있다.
즉, 본 발명은 스테레오 매칭(stereo matching) 시에 발생할 수 있는 매칭 에러(matching error)를 최소화하기 위해서 상기 전 처리부(241)를 통해 실제 후보가 생길 수 있는 서치 범위(search range)를 미리 추정하는 것이다.
도 12는 도 11의 베이스 깊이 추정부의 일 실시예를 보인 상세 블록도로서, 스테레오 서치부(251), 필터링 및 최적화부(252), 및 어클루션 핸들링(occlusion handling)부(253)를 포함할 수 있다.
상기 베이스 깊이 추정부(242)에서는 레벨 0 영상(즉, 원해상도 스테레오 영상)을 이용하여 깊이 범위를 추정할 경우 계산량이 방대하기 때문에 영상 계층 상의 작은 크기의 영상을 이용하여 베이스 깊이를 추정한다. 본 발명에서는 레벨 2 영상을 이용하여 베이스 깊이를 추정하는 것을 일 실시예로 한다.
이를 위해 스테레오 서치부(251)에서는 주어진 깊이 서치 범위(disparity search range) 내에서 좌우 영상에서 비교하고자 하는 각 픽셀 또는 블록 단위로 SAD 등의 유사도를 구하고 가장 유사도가 높은 쌍들을 구한다. 두 쌍의 x좌표 값 차이가 깊이 크기(즉, 시차)를 반영한다. 이때 두 쌍의 x 좌표 값의 차이가 0이면 영상의 물체는 스크린 상에 있는 것이고, x 좌표 값의 차이가 클수록 영상의 물체는 화면 밖으로 더 튀어나오거나 더 들어간다.
상기 필터링 및 최적화부(252)에서는 필터를 이용하여 영상에서의 물체의 경계와 깊이 맵에서의 물체의 경계를 일치(align)시킨다. 즉, SAD만 하면 영상의 물체의 경계보다 깊이 맵에서의 물체의 경계가 더 두껍게 표시된다. 이를 해결하기 위해 필터링 및 최적화부(252)는 영상에서의 물체의 경계와 깊이 맵에서의 물체의 경계를 일치(align)시킨다. 이때 비교하고자 하는 두 블록 사이에서 2개의 항목을 반영하여 유사도를 비교하는 경우 바이리터럴(bilateral) 필터를 사용하고, 3개의 항목을 반영하여 유사도를 비교하는 경우 트리리터럴(trilateral) 필터를 사용하는 것을 일 실시예로 한다. 바이리터럴 필터를 사용할 경우, 비교하고자 하는 두 블록 사이에서 컬러 차이, 평균값과의 차이 항목을 반영하여 유사도를 비교하고, 트리리터럴 필터를 사용할 경우, 비교하고자 하는 두 블록 사이에서 컬러 차이, 평균값과의 차이, 깊이 값과의 차이 항목을 반영하여 유사도를 비교하는 것을 일 실시예로 한다.
또한 상기 필터링 및 최적화부(252)에서는 구하고자 하는 위치의 근처 정보만이 아니라 프레임 전체에서의 상관 관계를 이용해서, 전체 프레임에서의 결과가 최적이 되도록 현재의 결과를 조정하는 최적화 방법을 수행할 수도 있다.
상기 어클루션 핸들링부(253)에서는 좌/우 깊이 간의 대응 관계 체크를 통해서 어클루션 영역을 검출한 후 필터(예를 들어 바이리터럴 필터 또는 트리리터럴 필터 등)를 이용하고, 영상 정보에 기반하여 어클루션 영역의 깊이를 새롭게 구하여 갱신한다. 예를 들어, 좌 영상에서 보이는 물체나 배경이 우 영상에서는 다른 물체에 가려져 보이지 않는 경우가 발생할 수 있다. 즉, 시점에 따라 특정 물체에 의해 가려지는 다른 물체나 배경을 어클루션 영역이라 한다.
상기 베이스 깊이 추정 과정에서 이용하는 깊이 서치 범위(disparity search range)는 라인이나 블록 등의 로컬 영역에서 유효한 깊이 범위나 후보를 도출함으로써 깊이 노이즈(depth noise)를 줄일 수 있다.
도 13은 도 11의 인핸스드 깊이 추정부(243)의 일 실시예를 보인 상세 블록도로서, 깊이 업 샘플링부(261), 깊이 개선(depth refinement)부(262), 및 깊이 필터링부(263)를 포함할 수 있다.
상기 인핸스드 깊이 추정부(243)에서는 상기 베이스 깊이 추정부(242)에서 추정된 베이스 깊이를 상위 레벨의 해상도로 향상시켜준다. 본 발명에서는 원영상 해상도의 깊이로 향상시키는 것을 일 실시예로 한다.
이를 위해 상기 깊이 업 샘플링부(261)는 필터를 사용하여 베이스 깊이 추정부(242)에서 추정된 레벨 영상의 베이스 깊이를 상위 레벨 영상의 깊이로 업샘플링한다. 이때 상기 필터는 바이리니어(bilinear)와 같은 리니어(linear) 필터 또는 바이리터럴(bilateral) 필터와 같은 에지-보호(edge-preserving) 필터를 사용할 수 있다. 일 예로, 상기 베이스 깊이 추정부(242)에서 레벨 2 영상을 이용하여 베이스 깊이를 추정하였다면, 상기 깊이 업 샘플링부(261)에서는 레벨 1 영상의 깊이로 업샘플링한다. 또한 상기 베이스 깊이 추정부(242)에서 레벨 1 영상을 이용하여 베이스 깊이를 추정하였다면, 상기 업 샘플링부(261)는 레벨 0 영상의 깊이로 업샘플링한다.
상기 깊이 개선부(262)에서는 상기 업 샘플링부(261)에서 업 샘플링된 깊이 값 주위에서 로컬 서치를 수행하여 깊이 정확도(depth precision)를 높인다.
상기 깊이 필터링부(263)에서는 상기 정확도를 높인 깊이의 노이즈를 필터를 이용하여 제거(또는 상쇄)한다. 상기 깊이 필터링부(263)에서 노이즈가 제거된 각 픽셀의 깊이 즉, 깊이 맵 정보는 새로운 시점 영상 합성부(142)로 출력된다.
상기 새로운 시점 영상 합성부(142)는 상기 깊이 맵 추출부(141)에서 출력되는 깊이 맵 정보와 상기 깊이 조절 UI부(151)를 통해 입력되는 깊이 레벨을 기반으로 원영상들을 변형하여 원하는 시점의 영상을 생성한다. 즉, 상기 새로운 시점 영상 합성부(142)는 원본 영상과 깊이 맵 정보를 이용하여 상기 깊이 조절 UI부(151)를 통해 입력된 깊이 레벨에 맞도록 새로운 시점의 영상을 생성한다.
도 14는 본 발명에 따른 새로운 시점 영상 합성부(142)의 일 실시예를 보인 상세 블록도로서, 깊이 역 와핑(depth reverse warping)부(271), 영상 포워드 와핑(image forward warping)부(272), 홀 채움(hole filling)부(273), 및 바운더리 핸들링(boundary handling)부(274)를 포함할 수 있다.
상기 깊이 역 와핑부(271)에서는 깊이 조절 UI부(151)를 통해 입력된 깊이 레벨에 맞는 새로운 시점 위치에서의 깊이를 구하기 위해서 좌/우 원본 영상 위치에서의 깊이 맵을 와핑(warping)한다.
상기 영상 포워드 와핑부(272)에서는 새로운 시점의 깊이 맵이 가리키는 위치로 원본 영상 픽셀 값을 쉬프트시킴으로써, 새로운 시점의 영상을 구성한다.
즉, 상기 깊이 역 와핑부(271)와 영상 포워드 와핑부(272)에서는 사용자가 UI를 통해 입력한 깊이 레벨에 따라 상기 깊이 맵 추출부(141)에서 추출된 깊이 맵을 조작하고, 조작된 깊이 맵에 해당하는 깊이로 원본 영상의 픽셀들을 쉬프트시킴으로써, 새로운 시점의 영상을 생성(합성)한다. 그리고 새로운 시점의 영상과 원본 영상은 홀 채움부(273)로 출력된다.
상기 홀 채움부(273)에서는 와핑 과정에서 생기는 홀 영역을 채워준다. 일 실시예로, 좌/우 영상에서 존재하는 픽셀 값으로 홀 영역을 채워 줄 수 있다. 다른 실시예로, 두 영상 모두에서 존재하지 않는 홀인 경우는 바이리터럴 또는 트리리터럴 필터와 컬러 값 유사도, 깊이 값 유사도 정보를 활용해서 이미 채워진 컬러 값으로 채워줄 수 있다. 이때 물체 경계는 배경(background)과 픽셀 단위로 명확히 구분되지 않고 믹싱(mixing)되는 영역이 존재하기 때문에 와핑 후에는 일부 배경에, 또는 배경 일부가 물체(object)에 남는 경우가 발생한다. 이때는 에지가 와핑되는 정보 등을 이용하여 바운더리 변환 조건을 체크해서 영상을 처리할 수 있다.
상기 바운더리 핸들링부(274)는 새로운 시점 영상 합성 후 발생한 영상 좌/우 경계면에서의 거대 홀 영역을 제거한다. 이때 영상 좌/우 경계면에서의 와핑 방향을 분석하여 바운더리 핸들링을 적용할 부분을 결정한 후 바운더리 핸들링을 적용하는 순서로 진행하는 것을 일 실시예로 한다. 본 발명은 바운더리 핸들링의 일례로 깊이 맵의 좌/우 경계면 일정 영역을 깊이 값이 0으로 수렴하도록 스트레칭(stretching) 시키는 방법을 제안한다. 이렇게 함으로써 영상 경계면에서의 거대 홀 영역은 홀이 발생하지 않은 영상 영역을 스트레칭하여 덮게 된다. 이때 깊이 맵의 좌/우 경계면 일정 영역은 고정된 값으로 설정할 수도 있고, 각 수평 라인(Horizontal Line)별로 영상 경계면에서의 와핑 사이즈(Warping Size)를 분석하여 그 값대로 설정할 수도 있으며, 또는 적절히 변형하여 설정할 수도 있다.
도 15의 (a), (b)는 새로운 시점 영상 합성 후 발생한 거대 홀 영역에 대한 바운더리 핸들링(Boundary Handling)의 예를 보여주고 있다. 즉, 도 15의 (a)에서 발생된 거대 홀 영역은 바운더리 핸들링 후 도 15의 (b)와 같이 없어진다.
본 발명에서 깊이 레벨은 전술한 바와 같이 상기 깊이 조절 UI부(151)를 통해 사용자가 설정할 수도 있고, 3D 영상 표시 장치에서 영상 분석을 통해 자동으로 결정할 수도 있다. 그리고 사용자에 의해 또는 자동으로 결정된 깊이 레벨은 영상 쉬프트 조절부(132) 및/또는 새로운 영상 시점 합성부(142)로 제공된다.
상기 영상 쉬프트 조절부(132) 및/또는 새로운 시점 영상 합성부(142)에서 입체감이 조절된 스테레오 영상은 상기 포맷터(105)로 출력된다.
상기 포맷터(105)는 상기 영상 쉬프트 조절부(132)에서 입체감이 조절된 스테레오 영상과 상기 새로운 시점 영상 합성부(142)에서 입체감이 조절된 스테레오 영상 중 하나를 디스플레이 장치의 출력 포맷에 맞게 변환한다. 일 예로, 상기 포맷터(105)는 깊이가 조절된 좌 영상과 우 영상을 라인 단위로 섞어주는 역할을 수행하기도 한다.
도 16은 본 발명을 ASIC(Application Specific Integrated Circuit)으로 구현 시, 깊이 맵을 추출하고 새로운 시점 영상을 합성하는 장치에 대한 하드웨어 블록도를 보여준다. 즉, 좌/우 영상은 인터페이스 입력(예, HS-LVDS RX) 단자를 통해서 입력을 받으며, 입력된 좌/우 영상은 스테레오 영상 분석부(121)를 통해 깊이 맵 추출부(141)의 전 처리부(241)로 입력된다. 도 16에서 전 처리부(241), 베이스 깊이 추정부(242), 인핸스드 깊이 추정부(243), 및 새로운 시점 영상 합성부(142)의 상세 동작은 위에서 설명하였으므로 여기서는 생략하기로 한다. 이때 상기 전 처리부(241), 베이스 깊이 추정부(242), 인핸스드 깊이 추정부(243), 및 새로운 시점 영상 합성부(142)는 서로 독립적으로 메모리와 통신하여 입력 및 결과값을 전송할 수 있다. 각 과정에서 필요한 정보들은 제어부(Micro Controller Unit, MCU)를 통해서 전달하고, 일정 부분의 연산 과정을 MCU가 담당할 수 있다. 하나의 원본 영상과 새로운 시점 영상 결과는 인터페이스 출력(예, HS-LVDS TX) 단자를 통해서 출력할 수 있다.
도 17의 (a), (b)는 깊이 제어부(104)에 대한 ASIC의 시스템 상에서의 컨피규레이션(configuration) 예를 보여준다. 특히 도 17의 (a)는 깊이 조절을 위한 ASIC이 메인 SoC로부터 듀얼 풀(dual full) HD 60Hz로 스테레오 영상을 입력받아 깊이를 조절한 후 출력하는 예를 보이고 있다. 이때 FRC(frame rate conversion) 블록은 깊이가 조절된 스테레오 영상의 프레임 레이트를 특정 프레임 레이트(예, 120Hz)로 변환하여 출력하는 것을 일 실시예로 한다. 도 17의 (b)는 120Hz 프레임 호환(frame-compatible)으로 스테레오 영상을 입력받아 깊이를 조절한 후 라인-바이-라인(Line-by-Line)으로 출력하는 예를 보이고 있다. 이때 TCON(timing controller) 블록은 깊이가 조절된 스테레오 영상을 타이밍에 맞게 디스플레이 장치에 출력하는 것을 일 실시예로 한다.
도 18은 본 발명에 따른 TV 수신기와 같은 3D 영상 표시 장치에서 스테레오 영상의 입체감을 조절하는 방법의 일 실시예를 보인 흐름도이다. 도 18에서 깊이 레벨은 깊이 조절 UI부(151)를 통해 입력받는 것을 일 실시예로 한다.
도 18을 보면, 사용자가 깊이 조절 UI부(151)를 통해 깊이 레벨을 선택하면(S301), 3D 영상 표시 장치는 깊이 조절 모드로 전환한다(S302). 일 예로, 사용자는 리모콘을 통해서 메뉴 상에 표시되는 입체감 조절 항목에서 원하는 깊이 레벨을 선택하는 것으로 깊이 조절 모드 동작이 시작된다. 이때 3D 영상 표시 장치의 영상 처리 칩 내부 CPU, MCU에서는 깊이 조절 UI를 처리하여 깊이 조절 모드로 전환한다. 이어, 제1 깊이 조절부와 제2 깊이 조절부 중 적어도 하나가 활성화되어 입력되는 또는 디스플레이 중인 스테레오 영상의 깊이를 조절한다(S303). 상기 제1 깊이 조절부와 제2 깊이 조절부의 상세 동작은 위에서 설명하였으므로 여기서는 생략하기로 한다. 상기 단계 S303에서 깊이가 조절된 3D 영상은 포맷터를 통해 디스플레이 장치로 출력되어 디스플레이된다(S304). 즉, 깊이 레벨에 따라 입체감이 조절된 3D 영상이 디스플레이 장치에 디스플레이된다.
도 19는 3D 영상 표시 장치에서 깊이 조절 UI를 실행하는 시나리오를 보여준다. 사용자는 도 19의 (a)부터 (f)까지 순차적으로 진행하여 깊이 레벨을 조절할 수 있다.
도 19의 (a)는 현재의 3D 영상 화면이고, 도 19의 (b)는 화면의 하단에 시스템 설정 메뉴 항목(또는 아이콘)이 표시되는 예를 보여주고 있다. 도 19의 (c)는 사용자가 시스템 설정 메뉴 항목을 선택하였을 때 표시되는 메뉴 항목들 중 영상 메뉴 항목을 선택하였을 때 나타나는 메뉴 항목들의 예를 보이고 있다. 도 19의 (c)에서 보면, 사용자가 영상 메뉴 항목을 선택하였을 때 3D 설정 메뉴 항목이 나타남을 알 수 있다. 그리고 사용자가 3D 설정 메뉴 항목을 도 19의 (d)에서와 같이 선택하면, 3D 설정과 관련된 메뉴 항목들이 도 19의 (e)와 같이 나타난다. 예를 들어, 3D 설정과 관련된 메뉴 항목들은 3D 영상으로 시작하기 메뉴 항목, 3D 입체감 조절 메뉴 항목, 3D 시점 조절 메뉴 항목, 3D 색상 보정 메뉴 항목, 및 3D 사운드 메뉴 항목 등이 될 수 있다. 이때 사용자가 3D 입체감 조절 메뉴 항목을 선택하면 도 19의 (f)와 같이 깊이 레벨을 설정할 수 있는 화면이 디스플레이된다. 일 예로, 도 19의 (e)와 같은 화면에서 사용자가 3D 입체감 조절 메뉴 항목에 커서를 이동시키면 “물체와 배경간의 3D 원근감을 조절합니다"와 같이 그 메뉴 항목의 기능을 설명하는 도움말을 풍선말 형태로 디스플레이할 수도 있다. 또한 도 19의 (e)와 같이 현재 프레임(또는 메뉴 항목들 뒤에 표시된 현재 영상)의 깊이 레벨을 수평 바 등을 이용하여 보여줄 수도 있다.
도 19의 (f)에서 예를 들면, 사용자는 0~20 깊이 레벨 중에서 하나를 선택할 수 있으며, 선택된 깊이 레벨에 맞게 3D 영상의 입체감이 메뉴 뒤에서 조절되는 것을 볼 수 있다. 이때 사용자가 저장 항목을 선택하면 깊이(즉, 입체감)가 조절된 3D 영상이 디스플레이 장치에 디스플레이되고, 취소 항목을 선택하면 깊이(즉, 입체감)가 조절되기 이전 3D 영상이 디스플레이 장치에 디스플레이되는 것을 일 실시예로 한다.
한편 본 발명은 추가적인 UI로서 깊이 조절을 위해 2가지 모드를 적용할 수도 있다. 즉, 자동 모드와 수동(또는 사용자) 모드를 두고, 둘 중 하나를 사용자가 선택하게 할 수도 있다. 수동 모드에서는 위 UI의 세부 설정들을 사용자가 조절할 수 있고, 자동 모드일 때는 사용자는 자동 모드 온(즉, 켜짐)/오프(즉, 꺼짐)만을 선택할 수 있고, 만일 사용자가 자동 모드 온(즉, 켜짐)을 선택하면 앞서 추출한 깊이 조절, 영상 쉬프트 조절 값을 적용하여 콘텐츠에 따라 적절한 입체감을 느끼도록 자동으로 조절해 줄 수 있다.
도 20은 3D 영상의 입체감을 조절하기 위해 자동 모드와 수동 모드를 적용한 3D 영상 표시 장치에서 깊이 조절 UI를 실행하는 시나리오를 보여준다. 사용자는 도 20의 (a)부터 (f)까지 순차적으로 진행하여 깊이 레벨을 조절할 수 있다. 이때 도 20의 (a) 내지 도 20의 (d)의 설명은 도 19의 (a) 내지 도 19의 (d)와 동일하므로 여기서는 상세 설명을 생략하기로 한다.
도 20의 (e)를 보면, 3D 입체감 자동 조절 메뉴 항목과 3D 입체감 수동 조절 메뉴 항목이 모두 표시됨을 볼 수 있다. 이때 사용자는 3D 입체감 자동 조절 메뉴 항목에서 켜짐(온) 또는 꺼짐(오프)을 선택할 수 있으며, 사용자가 켜짐을 선택하면 3D 영상 표시 장치는 3D 영상의 입체감을 자동으로 조절해준다. 예를 들어, 3D 영상이 기준 레벨 범위를 벗어나면 기준 레벨 범위 내로 해당 영상을 쉬프트시킬 수 있다. 다른 예로, 기준점을 강제로 0으로 쉬프트시킬 수도 있다. 한편 사용자가 3D 입체감 수동 조절 메뉴 항목을 선택하면 도 20의 (f)와 같이 사용자에 의해 깊이 레벨을 설정할 수 있는 화면이 디스플레이된다. 예를 들어, 기준점을 사용자가 설정하는 깊이 레벨에 따라 특정 값으로 쉬프트시킬 수 있다. 도 20의 (f)에서도 사용자가 저장 항목을 선택하면 깊이(즉, 입체감)가 조절된 3D 영상이 디스플레이 장치에 디스플레이되고, 취소 항목을 선택하면 깊이(즉, 입체감)가 조절되기 이전 3D 영상이 디스플레이 장치에 디스플레이된다. 도 20에서 설명되지 않은 부분은 도 19의 설명을 따르는 것을 일 실시예로 한다.
지금까지 설명한 본 발명은 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 발명이 속한 분야의 통상의 지식을 가지 자에 의해 변형이 가능하고 이러한 변형은 본 발명의 범위에 속한다.
전술한 바와 같이, 상기 발명의 실시를 위한 최선의 형태에서, 관련된 사항을 기술하였다.
전술한 바와 같이, 본 발명은 TV 수신기뿐만 아니라 3D 영상을 디스플레이하는 기기에는 모두 적용될 수 있다.　　

Claims (20)

  1. 좌 영상과 우 영상으로 구성된 스테레오 영상을 입력받아 에지 정보, 칼라 정보, 장면 변화 정보 중 적어도 하나를 포함하는 영상 정보를 검출하는 스테레오 영상 분석부;
    상기 검출된 영상 정보를 기반으로 상기 스테레오 영상의 깊이 분포를 분석하여 기준점을 결정하고, 상기 결정된 기준점을 기준으로 상기 스테레오 영상을 쉬프트시켜 상기 스테레오 영상의 입체감을 조절하는 제1 깊이 조절부;
    상기 스테레오 영상의 크기를 줄인 후 픽셀 단위로 깊이 맵 정보를 추출하고, 추출된 깊이 맵 정보를 와핑하여 새로운 시점의 영상을 생성함에 의해 상기 스테레오 영상의 입체감을 조절하는 제2 깊이 조절부; 및
    상기 제1 깊이 조절부와 제2 깊이 조절부 중 적어도 하나에서 입체감이 조절된 스테레오 영상을 디스플레이 장치에 맞게 포맷 변환하는 포맷터를 포함하는 것을 특징으로 하는 3D 영상 표시 장치.
  2. 제 1 항에 있어서, 상기 스테레오 영상 분석부는
    상기 스테레오 영상을 기 설정된 크기로 순차적으로 줄여 복수 레벨의 영상을 구성하고, 적어도 하나의 레벨의 영상으로부터 에지 정보, 칼라 정보, 장면 변화 정보 중 적어도 하나를 포함하는 영상 정보를 검출하는 것을 특징으로 하는 3D 영상 표시 장치.
  3. 제 2 항에 있어서, 상기 제1 깊이 조절부는
    상기 영상 정보를 기반으로 상기 스테레오 영상 내 좌 영상과 우 영상에 대한 특징 대응점을 추출하여 상기 스테레오 영상의 깊이 분포를 표시하는 깊이 히스토그램을 구성하고, 상기 깊이 히스토그램으로부터 기준점을 결정하는 깊이 분포 분석부; 및
    상기 결정된 기준점을 기준으로 상기 스테레오 영상을 쉬프트시켜 상기 스테레오 영상의 입체감을 조절하는 영상 쉬프트 조절부를 포함하는 것을 특징으로 하는 3D 영상 표시 장치.
  4. 제 3 항에 있어서, 상기 깊이 분포 분석부는
    상기 제2 깊이 조절부로부터 픽셀 단위의 깊이 맵 정보를 입력받아 상기 스테레오 영상의 깊이 분포를 표시하는 깊이 히스토그램을 구성하고, 상기 깊이 히스토그램으로부터 기준점을 결정하는 것을 특징으로 하는 3D 영상 표시 장치.
  5. 제 3 항에 있어서, 상기 영상 쉬프트 조절부는
    상기 깊이 분포 분석부에서 결정된 기준점에 이전 프레임에서의 깊이 통계치를 가중치하여 상기 기준점을 재구성하는 깊이 범위 분석부; 및
    상기 재구성된 기준점과 깊이 레벨을 기반으로 상기 스테레오 영상을 쉬프트시킬 쉬프트 값을 계산한 후 상기 스테레오 영상을 쉬프트시키는 쉬프트 값 계산부를 포함하는 것을 특징으로 하는 3D 영상 표시 장치.
  6. 제 5 항에 있어서, 상기 깊이 레벨은
    사용자 인터페이스(UI)를 통해 사용자가 설정하거나 3D 영상 표시 장치에서 자동으로 설정하는 것을 특징으로 하는 3D 영상 표시 장치.
  7. 제 3 항에 있어서, 상기 영상 쉬프트 조절부는
    상기 스테레오 영상이 기 설정된 기준 깊이 범위를 벗어나면, 상기 스테레오 영상을 상기 기준 깊이 범위 내로 쉬프트시키는 것을 특징으로 하는 3D 영상 표시 장치.
  8. 제 1 항에 있어서, 상기 제2 깊이 조절부는
    원영상의 해상도보다 낮은 레벨의 스테레오 영상으로부터 각 픽셀의 깊이 맵 정보를 추정한 후 원영상의 해상도로 상기 깊이 맵 정보를 업샘플링하는 깊이 맵 추출부; 및
    상기 깊이 맵 정보를 와핑하여 새로운 시점의 영상을 생성하는 새로운 시점 영상 합성부를 포함하는 것을 특징으로 하는 3D 영상 표시 장치.
  9. 제 8 항에 있어서, 상기 깊이 맵 추출부는
    제2 레벨의 스테레오 영상으로부터 각 픽셀의 깊이 맵 정보를 추정하여 서치 범위를 추정하는 전 처리부;
    상기 추정된 서치 범위 내 제1 레벨의 스테레오 영상으로부터 각 픽셀의 베이스 깊이 맵 정보를 추정하는 베이스 깊이 추정부; 및
    원영상의 해상도로 상기 베이스 깊이 맵 정보를 업샘플링하는 인핸스드 깊이 추정부를 포함하는 것을 특징으로 하는 3D 영상 표시 장치.
  10. 제 8 항에 있어서, 상기 새로운 시점 영상 합성부는
    깊이 레벨에 따라 상기 깊이 맵 정보를 와핑하고, 와핑된 깊이 맵 정보를 기반으로 새로운 시점의 영상을 생성하는 와핑부;
    상기 와핑 과정에서 생긴 홀을 채우는 홀 채움부; 및
    상기 새로운 시점 영상의 바운더리에 발생된 홀 영역을 제거하는 바운더리 핸들링부를 포함하는 것을 특징으로 하는 3D 영상 표시 장치.
  11. 3D 영상 표시 장치에서 3D 영상을 표시하는 방법에 있어서,
    좌 영상과 우 영상으로 구성된 스테레오 영상을 입력받아 에지 정보, 칼라 정보, 장면 변화 정보 중 적어도 하나를 포함하는 영상 정보를 검출하는 스테레오 영상 분석 단계;
    상기 검출된 영상 정보를 기반으로 상기 스테레오 영상의 깊이 분포를 분석하여 기준점을 결정하고, 상기 결정된 기준점을 기준으로 상기 스테레오 영상을 쉬프트시켜 상기 스테레오 영상의 입체감을 조절하는 제1 깊이 조절 단계;
    상기 스테레오 영상의 크기를 줄인 후 픽셀 단위로 깊이 맵 정보를 추출하고, 추출된 깊이 맵 정보를 와핑하여 새로운 시점의 영상을 생성함에 의해 상기 스테레오 영상의 입체감을 조절하는 제2 깊이 조절 단계; 및
    상기 제1 깊이 조절 단계와 제2 깊이 조절 단계 중 적어도 하나에서 입체감이 조절된 스테레오 영상을 디스플레이 장치에 맞게 포맷 변환하는 단계를 포함하는 것을 특징으로 하는 3D 영상 표시 방법.
  12. 제 11 항에 있어서, 상기 스테레오 영상 분석 단계는
    상기 스테레오 영상을 기 설정된 크기로 순차적으로 줄여 복수 레벨의 영상을 구성하고, 적어도 하나의 레벨의 영상으로부터 에지 정보, 칼라 정보, 장면 변화 정보 중 적어도 하나를 포함하는 영상 정보를 검출하는 것을 특징으로 하는 3D 영상 표시 방법.
  13. 제 12 항에 있어서, 상기 제1 깊이 조절 단계는
    상기 영상 정보를 기반으로 상기 스테레오 영상 내 좌 영상과 우 영상에 대한 특징 대응점을 추출하여 상기 스테레오 영상의 깊이 분포를 표시하는 깊이 히스토그램을 구성하고, 상기 깊이 히스토그램으로부터 기준점을 결정하는 깊이 분포 분석 단계; 및
    상기 결정된 기준점을 기준으로 상기 스테레오 영상을 쉬프트시켜 상기 스테레오 영상의 입체감을 조절하는 영상 쉬프트 조절 단계를 포함하는 것을 특징으로 하는 3D 영상 표시 방법.
  14. 제 13 항에 있어서, 상기 깊이 분포 분석 단계는
    상기 제2 깊이 조절 단계로부터 픽셀 단위의 깊이 맵 정보를 입력받아 상기 스테레오 영상의 깊이 분포를 표시하는 깊이 히스토그램을 구성하고, 상기 깊이 히스토그램으로부터 기준점을 결정하는 것을 특징으로 하는 3D 영상 표시 방법.
  15. 제 13 항에 있어서, 상기 영상 쉬프트 조절 단계는
    상기 깊이 분포 분석 단계에서 결정된 기준점에 이전 프레임에서의 깊이 통계치를 가중치하여 상기 기준점을 재구성하는 단계; 및
    상기 재구성된 기준점과 깊이 레벨을 기반으로 상기 스테레오 영상을 쉬프트시킬 쉬프트 값을 계산한 후 상기 스테레오 영상을 쉬프트시키는 단계를 포함하는 것을 특징으로 하는 3D 영상 표시 방법.
  16. 제 15 항에 있어서, 상기 깊이 레벨은
    사용자 인터페이스(UI)를 통해 사용자가 설정하거나 3D 영상 표시 장치에서 자동으로 설정하는 것을 특징으로 하는 3D 영상 표시 방법.
  17. 제 13 항에 있어서, 상기 영상 쉬프트 조절 단계는
    상기 스테레오 영상이 기 설정된 기준 깊이 범위를 벗어나면, 상기 스테레오 영상을 상기 기준 깊이 범위 내로 쉬프트시키는 단계를 더 포함하는 것을 특징으로 하는 3D 영상 표시 방법.
  18. 제 11 항에 있어서, 상기 제2 깊이 조절 단계는
    원영상의 해상도보다 낮은 레벨의 스테레오 영상으로부터 각 픽셀의 깊이 맵 정보를 추정한 후 원영상의 해상도로 상기 깊이 맵 정보를 업샘플링하는 깊이 맵 추출 단계; 및
    상기 깊이 맵 정보를 와핑하여 새로운 시점의 영상을 생성하는 새로운 시점 영상 합성 단계를 포함하는 것을 특징으로 하는 3D 영상 표시 방법.
  19. 제 18 항에 있어서, 상기 깊이 맵 추출 단계는
    제2 레벨의 스테레오 영상으로부터 각 픽셀의 깊이 맵 정보를 추정하여 서치 범위를 추정하는 단계;
    상기 추정된 서치 범위 내 제1 레벨의 스테레오 영상으로부터 각 픽셀의 베이스 깊이 맵 정보를 추정하는 단계; 및
    원영상의 해상도로 상기 베이스 깊이 맵 정보를 업샘플링하는 단계를 포함하는 것을 특징으로 하는 3D 영상 표시 방법.
  20. 제 18 항에 있어서, 상기 새로운 시점 영상 합성 단계는
    깊이 레벨에 따라 상기 깊이 맵 정보를 와핑하고, 와핑된 깊이 맵 정보를 기반으로 새로운 시점의 영상을 생성하는 단계;
    상기 와핑 과정에서 생긴 홀을 채우는 단계; 및
    상기 새로운 시점 영상의 바운더리에 발생된 홀 영역을 제거하는 단계를 포함하는 것을 특징으로 하는 3D 영상 표시 방법.
PCT/KR2012/010375 2011-12-02 2012-12-03 3d 영상 표시 장치 및 방법 WO2013081435A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/362,244 US20140333739A1 (en) 2011-12-02 2012-12-03 3d image display device and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161566008P 2011-12-02 2011-12-02
US61/566,008 2011-12-02

Publications (1)

Publication Number Publication Date
WO2013081435A1 true WO2013081435A1 (ko) 2013-06-06

Family

ID=48535803

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/010375 WO2013081435A1 (ko) 2011-12-02 2012-12-03 3d 영상 표시 장치 및 방법

Country Status (2)

Country Link
US (1) US20140333739A1 (ko)
WO (1) WO2013081435A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150130910A1 (en) * 2013-11-13 2015-05-14 Samsung Display Co., Ltd. Three-dimensional image display device and method of displaying three dimensional image
WO2015181811A1 (en) * 2014-05-28 2015-12-03 Inuitive Ltd. A method for stereoscopic reconstruction of three dimensional images
KR20170053270A (ko) * 2015-11-06 2017-05-16 삼성전자주식회사 무안경 3d 디스플레이 장치 및 그 제어 방법
CN108114468A (zh) * 2016-11-29 2018-06-05 三维视觉科技有限公司 自动立体3d摄像机实现方法和装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9177381B2 (en) * 2010-12-22 2015-11-03 Nani Holdings IP, LLC Depth estimate determination, systems and methods
KR101428866B1 (ko) * 2012-10-26 2014-08-12 한국과학기술원 스테레오 영상의 깊이감 조절 장치 및 방법
KR102136848B1 (ko) * 2013-07-15 2020-07-22 삼성전자 주식회사 영상 처리 장치, 영상 처리 시스템 및 영상 처리 방법
US9317925B2 (en) * 2013-07-22 2016-04-19 Stmicroelectronics S.R.L. Depth map generation method, related system and computer program product
JP6308748B2 (ja) * 2013-10-29 2018-04-11 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
KR20150101915A (ko) * 2014-02-27 2015-09-04 삼성전자주식회사 3차원 gui 화면의 표시 방법 및 이를 수행하기 위한 디바이스
US9552633B2 (en) * 2014-03-07 2017-01-24 Qualcomm Incorporated Depth aware enhancement for stereo video
KR20160063805A (ko) * 2014-11-27 2016-06-07 한국전자통신연구원 다시점 영상 생성 장치 및 방법
EP3088954A1 (en) * 2015-04-27 2016-11-02 Thomson Licensing Method and device for processing a lightfield content
US10783431B2 (en) 2015-11-11 2020-09-22 Adobe Inc. Image search using emotions
US10198590B2 (en) * 2015-11-11 2019-02-05 Adobe Inc. Content sharing collections and navigation
US10389804B2 (en) 2015-11-11 2019-08-20 Adobe Inc. Integration of content creation and sharing
US10249061B2 (en) 2015-11-11 2019-04-02 Adobe Inc. Integration of content creation and sharing
US10567739B2 (en) * 2016-04-22 2020-02-18 Intel Corporation Synthesis of transformed image views
US10776992B2 (en) * 2017-07-05 2020-09-15 Qualcomm Incorporated Asynchronous time warp with depth data
GB201713051D0 (en) * 2017-08-15 2017-09-27 Imagination Tech Ltd Low latency distortion unit for head mounted displays
KR102454167B1 (ko) * 2019-06-27 2022-10-14 한국전자통신연구원 가상 시점 영상 생성 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050078328A (ko) * 2004-01-29 2005-08-05 삼성에스디아이 주식회사 입체감을 조절할 수 있는 입체영상 표시장치 및 그 방법
KR20090102705A (ko) * 2008-03-26 2009-09-30 후지필름 가부시키가이샤 입체 동화상 처리 장치 및 방법 그리고 프로그램
KR20110062983A (ko) * 2009-12-04 2011-06-10 삼성전자주식회사 3ｄ 영상의 입체감 조절 요소를 설정하는 ｇｕｉ를 표시하는 디스플레이 장치 및 이에 적용되는 ｇｕｉ 제공 방법
KR20110114257A (ko) * 2010-04-13 2011-10-19 삼성전자주식회사 3ｄ 디스플레이 장치 및 그의 디스플레이 모드 설정 방법, 그리고 3ｄ 영상 제공 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4915737B2 (ja) * 2007-03-13 2012-04-11 興和株式会社 画像解析システム、及び画像解析プログラム
JP5397190B2 (ja) * 2009-11-27 2014-01-22 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US9350982B2 (en) * 2010-07-22 2016-05-24 Seiko Epson Corporation Image display device, image supply device, and image processing method with brightness expanding processing for improved contrast sensitivity in a 3D image
US20130127988A1 (en) * 2011-11-17 2013-05-23 Sen Wang Modifying the viewpoint of a digital image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050078328A (ko) * 2004-01-29 2005-08-05 삼성에스디아이 주식회사 입체감을 조절할 수 있는 입체영상 표시장치 및 그 방법
KR20090102705A (ko) * 2008-03-26 2009-09-30 후지필름 가부시키가이샤 입체 동화상 처리 장치 및 방법 그리고 프로그램
KR20110062983A (ko) * 2009-12-04 2011-06-10 삼성전자주식회사 3ｄ 영상의 입체감 조절 요소를 설정하는 ｇｕｉ를 표시하는 디스플레이 장치 및 이에 적용되는 ｇｕｉ 제공 방법
KR20110114257A (ko) * 2010-04-13 2011-10-19 삼성전자주식회사 3ｄ 디스플레이 장치 및 그의 디스플레이 모드 설정 방법, 그리고 3ｄ 영상 제공 시스템

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150130910A1 (en) * 2013-11-13 2015-05-14 Samsung Display Co., Ltd. Three-dimensional image display device and method of displaying three dimensional image
US9756321B2 (en) * 2013-11-13 2017-09-05 Samsung Display Co., Ltd. Three-dimensional image display device and method of displaying three dimensional image
WO2015181811A1 (en) * 2014-05-28 2015-12-03 Inuitive Ltd. A method for stereoscopic reconstruction of three dimensional images
KR20170053270A (ko) * 2015-11-06 2017-05-16 삼성전자주식회사 무안경 3d 디스플레이 장치 및 그 제어 방법
KR102174258B1 (ko) * 2015-11-06 2020-11-04 삼성전자주식회사 무안경 3d 디스플레이 장치 및 그 제어 방법
US10931939B2 (en) 2015-11-06 2021-02-23 Samsung Electronics Co.. Ltd. Glassless three-dimensional (3D) display apparatus and control method thereof
CN108114468A (zh) * 2016-11-29 2018-06-05 三维视觉科技有限公司 自动立体3d摄像机实现方法和装置

Also Published As

Publication number Publication date
US20140333739A1 (en) 2014-11-13

Similar Documents

Publication Publication Date Title
WO2013081435A1 (ko) 3d 영상 표시 장치 및 방법
KR101185870B1 (ko) 3ｄ 입체 영상 처리 장치 및 방법
US9204140B2 (en) Display device and display method
WO2011155697A2 (ko) 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
WO2011084021A2 (ko) 방송 수신기 및 3d 이미지 디스플레이 방법
WO2011102699A2 (ko) 전자 장치 및 입체영상 재생 방법
WO2013039347A9 (ko) 영상 처리 장치 및 그 영상 처리 방법
US8514219B2 (en) 3D image special effects apparatus and a method for creating 3D image special effects
TWI428007B (zh) 視訊處理裝置及方法
CA2302199A1 (en) Image processing method and apparatus
WO2011004963A2 (en) Method for displaying three-dimensional user interface
US20090207238A1 (en) Method and apparatus for determining view of stereoscopic image for stereo synchronization
KR20110138995A (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 처리 방법 및 그 방법을 채용한 디스플레이 기기
US20120087571A1 (en) Method and apparatus for synchronizing 3-dimensional image
WO2011129488A1 (ko) 평행축 입체카메라
Tam et al. Three-dimensional TV: A novel method for generating surrogate depth maps using colour information
TWI491244B (zh) 調整物件三維深度的方法與裝置、以及偵測物件三維深度的方法與裝置
WO2014107014A1 (en) Display method and display apparatus
US20120224035A1 (en) Electronic apparatus and image processing method
US9277202B2 (en) Image processing device, image processing method, image display apparatus, and image display method
JP5464129B2 (ja) 画像処理装置および視差情報生成装置
WO2012086912A1 (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법
JP2013201688A (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2012091273A1 (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법
KR20050121080A (ko) 2차원 영상신호를 3차원 영상신호로 변환하는 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12853874

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14362244

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 12853874

Country of ref document: EP

Kind code of ref document: A1