WO2011084021A2 - 방송 수신기 및 3d 이미지 디스플레이 방법 - Google Patents

방송 수신기 및 3d 이미지 디스플레이 방법 Download PDF

Info

Publication number
WO2011084021A2
WO2011084021A2 PCT/KR2011/000136 KR2011000136W WO2011084021A2 WO 2011084021 A2 WO2011084021 A2 WO 2011084021A2 KR 2011000136 W KR2011000136 W KR 2011000136W WO 2011084021 A2 WO2011084021 A2 WO 2011084021A2
Authority
WO
WIPO (PCT)
Prior art keywords
data
information
image
distortion compensation
value
Prior art date
Application number
PCT/KR2011/000136
Other languages
English (en)
French (fr)
Other versions
WO2011084021A3 (ko
Inventor
서종열
김진필
김관석
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US13/521,384 priority Critical patent/US9215444B2/en
Priority to KR1020127017605A priority patent/KR101759943B1/ko
Priority to EP11731959.0A priority patent/EP2525579B1/en
Publication of WO2011084021A2 publication Critical patent/WO2011084021A2/ko
Publication of WO2011084021A3 publication Critical patent/WO2011084021A3/ko
Priority to US14/937,510 priority patent/US9485489B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows

Definitions

  • the present invention relates to a broadcast receiver and a 3D image display method thereof, and more particularly, to a broadcast receiver and a 3D image display method thereof for adjusting and displaying a display effect of a 3D object when displaying a 3D image included in a broadcast signal.
  • a 3D image (or a stereoscopic image) provides a stereoscopic effect using a stereo vision principle of two eyes.
  • Humans feel perspective through the parallax of two eyes, that is, the binocular parallax by the distance between two eyes about 65mm apart, so the 3D image provides an image so that each of the left and right eyes can see an associated plane image. It can provide three-dimensional and perspective.
  • the 3D image display method includes a stereoscopic method, a volumetric method, a holographic method, and the like.
  • a left view image for viewing in the left eye and a right view image for viewing in the right eye are provided so that the left and right eyes are respectively left view through polarized glasses or the display device itself.
  • An object of the present invention is to provide a more convenient and efficient 3D viewing environment for a user by adjusting a display effect that may occur when receiving and displaying 3D image data in a broadcast receiver.
  • 3D image display method receiving a broadcast signal including video data and 3D object data; Decoding the 3D object data, wherein the 3D object data includes text or image information for the 3D object, output position information of the 3D object, and disparity information of the 3D object; Obtaining a parallax value from the disparity information and calculating a distortion compensation coefficient using the parallax value; Adjusting a display size of a 3D object using the distortion compensation coefficients; And displaying and outputting the 3D object.
  • a broadcast receiver for receiving a broadcast signal including video data and 3D object data;
  • a decoder for decoding the 3D object data, the 3D object data including text or image information for the 3D object, output position information of the 3D object, and disparity information of the 3D object;
  • a graphics engine that obtains a parallax value from the disparity information, calculates a distortion compensation coefficient using the parallax value, and adjusts a display size of a 3D object using the distortion compensation coefficient;
  • a formatter for displaying and outputting the 3D object.
  • the present invention it is possible to provide a more convenient 3D image viewing environment for the user by solving the size distortion of the image caused by the perspective of the 3D object when the 3D object is displayed.
  • FIG. 1 is a view showing a display method of a 3D object according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a 3D effect of a 3D object display according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a display of a 3D object according to a disparity value according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a distance between a user, an image, and a screen when displaying a 3D image according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a broadcast receiver according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a broadcast receiver according to another embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a 3D object display method according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a UI for adjusting the size of a 3D object according to an embodiment of the present invention.
  • the 3D image representation method includes a stereoscopic image display method considering two viewpoints and a multiview display image method considering three or more viewpoints.
  • the conventional single view image method may be referred to as a monoscopic video method.
  • the stereoscopic image display method uses a pair of left and right images obtained by photographing the same subject with a left camera and a right camera spaced apart by a certain distance.
  • the multi-view image uses three or more images obtained by photographing three or more cameras having a constant distance or angle.
  • the present invention will be described using the stereoscopic image display method as an embodiment, but the idea of the present invention can be applied to a multi-view image.
  • Stereoscopic images or multi-view images may be compressed and transmitted in various ways, including moving picture experts groups (MPEG).
  • MPEG moving picture experts groups
  • the stereo image or the multi-view image may be compressed and transmitted by H.264 / AVC (Advanced Video Coding).
  • the reception system may obtain a 3D image by decoding the received image in the inverse of the H.264 / AVC coding scheme.
  • one of the left view image and the right view image of the stereoscopic image or one of the multi view image is a base layer image, and the remaining image is an extended layer ( extended layer), the base layer image may be encoded in the same manner as the monoscopic image, and the extended layer image may be encoded and transmitted only for relationship information between the base layer and the extended layer image.
  • an image corresponding to the base layer may be referred to as a base view image
  • an image corresponding to the extended layer may be referred to as an extended view image.
  • Examples of the compression incubation method for the base layer image may be JPEG, MPEG-2, MPEG-4, H.264 / AVC method, etc.
  • the present invention uses the H.264 / AVC method as an embodiment do.
  • a compression encoding scheme for an image of a higher layer such as an extended layer uses an H.264 / MVC (Multi-view Video Coding) scheme.
  • one of the considerations when broadcasting the corresponding 3D content is compatibility with existing 2D broadcast receivers. to be.
  • the 2D broadcast receiver recognizes and outputs only a corresponding signal, thereby providing an existing device. Also, viewing of the corresponding content is possible.
  • the image of the base layer at the time of transmission for the legacy broadcast receiver is referred to as an extended view image or an extended view video as the base view image or the base layer video transmitted for the 3D image display. It can also be called.
  • legacy 2D broadcast receivers display 2D images from base view video data
  • 3D broadcast receivers display 3D images from base view video data and extended view video data, respectively. can do.
  • a method of displaying an image object eg, a subtitle or caption
  • an image object eg, a subtitle or caption
  • the 3D object may include a subtitle, a caption, a logo, an additional menu, and the like, which are additionally provided to the main image of the screen. That is, the broadcast receiver may receive data about the 3D object, synthesize the main image, and display the data, and in this case, the 3D object data received by the broadcast receiver may include caption / graphic data for the 3D object and disparity for 3D effects. May contain information.
  • FIG. 1 is a view showing a display method of a 3D object according to an embodiment of the present invention.
  • the display image 1010 on the left represents a video plane corresponding to a left view
  • the display image 1020 on the right represents a video plane corresponding to a light view
  • the 3D object corresponds to caption text 1030 and 1040.
  • the image corresponding to the left view and the image corresponding to the light view are displayed together on one screen, and the user can use the 3D glasses to display the left view image and the right eye image of the light view. You see.
  • the image of the left view and the image of the light view are displayed apart by a predetermined interval as shown in FIG. 1, and this interval may be referred to as a disparity value.
  • the 3D object data may include data (image, text information, etc.) and information about a disparity value of the object itself.
  • the broadcast receiver receiving the 3D object data may express the object by processing the data for the object as shown in FIG. 1, and display the 3D object by moving and displaying the object of the extended view image by the disparity value.
  • the 3D object 1030 at the left view and the 3D object 1040 at the right view are displayed apart by a predetermined disparity value, and the user views a 3D object having a 3D effect corresponding to this interval.
  • FIG. 2 is a diagram illustrating a 3D effect of a 3D object display according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a 3D effect of a 3D object when the left view image and the light view image of FIG. 1 are combined and displayed. As shown in FIG. 1, when the 3D object of the left view image and the 3D object of the light view image are displayed at a distance equal to the disparity value, a 3D effect corresponding to the disparity value appears.
  • the 3D object 2010 is a case where the 3D object is displayed at the original display screen position with almost no 3D effect, and the 3D object 2020 is displayed when the 3D object 2020 is displayed with an effect coming out to the user from the display screen.
  • the objects 2030 represent cases where the objects 2030 are displayed with the effect of entering the back of the screen.
  • the user may perceive the 3D object 2030 that is far away from the 3D object 2020 that is closer than the 3D object 2020 that is closer according to the principle of size constiancy.
  • the sense of distance to the object affects the recognition of the size. Therefore, when a 3D effect is displayed and displayed on an object having the same size, the size of the object depends on the sense of distance according to the 3D effect. Is small or large in proportion to the distance.
  • 3D objects such as 3D caption data or 3D graphics on a stereoscopic display
  • the size of the 3D object may appear to be relatively small.
  • the broadcast receiver receives 3D object data, and the 3D object data includes graphic data or image data for the 3D object and disparity information for giving a 3D effect.
  • the present invention a method of resizing a 3D object by calculating a distortion compensation coefficient so as to correct a distortion amount according to a 3D effect is proposed.
  • the disparity value included in the disparity information indicates a difference in distance between the left view image and the right view image on the display screen, and can be usually expressed in pixel units.
  • the parallax value is a distance formed on the screen and may be expressed in units such as inches or centimeters.
  • FIG. 3 is a diagram illustrating a display of a 3D object according to a disparity value according to an embodiment of the present invention.
  • the x-y plane corresponds to a surface corresponding to the screen, and corresponds to a case where the disparity value is zero.
  • Video object 1 is a case where the disparity value is negative, and video object 1 has a 3D effect coming out of the screen direction toward the user.
  • Video object 2 is a case where the disparity value is a positive value, and video object 2 has a 3D effect that goes inward from the screen surface.
  • the broadcast receiver receives the 3D object data and processes the graphic data / image data to represent the object on the x-y plane. Then, the 3D object is displayed to have an effect on the z axis according to the disparity value.
  • the above-described magnitude distortion phenomenon occurs according to the effect on the z axis, and the effect on the z axis is related to the disparity value, so that the magnitude distortion correction index can be calculated using these.
  • FIG. 4 is a diagram illustrating a distance between a user, an image, and a screen when displaying a 3D image according to an embodiment of the present invention.
  • an interval between the 3D object and the user may be represented by X
  • an interval between the user and the display screen may be represented by K
  • the size of the 3D object is compensated based on the case where the disparity is zero.
  • the graphics / image data included in the 3D object data received by the broadcast receiver are graphic / image data representing an object image when the disparity is 0, and the 3D object is displayed with a sense of distance according to the disparity value.
  • the compensation coefficient is calculated based on the magnitude of 0.
  • the distance X between the 3D object and the user may be expressed by Equation 1 below.
  • Equation 1 K denotes the distance between the screen and the user's eyes, Id denotes an inter-ocular distance, and p denotes a parallax on the screen.
  • parallax may be represented using a disparity, and the parallax may be expressed as Equation 2 below.
  • Equation 2 p denotes a parallax value, d denotes a disparity value, S denotes a diagonal size of a screen, and vw denotes a width of a coded video.
  • Equation (2) is an embodiment in which the disparity value is expressed in parallax when the aspect ratio is 16: 9.
  • the parallax value is -2.7 cm.
  • the distance between the objects perceived by the user corresponds to 3.53m.
  • the distortion compensation coefficient may be calculated as shown in equation (3).
  • the distortion compensation coefficient F may be expressed by K / X since the optical illusion due to the sense of distance of the 3D object may be compensated for, and may be represented by (Id-p) / Id using Equation 1. That is, the broadcast receiver may calculate disparity information included in the received 3D object data as a parallax value to obtain a distortion compensation coefficient using Equation 3.
  • the binocular disparity Id may use a set average value or receive binocular disparity according to a user.
  • the broadcast receiver may adjust the display of the 3D object by adjusting the size of the original 3D object image according to the distortion compensation coefficient.
  • the 3D object data is included in the broadcast signal and received.
  • the 3D object includes a caption or subtitle.
  • the 3D object data may be included in the video data in the broadcast signal or may be received as a separate ES.
  • the above-described 3D object image correction method for each case will be described.
  • the 3D object will be described a caption or subtitle as an embodiment.
  • FIG. 5 is a diagram illustrating a broadcast receiver according to an embodiment of the present invention.
  • the broadcast receiver of FIG. 5 is an embodiment of a broadcast receiver for processing caption data when it is included in a header area of video data.
  • the broadcast receiver of FIG. 5 may represent a broadcast receiver that receives and processes a broadcast signal of an advanced television system committee (ATSC) system.
  • ASC advanced television system committee
  • caption data may be referred to as DTVCC data.
  • the broadcast receiver of FIG. 5 includes a tuner / demodulator 5010 for tuning and demodulating a broadcast signal, a VSB decoder 5020 for performing VSB (Vestigial Side Band) decoding on the received broadcast signal, and a broadcast stream.
  • a tuner / demodulator 5010 for tuning and demodulating a broadcast signal
  • a VSB decoder 5020 for performing VSB (Vestigial Side Band) decoding on the received broadcast signal
  • VSB Very Side Band
  • Demultiplexer 5030 for outputting Program and System Information Protocol (PSIP) data elementary stream (ESIP), video ES, and the like by demultiplexing the PSIP processor 5030 and PSIP processor 5040 for processing system data to obtain PSIP data ,
  • a video decoder 5050 for decoding video data included in the 3D video ES, a DTVCC decoder 5060 for receiving and decoding DTVCC (DTV Closed Caption) data from the video decoder, and considering the disparity / depth in the decoded caption.
  • a graphics engine 5070 that performs scaling, an OSD processor 5080 that processes scaled captions on screen, and outputs the main video and the OSD screen. And a formatter (5090) for.
  • the tuner / demodulator 5010 and the VSB decoder 5020 may also be referred to as a broadcast signal receiver.
  • the graphics engine may be referred to as a 3D graphics processor, and the video decoder and the DTVCC decoder may be referred to as a decoder.
  • the broadcast receiver of FIG. 5 receives and demodulates a broadcast signal including 3D broadcast data using a tuner / demodulator.
  • the broadcast signal includes 3D video data, audio data, and additional data, and the DTVCC (caption) data may be included in the picture user data portion of the header area of the video data.
  • the broadcast receiver of 3D video VSB decodes the broadcast signal received using the VSB decoder and outputs it to TS (Transport Stream).
  • the broadcast receiver uses the TP demultiplexer 5030 to output the signaling information included in the broadcast signal to the PSIP processor 5040, and the PSIP processor 5040 uses the signaling information to determine the PID (Packet Identifier) of the video ES. do.
  • the signaling information represents PSI / PSIP information, and the PSIP information may include information such as a program map table (PMT), a virtual channel table (VCT), an event information table (EIT), and the like.
  • the broadcast receiver performs PID filtering with the TP demultiplexer 5030 to output 3D video data to the video decoder 5050, and the video decoder 5050 decodes the 3D video data to generate a header (eg, MPEG2) of the 3D video data.
  • DTVCC data included in the header and extension area of the video data is output to the DTVCC decoder 5060.
  • the DTVCC decoder 5060 decodes DTVCC data.
  • the DTVCC data may include at least one of caption data, viewpoint information, and disparity / depth information.
  • the caption data includes image data or text data about the caption to be output and information (coordinate information, etc.) about the output position.
  • the broadcast receiver uses the graphics engine 5070 to process caption data. First, the broadcast receiver determines caption output coordinates in the left and right video planes using the disparity information included in the DTVCC data.
  • the parallax which is the distance between the caption data on the video screen, is calculated from the disparity in consideration of the size of the video screen, the video resolution, and the like. In this case, the above Equations 1 to 3 are used.
  • a parallax value corresponding to a disparity of -50 pixels for a caption output to a full HD screen video is -2.7 cm
  • the distortion compensation coefficient may be calculated using the parallax value and the binocular disparity using Equation 3.
  • 6.5cm can be used as the default value for adults, and the input value can be used according to the user.
  • the broadcast receiver adjusts the size of the caption to be finally output using the calculated distortion compensation coefficient.
  • the adjustment of the size may be performed by multiplying the font size of the caption or the size of the image by the distortion compensation coefficient. That is, the caption finally displayed is output by adjusting the size of the caption in proportion to the sense of distance, so that the caption located in front of the screen is smaller, the larger the caption is located behind the screen.
  • FIG. 6 is a diagram illustrating a broadcast receiver according to another embodiment of the present invention.
  • the broadcast receiver of FIG. 6 is an embodiment of a broadcast receiver that processes caption data when it is included in a separate stream.
  • caption data may be referred to as subtitle data.
  • the broadcast receiver of FIG. 6 may represent a broadcast receiver that receives and processes a broadcast signal of a digital video broadcasting (DVB) system.
  • DVD digital video broadcasting
  • the subtitle data includes subtitle data for the base view and subtitle data for the extended view.
  • the subtitle data for the base view includes display definition information, page composition information, region composition information, and object for the display window composition required for displaying the subtitle. Object data information and the like.
  • the syntax may be referred to as a Display Definition Segment (DDS), a Page Composition Segment (PCS), a Region Composition Segment (RCS), and an Object Data Segment (ODS).
  • the subtitle data for the extended view may also be referred to as extended subtitle data for 3D display and may include DDS_EXT, PCS_EXT, RCS_EXT, and ODS_EXT like the subtitle for the base view.
  • the disparity information or the depth information for the 3D display may be included in at least one of the subtitle data for the base view and the subtitle data for the extended view.
  • the extended subtitle data may include information on an output position or coordinate of the subtitle and disparity information.
  • the broadcast receiver of FIG. 6 includes a broadcast signal receiver (not shown) for receiving and demodulating a broadcast signal and outputting a broadcast stream, and a demultiplexer 6010 for extracting and outputting subtitle data with a PID corresponding to the subtitle data from the broadcast stream.
  • the EV subtitle decoder 6030 and the BV subtitle decoder 6040 are referred to as decoders
  • the EV pixel buffer 6060 and BV pixel buffer 6070 are referred to as pixel buffers
  • the 3D graphics processor 6080 is referred to as a graphics engine. You may.
  • the broadcast receiver uses signaling information (PMT, etc.) to grasp the PID for the video data and the subtitle data.
  • PMT signaling information
  • the stream type value may have a PID of a stream having a value of 0x06.
  • the broadcast receiver separates the video stream and the subtitle stream (data) by using the demultiplexer 6010 and outputs them to the decoder.
  • Subtitle data is extracted using the section filter 6020 using data_identifier information and subtitle_stream_id information included in the PES_packet_data_byte area from a stream corresponding to the subtitle data (in one embodiment, a packetized elementary stream (PES)) and segment_type.
  • the subtitle data can be output for each section in consideration of the information.
  • the broadcast receiver decodes the subtitle data using the decoders 6030 and 6040, and the 3D graphics processor 6080 processes the decoded subtitle data and outputs the 3D display.
  • the subtitle data like the caption data described above, includes image or text information on the subtitle, position or coordinate information to output the subtitle, disparity information or depth information for the 3D effect.
  • the operation of the 3D graphics processor 6080 is similar to that of the graphics engine described with reference to FIG. 5 and will be described below.
  • the broadcast receiver determines the output coordinates of the subtitle graphic data using the disparity information in the video plane of the left and right viewpoints (base view, extended view) through the 3D graphics processor 6080.
  • the parallax which is the distance between the caption data on the video screen, is calculated from the disparity information in consideration of the size of the video screen, the video resolution, and the like. In this case, the above Equations 1 to 3 are used.
  • a parallax value corresponding to a disparity of -50 pixels for a caption output to a full HD screen video is -2.7 cm
  • the distortion compensation coefficient may be calculated using the parallax value and the binocular disparity using Equation 3.
  • 6.5cm can be used as the default value for adults, and the input value can be used according to the user.
  • the broadcast receiver adjusts the size of the caption to be finally output using the calculated distortion compensation coefficient.
  • the adjustment of the size may be performed by multiplying the font size of the caption or the size of the image by the distortion compensation coefficient. That is, the caption finally displayed is output by adjusting the size of the caption in proportion to the sense of distance, so that the caption located in front of the screen is smaller, the larger the caption is located behind the screen.
  • FIG. 7 is a flowchart illustrating a 3D object display method according to an embodiment of the present invention.
  • the 3D object display method of FIG. 7 illustrates a 3D object display method performed by the broadcast receiver illustrated and described with reference to FIGS. 5 to 6.
  • the broadcast receiver receives and demodulates a broadcast signal including 3D object data using the broadcast signal receiver (S7010).
  • the 3D object is an image other than the main video, and represents an image such as a caption, subtitle, menu, logo, etc. provided to the user.
  • the 3D object data may be included in the header area of the video data as described above or may be received by a separate ES.
  • the broadcast receiver decodes 3D object data using a decoder in operation S7020.
  • the 3D object data includes image information on at least one of text, graphics, and video of the 3D object, positional information on a position on the screen on which the 3D object is to be output, and disparity information or depth information necessary to represent the 3D effect.
  • the location information may include coordinate information where the 3D object is located on the screen.
  • the broadcast receiver calculates a distortion compensation coefficient for compensating for size distortion according to the 3D display of the 3D object by using a graphics engine or a 3D graphics processor (S7030).
  • the broadcast receiver calculates a parallax value from the disparity value when the disparity information is included in the 3D object data by using the above-described equations.
  • the distortion compensation coefficient may be calculated from the parallax value and the binocular disparity through the above-described equations.
  • the binocular disparity may use a preset default value (for example, 6.5 cm), a different value according to race, gender, and age, and may be used by receiving binocular disparity according to a user.
  • the distortion information may be directly calculated using the depth information.
  • the distortion compensation coefficient F K / X of Equation 3
  • K represents a distance between the screen and the viewer
  • X corresponds to a value obtained by converting the depth value D into a physical distance. That is, when the depth information is defined as a value between 0 and 255, there is a physical X that the user perceives when displaying on the actual 3D screen.
  • the broadcast receiver can calculate the distance at which the user perceives the depth coded in the image, or can obtain the X value using the depth mapping information that maps the depth to the physical distance. Compensation factors may also be calculated.
  • D corresponds to a physical distance value in which the depth value is mapped to the distance between the screen and the 3D object.
  • the distance between the screen and the viewer may be used as a preset value or may be input from the user.
  • the broadcast receiver adjusts the size of the 3D object using the distortion compensation coefficient in the graphics engine or the 3D graphics processor (S7040).
  • the adjustment of the size may be performed by multiplying the font size of the caption or the size of the image by the distortion compensation coefficient. That is, the size of the 3D object is adjusted by the size of the font size or the horizontal / vertical size of the image multiplied by the distortion compensation coefficient.
  • the 3D object finally displayed is output by adjusting the caption size in proportion to the sense of distance, the smaller the caption positioned in front of the screen, the larger the caption positioned behind the screen.
  • the broadcast receiver outputs the adjusted 3D object (S7050).
  • the size adjustment of the above-described 3D object is automatically performed.
  • the size of the 3D object can be adjusted according to the user's selection. That is, the UI for adjusting the size of the 3D object according to the user input may be displayed, and the size of the 3D object may be adjusted according to the user's selection.
  • the user may receive a size change corresponding thereto and adjust the size of the 3D object by reflecting the size change in the distortion compensation coefficient.
  • FIG. 8 is a diagram illustrating a UI for adjusting the size of a 3D object according to an embodiment of the present invention.
  • the 3D object is represented as a caption.
  • the broadcast receiver may display a UI for caption size change, such as the screen 8010.
  • a UI may be activated by a user input or automatically activated when displaying a caption.
  • the broadcast receiver may display the UI of the screen 8020.
  • the user may adjust the caption size by moving the arrow as a dotted line through the user input means.
  • the broadcast receiver may adjust the caption size by performing steps subsequent to operation S7030 of FIG. 7.
  • the step of displaying the UI of such a 3D object and receiving the caption size adjustment from the user may be performed between steps S7020 and S7030 of FIG. 7 or between steps S7030 and S7040. have.
  • the present invention may be applied in whole or in part to a digital broadcasting system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

3D 이미지 디스플레이 방법 및 방송 수신기가 개시된다. 본 발명의 일 실시예에 따른 3D 이미지 디스플레이 방법은, 비디오 데이터 및 3D 오브젝트 데이터를 포함하는 방송 신호 수신하는 단계; 상기 3D 오브젝트 데이터를 디코딩하는 단계로서, 상기 3D 오브젝트 데이터는 3D 오브젝트에 대한 텍스트 또는 이미지 정보, 3D 오브젝트의 출력 위치 정보 및 3D 오브젝트의 디스패러티 정보를 포함하는, 디코딩 단계; 상기 디스패러티 정보로부터 패럴랙스 값을 획득하고, 상기 패럴랙스 값을 사용하여 왜곡 보상 계수를 산출하는 단계; 상기 왜곡 보상 계수를 사용하여 3D 오브젝트의 디스플레이 크기를 조정하는 단계; 및 상기 3D 오브젝트를 디스플레이 출력하는 단계를 포함한다. 또한 본 발명의 일 실시예에 따른 방송 수신기는, 비디오 데이터 및 3D 오브젝트 데이터를 포함하는 방송 신호 수신하는 방송 신호 수신부; 상기 3D 오브젝트 데이터를 디코딩하는 디코더로서, 상기 3D 오브젝트 데이터는 3D 오브젝트에 대한 텍스트 또는 이미지 정보, 3D 오브젝트의 출력 위치 정보 및 3D 오브젝트의 디스패러티 정보를 포함하는, 디코더; 상기 디스패러티 정보로부터 패럴랙스 값을 획득하고, 상기 패럴랙스 값을 사용하여 왜곡 보상 계수를 산출하고, 상기 왜곡 보상 계수를 사용하여 3D 오브젝트의 디스플레이 크기를 조정하는 그래픽 엔진; 및 상기 3D 오브젝트를 디스플레이 출력하는 포매터를 포함한다.

Description

방송 수신기 및 3D 이미지 디스플레이 방법
본 발명은 방송 수신기 및 그의 3D 이미지 디스플레이 방법에 대한 것으로, 더욱 상세하게는 방송 신호에 포함된 3D 이미지 디스플레이시 3D 오브젝트의 디스플레이 효과를 조정하여 디스플레이하는 방송 수신기 및 그의 3D 이미지 디스플레이 방법에 대한 것이다.
일반적으로 3D(3 dimensions) 이미지(또는 입체 이미지)는 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 이미지는 좌안과 우안 각각이 연관된 평면 이미지를 보도록 이미지를 제공하여 입체감과 원근감을 제공할 수 있다.
이러한 3D 이미지를 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안에서 시청되기 위한 레프트 뷰(left view) 이미지와 우안에서 시청되기 위한 라이트 뷰(right view) 이미지를 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 레프트 뷰 이미지와 라이트 뷰 이미지를 시청함으로써 3D 효과를 인지할 수 있도록 한다.
본 발명이 이루고자 하는 기술적 과제는, 방송 수신기에서 3D 이미지 데이터를 수신하여 디스플레이하는 경우 발생할 수 있는 디스플레이 효과를 조정함으로써 사용자에게 더욱 편리하교 효율적인 3D 시청 환경을 제공하는데 있다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 3D 이미지 디스플레이 방법은, 비디오 데이터 및 3D 오브젝트 데이터를 포함하는 방송 신호 수신하는 단계; 상기 3D 오브젝트 데이터를 디코딩하는 단계로서, 상기 3D 오브젝트 데이터는 3D 오브젝트에 대한 텍스트 또는 이미지 정보, 3D 오브젝트의 출력 위치 정보 및 3D 오브젝트의 디스패러티 정보를 포함하는, 디코딩 단계; 상기 디스패러티 정보로부터 패럴랙스 값을 획득하고, 상기 패럴랙스 값을 사용하여 왜곡 보상 계수를 산출하는 단계; 상기 왜곡 보상 계수를 사용하여 3D 오브젝트의 디스플레이 크기를 조정하는 단계; 및 상기 3D 오브젝트를 디스플레이 출력하는 단계를 포함한다.
또한 전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 방송 수신기는, 비디오 데이터 및 3D 오브젝트 데이터를 포함하는 방송 신호 수신하는 방송 신호 수신부; 상기 3D 오브젝트 데이터를 디코딩하는 디코더로서, 상기 3D 오브젝트 데이터는 3D 오브젝트에 대한 텍스트 또는 이미지 정보, 3D 오브젝트의 출력 위치 정보 및 3D 오브젝트의 디스패러티 정보를 포함하는, 디코더; 상기 디스패러티 정보로부터 패럴랙스 값을 획득하고, 상기 패럴랙스 값을 사용하여 왜곡 보상 계수를 산출하고, 상기 왜곡 보상 계수를 사용하여 3D 오브젝트의 디스플레이 크기를 조정하는 그래픽 엔진; 및 상기 3D 오브젝트를 디스플레이 출력하는 포매터를 포함한다.
본 발명에 따르면, 3D 오브젝트의 디스플레이시 3D 오브젝트가 나타나는 원근감에 의해 발생하는 이미지의 사이즈 왜곡 현상을 해결하여 사용자에거 더욱 편리한 3D 이미지 시청 환경을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3D 오브젝트의 디스플레이 방법을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 3D 오브젝트 디스플레이의 3D 효과를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 디스패러티 값에 따른 3D 오브젝트의 디스플레이를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 3D 이미지 디스플레이시 사용자와 이미지, 스크린간의 간격을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 방송 수신기를 나타낸 도면이다.
도 6은 본 발명의 다른 일 실시예에 따른 방송 수신기를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 3D 오브젝트 디스플레이 방법을 나타낸 순서도이다.
도 8은 본 발명의 일 실시예에 따른 3D 오브젝트의 사이즈 조정을 위한 UI를 나타낸 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
3D 영상 표현 방법은 2 개의 시점을 고려하는 스테레오스코픽 이미지 디스플레이 방식과 3 개 이상의 시점을 고려하는 멀티뷰 디스플레이 이미지 방식을 포함한다. 이에 비해 종래의 싱글 뷰 이미지 방식은 모노스코픽 영상 방식이라고 지칭할 수 있다.
스테레오스코픽 이미지 디스플레이 방식은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 좌우 한 쌍의 영상을 사용한다. 다시점 영상은 일정한 거리나 각도를 갖는 3 개 이상의 카메라에서 촬영하여 획득한 3 개 이상의 영상을 사용한다. 이하에서 스테레오스코픽 이미지 디스플레이 방식을 일 실시예로 본 발명을 설명하나 본 발명의 사상은 다시점 영상에도 적용될 수 있다.
스테레오스코픽 이미지 또는 다시점 이미지는 MPEG(Moving Picture Experts Group)을 포함하는 여러가지 방법으로 압축 부호화되어 전송될 수 있다.
예를 들어, 스테레오 이미지 또는 다시점 이미지는 H.264/AVC(Advanced Video Coding) 방식으로 압축 부호화되어 전송될 수 있다. 이때 수신 시스템은 H.264/AVC 코딩 방식의 역으로 수신 이미지을 복호하여 3D 영상을 얻을 수 있다.
또한 스테레오스코픽 이미지의 레프트 뷰 이미지(left view image)와 라이트 뷰 이미지(right view image) 중 하나 또는 멀티뷰 이미지 중 하나의 이미지를 베이스 레이어(base layer) 이미지로, 나머지 영상은 익스텐디드 레이어(extended layer) 이미지로 할당하고, 베이스 레이어의 이미지는 모노스코픽 영상과 동일한 방식으로 부호화하고, 익스텐디드 레이어의 이미지는 베이스 레이어와 익스텐디드 레이어의 이미지 간의 관계 정보에 대해서만 부호화하여 전송할 수 있다. 이때 베이스 레이어에 해당하는 이미지를 베이스 뷰 이미지로, 익스텐디드 레이어에 해당하는 이미지를 익스텐디드 뷰 이미지로 지칭할 수 있다. 베이스 레이어 이미지에 대한 압축 부화화 방식의 예로 JPEG, MPEG-2, MPEG-4, H.264/AVC 방식 등이 사용될 수 있으며, 본 발명은 H.264/AVC 방식을 사용하는 것을 일 실시예로 한다. 익스텐디드 레이어와 같은 상위 레이어의 영상에 대한 압축 부호화 방식은 H.264/MVC(Multi-view Video Coding) 방식을 사용하는 것을 일 실시예로 한다.
스테레오스코픽 이미지 디스플레이를 위해 AVC 방식에 MVC 방식을 추가로 사용하거나 AVC 만으로 좌/우 이미지 시퀀스를 코딩한 경우, 해당 3D 컨텐트를 방송하고자 할 때 고려해야하는 사항 중 하나는 기존의 2D 방송 수신기와의 호환성이다. 이를 위해 3D 이미지 디스플레이를 지원하지 않는 종래의 방송 수신기를 위해 좌/우 영상 중 한 시점의 이미지는 backward compaptible한 방법으로 코딩을 하여 송신하면, 2D 방송 수신기는 해당 신호만을 인식하여 출력함으로써 기존의 장비에서도 해당 컨텐트의 시청이 가능하다. 이하에서 레거시 방송 수신기를 위해 전송되는 시점의 베이스 레이어의 이미지를 베이스 뷰 이미지 또는 베이스 뷰 비디오, 3D 이미지 디스플레이를 위해 전송되는 익스텐디드 레이어의 이미지를 익스텐디드 뷰 이미지 또는 익스텐디드 뷰 비디오라고 호칭할 수도 있다.
이렇게 베이스 뷰 비디오 데이터와 익스텐디드 뷰 비디오 데이터를 전송하면 레거시 2D 방송 수신기에서는 베이스 뷰 비디오 데이터로부터 2D 이미지를, 3D 방송 수신기에서는 베이스 뷰 비디오 데이터 및 익스텐디드 뷰 비디오 데이터로부터 3D 이미지를 각각 디스플레이할 수 있다. 다만 이러한 경우 메인 이미지에 부가되는 이미지 오브젝트(예를 들면, 서브타이틀 또는 캡션 등)를 디스플레이하는 방법이 문제된다.
이하에서, 화면에 디스플레이되는 메인 이미지와 별도로 추가적으로 디스플레이되는 이미지를 3D 오브젝트 또는 3D 이미지 오브젝트라고 지칭하도록 한다. 3D 오브젝트는, 일 실시예로서 화면의 메인 이미지에 추가로 제공되는 서브타이틀, 캡션, 로고, 추가 메뉴 등을 포함할 수 있다. 즉, 방송 수신기는 3D 오브젝트에 대한 데이터를 수신하여, 메인 이미지와 합성하여 디스플레이할 수 있으며, 이 경우 방송 수신기가 수신하는 3D 오브젝트 데이터는 3D 오브젝트에 대한 캡션/그래픽 데이터 및 3D 효과를 위한 디스패러티 정보를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3D 오브젝트의 디스플레이 방법을 나타낸 도면이다.
도 1에서, 좌측의 디스플레이 이미지(1010)는 레프트 뷰에 해당하는 비디오 플레인을, 우측의 디스플레이 이미지(1020)는 라이트 뷰에 해당하는 비디오 플레인을 나타낸다. 그리고 도 1에서 3D 오브젝트는 캡션 텍스트(1030, 1040)에 대응된다. 스테레오스코픽 이미지 디스플레이 방식의 경우, 한 화면에 레프트 뷰에 해당하는 이미지와 라이트 뷰에 해당하는 이미지가 함께 디스플레이되며, 사용자는 3D 안경을 통해 좌안은 레프트 뷰의 이미지를, 우안은 라이트 뷰의 이미지를 보게 된다. 이 때 레프트 뷰의 이미지와 라이트 뷰의 이미지는 도 1에서와 같이 일정 간격만큼 떨어져 디스플레이되며, 이 간격을 디스패러티 값이라고 지칭할 수 있다.
3D 오브젝트 데이터는, 오브젝트 자체에 대한 데이터(이미지, 텍스트 정보 등)와 디스패러티 값에 대한 정보를 포함할 수 있다. 3D 오브젝트 데이터를 수신한 방송 수신기는 도 1과 같이 오브젝트에 대한 데이터를 처리하여 오브젝트를 표현할 수 있고, 디스패러티 값만큼 익스텐디드 뷰 이미지의 오브젝트를 이동하여 디스플레이함으로써 3D 오브젝트를 디스플레이할 수 있다.
도 1에서는, 좌시점의 3D 오브젝트(1030)와 우시점의 3D 오브젝트(1040)가 소정의 디스패러티 값만큼 떨어져 디스플레이되며, 사용자는 이 간격에 해당하는 3D 효과를 갖는 3D 오브젝트를 시청하게 된다.
도 2는 본 발명의 일 실시예에 따른 3D 오브젝트 디스플레이의 3D 효과를 나타낸 도면이다.
도 2는 도 1의 레프트 뷰 이미지와 라이트 뷰 이미지가 합성되어 디스플레이되는 경우 3D 오브젝트가 갖는 3D 효과를 나타낸 도면이다. 도 1에서와 같이 레프트 뷰 이미지의 3D 오브젝트와 라이트 뷰 이미지의 3D 오브젝트가 디스패러티 값만큼의 간격을 갖고 디스플레이되면, 디스패러티 값에 해당하는 3D 효과가 나타난다.
도 2에서, 3D 오브젝트(2010)는 3D 효과가 거의 없이 원래의 디스플레이 화면 위치에 3D 오브젝트가 디스플레이되는 경우를, 3D 오브젝트(2020)는 디스플레이 화면에서 사용자 측으로 나오는 효과를 갖고 디스플레이되는 경우를, 3D 오브젝트(2030)는 화면의 뒤쪽으로 들어가는 효과를 갖고 디스플레이되는 경우를 각각 나타낸다.
다만 이러한 경우, 크기 항등성(Size Constiancy)의 원리에 따라 사용자는 가까이 보이는 3D 오브젝트(2020)보다 멀리 보이는 3D 오브젝트(2030)를 더 크게 인식하게 된다. 다시 말하면, 일반적으로 사물의 크기를 인식할 때 해당 사물에 대한 거리감이 크기의 인식에 영향을 미치므로, 동일한 크기를 갖는 오브젝트에 3D 효과를 주어 디스플레이하는 경우 3D 효과에 따른 거리감에 따라 오브젝트의 크기가 거리에 비례하여 작거나 크게 인식되는 것이다.
실제로 스테레오스코픽 디스플레이 상에서 3D 캡션 데이터나 3D 그래픽과 같은 3D 오브젝트를 사용하여 실험하는 경우, 같은 크기의 3D 오브젝트에 다른 디스패러티 값을 부과하여 거리감을 조절하면 스크린 앞으로 3D 오브젝트가 나올수록 즉 3D 오브젝트가 사용자에게 가까워 질수록 3D 오브젝트의 크기가 상대적으로 작아보이는 현상이 발생한다.
이렇게 사용자에게 인지되는 크기의 변화는 거리감에 비례하므로 3D 이미지 시청시 자막/그래픽 데이터에 대한 왜곡을 발생시킬 수 있어, 이를 보정할 수 있는 방법/장치를 이하에서 제안하고자 한다.
상술한 바와 같이 방송 수신기는 3D 오브젝트 데이터를 수신하며, 3D 오브젝트 데이터는 3D 오브젝트에 대한 그래픽 데이터 또는 이미지 데이터와, 3D 효과를 주기 위한 디스패러티 정보를 포함한다. 본 발명에서, 3D 효과에 따라 왜곡되는 크기를 보정할 수 있도록 왜곡 보상 계수를 산출하여 3D 오브젝트를 리사이징하는 방법을 제안한다.
디스패러티 정보에 포함되느 디스패러티 값은 레프트 뷰 이미지와 라이트 뷰 이미지의 디스플레이 화면에서의 거리 차이를 나타내며, 통상 픽셀 단위로 나타낼 수 있다. 이에 비해 패럴랙스(parallax) 값은 스크린상에 맺히는 상의 거리로서, 인치 또는 센티 미터와 같은 단위로 나타낼 수 있다. 이하에서는, 3D 오브젝트 데이터에 포함되어 수신된 디스패러티 값을 사용하여 패럴랙스 값을 계산하고, 계산된 패럴랙스 값을 사용하여 크기 왜곡 보상 계수를 산출하여, 3D 오브젝트에 대해 리사이징을 수행하는 방법에 대하여 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 디스패러티 값에 따른 3D 오브젝트의 디스플레이를 나타낸 도면이다.
도 1 및 도 2에서와 같이 디스패러티 값에 따라 레프트/라이트 뷰의 이미지가 디스플레이되면, 사용자가 보게되는 3D 오브젝트는 도 3에서 도시한 바와 같다.
도 3에서, x-y 평면은 스크린에 해당하는 면으로, 디스패러티 값이 0인 경우에 해당한다. 비디오 오브젝트 1은 디스페러티 값이 음수인 경우로, 비디오 오브젝트 1은 스크린 면에서 사용자 방향으로 나오는 3D 효과를 갖는다. 비디오 오브젝트 2는 디스패러티 값이 양수인 경우로, 비디오 오브젝트 2는 스크린 면에서 스크린 안쪽 방향으로 들어가는 3D 효과를 갖는다.
방송 수신기는 3D 오브젝트 데이터를 수신하고, 그래픽 데이터/이미지 데이터를 처리하여 x-y 평면에 오브젝트를 표현한다. 그 후, 디스패러티 값에 따라 z 축상의 효과를 갖도록 3D 오브젝트를 디스플레이한다.
즉, z 축상의 효과에 따라 상술한 크기 왜곡 현상이 발생하고, z 축상의 효과는 디스패러티 값에 관련되므로 이들을 사용하여 크기 왜곡 보정 지수를 산출할 수 있다.
도 4는 본 발명의 일 실시예에 따른 3D 이미지 디스플레이시 사용자와 이미지, 스크린간의 간격을 나타낸 도면이다.
도 4에서, 3D 오브젝트와 사용자의 간격을 X로, 사용자와 디스플레이 화면 간의 간격을 K로, 3D 오브젝트와 디스플레이 화면 간의 간격을 D(=K-X)로 나타낼 수 있다.
이하에서, 3D 오브젝트의 사이즈는 디스패러티가 0인 경우를 기준으로 보상하는 것을 실시예로서 설명한다. 방송 수신기가 수신한 3D 오브젝트 데이터에 포함된 그래픽/이미지 데이터는 디스패러티가 0인 경우의 오브젝트 이미지를 표현하는 그래픽/이미지 데이터이고, 3D 오브젝트가 디스패러티 값에 따라 거리감을 갖고 디스플레이 되므로, 디스패러티가 0인 경우의 크기를 기준으로 보상 계수를 산출하기로 한다.
먼저, 3D 오브젝트와 사용자와의 간격 X는 이하의 수학식 1과 같이 표현할 수 있다.
수학식 1
수학식 1에서, K는 스크린과 사용자의 눈과의 거리를, Id는 양안 시차(Inter-ocular distance)를, p는 스크린 상의 패럴랙스를 각각 나타낸다.
또한, 패럴랙스는 디스패러티를 사용하여 나타낼 수 있으며, 이 때 패럴랙스는 이하의 수학식 2와 같이 표현할 수 있다.
수학식 2
Figure PCTKR2011000136-appb-M000002
수학식 2에서, p는 패럴랙스 값을, d는 디스패러티 값을, S는 스크린의 대각(diagonal) 사이즈를, vw는 코딩된 비디오의 폭을 각각 나타낸다.
수학식 2는 화면비가 16:9인 경우 디스패러티 값을 패럴랙스로 나타내는 실시예로서, 47인치의 FHD(Full HD) 비디오에서 디스패러티 값이 -50인 경우, 패럴랙스 값은 -2.7cm에 해당한다. 이 경우 사용자가 스크린으로부터 5m 거리에서 화면을 시청한다면, 사용자가 인지하는 오브젝트간의 거리는 3.53 m에 해당한다.
수학식 1 및 수학식 2를 사용하여 수학식 3와 같이 왜곡 보상 계수를 산출할 수 있다.
수학식 3
Figure PCTKR2011000136-appb-M000003
먼저, 왜곡 보상 계수 F는 3D 오브젝트의 거리감에 의한 착시를 보상하면 되므로, K/X로 표현할 수 있으며, 이는 수학식 1을 사용하여 (Id-p)/Id로 나타낼 수 있다. 즉, 방송 수신기는 수신된 3D 오브젝트 데이터에 포함된 디스패러티 정보를 패럴랙스 값으로 산출하여 수학식 3을 사용하여 왜곡 보상 계수를 구할 수 있다. 양안 시차 Id는 설정된 평균치를 사용하거나, 사용자에 따라 양안 시차를 입력받아 사용할 수도 있다.
그리고 방송 수신기는 왜곡 보상 계수에 따라 원래의 3D 오브젝트 이미지의 사이즈를 조정하여 3D 오브젝트의 디스플레이를 조정할 수 있다.
3D 오브젝트 데이터는 방송 신호에 포함되어 수신된다. 본 발명의 실시예에서, 3D 오브젝트는 캡션 또는 서브타이틀을 포함한다. 그리고 3D 오브젝트가 캡션 또는 서브타이틀에 해당하는 경우, 3D 오브젝트 데이터는 방송 신호에서 비디오 데이터에 포함되어 수신되거나, 별도의 ES로 수신될 수 있다. 이하에서는 각 경우에 대해 상술한 3D 오브젝트 이미지 보정 방법에 대하여 설명하겠다. 이하에서, 3D 오브젝트는 캡션 또는 서브 타이틀을 실시예로서 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 방송 수신기를 나타낸 도면이다.
도 5의 방송 수신기는 캡션 데이터가 비디오 데이터의 헤더 영역에 포함되어 수신되는 경우 이를 프로세싱하는 방송 수신기에 대한 실시예이다. 일 실시예로서, 도 5의 방송 수신기는 ATSC(Advanced Television System Committee) 시스템의 방송 신호를 수신하여 처리하는 방송 수신기를 나타낼 수 있다. 이하에서 캡션 데이터는 DTVCC 데이터로 지칭할 수 있다.
도 5의 방송 수신기는 방송 신호를 튜닝 및 복조하는 튜너/복조부(5010), 수신한 방송 신호에 대해 VSB(Vestigial Side Band) 디코딩을 수행하여 방송 스트림을 출력하는 VSB 디코더(5020), 방송 스트림을 디멀티플렉싱하여 PSIP(Program and System Information Protocol) 데이터 ES(Elementarly Stream), 비디오 ES 등을 출력하는 TP(TransPort stream) 디멀티플렉서(5030), PSIP 데이터를 처리하여 시스템 정보를 획득하는 PSIP 프로세서(5040), 3D 비디오 ES에 포함된 비디오 데이터를 디코딩하는 비디오 디코더(5050), 비디오 디코더로부터 DTVCC(DTV Closed Caption) 데이터를 수신하여 디코딩하는 DTVCC 디코더(5060), 디코딩된 캡션에 디스패러티/뎁스를 고려하여 스케일링을 수행하는 그래픽 엔진(5070), 스케일링된 캡션을 OSD(On Screen Display) 프로세싱하는 OSD 프로세서(5080), 메인 비디오와 OSD 화면을 아웃풋 포매팅하는 포매터(5090)를 포함한다. 튜너/복조부(5010) 및 VSB 디코더(5020)를 포함하여 방송 신호 수신부로 지칭할 수도 있다. 또한, 그래픽 엔진은 3D 그래픽 프로세서로, 비디오 디코더 및 DTVCC 디코더는 디코더로 지칭할 수도 있다.
도 5의 방송 수신기는 튜너/복조부를 사용하여 3D 방송 데이터를 포함하는 방송 신호를 수신 및 복조한다. 방송 신호는 3D 비디오 데이터, 오디오 데이터, 부가 데이터를 포함하며, DTVCC(캡션) 데이터는 비디오 데이터의 헤더 영역의 픽처 유저 데이터 부분에 포함될 수 있다. 3D 비디오의 방송 수신기는, VSB 디코더를 사용하여 수신한 방송 신호를 VSB 디코딩하여 TS(Transport Stream)로 출력한다.
방송 수신기는 TP 디멀티플렉서(5030)를 사용하여, 방송 신호에 포함된 시그널링 정보를 PSIP 프로세서(5040)로 출력하고, PSIP 프로세서(5040)는 시그널링 정보를 사용하여 비디오 ES의 PID(Packet Identifier)를 파악한다. 시그널링 정보는 PSI/PSIP 정보를 나타내며, PSIP 정보는 PMT(Program Map Table), VCT(Vitrual Channel Table), EIT(Event Information Table) 등의 정보를 포함할 수 있다.
방송 수신기는 TP 디멀티플렉서(5030)로 PID 필터링을 수행하여 3D 비디오 데이터를 비디오 디코더(5050)로 출력하고, 비디오 디코더(5050)는 3D 비디오 데이터를 디코딩하여 3D 비디오 데이터의 헤더(예를 들면, MPEG2 비디오 데이터의 헤더 및 익스텐션 영역)에 포함된 DTVCC 데이터를 DTVCC 디코더(5060)로 출력한다.
DTVCC 디코더(5060)는 DTVCC 데이터를 디코딩한다. DTVCC 데이터는, 캡션 데이터, 시점 정보, 디스패러티/뎁스 정보 중 적어도 하나를 포함할 수 있다. 캡션 데이터는 출력될 캡션에 대한 이미지 데이터 또는 텍스트 데이터 및 출력 위치에 대한 정보(좌표 정보 등)를 포함한다.
방송 수신기는 그래픽 엔진(5070)을 사용하여 캡션 데이터를 처리한다. 먼저, 방송 수신기는 DTVCC 데이터에 포함된 디스패러티 정보를 사용하여 좌/우 비디오 평면에서의 캡션 출력 좌표를 결정한다. 그리고 비디오 스크린의 크기, 비디오 해상도 등을 고려하여 디스패러티로부터 비디오 스크린에서의 캡션 데이터간의 거리인 패럴랙스를 산출한다. 이 때 상술한 수학식 1 내지 수학식 3을 사용하며, 예를 들면 47인치의 크기를 갖는 3DTV의 경우 풀 HD 화면 비디오에 출력되는 캡션의 경우 -50 픽셀의 디스패러티에 해당하는 패럴랙스 값은 -2.7cm가 된다. 패럴랙스 값이 산출되면, 수학식 3을 사용하여 패럴랙스 값과 양안 시차를 사용하여 왜곡 보상 계수를 산출할 수 있다. 양안 시차는, 성인의 경우 6.5cm를 기본 값으로 사용할 수 있으며, 사용자에 따라 입력받은 값을 사용할 수도 있다.
방송 수신기는 이렇게 산출한 왜곡 보상 계수를 사용하여 최종 출력될 캡션의 사이즈를 조정한다. 사이즈의 조정은, 캡션의 폰트 크기 또는 이미지의 사이즈에 왜곡 보상 계수를 곱하여 수행될 수 있다. 즉, 최종적으로 디스플레이되는 캡션은, 스크린 앞으로 위치하는 캡션은 더 작게, 스크린 뒤쪽으로 위치하는 더 크게, 거리감에 비례하여 캡션의 사이즈를 조정하여 출력된다.
도 6은 본 발명의 다른 일 실시예에 따른 방송 수신기를 나타낸 도면이다.
도 6의 방송 수신기는 도 5에서와 달리 캡션 데이터가 별도의 스트림에 포함되어 수신되는 경우 이를 프로세싱하는 방송 수신기에 대한 실시예이다. 도 6의 실시예에서는 캡션 데이터를 서브타이틀 데이터로 지칭할 수 있다. 일 실시예로서, 도 6의 방송 수신기는 DVB(Digital Video Broadcasting) 시스템의 방송 신호를 수신하여 처리하는 방송 수신기를 나타낼 수 있다.
서브타이틀 데이터는 베이스 뷰에 대한 서브타이틀 데이터와 익스텐디드 뷰에 대한 서브타이틀 데이터를 포함한다. 베이스 뷰에 대한 서브타이틀 데이터는 서브타이틀이 디스플레이되는데 필요한 디스플레이 윈도우 구성에 대한 디스플레이 정의 정보(display definition information), 페이지 구성 정보(page composition information), 리젼 구성 정보(region composition information), 객체(object) 데이터 정보(object data information) 등을 포함한다. 이하에서, 전송시 신택스 구조적인 의미에서 각각 DDS(Display Definition Segment), PCS(Page Composition Segment), RCS(Region Composition Segment) 및 ODS(Object Data Segment)로 지칭할 수도 있다. 익스텐디드 뷰에 대한 서브타이틀 데이터는 3D 디스플레이를 위한 익스텐디드 서브타이틀 데이터로 지칭할 수도 있으며, 베이스 뷰에 대한 서브 타이틀과 같이 DDS_EXT, PCS_EXT, RCS_EXT 및 ODS_EXT를 포함할 수 있다. 3D 디스플레이를 위한 디스패러티 정보 또는 뎁스 정보는 베이스 뷰에 대한 서브타이틀 데이터 및 익스텐디드 뷰에 대한 서브타이틀 데이터 중 적어도 하나에 포함될 수 있다. 익스텐디드 서브타이틀 데이터는 서브타이틀의 출력 위치 또는 좌표에 대한 정보와, 디스패러티 정보를 포함할 수 있다.
도 6의 방송 수신기는, 방송 신호를 수신및 복조하여 방송 스트림을 출력하는 방송 신호 수신부(미도시), 방송 스트림으로부터 서브타이틀 데이터에 해당하는 PID로 서브타이틀 데이터를 추출하여 출력하는 디멀티플렉서(6010), 서브타이틀 데이터를 섹션별로 필터링하여 출력하는 섹션 필터(6020), 익스텐디드 뷰에 대한 서브타이틀 데이터를 디코딩하는 EV 서브타이틀 디코더(6030), 베이스 뷰에 대한 서브타이틀 데이터를 디코딩하는 BV 서브타이틀 디코더(6040), 섹션별 데이터를 버퍼링하여 출력하는 컴포지션 버퍼(6050), 익스텐디드 뷰에 대한 서브 타이틀을 버퍼링하는 EV 픽셀 버퍼(6060), 베이스 뷰에 대한 서브타이틀을 버퍼링하는 BV 픽셀 버퍼(6070), 각 버퍼로부터 데이터를 수신, 판독 및 프로세싱하여 서브타이틀을 3D 디스플레이 출력하는 3D 그래픽 프로세서(6080) 및 CLUTDS(Colour Loop Up Table Definition Segment)를 처리하는 CLUT 프로세서(6090)를 포함한다. 이하에서 EV 서브타이틀 디코더(6030) 및 BV 서브타이틀 디코더(6040)는 디코더로, EV 픽셀 버퍼(6060) 및 BV 픽셀 버퍼(6070)는 픽셀 버퍼로, 3D 그래픽 프로세서(6080)는 그래픽 엔진으로 지칭할 수도 있다.
방송 수신기는 시그널링 정보(PMT 등)를 사용하여 비디오 데이터 및 서브타이틀 데이터에 대한 PID를 파악한다. 일 실시예로서, DVB 서브타이틀 데이터의 경우 스트림 타입 값이 0x06인 스트림의 PID를 가질 수 있다.
방송 수신기는 디멀티플렉서(6010)를 사용하여 비디오 스트림과 서브타이틀 스트림(데이터)을 분리하여 디코더로 출력한다. 그리고 섹션 필터(6020)를 사용하여 서브타이틀 데이터에 해당하는 스트림(일 실시예로서, PES(Packetized Elementary Stream))으로부터 PES_packet_data_byte 영역에 포함된 data_identifier 정보 및 subtitle_stream_id 정보를 사용하여 서브타이틀 데이터를 추출하고 segment_type 정보를 고려하여 서브타이틀 데이터를 섹션별로 출력할 수 있다.
방송 수신기는 디코더(6030, 6040)를 사용하여 서브타이틀 데이터를 디코딩하고, 3D 그래픽 프로세서(6080)가 디코딩된 서브타이틀 데이터를 프로세싱하여 3D 디스플레이 출력한다. 서브타이틀 데이터는, 상술한 캡션 데이터와 같이 서브타이틀에 대한 이미지 또는 텍스트 정보와, 서브타이틀을 출력할 위치 또는 좌표 정보, 3D 효과를 위한 디스패러티 정보 또는 뎁스 정보를 포함한다.
3D 그래픽 프로세서(6080)의 동작은 도 5에서 설명한 그래픽 엔진의 동작과 유사하며, 이하에서 설명하도록 한다.
방송 수신기는 3D 그래픽 프로세서(6080)를 통해 좌/우 시점(베이스 뷰, 익스텐디드 뷰)의 비디오 플레인에서 디스페러티 정보를 사용하여 서브타이틀 그래픽 데이터의 출력 좌표를 결정한다. 그리고 비디오 스크린의 크기, 비디오 해상도 등을 고려하여 디스패러티 정보로부터 비디오 스크린에서의 캡션 데이터간의 거리인 패럴랙스를 산출한다. 이 때 상술한 수학식 1 내지 수학식 3을 사용하며, 예를 들면 47인치의 크기를 갖는 3DTV의 경우 풀 HD 화면 비디오에 출력되는 캡션의 경우 -50 픽셀의 디스패러티에 해당하는 패럴랙스 값은 -2.7cm가 된다. 패럴랙스 값이 산출되면, 수학식 3을 사용하여 패럴랙스 값과 양안 시차를 사용하여 왜곡 보상 계수를 산출할 수 있다. 양안 시차는, 성인의 경우 6.5cm를 기본 값으로 사용할 수 있으며, 사용자에 따라 입력받은 값을 사용할 수도 있다.
방송 수신기는 이렇게 산출한 왜곡 보상 계수를 사용하여 최종 출력될 캡션의 사이즈를 조정한다. 사이즈의 조정은, 캡션의 폰트 크기 또는 이미지의 사이즈에 왜곡 보상 계수를 곱하여 수행될 수 있다. 즉, 최종적으로 디스플레이되는 캡션은, 스크린 앞으로 위치하는 캡션은 더 작게, 스크린 뒤쪽으로 위치하는 더 크게, 거리감에 비례하여 캡션의 사이즈를 조정하여 출력된다.
도 7은 본 발명의 일 실시예에 따른 3D 오브젝트 디스플레이 방법을 나타낸 순서도이다.
도 7의 3D 오브젝트 디스플레이 방법은, 도 5 내지 도 6에서 도시하고 설명한 방송 수신기에서 수행되는 3D 오브젝트 디스플레이 방법을 나타낸다.
방송 수신기는 방송 신호 수신부를 사용하여 3D 오브젝트 데이터를 포함하는 방송 신호를 수신하여 복조한다(S7010). 3D 오브젝트는, 메인 비디오 외의 이미지로서, 사용자에게 제공되는 캡션, 서브타이틀, 메뉴, 로고 등의 이미지를 나타낸다. 캡션 및 서브타이틀의 경우, 3D 오브젝트 데이터는 상술한 바와 같이 비디오 데이터의 헤더 영역에 포함되거나, 별도의 ES로 수신될 수 있다.
방송 수신기는 디코더를 사용하여 3D 오브젝트 데이터를 디코딩한다(S7020). 3D 오브젝트 데이터는 3D 오브젝트에 대한 텍스트 및 그래픽, 동영상 중 적어도 하나에 대한 이미지 정보와, 3D 오브젝트를 출력할 스크린 상의 위치에 대한 위치 정보 및 3D 효과를 나타내는데 필요한 디스패러티 정보 또는 뎁스 정보를 포함한다. 위치 정보는 스크린 상에서 3D 오브젝트가 위치하는 좌표 정보를 포함할 수도 있다.
방송 수신기는 그래픽 엔진 또는 3D 그래픽 프로세서를 사용하여 3D 오브젝트의 3D 디스플레이에 따른 크기 왜곡을 보상하기 위한 왜곡 보상 계수를 산출한다(S7030). 자세히 설명하면, 방송 수신기는 3D 오브젝트 데이터에 디스패러티 정보가 포함된 경우 상술한 수학식들을 사용하여 디스패러티 값으로부터 패럴랙스 값을 산출한다. 그리고 상술한 수학식들을 통해 패럴랙스 값과 양안 시차로부터 왜곡 보상 계수를 산출할 수 있다. 양안 시차는 기설정된 디폴트 값(예를 들면, 6.5cm)을 사용하거나, 인종, 성별, 나이에 따라 다른 값을 사용할 수 있으며, 사용자에 따라 양안 시차를 입력받아 사용할 수도 있다.
3D 오브젝트 데이터에 뎁스 정보가 포함된 경우, 뎁스 정보를 직접 사용하여 왜곡 보상 계수를 산출할 수 있다. 수학식 3의 왜곡 보상 계수 F = K/X 에서 K는 스크린과 시청자 사이의 거리를 나타내며, X는 뎁스값 D를 물리적인 거리로 변환한 값에 해당한다. 즉, 뎁스 정보를 0~255 사이의 값으로 정의하는 경우 이 값들에 대해 실제 3D 화면에서 디스플레이시 사용자가 지각하게 되는 물리적인 X가 존재한다. 방송 수신기는 이미지에 코딩된 뎁스를 사용자가 지각하게 되는 거리를 계산할 수 있거나, 뎁스를 물리적인 거리로 매핑하는 뎁스 매핑 정보를 사용하여 X값을 획득할 수 있으므로, 이 X값을 사용하여 바로 왜곡 보상 계수를 산출할 수도 있다. 다시 말해, 왜곡 보상 계수 F는 F = K/X = K/(K-D)로 산출될 수 있으며, 이 식에서 D는 뎁스 값을 스크린과 3D 오브젝트 사이의 거리로 매핑한 물리적인 거리값에 해당한다. 다만, 이경우 스크린과 시청자 사이의 거리를 기설정된 값으로 사용하거나, 사용자로부터 입력받아 사용할 수도 있다.
방송 수신기는 그래픽 엔진 또는 3D 그래픽 프로세서에서 왜곡 보상 계수를 사용하여 3D 오브젝트의 사이즈를 조정한다(S7040). 사이즈의 조정은, 캡션의 폰트 크기 또는 이미지의 사이즈에 왜곡 보상 계수를 곱하여 수행될 수 있다. 즉, 폰트 크기 또는 이미지의 가로/세로 사이즈에 왜곡 보상 계수를 곱한 사이즈로 3D 오브젝트의 사이즈를 조정한다. 최종적으로 디스플레이되는 3D 오브젝트는, 스크린 앞으로 위치하는 캡션은 더 작게, 스크린 뒤쪽으로 위치하는 더 크게, 거리감에 비례하여 캡션의 사이즈를 조정하여 출력된다.
최종적으로 방송 수신기는 조정된 3D 오브젝트를 출력한다(S7050).
상술한 3D 오브젝트의 사이즈 조정은 자동으로 수행된다. 그러나 3D 오브젝트의 사이즈를 사용자의 선택에 따라 조정할 수도 있다. 즉, 사용자 입력에 따라 3D 오브젝트의 사이즈를 조정할 수 있는 UI를 디스플레이하고, 사용자의 선택에 따라 3D 오브젝트의 사이즈를 조정할 수 있다. 사용자가 3D 오브젝트의 사이즈를 키우거나 줄이는 경우, 이에 해당하는 사이즈 변화를 입력받고, 사이즈 변화를 왜곡 보상 계수에 반영하여 3D 오브젝트의 사이즈를 조정할 수도 있다.
도 8은 본 발명의 일 실시예에 따른 3D 오브젝트의 사이즈 조정을 위한 UI를 나타낸 도면이다.
도 8에서, 3D 오브젝트는 캡션에 해당하는 것으로 나타내었다.
방송 수신기는 스크린(8010)과 같이 캡션 사이즈 변경을 위한 UI를 디스플레이할 수 있다. 이러한 UI는 사용자의 입력에 의해 활성화되거나, 캡션을 디스플레이하는 경우 자동으로 활성화될 수도 있다.
사용자가 리모콘 등의 입력 수단을 통해 캡션 사이즈 변경을 선택하면 (스크린(8010)의 UI에서 YES를 선택한 경우), 방송 수신기는 스크린(8020)의 UI를 디스플레이할 수 있다. 사용자는 사용자 입력 수단을 통해 화살표를 점선과 같이 이동하여 캡션 사이즈를 조정할 수 있다.
캡션 사이즈가 입력되면, 방송 수신기는 도 7에서 단계(S7030) 이후의 단계들을 수행하여 캡션의 사이즈를 조정할 수 있다. 다시 말해 이러한 3D 오브젝트의 UI를 디스플레이하여 캡션 사이즈 조정을 사용자에게 입력받는 단계는 도 7의 단계(S7020)와 단계(S7030)의 사이 또는 단계(S7030)와 단계(S7040)의 사이에서 수행될 수 있다.
전술한 바와 같이, 상기 발명의 실시를 위한 최선의 형태에서, 관련된 사항을 기술하였다.
전술한 바와 같이, 본 발명은 디지털 방송 시스템에 전체적으로 또는 부분적으로 적용될 수 있다.

Claims (12)

  1. 비디오 데이터 및 3D 오브젝트 데이터를 포함하는 방송 신호 수신하는 단계;
    상기 3D 오브젝트 데이터를 디코딩하는 단계로서, 상기 3D 오브젝트 데이터는 3D 오브젝트에 대한 텍스트 또는 이미지 정보, 3D 오브젝트의 출력 위치 정보 및 3D 오브젝트의 디스패러티 정보를 포함하는, 디코딩 단계;
    상기 디스패러티 정보로부터 패럴랙스 값을 획득하고, 상기 패럴랙스 값을 사용하여 왜곡 보상 계수를 산출하는 단계;
    상기 왜곡 보상 계수를 사용하여 3D 오브젝트의 디스플레이 크기를 조정하는 단계; 및
    상기 3D 오브젝트를 디스플레이 출력하는 단계를 포함하는, 3D 이미지 디스플레이 방법.
  2. 제 1 항에 있어서,
    상기 3D 오브젝트 데이터는 캡션 데이터를 포함하며, 상기 3D 오브젝트 데이터는 상기 비디오 데이터의 헤더 부분에 포함되는, 3D 이미지 디스플레이 방법.
  3. 제 1 항에 있어서,
    상기 3D 오브젝트 데이터는 서브타이틀 데이터를 포함하며, 상기 3D 오브젝트 데이터는 상기 비디오 데이터와 별도의 ES로 수신되는, 3D 이미지 디스플레이 방법.
  4. 제 1 항에 있어서,
    상기 왜곡 보상 계수를 산출하는 단계는, 양안 시차 값으로부터 패럴랙스 값을 감산한 값을 양안 시차 값으로 나누어 산출하는 단계를 더 포함하는, 3D 이미지 디스플레이 방법.
  5. 제 1 항에 있어서,
    상기 3D 오브젝트 데이터는 상기 3D 오브젝트의 뎁스 정보를 더 포함하는, 3D 이미지 디스플레이 방법.
  6. 제 5 항에 있어서,
    상기 뎁스 정보를 사용하여 왜곡 보상 계수를 산출하는 단계를 더 포함하는, 3D 이미지 디스플레이 방법.
  7. 비디오 데이터 및 3D 오브젝트 데이터를 포함하는 방송 신호 수신하는 방송 신호 수신부;
    상기 3D 오브젝트 데이터를 디코딩하는 디코더로서, 상기 3D 오브젝트 데이터는 3D 오브젝트에 대한 텍스트 또는 이미지 정보, 3D 오브젝트의 출력 위치 정보 및 3D 오브젝트의 디스패러티 정보를 포함하는, 디코더;
    상기 디스패러티 정보로부터 패럴랙스 값을 획득하고, 상기 패럴랙스 값을 사용하여 왜곡 보상 계수를 산출하고, 상기 왜곡 보상 계수를 사용하여 3D 오브젝트의 디스플레이 크기를 조정하는 그래픽 엔진; 및
    상기 3D 오브젝트를 디스플레이 출력하는 포매터를 포함하는, 방송 수신기.
  8. 제 7 항에 있어서,
    상기 3D 오브젝트 데이터는 캡션 데이터를 포함하며, 상기 3D 오브젝트 데이터는 상기 비디오 데이터의 헤더 부분에 포함되는, 방송 수신기.
  9. 제 7 항에 있어서,
    상기 3D 오브젝트 데이터는 서브타이틀 데이터를 포함하며, 상기 3D 오브젝트 데이터는 상기 비디오 데이터와 별도의 ES로 수신되는, 방송 수신기.
  10. 제 7 항에 있어서,
    상기 그래픽 엔진은, 양안 시차 값으로부터 패럴랙스 값을 감산한 값을 양안 시차 값으로 나누어 상기 왜곡 보상 계수를 산출하는, 방송 수신기.
  11. 제 7 항에 있어서,
    상기 3D 오브젝트 데이터는 상기 3D 오브젝트의 뎁스 정보를 더 포함하는, 방송 수신기.
  12. 제 11 항에 있어서,
    상기 그래픽 엔진은, 상기 뎁스 정보를 사용하여 왜곡 보상 계수를 산출하는, 방송 수신기.
PCT/KR2011/000136 2010-01-11 2011-01-10 방송 수신기 및 3d 이미지 디스플레이 방법 WO2011084021A2 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/521,384 US9215444B2 (en) 2010-01-11 2011-01-10 Broadcasting receiver and method for displaying 3D images
KR1020127017605A KR101759943B1 (ko) 2010-01-11 2011-01-10 방송 수신기 및 3ｄ 이미지 디스플레이 방법
EP11731959.0A EP2525579B1 (en) 2010-01-11 2011-01-10 Broadcasting receiver and method for displaying 3d images
US14/937,510 US9485489B2 (en) 2010-01-11 2015-11-10 Broadcasting receiver and method for displaying 3D images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US29409010P 2010-01-11 2010-01-11
US61/294,090 2010-01-11

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/521,384 A-371-Of-International US9215444B2 (en) 2010-01-11 2011-01-10 Broadcasting receiver and method for displaying 3D images
US14/937,510 Continuation US9485489B2 (en) 2010-01-11 2015-11-10 Broadcasting receiver and method for displaying 3D images

Publications (2)

Publication Number Publication Date
WO2011084021A2 true WO2011084021A2 (ko) 2011-07-14
WO2011084021A3 WO2011084021A3 (ko) 2011-11-10

Family

ID=44305980

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/000136 WO2011084021A2 (ko) 2010-01-11 2011-01-10 방송 수신기 및 3d 이미지 디스플레이 방법

Country Status (4)

Country Link
US (2) US9215444B2 (ko)
EP (1) EP2525579B1 (ko)
KR (1) KR101759943B1 (ko)
WO (1) WO2011084021A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120056882A1 (en) * 2010-09-06 2012-03-08 Fujifilm Corporation Stereoscopic image display control apparatus, and method and program for controlling operation of same
WO2013091201A1 (zh) * 2011-12-21 2013-06-27 青岛海信信芯科技有限公司 视区调整的方法和装置、能实现立体显示视频信号的设备
KR20150104458A (ko) * 2014-03-05 2015-09-15 삼성메디슨 주식회사 3차원 영상을 디스플레이하는 방법 및 그 디스플레이 장치

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010093350A1 (en) * 2009-02-13 2010-08-19 Thomson Licensing Depth map coding using video information
JP2013520925A (ja) * 2010-02-25 2013-06-06 トムソン ライセンシング 視差推定を用いる、視差の時間的変動を制限する２眼式立体字幕付け
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
EP2539759A1 (en) 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
KR20110136414A (ko) * 2010-06-15 2011-12-21 삼성전자주식회사 영상처리장치 및 그 제어방법
KR20110138151A (ko) * 2010-06-18 2011-12-26 삼성전자주식회사 자막 서비스를 포함하는 디지털 방송 서비스를 제공하기 위한 비디오 데이터스트림 전송 방법 및 그 장치, 자막 서비스를 포함하는 디지털 방송 서비스를 제공하는 비디오 데이터스트림 수신 방법 및 그 장치
GB2485140A (en) * 2010-10-26 2012-05-09 Sony Corp A Method and Apparatus For Inserting Object Data into a Stereoscopic Image
KR20140007928A (ko) * 2011-04-28 2014-01-20 파나소닉 주식회사 영상처리장치 및 영상처리방법
KR20130024504A (ko) * 2011-08-31 2013-03-08 삼성전기주식회사 삼차원 카메라 시스템 및 주시각 조정 방법
TWI555400B (zh) * 2012-05-17 2016-10-21 晨星半導體股份有限公司 應用於顯示裝置的字幕控制方法與元件
CN106464856B (zh) * 2014-06-24 2019-01-15 谷歌有限责任公司 用于分析和确定虚拟环境的特性的计算机化***和方法
US9948913B2 (en) * 2014-12-24 2018-04-17 Samsung Electronics Co., Ltd. Image processing method and apparatus for processing an image pair
RU2718121C2 (ru) * 2015-06-30 2020-03-30 Сони Корпорейшн Приемное устройство, способ приема, передающее устройство и способ передачи
US11076112B2 (en) * 2016-09-30 2021-07-27 Lenovo (Singapore) Pte. Ltd. Systems and methods to present closed captioning using augmented reality

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3265699A (en) * 1998-03-10 1999-09-27 Secretary Of State For Defence, The Three-dimensional imaging system
EP2357840A3 (en) * 2002-03-27 2012-02-29 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
WO2004049734A1 (ja) * 2002-11-28 2004-06-10 Seijiro Tomita 立体映像信号生成回路及び立体映像表示装置
KR100667810B1 (ko) * 2005-08-31 2007-01-11 삼성전자주식회사 ３ｄ 영상의 깊이감 조정 장치 및 방법
KR100731979B1 (ko) * 2005-10-18 2007-06-25 전자부품연구원 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
KR100738500B1 (ko) * 2006-02-20 2007-07-12 한국과학기술원 영상 기반 돌출 변위 매핑 방법과, 이를 이용한 이중 변위매핑 방법
US8831299B2 (en) * 2007-05-22 2014-09-09 Intellectual Ventures Fund 83 Llc Capturing data for individual physiological monitoring
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
JP4618384B2 (ja) 2008-06-09 2011-01-26 ソニー株式会社 情報提示装置および情報提示方法
MX2010013448A (es) 2008-06-26 2010-12-22 Panasonic Corp Medio de grabacion, dispositivo de reproduccion, dispositivo de grabacion, metodo de reproduccion, metodo de grabacion y programa.
WO2010064118A1 (en) * 2008-12-01 2010-06-10 Imax Corporation Methods and systems for presenting three-dimensional motion pictures with content adaptive information
WO2010076846A1 (ja) * 2008-12-29 2010-07-08 パナソニック株式会社 記録媒体、再生装置、及び集積回路

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of EP2525579A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120056882A1 (en) * 2010-09-06 2012-03-08 Fujifilm Corporation Stereoscopic image display control apparatus, and method and program for controlling operation of same
US8933999B2 (en) * 2010-09-06 2015-01-13 Fujifilm Corporation Stereoscopic image display control apparatus, and method and program for controlling operation of same
WO2013091201A1 (zh) * 2011-12-21 2013-06-27 青岛海信信芯科技有限公司 视区调整的方法和装置、能实现立体显示视频信号的设备
US9838673B2 (en) 2011-12-21 2017-12-05 Hisense Electric Co., Ltd. Method and apparatus for adjusting viewing area, and device capable of three-dimension displaying video signal
KR20150104458A (ko) * 2014-03-05 2015-09-15 삼성메디슨 주식회사 3차원 영상을 디스플레이하는 방법 및 그 디스플레이 장치
KR102188149B1 (ko) * 2014-03-05 2020-12-07 삼성메디슨 주식회사 3차원 영상을 디스플레이하는 방법 및 그 디스플레이 장치

Also Published As

Publication number Publication date
US20160065933A1 (en) 2016-03-03
KR20120128607A (ko) 2012-11-27
EP2525579A4 (en) 2014-11-12
EP2525579A2 (en) 2012-11-21
US20120320155A1 (en) 2012-12-20
US9215444B2 (en) 2015-12-15
US9485489B2 (en) 2016-11-01
KR101759943B1 (ko) 2017-07-20
WO2011084021A3 (ko) 2011-11-10
EP2525579B1 (en) 2019-03-06

Similar Documents

Publication Publication Date Title
WO2011084021A2 (ko) 방송 수신기 및 3d 이미지 디스플레이 방법
KR100970649B1 (ko) 수신 시스템 및 데이터 처리 방법
US20160065935A1 (en) Method for processing three dimensional (3d) video signal and digital broadcast receiver for performing the method
WO2010064774A1 (ko) 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법
US9578304B2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
WO2010126221A2 (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
WO2010071291A1 (ko) 3차원 영상신호 처리 방법과 이를 구현하기 위한 영상표시 장치
US20120249735A1 (en) Stereo image data transmitting apparatus and stereo image data receiving apparatus
WO2010117129A2 (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
US20110141233A1 (en) Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, and three-dimensional image data reception method
WO2012002690A2 (ko) 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법
EP2389767A2 (en) Three-dimensional subtitle display method and three-dimensional display device for implementing the same
US20120242802A1 (en) Stereoscopic image data transmission device, stereoscopic image data transmission method, stereoscopic image data reception device, and stereoscopic image data reception method
WO2010087575A2 (en) Broadcast receiver and 3d video data processing method
US20140078248A1 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
WO2012074328A2 (ko) 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법
WO2011028024A2 (en) Cable broadcast receiver and 3d video data processing method thereof
WO2011046271A1 (en) Broadcast receiver and 3d video data processing method thereof
EP2519011A1 (en) Stereoscopic image data transmission device, stereoscopic image data transmission method, stereoscopic image data reception device and stereoscopic image data reception method
WO2014065635A1 (ko) 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치
US20130169752A1 (en) Transmitting Apparatus, Transmitting Method, And Receiving Apparatus
US20120200565A1 (en) 3d-image-data transmission device, 3d-image-data transmission method, 3d-image-data reception device, and 3d-image-data reception method
WO2011087303A2 (ko) 방송 신호 수신기 및 비디오 데이터 처리 방법
WO2012057564A2 (ko) 모바일 환경에서 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법
US20130215222A1 (en) Stereoscopic image data transmission device, stereoscopic image data transmission method, and stereoscopic image data reception device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11731959

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20127017605

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13521384

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011731959

Country of ref document: EP