WO2012044128A2 - 디스플레이 장치 및 신호 처리 장치와, 그 방법들 - Google Patents

디스플레이 장치 및 신호 처리 장치와, 그 방법들 Download PDF

Info

Publication number
WO2012044128A2
WO2012044128A2 PCT/KR2011/007285 KR2011007285W WO2012044128A2 WO 2012044128 A2 WO2012044128 A2 WO 2012044128A2 KR 2011007285 W KR2011007285 W KR 2011007285W WO 2012044128 A2 WO2012044128 A2 WO 2012044128A2
Authority
WO
WIPO (PCT)
Prior art keywords
disparity information
disparity
information
graphic
image
Prior art date
Application number
PCT/KR2011/007285
Other languages
English (en)
French (fr)
Other versions
WO2012044128A4 (ko
WO2012044128A3 (ko
Inventor
서주희
조봉제
박홍석
정길수
김용태
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to JP2013531503A priority Critical patent/JP2013546220A/ja
Priority to US13/824,818 priority patent/US20130182072A1/en
Priority to CN2011800474498A priority patent/CN103155577A/zh
Priority to EP11829634.2A priority patent/EP2624571A4/en
Publication of WO2012044128A2 publication Critical patent/WO2012044128A2/ko
Publication of WO2012044128A3 publication Critical patent/WO2012044128A3/ko
Publication of WO2012044128A4 publication Critical patent/WO2012044128A4/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus

Definitions

  • the present invention relates to a display apparatus and a signal processing apparatus and methods thereof, and more particularly to a display apparatus and a signal processing apparatus and methods for stably displaying a stereoscopic graphic object.
  • the content provided by the display device is not merely a broadcast signal.
  • various kinds of applications or widget programs may be installed and provided to the user.
  • the 3D display apparatus is a device that provides a three-dimensional effect to an object displayed on a screen, so that a user can watch a realistic screen. Accordingly, efforts to develop 3D content to be output from the 3D display device are also accelerating.
  • various types of graphic objects such as screen subtitles and OSD menus
  • a screen reversal phenomenon may be recognized as if the graphic object is located behind the image. Can be. Accordingly, the user may feel dizzy or uncomfortable when watching 3D content.
  • an object of the present invention is to provide a display device, a signal processing device, and methods for maintaining a state in which a graphic object is displayed above an image output layer.
  • a display apparatus includes a video processor configured to process a video signal to form an image, a graphic processor to process graphic data to form a graphic object, and the image and the graphic.
  • a controller for controlling the graphic processor for controlling the graphic processor.
  • the apparatus may further include a receiver configured to receive first disparity information on the reference layer and second disparity information on the overlay layer from an external source.
  • the controller may control the video processor to give a 3D effect to the image according to the first disparity information, and control the graphic processor to give a 3D effect to the graphic object according to the second disparity information.
  • the controller may control the video processor to give a 3D effect to the image according to the first disparity information, and control the graphic processor to give a 3D effect to the graphic object according to the second disparity information.
  • the receiver may receive a broadcast signal including the video signal, the graphic data, the first disparity information, and the second disparity information, and the video processor and the graphic processor may be included in the broadcast signal.
  • the first disparity information and the second disparity information may be respectively detected from the programmed program information table or the user data area.
  • the apparatus may further include a receiver for receiving first disparity information for the reference layer from an external source and a disparity information generator for generating second disparity information for the overlay layer.
  • the controller may control the video processor to give a 3D effect to the image according to the first disparity information, and control the graphic processor to give a 3D effect to the graphic object according to the second disparity information.
  • the controller may control the video processor to give a 3D effect to the image according to the first disparity information, and control the graphic processor to give a 3D effect to the graphic object according to the second disparity information.
  • the disparity information generator may be further configured to reference the first disparity information so that the disparity of the overlay layer is changed according to the disparity variation state of the reference layer so that a depth difference between the overlay layers is maintained at a preset size.
  • the second disparity information can be generated.
  • the disparity information generation unit may generate the second disparity information so that the overlay layer has a fixed depth.
  • the disparity information generation unit may detect the maximum disparity of the reference layer within an arbitrary stream unit and generate the second disparity information based on the detected information.
  • the disparity information generator may detect the disparity of the reference layer at the time when the graphic object is displayed and generate the second disparity information based on the detected information.
  • the apparatus may further include a disparity information generation unit configured to generate first disparity information for the reference layer and second disparity information for the overlay layer according to the storage unit in which preset depth information is stored and the depth information. have.
  • a disparity information generation unit configured to generate first disparity information for the reference layer and second disparity information for the overlay layer according to the storage unit in which preset depth information is stored and the depth information. have.
  • the controller may control the video processor to give a 3D effect to the image according to the first disparity information, and control the graphic processor to give a 3D effect to the graphic object according to the second disparity information.
  • the controller may control the video processor to give a 3D effect to the image according to the first disparity information, and control the graphic processor to give a 3D effect to the graphic object according to the second disparity information.
  • the overlay layer may include a plurality of layers having different depths, and different types of graphic objects may be displayed on each layer.
  • the display order of the graphic object types displayed on the layers may be changed according to a user's selection.
  • the graphic object may include at least one object of an OSD menu, a caption, program information, an application icon, an application window, and a GUI window.
  • the signal processing apparatus for receiving an input signal, a video processor for processing the video signal included in the input signal to configure the image to be displayed on the reference layer, the input signal
  • An audio processor configured to generate audio by processing an audio signal included in the audio signal
  • a graphic processor configured to process graphic data and display the graphic object on an overlay layer that is higher than the reference layer; and output the image, the sound, and the graphic object It further comprises an interface for transmitting to the means.
  • the video processor detects first disparity information included in the input signal and provides a three-dimensional effect to the image based on the first disparity information
  • the graphic processor includes a second included in the input signal.
  • the disparity information may be detected to give a 3D effect to the graphic object based on the second disparity information.
  • the signal processing apparatus may further include a disparity information generator that generates second disparity information for the overlay layer.
  • the video processor detects first disparity information included in the input signal and provides a 3D effect to the image based on the first disparity information, and the graphic processor generates the disparity information generator.
  • a three-dimensional effect may be given to the graphic object according to the second disparity information.
  • the disparity information generator may be further configured to reference the first disparity information so that the disparity of the overlay layer is changed according to the disparity variation state of the reference layer so that a depth difference between the overlay layers is maintained at a preset size.
  • the second disparity information can be generated.
  • the disparity information generation unit may generate the second disparity information so that the overlay layer has a fixed depth.
  • the disparity information generation unit may detect the maximum disparity of the reference layer in an arbitrary stream unit and generate the second disparity information based on the detected information.
  • the disparity information generator may detect the disparity of the reference layer at the time when the graphic object is displayed, and generate the second disparity information based on the detected information.
  • the apparatus may further include a disparity information generation unit configured to generate first disparity information for the reference layer and second disparity information for the overlay layer according to the storage unit in which preset depth information is stored and the depth information. It may further include.
  • the video processor detects first disparity information included in the input signal and provides a 3D effect to the image based on the first disparity information, and the graphic processor includes a second included in the input signal. The disparity information may be detected to give a 3D effect to the graphic object based on the second disparity information.
  • the overlay layer may include a plurality of layers having different depths, and different types of graphic objects may be displayed on each layer.
  • the display order of the graphic object types displayed on the layers may be changed according to a user's selection.
  • the graphic object may include at least one or more types of objects among an OSD menu, a subtitle, program information, an application icon, an application window, and a GUI window.
  • the signal processing method the step of configuring an image to be displayed on the reference layer by processing the video signal, the graphic to be displayed on the overlay layer above the reference layer by processing the graphic data Constructing an object and transmitting the image and the graphic object to an output means.
  • the method may further include receiving a first disparity information for the reference layer and a second disparity information for the overlay layer from an external source.
  • the image may be provided with a three-dimensional effect according to the first disparity information
  • the graphic object may be configured with a three-dimensional effect according to the second disparity information.
  • the receiving may include receiving a broadcast signal including the video signal, the graphic data, the first disparity information, and the second disparity information, a program information table or user data included in the broadcast signal.
  • the method may include detecting the first disparity information and the second disparity information from an area.
  • the method may further include receiving first disparity information for the reference layer from an external source and generating second disparity information for the overlay layer.
  • the image may be provided with a three-dimensional effect according to the first disparity information
  • the graphic object may be configured with a three-dimensional effect according to the second disparity information
  • the generating of the second disparity information may include analyzing the first disparity information to identify a disparity variation state of the reference layer, and determining the disparity variation state of the reference layer.
  • the method may include generating the second disparity information based on the first disparity information so that the disparity is changed so that a depth difference between the overlay layers maintains a preset size.
  • the second disparity information may be generated such that the overlay layer has a fixed depth.
  • the second disparity information may be generated based on the maximum disparity of the reference layer detected in an arbitrary stream unit.
  • the second disparity information may be generated based on the disparity of the reference layer detected when the graphic object is displayed.
  • the method may further include: reading the depth information from a storage unit in which preset depth information is stored and according to the depth information, first disparity information for the reference layer and second disparity for the overlay layer.
  • the method may further include generating information.
  • the image may be provided with a three-dimensional effect according to the first disparity information
  • the graphic object may be configured with a three-dimensional effect according to the second disparity information
  • the overlay layer may include a plurality of layers having different depths, and different types of graphic objects may be displayed on each layer.
  • the display order of the graphic object types displayed on the layers may be changed according to a user's selection.
  • the graphic object may include at least one object of an OSD menu, a caption, program information, an application icon, an application window, and a GUI window.
  • FIG. 1 is a block diagram illustrating a configuration of a display apparatus according to an embodiment of the present disclosure
  • FIG. 2 is a view for explaining a relationship between a reference layer and a plurality of overlay layers
  • 3 to 5 are block diagrams illustrating a configuration of a display apparatus according to various embodiments of the present disclosure
  • 6 to 8 are views for explaining various embodiments of fixing the disparity of the overlay layer
  • 9 and 10 are diagrams for describing an embodiment of fluidly changing a disparity of an overlay layer
  • FIG. 11 is a diagram illustrating an example of a UI for changing a state of an overlay layer
  • FIGS. 12 to 14 are views illustrating a configuration of a signal processing apparatus according to various embodiments of the present disclosure
  • 15 is a block diagram showing a configuration of a broadcast transmitting apparatus according to an embodiment of the present invention.
  • 16 and 17 are views for explaining a display state changed according to the contents of the program information table
  • FIG. 18 is a flowchart illustrating a signal processing method according to various embodiments of the present disclosure.
  • the display apparatus 100 includes a video processor 110, a graphics processor 120, a controller 130, and a display 140.
  • the display device refers to various kinds of devices having a display function such as a TV, a PC, an electronic picture frame, a PDA, a mobile phone, a notebook PC, a tablet PC, an e-book, and the like.
  • the video processor 110 processes a video signal to form an image.
  • a video signal may be detected from a broadcast signal transmitted from a broadcast transmission device, or may be a signal provided from various external sources such as a web server, an internal or external storage medium, a playback device, or the like.
  • the video signal may be a stereo image for 3D output.
  • Stereo image means two or more images. For example, two images of one object photographed from different angles, that is, a first input image and a second input image may be stereo images.
  • the first input image is referred to as a left eye image (or left image)
  • the second input image is referred to as a right eye image (or right image).
  • the video processor 110 decodes each of these data to form a 3D image, respectively. Can be generated.
  • the video signal may be a 2D image.
  • the video processor 110 may configure a single image frame by performing various signal processing such as decoding, deinterleaving, scaling, etc. on the 2D image.
  • the video processor 110 sets one image frame composed of the input 2D image as a reference frame and positions pixels corresponding to each object in the frame. You can shift to create a new frame.
  • the reference frame may be used as a left eye image frame, and a new frame having disparity may be used as a right eye image frame.
  • the graphic processor 120 may configure graphic objects by processing graphic data.
  • the graphic object may be a subtitle or closed caption corresponding to the image.
  • various types of objects such as an OSD menu, program information, an application icon, an application window, and a GUI window may be generated by the graphic processor 120 without being limited thereto.
  • the controller 130 provides the video processor 110 and the graphic processor 120 with a different three-dimensional effect to each of the image configured in the video processor 110 and the graphic objects configured in the graphic processor 120 so as to prevent screen inversion. Can be controlled.
  • the controller 130 may maintain the state in which the graphic object is displayed on a layer having a greater depth than the layer on which the 3D image is displayed.
  • Each of the 110 and the graphics processor 120 may be controlled.
  • a layer on which an image is displayed is referred to as a reference layer
  • a layer on which a graphic object is displayed is called an overlay layer.
  • Various types of graphic objects having graphic elements other than an image may be displayed on the overlay layer.
  • the disparity of the overlay layer may be set to a larger value than the reference layer on which the image is displayed. Specifically, it is set to a value that can ensure that no reversal occurs.
  • the display 140 displays the image frame configured in the video processor 110 and the graphic object configured in the graphic processor 120 on the screen.
  • the display 140 may display the left eye image frame and the right eye image frame alternately to display an image in 3D.
  • the left eye graphic object and the right eye graphic object may be displayed alternately to display the graphic object in 3D.
  • the video processor 110 may configure an image as a multiview image
  • the graphic processor 120 may convert a graphic object into a multiview object. It can be configured as.
  • the display unit 140 may separately output a multiview image and a multiview object and output the space to distinguish the multiview image and the multiview object and to recognize the 3D image by feeling a distance to the subject without wearing glasses.
  • the display unit 140 may be implemented as a display panel according to a Paraallax Barrier technology or a lenticular technology.
  • FIG. 2 illustrates an example of a state in which a reference layer and an overlay layer are displayed.
  • an image and a graphic object are respectively output in a 3D manner on a screen of the display apparatus 100.
  • a sense of depth is displayed according to disparity.
  • the depth can be referred to as a layer or plane, respectively.
  • the reference layer 10 on which an image is displayed among the plurality of layers corresponds to a base, and at least one overlay layer 20 or 30 may be provided above the reference layer 10.
  • one reference layer 10 is illustrated in FIG. 2, when the image is displayed in 3D, a plurality of reference layers 10 may be provided.
  • the lowest overlay layer 20 among the entire overlay layers is configured to have at least the same depth or a greater depth than the top reference layer 10. Accordingly, even if the 3D content of the 3D content is large, the graphic object is always displayed to be closer to the user than the image, so that reversal does not occur.
  • various kinds of graphic objects may be displayed on one overlay layer or may be displayed on a plurality of overlay layers having different depths according to the type.
  • the disparity information of the reference layer and the disparity information of the overlay layer may be provided in various ways.
  • the display apparatus 100 may include a video processor 110, a graphics processor 120, a controller 130, a display 140, and a receiver 150.
  • the receiver 150 may receive first disparity information on the reference layer and second disparity information on the overlay layer from an external source.
  • the external source may be a broadcasting station for transmitting a broadcast signal, or may be various devices such as other storage media, an external server, and a playback device.
  • the external source may set the size of the second disparity information to a value larger than the first disparity information and transmit the graphic object so that the graphic object is always displayed above the image.
  • the controller 130 controls the video processor 110 to give a 3D effect to the image according to the first disparity information.
  • the graphic processor 120 may be controlled to give a three-dimensional effect to the graphic object according to the second disparity information.
  • the first disparity information means information about a depth or disparity of a video that can be referred to as a display criterion of the overlay layer.
  • the second disparity information refers to an explicit value directly indicating the depth or disparity of the overlay layer.
  • the display apparatus includes a video processor 110, a graphics processor 120, a receiver 150, and a demultiplexer 160.
  • the demultiplexer 160 refers to a configuration for detecting a video signal and graphic data from a broadcast signal received through the receiver 150. That is, as described above, the receiver 150 may receive a broadcast signal including a video signal, graphic data, first disparity information, and second disparity information. Although not shown in FIG. 4, the receiver 150 may be provided with various components such as an antenna, an RF down converter, a demodulator, an equalizer, and the like. Accordingly, after downconverting the received RF signal to an intermediate band, demodulation and equalization may be performed to restore the signal to the demultiplexer 160. The demultiplexer 160 demultiplexes the provided signal, thereby providing a video signal to the video processor 110 and providing graphic data to the graphic processor 120.
  • the broadcast signal may include an audio signal, and thus an audio processor (not shown) for processing the audio signal may be further included.
  • an audio processor not shown
  • the audio signal is not directly related to graphic object processing, illustration and description are omitted above.
  • the first disparity information and the second disparity information may be recorded in a predetermined area provided in the broadcast signal.
  • the broadcast signal may include a program information table area in which program information is recorded, a user data area that can be arbitrarily used by a broadcaster, or a user.
  • the first and second disparity information may be transmitted using these valid areas. This will be described in detail later.
  • the video processor 110 may include a video decoder 111, an L buffer 112, an R buffer 113, an L frame constructer 114, an R frame constructer 115, and a first switch 116. ) Is included.
  • the video decoder 111 decodes the video signal provided from the demultiplexer 160. Specifically, various decodings such as RS decoding, Viterbi decoding, turbo decoding, trellis decoding, or the like may be performed. In addition, although not illustrated in FIG. 4, when data interleaving is performed in the transmission process, a deinterleaver may be provided in the video processor 110 to perform deinterleaving.
  • the left eye image data is stored in the L buffer 112
  • the right eye image data is stored in the R buffer 113.
  • the L frame constructer 114 generates a left eye image frame using data stored in the L buffer 112.
  • the R frame configuration unit 115 generates a right eye image frame using data stored in the R buffer 113.
  • the first switch 116 alternately outputs the left eye image frame and the right eye image frame respectively configured by the L frame configuration unit 114 and the R frame configuration unit 115.
  • a black frame may be displayed between the left eye image frame and the right eye image frame.
  • not only one left eye image frame and one right eye image frame are output at each output, but the same plurality of left eye image frames and the same plurality of right eye image frames may be output.
  • the graphic processor 120 includes a graphic data decoder 121, an L object constructing unit 122, an R object constructing unit 123, and a second switch 124.
  • the graphic data decoder 121 decodes the graphic data provided from the demultiplexer 160.
  • the decoding scheme may correspond to the encoding scheme applied at the transmitting side, and such data encoding and decoding schemes may be applied with known techniques. Therefore, illustration and description of specific decoding schemes and configurations are omitted.
  • the data decoded by the graphic data decoder 121 is provided to the L object constructing unit 122 and the R object constructing unit 123, respectively.
  • the L buffer and the R buffer may be provided and used in the graphic processor 120.
  • the disparity between the left eye graphic object and the right eye graphic object configured in the L object constructing unit 122 and the R object constructing unit 123 is the disparity between the frames envisioned by the L frame constructing unit 114 and the R frame constructing unit 115. Is maintained at a larger value.
  • the second switch 124 alternately outputs the left eye graphic object and the right eye graphic object configured in the L object configuring unit 122 and the R object configuring unit 123 in association with the operation of the first switch 116. Accordingly, the image and the graphic object corresponding thereto may be overlapped with each other while having a different depth on one screen and may be expressed in a 3D manner.
  • the display apparatus includes a video processor 110, a graphics processor 120, a controller 130, a display 140, a receiver 150, a disparity information generator 170, and a storage 180. It includes.
  • the receiver 150 may receive data to be output from the display device. In more detail, it can be received from various sources such as broadcasting stations, web servers, storage media, and playback devices.
  • the received data may include information related to a sense of depth of the image. That is, the receiver 150 may receive first disparity information about the reference layer from an external source.
  • the controller 130 may control the video processor 110 to give a 3D effect to the image according to the received first disparity information.
  • the disparity information generator 170 may be used.
  • the disparity information generator 170 generates second disparity information for the overlay layer.
  • the controller 130 may control the graphic processor 120 to give a 3D effect to the graphic object according to the second disparity information generated by the disparity information generator 170.
  • the second disparity information may be generated in various ways according to the embodiment. That is, when the image is expressed in 3D, the disparity of the reference layer may change every hour.
  • the disparity information generator 170 may verify the disparity by analyzing the first disparity information and then generate the second disparity information using the verification result.
  • the disparity information generator 170 may generate second disparity information so that the overlay layer always has a fixed depth.
  • 6 to 8 illustrate various examples of a method of fixedly determining a disparity of an overlay layer in a display device.
  • the disparity information generator 170 may detect the maximum disparity of the reference layer within an arbitrary stream unit and generate second disparity information based on the detected information.
  • the stream unit may be one GoP (Group of Picture) or one broadcast program unit, a predetermined number of packet units, a fixed time unit, or the like.
  • the disparity information generation unit 170 may use the disparity at time t1 as it is or as a disparity of the overlay layer with the disparity increased by a predetermined value.
  • the second disparity information may be generated accordingly.
  • the second disparity information may be generated by using the disparity of the reference layer at the time t3 at which the graphic object should be displayed. That is, the second disparity information may be determined such that the image and the graphic object are fixedly having the same level of depth as the reference layer at the time when the image and the graphic object are displayed together.
  • the event in which the overlay layer is to be displayed may include a case where a subtitle is input, a confirmation command for checking an OSD menu or an icon, a case where an application or a widget is executed, and a UI window is displayed. In this case, any graphic object is displayed.
  • disparities of a plurality of overlay layers are fixedly determined, respectively.
  • the disparity of the first overlay layer where the subtitle is displayed that is, the graphic plane
  • the second overlay layer on which the OSD menu is displayed that is, the OSD plane
  • the disparity information generator 170 may generate second disparity information so that the overlay layer has a fluid depth. That is, the disparity information generation unit 170 may change the disparity of the overlay layer according to the disparity variation state of the reference layer so that the depth difference maintains a predetermined size, based on the first disparity information. Disparity information may be generated.
  • 9 and 10 are diagrams for describing a method of dynamically determining a disparity of an overlay layer in a display device.
  • the disparity of the reference layer is continuously changed every hour, and the disparity of the overlay layer is changed to maintain a constant interval with respect to the reference layer.
  • FIG. 10 illustrates a state in which a depth of a reference layer is changed in an up and down direction based on a screen of a display device, and in conjunction with this, the depth of the overlay layer is also changed in an up and down direction.
  • the second disparity information may be fixedly or flexibly determined using the first disparity information.
  • the first disparity information may be generated based on the second disparity information.
  • the disparity of the reference layer may be determined to be fluid or fixed.
  • the second disparity information itself may be predetermined and stored in the storage unit 180.
  • the disparity information generator 170 may generate second disparity information with a value stored in the storage 180 regardless of the first disparity information.
  • the disparity information generator 170 may generate first and second disparity information by using the preset disparity information.
  • the storage unit 180 may store arbitrarily determined depth information or disparity information. For example, assuming that the depth of the screen is 0, the reference layer is set such that the disparity varies within about -10 to +10 pixels, the first overlay layer is about +15 pixels, and the second overlay layer is about +20 pixels. Disparity may be set. Such disparity may have various sizes according to the type of display device. That is, in the case of a TV with a large screen size, larger disparity information may be set than in a small display device such as a mobile phone.
  • the disparity information generator 170 may generate first and second disparity information according to the depth information stored in the storage 180, and provide the first and second disparity information to the video processor 110 and the graphic processor 120. .
  • the disparity information generation unit 170 may analyze the disparity of the reference layer by comparing the left eye image frame and the right eye image frame configured in the video signal to check the distance between the matching points.
  • the disparity information generator 170 divides the left eye image frame and the right eye image frame into a plurality of blocks, and then compares pixel representative values of the blocks. Accordingly, blocks whose pixel representative values fall within the similar range are determined as matching points. Accordingly, the depth map is generated based on the movement distance between the determined matching points. In other words, the position of a pixel constituting the subject in the left eye image and the position of a pixel in the right eye image are compared to calculate the difference. Accordingly, an image having a gray level corresponding to the calculated difference, that is, a depth map is generated.
  • the depth may be defined as a distance between a subject and a camera, a distance between a recording medium (eg, film) in which an image of the subject and the subject form, and a degree of three-dimensionality. Accordingly, it can be seen that the distance difference between the point between the left eye image and the right eye image corresponds to disparity, and the larger the value, the more the three-dimensional effect increases.
  • the depth map means that the change state of depth is composed of one image.
  • the disparity information generator 170 may determine the disparity information of the overlay layer based on the depth map, and may fix the second disparity information in a fixed or fluid manner.
  • a plurality of overlay layers may be provided, and different types of graphic objects may be displayed on each overlay layer.
  • a graphic object such as an OSD menu may be displayed on an uppermost overlay layer, and a graphic object such as a caption may be displayed on an overlay layer positioned below it. This display order may be changed according to a user's selection.
  • FIG. 11 illustrates an example of a user interface (UI) for allowing a user to change the display order of graphic objects.
  • UI user interface
  • a plurality of menus a, b, and c are displayed on the screen of the display apparatus 100.
  • a graphic object such as a subtitle may be placed on the top overlay layer, and the remaining graphic objects may be displayed below it.
  • the OSD emphasis mode (b) is selected, a graphic object such as an OSD menu may be disposed on the top overlay layer, and the remaining graphic objects may be displayed below it.
  • the user may directly set the depth of each graphic object by selecting the user setting mode (c). That is, as shown in FIG. 11, when the user setting mode c is selected, a new UI d is displayed.
  • the user can directly set the depth of the graphic subtitles, the depth of the OSD menu, etc. on the UI (d).
  • the depth may be set using a bar graph as shown in FIG. 11, but in addition, the user may set the depth by directly inputting a number or text.
  • the operations performed in the display apparatus have been described. However, the operations may be performed in other apparatuses having no display means.
  • the configuration of the signal processing apparatus will be described as an example of other apparatuses not provided with display means.
  • the signal processing apparatus 200 includes an OSD decoder 210, a memory 220, a PID filter 230, a video decoder 240, a graphics decoder 250, a 3D manager 260, and an OSD buffer. 270, graphics buffer 280, video buffer 290, mux 295.
  • the signal processing device may be a set-top box, a playback device for reproducing various storage media such as a DVD, a Blu-ray, a VCR, or the like, or may be implemented as a chip or a module embedded in the various devices.
  • the OSD decoder 210 reads and decodes the OSD data from the memory 220 according to a user's command to provide the OSD data to the 3D manager 260.
  • the 3D manager unit 260 generates a left eye OSD object and a right eye OSD object by using the provided OSD data.
  • the disparity between the left eye OSD object and the right eye OSD object is set according to the disparity of the overlay layer on which the OSD menu is to be displayed.
  • the generated left eye and right eye OSD menus are stored in the OSD buffer 270.
  • the detector 230 processes this to separate graphic data and video data. Specifically, when the transport stream is a stream conforming to the MPEG-2 standard, the detection unit 230 detects a program specific information (PSI) table from the MPEG-2 transport stream. This allows you to use the Program IDentifier filter to generate all kinds of ATSC programs, System Information Protocol (PSIP) tables, DVB service information (SI), conditional access tables (CAT), DSM-CC messages, and private table data. PSI data can be obtained.
  • PSIP System Information Protocol
  • SI DVB service information
  • CAT conditional access tables
  • DSM-CC messages and private table data.
  • PSI data can be obtained.
  • the detector 230 may separate the video data and the graphic data by using the acquired data. Meanwhile, the detector 230 detects and provides depth packets related to the disparity information of the overlay layer to the 3D manager 260.
  • the graphic data is provided to the graphics decoder 250.
  • the graphic decoder 250 decodes the graphic data and provides the graphic data to the 3D manager 260.
  • the 3D manager 260 generates a left eye graphic object and a right eye graphic object using depth packets provided from the detector 230 and decoded graphic data.
  • the disparity between the left eye and right eye graphic objects is set according to the disparity of the overlay layer where the subtitle is to be displayed.
  • the generated left eye and right eye graphic objects are stored in the graphic buffer 280. As such, the information about the disparity of the overlay layer may be transmitted in the same stream as the video signal or may be transmitted in a separate stream.
  • the video decoder 240 decodes the video data and provides the decoded video data to the video buffer 290.
  • the video signal included in the TS is a 2D signal
  • the 2D image frame is stored in the video buffer 290.
  • the video signal itself includes a left eye image frame and a right eye image frame
  • the left eye image frame and the right eye image frame may be stored in the video buffer 290 without a separate 3D conversion process.
  • the left eye image frame and the right eye image frame may be generated even if the 2D video signal is input.
  • the data stored in the OSD buffer 270, the graphic buffer 280, and the video buffer 290 are combined by the mux 295 to form screen data.
  • the configured data may be transmitted to an external display means through a separately provided interface or stored in a separately provided storage unit.
  • the signal processing apparatus 300 includes a receiver 310, a video processor 320, an audio processor 330, a graphics processor 340, and an interface 350.
  • the receiver 310 receives an input signal.
  • the input signal herein may be not only a broadcast signal transmitted from a broadcast station but also a multimedia signal provided from an internal / external storage medium or a reproduction device.
  • the video signal included in the input signal received by the receiver 310 is provided to the video processor 320.
  • the video processor 320 processes the video signal to form an image that can be displayed on the reference layer.
  • the audio processor 330 generates sound by processing the audio signal included in the input signal.
  • the graphic processor 340 processes the graphic data and configures the graphic object to be displayed on the overlay layer that is higher than the reference layer.
  • the graphic data may be caption data included in the input signal, or may be data provided from another source. For example, it may be an OSD menu, various icons, windows, or the like.
  • Data processed in each processing unit is transmitted by the interface unit 350 to the output means.
  • At least one of the disparity information of the video data, that is, the first disparity information and the disparity information of the graphic data, that is, the second disparity information may be externally determined. It may or may not be provided at all.
  • the video processor 320 detects the first disparity information from the input signal and displays the first disparity information in the image based on the detected first disparity information. Gives a three-dimensional appearance.
  • the graphic processor detects the second disparity information included in the input signal and provides a three-dimensional effect to the graphic object based on the second disparity information.
  • FIG. 14 is a block diagram illustrating a configuration example of a signal processing apparatus when at least one of the first and second disparity information is not provided.
  • the signal processing apparatus 300 may include a receiver 310, a video processor 320, an audio processor 330, a graphic processor 340, an interface 350, a disparity information generator 360, The storage unit 370 is included.
  • the disparity information generator 360 When only the first disparity information is included in the input signal, the disparity information generator 360 generates second disparity information for the overlay layer.
  • the disparity information generator 360 generates the second disparity information such that the disparity of the overlay layer is changed according to the disparity variation state of the reference layer. That is, as described above, the depth of the overlay layer may be flexibly changed.
  • the disparity information generator 360 may generate second disparity information such that the overlay layer has a fixed depth.
  • the disparity information generator 360 provides the generated second disparity information to the graphic processor 340.
  • the graphic processor 340 provides a three-dimensional effect to the graphic object according to the second disparity information generated by the disparity information generator 360.
  • both the first disparity information and the second disparity information may not be included in the input signal.
  • the disparity information generator 360 generates first and second disparity information by using the depth information stored in the storage 370.
  • the video processing unit 320 and the graphic processing unit 340 provide a 3D effect to the image and the graphic object using the first and second disparity information, respectively.
  • the transmitting apparatus 400 includes a video encoder 410, a video packetizer 420, an audio encoder 430, an audio packetizer 440, a data encoder 450, a packetizer 460, and a disc.
  • the parity information processor 470, the mux 480, and an output unit 490 are included.
  • the video encoder 410, the audio encoder 430, and the data encoder 450 encode video data, audio data, and general data, respectively.
  • the video packetizer 420, the audio packetizer 440, and the packetizer 460 configure packets including encoded data, respectively. Specifically, a plurality of packets including a header, payload, parity, and the like are configured.
  • the mux 480 muxes each configured packet. Specifically, the plurality of packets provided from the video packetizer 420, the audio packetizer 440, and the packetizer 460 are combined as many as a predetermined number.
  • the output unit 490 performs processing such as randomization, RS encoding, interleaving, trellis encoding, sink muxing, pilot insertion, modulation, RF up-converting, etc., on the frame in which the packets are combined, and then outputs them through the antenna. .
  • the disparity information processor 470 generates information on at least one disparity among the reference layer and the overlay layer and provides the information to the mux 480. Such information may be recorded in a predetermined field in the stream. Specifically, it may be recorded in a program map table (PMT) descriptor or a user data area. Alternatively, it may be provided through a separate stream.
  • the disparity information may be provided as various parameters such as depth style information and depth control permission information.
  • Table 1 shows the syntax of information for reporting the depth or disparity of the overlay layer.
  • depth_control_permission is a parameter that allows the user to directly adjust the depth of the overlay layer. That is, when this value is 1, the user may perform depth adjustment. On the other hand, if it is 0, even if the depth adjustment is possible in the external playback apparatus or the display apparatus capable of 3D playback, the depth adjustment is not allowed according to the author's intention of production.
  • the depth or disparity of the overlay layer may be provided to the receiver (ie, the display device or the signal processing device) using a function called depth style as follows.
  • the videp-mode is information indicating whether the 2D mode or the 3D mode.
  • 0 means 2D mode
  • 1 means 3D mode.
  • optimized_graphic_depth represents the optimal depth or disparity of the subtitles determined by the author
  • osd_offset represents the depth or disparity of the OSD menu determined by the author.
  • Min_graphic_depth represents the minimum depth or disparity of the overlay layer determined so that no depth reversal occurs
  • max_graphic_depth represents the maximum depth or disparity of the overlay layer for optimizing stereoscopic effect while minimizing user's viewing discomfort.
  • the definition position of the overlay plane depth () as shown in Table 1 may be a PMT descriptor part.
  • the descriptor for overlay_plane_depth may be defined as shown in the following table.
  • the overlay_plane_depth_descriptor may be defined in the manner shown in Table 3 in the user private area of descriptor_tag defined in ISO / IEC 13818-1.
  • overlay_plane_depth () can be defined in the ES User data area, but the definition period is not limited.
  • Video-mode, optimized_graphic_depth, osd_offset, min_graphic_depth, max_graphic_depth, and the like of Table 2 may be set to various values.
  • FIG. 16 shows a screen configuration when a parameter is defined as shown in Table 4.
  • min_graphic_depth is displayed as 10
  • the graphic object 12 is displayed on the overlay layer.
  • each parameter may be defined as shown in Table 5 below.
  • FIG. 17 shows a screen configuration when a parameter is defined as shown in Table 5.
  • various graphic objects may be displayed on at least one overlay layer or reference layer according to the disparity information.
  • a separate PES stream may be defined to define the depth or disparity of the overlay layer.
  • a PES stream having the following format may be provided.
  • data_identifier means an identifier for identifying a stream containing information on the depth or disparity of the overlay layer. Such a separate stream may be received and processed by a receiver having various structures as illustrated in FIGS. 12 to 14.
  • the overlay_plane_depth_segment of Table 6 may be composed of parameters having the same meaning as the depth_style shown in Table 2.
  • overlay_plane_depth_descriptor as shown in Table 3 may be defined as shown in the following table.
  • FIG. 18 is a flowchart illustrating a signal processing method according to an embodiment of the present invention. According to FIG. 18, when a signal is received (S1810), an image is constructed using the received signal (S1820).
  • a graphic object is configured (S1840).
  • the situation in which the graphic data should be displayed includes a user command in which an icon, a window, etc. for other applications or widgets is displayed when a subtitle to be displayed together with an image is present, when a user command for selecting an OSD menu is input, and the like. This may vary as input.
  • the graphic object is created with a three-dimensional effect so that the graphic object can be displayed on an overlay layer that is higher than the layer on which the image is displayed.
  • the information on the disparity of the overlay layer may be provided externally as described above, or may be generated internally in the device based on the disparity of the reference layer, or may be generated using separately stored depth information.
  • the image and graphic object are transmitted to the external device (S1850).
  • the external device may be a display device separately provided outside the device on which the method is performed, or may mean another chip in the same device.
  • Such a signal processing method may be implemented in various ways as described above. That is, other types of graphic objects may be displayed on the plurality of overlays, or the display order between overlay layers may be changed.
  • program for performing the method according to various embodiments of the present disclosure described above may be stored and used in various types of recording media.
  • the code for performing the above-described methods may include random access memory (RAM), flash memory, read only memory (ROM), erasable programmable ROM (EPROM), electronically erasable and programmable ROM (EEPROM), register, hard drive. It may be stored in various types of recording media readable by the terminal, such as a disk, a removable disk, a memory card, a USB memory, a CD-ROM, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

그래픽 객체를 표시하는 디스플레이 장치가 개시된다. 본 장치는, 비디오 신호를 처리하여 영상을 구성하는 비디오 처리부, 그래픽 데이터를 처리하여 그래픽 객체를 구성하는 그래픽 처리부, 영상 및 그래픽 객체를 표시하기 위한 디스플레이부, 영상 및 그래픽 객체 각각에 서로 다른 입체감을 부여하여, 영상이 표시되는 레퍼런스 레이어의 상위인 오버레이 레이어에 그래픽 객체가 표시되는 상태를 유지하도록, 비디오 처리부 및 그래픽 처리부를 제어하는 제어부를 포함한다. 이에 따라, 깊이 역전 현상을 방지할 수 있다.

Description

디스플레이 장치 및 신호 처리 장치와, 그 방법들
본 발명은 디스플레이 장치 및 신호 처리 장치와 그 방법들에 대한 것으로, 보다 상세하게는 입체감 그래픽 객체를 안정적으로 표시하도록 하는 디스플레이 장치 및 신호 처리 장치와 그 방법들에 대한 것이다.
전자 기술의 발달에 힘 입어 다양한 종류의 전자 장치가 개발되고 있다. 특히, 일반 가정에서 가장 많이 사용하고 있는 TV 등과 같은 디스플레이 장치의 경우, 과거에 비해 대형화된 스크린을 갖추고 더 많은 기능을 수행할 수 있는 스마트형 기기로 진화하고 있다.
이에 따라, 디스플레이 장치에서 제공하는 컨텐츠도 단순히 방송 신호에 그치지 않게 되었다. 예를 들어, 다양한 종류의 어플리케이션이나 위젯 프로그램이 설치되어, 사용자에게 제공될 수 있다.
또한, 최근에는 3D(three dimension) 디스플레이 기능을 갖춘 디스플레이 장치도 급속도로 보급되고 있다. 3D 디스플레이 장치는 화면에 표시되는 객체에 입체감을 부여하여, 사용자가 현실감 있는 화면을 시청할 수 있도록 하는 기기이다. 이에 따라 3D 디스플레이 장치에서 출력할 3D 컨텐츠에 대한 개발 노력도 가속화되고 있다.
한편, 3D 디스플레이 기능을 구비한 디스플레이 장치를 보다 효과적으로 이용하고, 최적 시청환경을 제공할 수 있도록, 화면 출력 이외의 기능도 3D 방식에 부합되도록 적절하게 구현할 필요가 있다.
예를 들어, 화면 자막이나 OSD 메뉴 등과 같은 다양한 종류의 그래픽 객체의 경우 이미지와 겹쳐서 디스플레이되게 되는데, 입체감이 큰 컨텐츠의 경우에는 이러한 그래픽 객체가 이미지 뒷 편에 위치하는 것처럼 인식되는 화면 역전 현상이 발생할 수 있다. 이에 따라, 사용자가 3D 컨텐츠를 시청함에 있어서 어지러움 또는 불편함을 느끼게 되는 경우가 있다.
따라서, 비디오 출력과 함께 그래픽 객체가 출력되는 경우, 화면 역전 현상이 방지될 수 있도록 하는 기술에 대한 필요성이 대두되었다.
본 발명은 이상과 같은 필요성에 따른 것으로, 본 발명의 목적은 그래픽 객체가 영상 출력 레이어보다 상위에 표시되는 상태를 유지할 수 있도록 하는 디스플레이 장치 및 신호 처리 장치와 그 방법들을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는, 비디오 신호를 처리하여 영상을 구성하는 비디오 처리부, 그래픽 데이터를 처리하여 그래픽 객체를 구성하는 그래픽 처리부, 상기 영상 및 상기 그래픽 객체를 표시하기 위한 디스플레이부, 상기 영상 및 상기 그래픽 객체 각각에 서로 다른 입체감을 부여하여, 상기 영상이 표시되는 레퍼런스 레이어의 상위인 오버레이 레이어에 상기 그래픽 객체가 표시되는 상태를 유지하도록, 상기 비디오 처리부 및 상기 그래픽 처리부를 제어하는 제어부를 포함한다.
여기서, 외부 소스로부터 상기 레퍼런스 레이어에 대한 제1 디스패리티 정보 및 상기 오버레이 레이어에 대한 제2 디스패리티 정보를 수신하는 수신부를 더 포함할 수 있다.
이 경우, 상기 제어부는 상기 제1 디스패리티 정보에 따라 상기 영상에 입체감을 부여하도록 상기 비디오 처리부를 제어하고, 상기 제2 디스패리티 정보에 따라 상기 그래픽 객체에 입체감을 부여하도록 상기 그래픽 처리부를 제어할 수 있다.
그리고, 상기 수신부는, 상기 비디오 신호, 상기 그래픽 데이터, 상기 제1 디스패리티 정보 및 상기 제2 디스패리티 정보를 포함하는 방송 신호를 수신하며, 상기 비디오 처리부 및 상기 그래픽 처리부는, 상기 방송 신호에 포함된 프로그램 정보 테이블 또는 유저 데이터 영역으로부터 상기 제1 디스패리티 정보 및 상기 제2 디스패리티 정보를 각각 검출할 수 있다.
한편, 본 장치는, 외부 소스로부터 상기 레퍼런스 레이어에 대한 제1 디스패리티 정보를 수신하는 수신부 및 상기 오버레이 레이어에 대한 제2 디스패리티 정보를 생성하는 디스패리티 정보 생성부를 더 포함할 수도 있다.
이 경우, 상기 제어부는 상기 제1 디스패리티 정보에 따라 상기 영상에 입체감을 부여하도록 상기 비디오 처리부를 제어하고, 상기 제2 디스패리티 정보에 따라 상기 그래픽 객체에 입체감을 부여하도록 상기 그래픽 처리부를 제어할 수 있다.
그리고, 상기 디스패리티 정보 생성부는, 상기 레퍼런스 레이어의 디스패리티 변동 상태에 따라 상기 오버레이 레이어의 디스패리티가 변동되어 상기 오버레이 레이어 간의 깊이 차이가 기 설정된 크기를 유지하도록, 상기 제1 디스패리티 정보를 기준으로 상기 제2 디스패리티 정보를 생성할 수 있다.
또는, 상기 디스패리티 정보 생성부는, 상기 오버레이 레이어가 고정된 깊이를 가지도록 상기 제2 디스패리티 정보를 생성할 수도 있다.
그리고, 상기 디스패리티 정보 생성부는, 임의의 스트림 단위 내에서 상기 레퍼런스 레이어의 최대 디스패리티를 검출하여, 검출된 정보를 기준으로 상기 제2 디스패리티 정보를 생성할 수 있다.
또한, 상기 디스패리티 정보 생성부는, 상기 그래픽 객체가 표시되는 시점에서의 상기 레퍼런스 레이어의 디스패리티를 검출하여, 검출된 정보를 기준으로 상기 제2 디스패리티 정보를 생성할 수 있다.
그리고, 기 설정된 깊이 정보가 저장된 저장부 및 상기 깊이 정보에 따라, 상기 레퍼런스 레이어에 대한 제1 디스패리티 정보 및 상기 오버레이 레이어에 대한 제2 디스패리티 정보를 생성하는 디스패리티 정보 생성부를 더 포함할 수도 있다.
이 경우, 상기 제어부는 상기 제1 디스패리티 정보에 따라 상기 영상에 입체감을 부여하도록 상기 비디오 처리부를 제어하고, 상기 제2 디스패리티 정보에 따라 상기 그래픽 객체에 입체감을 부여하도록 상기 그래픽 처리부를 제어할 수 있다.
한편, 상기 오버레이 레이어는 서로 다른 깊이를 가지는 복수 개의 레이어를 포함하며, 각 레이어에는 서로 다른 종류의 그래픽 객체가 표시될 수 있다.
그리고, 상기 각 레이어에 표시되는 그래픽 객체 종류의 표시 순서는 사용자의 선택에 따라 서로 변경 가능하다.
그리고, 상기 그래픽 객체는 OSD 메뉴, 자막, 프로그램 정보, 어플리케이션 아이콘, 어플리케이션 창, GUI 창 중 적어도 하나 이상의 종류의 객체를 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 신호 처리 장치는, 입력 신호를 수신하는 수신부, 상기 입력 신호에 포함된 비디오 신호를 처리하여 레퍼런스 레이어에 디스플레이될 수 있도록 영상을 구성하는 비디오 처리부, 상기 입력 신호에 포함된 오디오 신호를 처리하여 음향을 생성하는 오디오 처리부, 그래픽 데이터를 처리하여 상기 레퍼런스 레이어의 상위인 오버레이 레이어에 디스플레이되도록 그래픽 객체를 구성하는 그래픽 처리부 및 상기 영상, 상기 음향, 상기 그래픽 객체를 출력 수단으로 전송하는 인터페이스부를 더 포함한다.
여기서, 상기 비디오 처리부는 상기 입력 신호에 포함된 제1 디스패리티 정보를 검출하여 상기 제1 디스패리티 정보에 기초하여 상기 영상에 입체감을 부여하고, 상기 그래픽 처리부는, 상기 입력 신호에 포함된 제2 디스패리티 정보를 검출하여 상기 제2 디스패리티 정보에 기초하여 상기 그래픽 객체에 입체감을 부여할 수 있다.
그리고, 본 신호 처리 장치는, 상기 오버레이 레이어에 대한 제2 디스패리티 정보를 생성하는 디스패리티 정보 생성부를 더 포함할 수도 있다.
여기서, 상기 비디오 처리부는 상기 입력 신호에 포함된 제1 디스패리티 정보를 검출하여 상기 제1 디스패리티 정보에 기초하여 상기 영상에 입체감을 부여하고, 상기 그래픽 처리부는 상기 디스패리티 정보 생성부에서 생성한 상기 제2 디스패리티 정보에 따라 상기 그래픽 객체에 입체감을 부여할 수 있다.
그리고, 상기 디스패리티 정보 생성부는, 상기 레퍼런스 레이어의 디스패리티 변동 상태에 따라 상기 오버레이 레이어의 디스패리티가 변동되어 상기 오버레이 레이어 간의 깊이 차이가 기 설정된 크기를 유지하도록, 상기 제1 디스패리티 정보를 기준으로 상기 제2 디스패리티 정보를 생성할 수 있다.
또는, 상기 디스패리티 정보 생성부는, 상기 오버레이 레이어가 고정된 깊이를 가지도록 상기 제2 디스패리티 정보를 생성할 수 있다.
그리고, 상기 디스패리티 정보 생성부는, 임의의 스트림 단위 내에서 상기 레퍼런스 레이어의 최대 디스패리티를 검출하여, 검출된 정보를 기준으로 상기 제2 디스패리티 정보를 생성할 수 있다.
또는, 상기 디스패리티 정보 생성부는, 상기 그래픽 객체가 표시되는 시점에서의 상기 레퍼런스 레이어의 디스패리티를 검출하여, 검출된 정보를 기준으로 상기 제2 디스패리티 정보를 생성할 수 있다.
또한, 본 장치는, 기 설정된 깊이 정보가 저장된 저장부 및 상기 깊이 정보에 따라, 상기 레퍼런스 레이어에 대한 제1 디스패리티 정보 및 상기 오버레이 레이어에 대한 제2 디스패리티 정보를 생성하는 디스패리티 정보 생성부를 더 포함할 수 있다. 그리고, 상기 비디오 처리부는 상기 입력 신호에 포함된 제1 디스패리티 정보를 검출하여 상기 제1 디스패리티 정보에 기초하여 상기 영상에 입체감을 부여하고, 상기 그래픽 처리부는, 상기 입력 신호에 포함된 제2 디스패리티 정보를 검출하여 상기 제2 디스패리티 정보에 기초하여 상기 그래픽 객체에 입체감을 부여할 수 있다.
한편, 상기 오버레이 레이어는 서로 다른 깊이를 가지는 복수 개의 레이어를 포함하며, 각 레이어에는 서로 다른 종류의 그래픽 객체가 표시될 수 있다.
그리고, 상기 각 레이어에 표시되는 그래픽 객체 종류의 표시 순서는 사용자의 선택에 따라 서로 변경 가능하다.
또한, 상기 그래픽 객체는 OSD 메뉴, 자막, 프로그램 정보, 어플리케이션 아이콘, 어플리케이션 창, GUI 창 중 적어도 하나 이상의 종류의 객체를 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 신호 처리 방법은, 비디오 신호를 처리하여 레퍼런스 레이어에 디스플레이될 수 있도록 영상을 구성하는 단계, 그래픽 데이터를 처리하여 상기 레퍼런스 레이어의 상위인 오버레이 레이어에 디스플레이되도록 그래픽 객체를 구성하는 단계 및 상기 영상 및 상기 그래픽 객체를 출력 수단으로 전송하는 단계를 포함한다.
여기서, 외부 소스로부터 상기 레퍼런스 레이어에 대한 제1 디스패리티 정보 및 상기 오버레이 레이어에 대한 제2 디스패리티 정보를 수신하는 수신 단계를 더 포함할 수 있다. 이 경우, 상기 영상은 상기 제1 디스패리티 정보에 따라 입체감이 부여되며, 상기 그래픽 객체는 상기 제2 디스패리티 정보에 따라 입체감이 부여되어 구성될 수 있다.
그리고, 상기 수신단계는, 상기 비디오 신호, 상기 그래픽 데이터, 상기 제1 디스패리티 정보 및 상기 제2 디스패리티 정보를 포함하는 방송 신호를 수신하는 단계, 상기 방송 신호에 포함된 프로그램 정보 테이블 또는 유저 데이터 영역으로부터 상기 제1 디스패리티 정보 및 상기 제2 디스패리티 정보를 각각 검출하는 단계를 포함할 수 있다.
또한, 외부 소스로부터 상기 레퍼런스 레이어에 대한 제1 디스패리티 정보를 수신하는 단계 및 상기 오버레이 레이어에 대한 제2 디스패리티 정보를 생성하는 단계를 더 포함할 수도 있다.
여기서, 상기 영상은 상기 제1 디스패리티 정보에 따라 입체감이 부여되며, 상기 그래픽 객체는 상기 제2 디스패리티 정보에 따라 입체감이 부여되어 구성될 수 있다.
그리고, 상기 제2 디스패리티 정보를 생성하는 단계는, 상기 제1 디스패리티 정보를 분석하여 상기 레퍼런스 레이어의 디스패리티 변동 상태를 확인하는 단계, 상기 레퍼런스 레이어의 디스패리티 변동 상태에 따라 상기 오버레이 레이어의 디스패리티가 변동되어 상기 오버레이 레이어 간의 깊이 차이가 기 설정된 크기를 유지하도록, 상기 제1 디스패리티 정보를 기준으로 상기 제2 디스패리티 정보를 생성하는 단계를 포함할 수 있다.
여기서, 상기 제2 디스패리티 정보는, 상기 오버레이 레이어가 고정된 깊이를 가지도록 생성되는 것일 수 있다.
또는, 상기 제2 디스패리티 정보는, 임의의 스트림 단위 내에서 검출된 상기 레퍼런스 레이어의 최대 디스패리티를 기준으로 생성되는 것일 수도 있다.
또는, 상기 제2 디스패리티 정보는, 상기 그래픽 객체가 표시되는 시점에 검출되는 상기 레퍼런스 레이어의 디스패리티를 기준으로 생성되는 것일 수도 있다.
한편, 본 방법은, 기 설정된 깊이 정보가 저장된 저장부로부터 상기 깊이 정보를 독출하는 단계 및 상기 깊이 정보에 따라, 상기 레퍼런스 레이어에 대한 제1 디스패리티 정보 및 상기 오버레이 레이어에 대한 제2 디스패리티 정보를 생성하는 단계를 더 포함할 수도 있다.
여기서, 상기 영상은 상기 제1 디스패리티 정보에 따라 입체감이 부여되며, 상기 그래픽 객체는 상기 제2 디스패리티 정보에 따라 입체감이 부여되어 구성될 수 있다.
그리고, 상기 오버레이 레이어는 서로 다른 깊이를 가지는 복수 개의 레이어를 포함하며, 각 레이어에는 서로 다른 종류의 그래픽 객체가 표시될 수 있다.
또한, 상기 각 레이어에 표시되는 그래픽 객체 종류의 표시 순서는 사용자의 선택에 따라 서로 변경 가능하다.
그리고, 상기 그래픽 객체는 OSD 메뉴, 자막, 프로그램 정보, 어플리케이션 아이콘, 어플리케이션 창, GUI 창 중 적어도 하나 이상의 종류의 객체를 포함할 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 그래픽 객체가 영상이 출력되는 레이어보다 상위 레이어에 표시되는 상태를 유지할 수 있게 된다. 따라서, 3D 컨텐츠 및 그래픽 객체의 위치가 바뀌는 화면 역전 현상을 방지할 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도,
도 2는 레퍼런스 레이어 및 복수의 오버레이 레이어들의 관계를 설명하기 위한 도면,
도 3 내지 5는 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도,
도 6 내지 도 8은 오버레이 레이어의 디스패리티를 고정시키는 다양한 실시 예를 설명하기 위한 도면,
도 9 및 도 10은 오버레이 레이어의 디스패리티를 유동적으로 변경하는 실시 예를 설명하기 위한 도면,
도 11은 오버레이 레이어의 상태를 변경하기 위한 UI의 일 예를 나타내는 도면,
도 12 내지 도 14는 본 발명의 다양한 실시 예에 따른 신호 처리 장치의 구성을 나타내는 도면,
도 15는 본 발명의 일 실시 예에 따른 방송 송신 장치의 구성을 나타내는 블럭도,
도 16 및 도 17은 프로그램 정보 테이블의 내용에 따라 변경되는 디스플레이 상태를 설명하기 위한 도면,
도 18은 본 발명의 다양한 실시 예에 따른 신호 처리 방법을 설명하기 위한 흐름도이다.
이하에서 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다. 도 1에 따르면, 디스플레이 장치(100)는 비디오 처리부(110), 그래픽 처리부(120), 제어부(130), 디스플레이부(140)를 포함한다. 디스플레이 장치란 TV, PC, 전자 액자, PDA, 휴대폰, 노트북 PC, 태블릿 PC, 전자 책 등과 같이 디스플레이 기능을 구비한 다양한 종류의 장치를 의미한다.
비디오 처리부(110)는 비디오 신호를 처리하여 영상을 구성하는 부분이다. 이러한 비디오 신호는 방송 송신 장치로부터 전송된 방송 신호로부터 검출할 수도 있고, 웹 서버, 내부 또는 외부 저장 매체, 재생 장치 등과 같은 다양한 외부 소스로부터 제공되는 신호일 수도 있다.
비디오 신호는 3D 출력을 위한 스테레오 영상일 수 있다. 스테레오 영상이란 두 개 이상의 영상을 의미한다. 일 예로, 하나의 피사체를 다른 각도에서 촬영한 두 개의 영상, 즉, 제1 입력 영상 및 제2 입력 영상이 스테레오 영상일 수 있다. 편의상 본 명세서에서는 제1 입력 영상을 좌안 영상(또는 좌측 영상), 제2 입력 영상을 우안 영상(또는 우측 영상)이라고 명명하여, 설명하도록 한다. 상술한 바와 같은 다양한 소스에서 좌안 영상 및 우안 영상을 모두 포함하는 스테레오 영상이 그대로 전송된 경우, 비디오 처리부(110)는 이들 데이터들을 각각 디코딩하여 하나의 3D 영상을 구성하는 좌안 이미지 프레임 및 우안 이미지 프레임을 생성할 수 있다.
한편, 비디오 신호는 2D 영상일 수도 있다. 이 경우, 비디오 처리부(110)는 2D 영상에 대한 디코딩, 디인터리빙, 스케일링 등과 같은 다양한 신호 처리를 수행하여 하나의 이미지 프레임으로 구성할 수 있다.
반면, 2D 영상이 입력되는 경우에도 3D 출력을 하고자 한다면, 비디오 처리부(110)는 입력된 2D 영상으로부터 구성되는 하나의 이미지 프레임을 기준 프레임으로 두고, 그 프레임 내의 각 객체들에 해당하는 픽셀의 위치를 쉬프트시켜 새로운 프레임을 생성할 수 있다. 여기서, 기준 프레임은 좌안 이미지 프레임으로 사용되고, 디스패리티를 가지는 새로운 프레임은 우안 이미지 프레임으로 사용될 수 있다.
그래픽 처리부(120)는 그래픽 데이터를 처리하여 그래픽 객체를 구성할 수 있다. 여기서, 그래픽 객체란 영상에 대응되는 자막(subtitle or closed caption)이 될 수 있다. 또한, 이에 한정되지 않고 OSD 메뉴, 프로그램 정보, 어플리케이션 아이콘, 어플리케이션 창, GUI 창 등과 같은 다양한 종류의 객체가 그래픽 처리부(120)에 의해 생성될 수 있다.
제어부(130)는 비디오 처리부(110)에서 구성된 영상, 그래픽 처리부(120)에서 구성된 그래픽 객체들 각각에 서로 다른 입체감을 부여하여 화면 역전 현상이 생기지 않도록 비디오 처리부(110) 및 그래픽 처리부(120)를 제어할 수 있다. 구체적으로는, 제어부(130)는 비디오 처리부(110)에서 3D 방식으로 영상을 구성할 경우 그 3D 영상이 표시되는 레이어보다 깊이 감이 더 큰 레이어에 그래픽 객체가 표시되는 상태를 유지하도록 비디오 처리부(110) 및 그래픽 처리부(120) 각각을 제어할 수 있다.
이하에서는, 영상이 표시되는 레이어를 레퍼런스 레이어라 하고, 그래픽 객체가 표시되는 레이어를 오버레이 레이어(overlay layer)라 한다. 오버레이 레이어에는 영상을 제외한 그래픽적 요소를 가지는 다양한 종류의 그래픽 객체가 표시될 수 있다. 오버레이 레이어의 디스패리티는 영상이 표시되는 레퍼런스 레이어보다 더 큰 값으로 정해질 수 있다. 구체적으로는, 역전이 일어나지 않음을 보장할 수 있는 값으로 정해진다.
디스플레이부(140)는 비디오 처리부(110)에서 구성된 영상 프레임 및 그래픽 처리부(120)에서 구성된 그래픽 객체를 화면상에 디스플레이한다. 여기서, 디스플레이부(140)는 좌안 영상 프레임 및 우안 영상 프레임을 교번적으로 표시하여 영상을 3D 로 표시할 수 있다. 또한, 좌안 그래픽 객체와 우안 그래픽 객체를 교번적으로 표시하여 그래픽 객체도 3D로 표시할 수 있다.
한편, 본 디스플레이 장치(100)가 무안경 방식의 3D 디스플레이 장치로 구현된 경우, 비디오 처리부(110)는 영상을 다시점 영상으로 구성할 수 있고, 그래픽 처리부(120)는 그래픽 객체를 다시점 객체로 구성할 수 있다. 이 경우, 디스플레이부(140)는 다시점 영상 및 다시점 객체를 공간적으로 구분하여 출력하여 안경을 쓰지 않고서도 피사체와의 거리감을 느끼어, 3D 영상으로 인식하도록 할 수 있다. 구체적으로는, 이 경우, 디스플레이부(140)는 패러랙스 배리어(Parallax Barrier) 기술 또는 렌티큘러(Lenticular) 기술에 따른 디스플레이 패널로 구현될 수 있다.
도 2는 레퍼런스 레이어와 오버레이 레이어가 표시되는 상태의 일 예를 나타낸다. 도 2에 따르면, 디스플레이 장치(100)의 화면 상에서는 영상 및 그래픽 객체가 각각 3D 방식으로 출력된다. 3D 방식의 경우, 디스패리티에 따라 다양한 깊이 감이 표시된다. 이와 같이 서로 다른 깊이를 가지는 다수의 객체가 존재할 때, 그 깊이감을 각각 레이어 또는 플레인(plane)이라 칭할 수 있다. 복수의 레이어 중에서 영상이 표시되는 레퍼런스 레이어(10)는 가장 베이스에 해당하며, 그 상위에는 적어도 하나 이상의 오버레이 레이어(20, 30)들이 마련될 수 있다. 도 2에서는 하나의 레퍼런스 레이어(10)를 도시하였으나, 영상이 3D로 표시되는 경우에는 레퍼런스 레이어(10) 자체도 복수 개로 마련될 수 있다. 이 때, 전체 오버레이 레이어들 중 최하위 오버레이 레이어(20)라도, 최상위 레퍼런스 레이어(10)와 최소 동일한 깊이감을 가지거나 더 큰 깊이감을 가지도록 구성된다. 이에 따라, 3D 컨텐츠의 입체감이 크더라도, 그래픽 객체가 항상 영상보다 더 사용자에 가깝게 느껴지도록 표시되어, 역전이 일어나지 않게 된다.
상술한 바와 같이, 다양한 종류의 그래픽 객체들은 하나의 오버레이 레이어에 모두 표시될 수도 있고, 종류에 따라 서로 다른 깊이감을 가지는 복수의 오버레이 레이어에 각각 표시될 수도 있다.
한편, 레퍼런스 레이어의 디스패리티 정보 및 오버레이 레이어의 디스패리티 정보는 다양한 방식으로 제공될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 디스플레이 장치의 세부 구성 예를 나타내는 블럭도이다. 도 3에 따르면, 디스플레이 장치(100)는 비디오 처리부(110), 그래픽 처리부(120), 제어부(130), 디스플레이부(140) 및 수신부(150)를 포함할 수 있다.
일 실시 예에 따르면, 수신부(150)는 외부 소스로부터 레퍼런스 레이어에 대한 제1 디스패리티 정보 및 오버레이 레이어에 대한 제2 디스패리티 정보를 수신할 수 있다.
여기서, 외부 소스란 방송 신호를 전송하는 방송국이 될 수도 있고, 기타 저장 매체, 외부 서버, 재생 장치 등과 같이 다양한 장치가 될 수도 있다. 외부 소스는 그래픽 객체가 항상 영상보다 상위에 표시될 수 있도록 제2 디스패리티 정보의 크기를 제1 디스패리티 정보보다 큰 값으로 설정하여 전송하여 줄 수 있다.
제어부(130)는 수신부(150)에 의해 제1 디스패리티 정보 및 제2 디스패리티 정보 모두가 수신될 경우에는, 제1 디스패리티 정보에 따라 영상에 입체감을 부여하도록 비디오 처리부(110)를 제어하고, 제2 디스패리티 정보에 따라 그래픽 객체에 입체감을 부여하도록 그래픽 처리부(120)를 제어할 수 있다. 여기서 제1 디스패리티 정보란 오버레이 레이어의 표시 기준으로 참조될 수 있는 비디오의 깊이(depth) 또는 디스패리티에 대한 정보를 의미한다. 또한, 제2 디스패리티 정보란 오버레이 레이어의 깊이 또는 디스패리티를 직접적으로 나타내는 명시적인 값을 의미한다. 이러한 제1 및 제2 디스패리티 정보를 이용하여 디스플레이 장치(100)는 화면 역전 현상이 생기지 않으면서, 영상 및 그래픽 객체를 3D 방식으로 표현할 수 있다.
도 4는 비디오 처리부(110) 및 그래픽 처리부(120)의 세부 구성을 설명하기 위한 디스플레이 장치(100)의 구성 예를 나타낸다. 도 4에 따르면, 디스플레이 장치는 비디오 처리부(110), 그래픽 처리부(120), 수신부(150), 디멀티플렉서(160)를 포함한다.
여기서, 디멀티플렉서(160)는 수신부(150)를 통해 수신한 방송 신호로부터 비디오 신호 및 그래픽 데이터를 검출하는 구성을 의미한다. 즉, 상술한 바와 같이, 수신부(150)는 비디오 신호, 그래픽 데이터, 제1 디스패리티 정보 및 제2 디스패리티 정보를 포함하는 방송 신호를 수신할 수 있다. 도 4에서는 도시하지 않았으나, 수신부(150)에는 안테나, RF 다운 컨버터, 복조부, 등화부 등과 같은 다양한 구성들이 마련될 수 있다. 이에 따라, 수신된 RF 신호를 중간 대역으로 다운 컨버팅한 후, 복조 및 등화를 수행하여 신호를 복원하여 디멀티플렉서(160)로 제공할 수 있다. 디멀티플렉서(160)는 제공된 신호를 디멀티플렉싱하여, 비디오 신호는 비디오 처리부(110)로 제공하고, 그래픽 데이터는 그래픽 처리부(120)로 제공한다.
한편, 도 1, 3, 4에서는 도시하지 않았으나, 방송 신호의 경우에는 오디오 신호도 포함되므로 오디오 신호를 처리하는 오디오 처리부(미도시)도 더 포함될 수 있다. 하지만, 오디오 신호는 그래픽 객체 처리와는 직접적인 관련이 없으므로, 이상에서는 도시 및 설명을 생략한다.
한편, 제1 디스패리티 정보 및 제2 디스패리티 정보는 방송 신호에 마련되는 소정 영역에 기록될 수 있다. 일 예로, 방송 신호에는 프로그램 정보가 기록되는 프로그램 정보 테이블 영역, 방송 사업자 또는 사용자들이 임의로 사용할 수 있는 유저 데이터 영역 등이 마련되어 있을 수 있다. 제1 및 제2 디스패리티 정보는 이러한 유효 영역들을 이용하여 전송될 수 있다. 이에 대해서는 후술하는 부분에서 구체적으로 설명한다.
도 4에 따르면, 비디오 처리부(110)는 비디오 디코더(111), L 버퍼(112), R 버퍼(113), L 프레임 구성부(114), R 프레임 구성부(115), 제1 스위치(116)가 포함된다.
비디오 디코더(111)는 디멀티플렉서(160)로부터 제공되는 비디오 신호를 디코딩한다. 구체적으로는 RS 디코딩, 비터비 디코딩, 터보 디코딩, 트렐리스 디코딩 등과 같은 다양한 디코딩 또는 이들의 조합이 이루어질 수 있다. 또한, 도 4에서는 도시되어 있지 않으나, 송신 과정에서 데이터 인터리빙이 이루어진 경우, 비디오 처리부(110) 내에는 디인터리빙을 수행하는 디인터리버가 마련되어 있을 수도 있다.
비디오 디코더(111)에서 디코딩된 데이터 중 좌안 이미지 데이터는 L 버퍼(112)에 저장되고, 우안 이미지 데이터는 R 버퍼(113)에 저장된다.
L 프레임 구성부(114)는 L 버퍼(112)에 저장된 데이터를 이용하여 좌안 이미지 프레임을 생성한다. 또한, R 프레임 구성부(115)는 R 버퍼(113)에 저장된 데이터를 이용하여 우안 이미지 프레임을 생성한다.
제1 스위치(116)는 L 프레임 구성부(114) 및 R 프레임 구성부(115)에서 각각 구성하는 좌안 이미지 프레임 및 우안 이미지 프레임을 교번적으로 출력한다. 이 때, 좌안 이미지 프레임 및 우안 이미지 프레임 사이에는 블랙 프레임이 표시될 수도 있다. 또한, 매 회 출력 시에는 하나의 좌안 이미지 프레임 및 하나의 우안 이미지 프레임만이 출력되는 것이 아니라, 동일한 복수의 좌안 이미지 프레임 및 동일한 복수의 우안 이미지 프레임이 출력될 수도 있다.
한편, 그래픽 처리부(120)는 그래픽 데이터 디코더(121), L 객체(object) 구성부(122), R 객체 구성부(123), 제2 스위치(124)를 포함한다.
그래픽 데이터 디코더(121)는 디멀티플렉서(160)로부터 제공되는 그래픽 데이터를 디코딩한다. 디코딩 방식은 송신 측에서 적용된 인코딩 방식에 대응되는 것일 수 있으며, 이러한 데이터 인코딩 및 디코딩 방식은 공지된 기술이 그대로 적용될 수 있다. 그러므로, 구체적인 디코딩 방식 및 구성에 대해서는 도시 및 설명을 생략한다.
그래픽 데이터 디코더(121)에서 디코딩된 데이터는 각각 L 객체 구성부(122) 및 R 객체 구성부(123)로 제공된다. 도 4에서는 도시하지 않았으나, 그래픽 처리부(120) 내에서도 L 버퍼, R 버퍼가 마련되어 사용될 수 있음은 물론이다. L 객체 구성부(122) 및 R 객체 구성부(123)에서 구성된 좌안 그래픽 객체 및 우안 그래픽 객체 간의 디스패리티는 L 프레임 구성부(114) 및 R 프레임 구성부(115)에서 구상하는 프레임 간의 디스패리티보다 큰 값으로 유지된다.
제2 스위치(124)는 제1 스위치(116)의 동작과 연동하여, L 객체 구성부(122) 및 R 객체 구성부(123)에서 구성된 좌안 그래픽 객체 및 우안 그래픽 객체를 교번적으로 출력한다. 이에 따라, 영상 및 그에 대응되는 그래픽 객체가 하나의 화면 상에서 서로 다른 깊이감을 가지면서 중첩되어 3D 방식으로 표현될 수 있다.
도 5는 본 발명의 다른 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다. 도 5에 따르면, 디스플레이 장치는 비디오처리부(110), 그래픽 처리부(120), 제어부(130), 디스플레이부(140), 수신부(150), 디스패리티 정보 생성부(170), 저장부(180)를 포함한다.
수신부(150)는 디스플레이 장치에서 출력할 데이터를 수신할 수 있다. 구체적으로는 방송국, 웹 서버, 저장 매체, 재생 장치 등과 같은 다양한 소스로부터 수신할 수 있다.
수신되는 데이터에는 영상의 깊이감과 관련된 정보가 포함되어 있을 수 있다. 즉, 수신부(150)는 외부 소스로부터 레퍼런스 레이어에 대한 제1 디스패리티 정보를 수신할 수 있다.
이에 따라, 제어부(130)는 수신된 제1 디스패리티 정보에 따라 영상에 입체감을 부여하도록 비디오 처리부(110)를 제어할 수 있다.
한편, 그래픽 객체가 표시될 오버레이 레이어의 깊이감에 대한 정보는 포함되지 않을 수 있다. 이와 같이, 수신부(150)를 통해 레퍼런스 레이어에 대한 제1 디스패리티 정보만이 수신 가능한 경우에 디스패리티 정보 생성부(170)가 사용될 수 있다.
즉, 디스패리티 정보 생성부(170)는 오버레이 레이어에 대한 제2 디스패리티 정보를 생성한다. 제어부(130)는 디스패리티 정보 생성부(170)에서 생성한 제2 디스패리티 정보에 따라 그래픽 객체에 입체감을 부여하도록 그래픽 처리부(120)를 제어할 수 있다.
제2 디스패리티 정보는 실시 예에 따라 다양한 방식으로 생성될 수 있다. 즉, 영상이 3D로 표현되는 경우 레퍼런스 레이어의 디스패리티는 매 시간마다 변동될 수 있다. 디스패리티 정보 생성부(170)는 제1 디스패리티 정보를 분석하여 디스패리티를 확인한 후, 확인 결과를 이용하여 제2 디스패리티 정보를 생성할 수 있다.
이 경우, 레퍼런스 레이어의 디스패리티 변동과 무관하게 오버레이 레이어의 디스패리티를 고정시키는 고정형, 레퍼런스 레이어의 디스패리티 변동에 따라 오버레이 레이어의 디스패리티를 변동시키는 유동형이 있을 수 있다.
고정형으로 구현된 경우, 디스패리티 정보 생성부(170)는, 오버레이 레이어가 언제나 고정된 깊이를 가지도록 제2 디스패리티 정보를 생성할 수 있다.
도 6 내지 도 8은 디스플레이 장치에서 오버레이 레이어의 디스패리티를 고정적으로 결정하는 방식에 대한 다양한 예를 나타낸다.
도 6은 시간에 따른 레퍼런스 레이어의 디스패리티의 피크 치를 나타낸다. 도 6에 도시된 바와 같이, 디스패리티 정보 생성부(170)는 임의의 스트림 단위 내에서 레퍼런스 레이어의 최대 디스패리티를 검출하여, 검출된 정보를 기준으로 제2 디스패리티 정보를 생성할 수 있다. 스트림 단위는 하나의 GoP(Group of Picture)가 될 수도 있고, 하나의 방송 프로그램 단위, 정해진 패킷 개수 단위, 고정된 시간 단위 등이 될 수 있다.
도 6에 도시된 바와 같이, t2 시점에 그래픽 객체를 표시하여야 할 이벤트가 발생한 경우, 이전까지의 레퍼런스 레이어의 최대 디스패리티를 확인한다. 이에 따라, t1 시점에 최대 디스패리티를 가졌다고 판단되면, 디스패리티 정보 생성부(170)는 t1 시점의 디스패리티를 그대로 또는, 그 값보다 소정 값을 증대시킨 디스패리티를 오버레이 레이어의 디스패리티로 결정하고, 이에 따라 제2 디스패리티 정보를 생성할 수 있다.
또는, 도 7에 도시된 바와 같이, 그래픽 객체를 표시하여야 하는 시점(t3)의 레퍼런스 레이어의 디스패리티를 그대로 사용하여, 제2 디스패리티 정보를 생성할 수도 있다. 즉, 영상과 그래픽 객체가 함께 표시될 그 시점의 레퍼런스 레이어와 동일한 수준의 깊이감을 고정적으로 가지도록 제2 디스패리티 정보가 결정될 수 있다.
이러한 오버레이 레이어가 표시될 이벤트란 자막이 입력되는 경우, OSD 메뉴나 아이콘 등을 확인하기 위한 확인 명령이 입력되는 경우, 어플리케이션이나 위젯 등이 실행되어 UI 창이 표시되는 경우 등이 될 수 있으며, 이 밖에, 그래픽 객체가 표시되는 경우는 모두 포함될 수 있다.
한편, 상술한 바와 같이 오버레이 레이어는 복수개가 될 수 있다.
도 8은 복수 개의 오버레이 레이어의 디스패리티가 고정적으로 각각 결정되는 방식을 나타낸다. 도 8에 따르면, 자막이 표시되는 제1 오버레이 레이어, 즉, Graphic plane의 디스패리티는 레퍼런스 레이어의 최대 디스패리티와 동일한 값으로 결정된다. 반면, OSD 메뉴가 표시되는 제2 오버레이 레이어, 즉, OSD plane은 제1 오버레이 레이어보다 조금 더 큰 디스패리티를 가진다. 이에 따라, 그래픽 객체의 종류 별로 서로 다른 깊이감을 가질 수 있게 된다.
한편, 다른 예로, 디스패리티 정보 생성부(170)는, 오버레이 레이어가 유동적인 깊이감을 가지도록 제2 디스패리티 정보를 생성할 수 있다. 즉, 디스패리티 정보 생성부(170)는, 레퍼런스 레이어의 디스패리티 변동 상태에 따라 오버레이 레이어의 디스패리티도 변동되어 그 깊이 차이가 기 설정된 크기를 유지하도록, 제1 디스패리티 정보를 기준으로 제2 디스패리티 정보를 생성할 수 있다.
도 9 및 도 10은 디스플레이 장치에서 오버레이 레이어의 디스패리티를 유동적으로 결정하는 방식을 설명하기 위한 도면이다.
도 9에 따르면, 레퍼런스 레이어의 디스패리티는 매 시간마다 지속적으로 변화되고, 오버레이 레이어의 디스패리티는 레퍼런스 레이어를 기준으로 일정 간격을 유지하도록 변화되는 것을 알 수 있다.
도 10은 디스플레이 장치의 화면(screen)을 기준으로 레퍼런스 레이어가 상하 방향으로 깊이감이 변동되고, 이에 연동하여 오버레이 레이어 역시 상하 방향으로 깊이감이 변동되는 상태를 나타낸다.
이상과 같이, 제1 디스패리티 정보만이 외부에서 제공되는 경우, 제2 디스패리티 정보는 제1 디스패리티 정보를 이용하여 고정적으로 또는 유동적으로 결정될 수 있게 된다.
한편, 이상에서는 제1 디스패리티 정보만이 제공되는 경우를 설명하였으나, 반드시 이에 한정되는 것은 아니다. 즉, 제2 디스패리티 정보만이 제공되는 경우에도 제2 디스패리티 정보를 기준으로 제1 디스패리티 정보가 생성될 수 있다. 이 경우에도, 유동형 또는 고정형으로 레퍼런스 레이어의 디스패리티가 결정될 수 있음은 물론이다.
한편, 또 다른 실시 예로는, 제2 디스패리티 정보 자체가 임의의 값으로 미리 정해져서 저장부(180)에 저장되어 있을 수도 있다. 이 경우, 디스패리티 정보 생성부(170)는 제1 디스패리티 정보와 상관없이, 저장부(180)에 저장된 값으로 제2 디스패리티 정보를 생성할 수도 있다.
한편, 또 다른 실시 예에 따르면, 제1 디스패리티 정보 및 제2 디스패리티 정보 모두가 외부에서 제공되지 않는 경우도 있을 수 있다. 이 경우에는, 디스패리티 정보 생성부(170)는 기 설정된 디스패리티 정보를 이용하여 제1 및 제2 디스패리티 정보를 생성할 수 있다.
즉, 저장부(180)는 임의로 정해진 깊이 정보 또는 디스패리티 정보가 저장되어 있을 수 있다. 일 예로, 화면의 깊이를 0으로 가정하면, 레퍼런스 레이어는 -10 ~ +10 픽셀 정도 내에서 디스패리티가 변동되도록 설정되고, 제1 오버레이 레이어는 +15 픽셀, 제2 오버레이 레이어는 +20 픽셀 정도로 디스패리티가 설정될 수 있다. 이러한 디스패리티는 디스플레이 장치의 종류에 따라 다양한 크기를 가질 수 있다. 즉, 화면의 크기가 큰 TV의 경우에는 휴대폰과 같은 소형 디스플레이 장치에 비해 좀 더 큰 디스패리티 정보가 설정되어 있을 수 있다.
디스패리티 정보 생성부(170)는 저장부(180)에 저장된 깊이 정보에 따라, 제1 및 제2 디스패리티 정보를 생성하고, 이를 비디오 처리부(110) 및 그래픽 처리부(120)로 제공할 수 있다.
또는, 디스패리티 정보 생성부(170)는 비디오 신호에서 구성된 좌안 이미지 프레임 및 우안 이미지 프레임을 비교하여 매칭 포인트 간의 거리를 확인하여, 레퍼런스 레이어의 디스패리티를 분석할 수 있다.
즉, 디스패리티 정보 생성부(170)는 좌안 이미지 프레임 및 우안 이미지 프레임을 각각 복수 개의 블럭으로 구분한 후, 각 블럭의 픽셀 대표값을 비교한다. 이에 따라 픽셀 대표값이 유사 범위에 들어가는 블럭들을 매칭 포인트로 결정한다. 이에 따라, 결정된 매칭 포인트 간의 이동 거리에 기초하여, 깊이 지도를 생성한다. 즉, 좌안 영상 내에서 피사체를 구성하는 a픽셀의 위치와, 우안 영상 내에서 a 픽셀의 위치를 비교하여 그 차이를 산출한다. 이에 따라, 산출된 차이에 대응하는 그레이 레벨을 가지는 이미지, 즉, 깊이 지도를 생성한다.
깊이란, 피사체와 카메라 간의 거리, 피사체와 피사체의 영상이 맺히는 기록매체(예를 들어, 필름)간의 거리, 입체감의 정도 등으로 정의될 수 있다. 따라서, 좌안 영상과 우안 영상 간의 포인트 간의 거리 차가 곧 디스패리티에 해당하며, 그 값이 클수록 그만큼 더 입체감이 증대함을 알 수 있다. 깊이 지도란, 이러한 깊이의 변화 상태를 하나의 영상으로 구성한 것을 의미한다.
디스패리티 정보 생성부(170)는 이러한 깊이 지도를 바탕으로 오버레이 레이어의 디스패리티 정보를 결정하여, 제2 디스패리티 정보를 고정적 또는 유동적으로 결정할 수 있다.
한편, 상술한 바와 같이, 오버레이 레이어는 복수 개로 마련될 수 있으며, 각 오버레이 레이어에는 서로 다른 종류의 그래픽 객체가 표시될 수 있다. 예를 들어, OSD 메뉴와 같은 그래픽 객체가 최상위 오버레이 레이어에 표시되고, 자막과 같은 그래픽 객체는 그 하위에 위치하는 오버레이 레이어에 표시될 수 있다. 이러한 표시 순서는 사용자의 선택에 따라 변경될 수 있다.
도 11은 사용자가 그래픽 객체의 표시 순서를 변경할 수 있도록 하는 UI(User interface)의 일 예를 나타낸다.
도 11에 따르면, 디스플레이 장치(100)의 화면 상에는 복수의 메뉴(a, b, c)가 표시된다. 사용자가, 이 중 그래픽 강조 모드(a)를 선택하면 자막과 같은 그래픽 객체가 최상위 오버레이 레이어에 배치되고, 나머지 그래픽 객체들은 그 하위에 표시될 수 있다. 또는, OSD 강조 모드(b)가 선택되면, OSD 메뉴와 같은 그래픽 객체가 최상위 오버레이 레이어에 배치되고, 나머지 그래픽 객체들은 그 하위에 표시될 수 있다.
또는, 사용자는 사용자 설정 모드(c)를 선택하여 각 그래픽 객체들의 깊이를 직접 설정할 수 있다. 즉, 도 11에서와 같이, 사용자 설정 모드(c)가 선택되면, 새로운 UI(d)가 표시된다. 사용자는 그 UI(d) 상에서 그래픽 자막의 깊이, OSD 메뉴의 깊이 등을 직접 설정할 수 있다. 이 경우, 도 11과 같이 바 그래프를 이용하여 깊이를 설정할 수도 있지만, 이 밖에, 사용자가 직접 숫자나 텍스트 등을 입력하여 깊이를 설정할 수도 있다.
한편, 상술한 부분에서는 디스플레이 장치에서 수행되는 동작을 설명하였으나, 이러한 동작들은 디스플레이 수단을 구비하지 않은 기타 장치에서도 이루어질 수 있다. 이하에서는, 디스플레이 수단을 구비하지 않은 기타 장치의 일 예로, 신호 처리 장치의 구성에 대하여 설명한다.
도 12는 본 발명의 일 실시 예에 따른 신호 처리 장치의 구성을 나타내는 블럭도이다. 도 12에 따르면, 신호 처리 장치(200)는 OSD 디코더(210), 메모리(220), PID 필터(230), 비디오 디코더(240), 그래픽 디코더(250), 3D 매니저부(260), OSD 버퍼(270), 그래픽 버퍼(280), 비디오 버퍼(290), 먹스(295)를 포함한다. 여기서 신호 처리 장치란 셋탑 박스나, DVD, 블루레이, VCR 등과 같은 각종 저장 매체를 재생하는 재생 장치 등이 될 수도 있으며, 그 밖에, 각종 장치 내에 내장된 칩 또는 모듈로 구현될 수도 있다.
OSD 디코더(210)는 사용자의 코맨드에 따라 OSD 데이터를 메모리(220)로부터 독출한 후 디코딩하여 OSD 데이터를 3D 매니저부(260)로 제공한다. 3D 매니저부(260)는 제공된 OSD 데이터를 이용하여 좌안 OSD 객체 및 우안 OSD 객체를 생성한다. 이 경우, 좌안 OSD 객체 및 우안 OSD 객체 간의 디스패리티는, OSD 메뉴가 표시될 오버레이 레이어의 디스패리티에 맞게 설정된다. 생성된 좌안 및 우안 OSD 메뉴는 OSD 버퍼(270)에 저장된다.
한편, 전송 스트림(Transport Stream : TS)이 수신되면 검출부(230)는 이를 처리하여 그래픽 데이터 및 비디오 데이터를 분리한다. 구체적으로는, 전송 스트림이 MPEG-2 규격에 따른 스트림인 경우, 검출부(230)는 MPEG-2 트랜스포트 스트림으로부터 프로그램 고유 정보 (PSI) 테이블을 검출한다. 이에 따라 PID 필터(Program IDentifier filter)를 사용하여 ATSC 프로그램과 시스템 정보 프로토콜 (PSIP) 테이블, DVB 서비스 정보 (SI), 조건부 액세스 테이블 (CAT), DSM-CC 메시지, Private 테이블 데이터 등, 모든 종류의 PSI 데이터를 취득할 수 있다. 검출부(230)는 취득된 데이터를 이용하여, 비디오 데이터 및 그래픽 데이터를 분리할 수 있다. 한편, 검출부(230)는 오버레이 레이어에 대한 디스패리티 정보와 관련된 depth packets을 검출하여 3D 매니저부(260)로 제공한다.
그래픽 데이터는 그래픽 디코더(250)로 제공된다. 그래픽 디코더(250)는 그래픽 데이터를 디코딩하여 3D 매니저부(260)로 제공한다. 3D 매니저부(260)는 검출부(230)로부터 제공되는 depth packets과, 디코딩된 그래픽 데이터를 이용하여 좌안 그래픽 객체 및 우안 그래픽 객체를 생성한다. 좌안 및 우안 그래픽 객체 간의 디스패리티는, 자막이 표시될 오버레이 레이어의 디스패리티에 맞게 설정된다. 생성된 좌안 및 우안 그래픽 객체는, 그래픽 버퍼(280)에 저장된다. 이와 같이, 오버레이 레이어의 디스패리티에 대한 정보는 비디오 신호와 동일 스트림으로 전송될 수도 있고, 별도의 스트림으로 전송될 수도 있다.
한편, 비디오 디코더(240)는 비디오 데이터를 디코딩하여 비디오 버퍼(290)로 제공한다. TS 내에 포함된 비디오 신호가 2D 신호인 경우, 비디오 버퍼(290)에는 2D 이미지 프레임이 저장된다. 반면, 비디오 신호 자체가 좌안 이미지 프레임 및 우안 이미지 프레임을 포함하는 경우, 별도의 3D 변환 처리 과정 없이도 좌안 이미지 프레임 및 우안 이미지 프레임이 비디오 버퍼(290)에 저장될 수 있다. 도 12에서는 도시를 생략하였으나, 3D 이미지 변환 모듈이 더 포함된 경우, 2D 비디오 신호가 입력되더라도 이를 이용하여 좌안 이미지 프레임 및 우안 이미지 프레임을 생성할 수 있음은 물론이다.
이와 같이 OSD 버퍼(270), 그래픽 버퍼(280), 비디오 버퍼(290)에 저장된 각 데이터들은 먹스(295)에 의해 조합되어 화면 데이터를 구성한다. 구성된 데이터는 별도로 마련된 인터페이스를 통해 외부 디스플레이 수단으로 전송되거나, 별도로 마련된 저장부에 저장될 수 있다.
도 13은 신호 처리 장치의 또 다른 구성을 나타내는 블럭도이다. 도 13에 따르면, 신호 처리 장치(300)는 수신부(310), 비디오 처리부(320), 오디오 처리부(330), 그래픽 처리부(340), 인터페이스부(350)를 포함한다.
수신부(310)는 입력 신호를 수신한다. 여기서의 입력 신호란, 방송국에서 송신하는 방송 신호 뿐만 아니라 내외부저장 매체나 재생 장치 등으로부터 제공되는 멀티 미디어 신호일 수 있다.
수신부(310)에서 수신된 입력 신호에 포함된 비디오 신호는 비디오 처리부(320)로 제공된다. 비디오 처리부(320)는 비디오 신호를 처리하여 레퍼런스 레이어에 디스플레이될 수 있는 영상을 구성한다.
한편, 오디오 처리부(330)는 입력 신호에 포함된 오디오 신호를 처리하여 음향을 생성한다.
그래픽 처리부(340)는 그래픽 데이터를 처리하여 레퍼런스 레이어의 상위인 오버레이 레이어에 디스플레이되도록 그래픽 객체를 구성한다. 여기서 그래픽 데이터는 입력 신호에 함께 포함되는 자막 데이터 등이 될 수도 있고, 다른 소스로부터 제공되는 데이터일 수도 있다. 예를 들어, OSD 메뉴나 각종 아이콘, 창 등이 될 수도 있다.
각 처리부에서 처리된 데이터들은 인터페이스부(350)에 의해 출력 수단으로 전송된다.
한편, 상술한 여러 실시 예들에서 설명한 바와 같이, 비디오 데이터에 대한 디스패리티 정보, 즉, 제1 디스패리티 정보와, 그래픽 데이터에 대한 디스패리티 정보, 즉, 제2 디스패리티 정보 중 적어도 하나는 외부에서 제공될 수도 있고, 모두 제공되지 않을 수도 있다.
일 예로, 제1 및 제2 디스패리티 정보가 입력 신호에 포함되어 있는 경우, 비디오 처리부(320)는 입력 신호로부터 제1 디스패리티 정보를 검출하고, 검출된 제1 디스패리티 정보에 기초하여 영상에 입체감을 부여한다. 반면, 그래픽 처리부는, 입력 신호에 포함된 제2 디스패리티 정보를 검출하여 제2 디스패리티 정보에 기초하여 그래픽 객체에 입체감을 부여한다.
도 14는 제1 및 제2 디스패리티 정보 중 적어도 하나는 제공되지 않는 경우의 신호 처리 장치의 구성 예를 나타내는 블럭도이다. 도 14에 따르면, 신호 처리 장치(300)는 수신부(310), 비디오 처리부(320), 오디오 처리부(330), 그래픽 처리부(340), 인터페이스부(350), 디스패리티 정보 생성부(360), 저장부(370)를 포함한다.
제1 디스패리티 정보만이 입력 신호에 포함되어 있는 경우, 디스패리티 정보 생성부(360)는 오버레이 레이어에 대한 제2 디스패리티 정보를 생성한다.
구체적으로는, 디스패리티 정보 생성부(360)는, 레퍼런스 레이어의 디스패리티 변동 상태에 따라 오버레이 레이어의 디스패리티가 변동되도록 제2 디스패리티 정보를 생성한다. 즉, 상술한 바와 같이 오버레이 레이어의 깊이를 유동적으로 변경할 수 있다.
또는, 디스패리티 정보 생성부(360)는, 오버레이 레이어가 고정된 깊이를 가지도록 제2 디스패리티 정보를 생성할 수도 있다.
이에 대해서는, 상술한 도 6 내지 도 10 부분에서 구체적으로 설명하였으므로, 중복 설명은 생략한다.
디스패리티 정보 생성부(360)는 생성한 제2 디스패리티 정보를 그래픽 처리부(340)로 제공한다. 그래픽 처리부(340)는 디스패리티 정보 생성부(360)에서 생성한 제2 디스패리티 정보에 따라 그래픽 객체에 입체감을 부여한다.
한편, 다른 예에 따르면, 제1 디스패리티 정보 및 제2 디스패리티 정보 모두가 입력 신호에 포함되어 있지 않을 수 있다.
이 경우, 디스패리티 정보 생성부(360)는 저장부(370)에 저장된 깊이 정보를 이용하여, 제1 및 제2 디스패리티 정보를 생성한다.
이에 따라, 비디오 처리부(320) 및 그래픽 처리부(340)는 각각 제1 및 제2 디스패리티 정보를 이용하여 영상 및 그래픽 객체에 입체감을 부여한다.
도 15는 본 발명의 일 실시 예에 따른 송신 장치의 구성을 나타내는 블럭도이다. 도 15에 따르면, 송신 장치(400)는 비디오 인코더(410), 비디오 패킷화부(420), 오디오 인코더(430), 오디오 패킷화부(440), 데이터 인코더(450), 패킷화부(460), 디스패리티 정보 처리부(470), 먹스(480), 출력부(490)를 포함한다.
비디오 인코더(410), 오디오 인코더(430), 데이터 인코더(450)는 각각 비디오 데이터, 오디오 데이터, 일반 데이터를 인코딩한다.
비디오 패킷화부(420), 오디오 패킷화부(440), 패킷화부(460)는 각각 인코딩된 데이터들을 포함하는 패킷을 구성한다. 구체적으로는, 헤더, 페이로드, 패리티 등을 포함하는 복수의 패킷을 구성한다.
먹스(480)는 구성된 각 패킷들을 먹싱한다. 구체적으로는, 비디오 패킷화부(420), 오디오 패킷화부(440), 패킷화부(460)로부터 제공되는 복수의 패킷들을 기 설정된 개수만큼 조합한다.
출력부(490)는 패킷들이 조합된 프레임에 대하여 랜덤화, RS 인코딩, 인터리빙, 트렐리스 인코딩, 싱크 먹싱, 파일럿 삽입, 변조, RF 업 컨버팅 등의 처리를 수행한 후, 안테나를 통해 출력한다.
한편, 디스패리티 정보 처리부(470)는 레퍼런스 레이어 및 오버레이 레이어 중 적어도 하나의 디스패리티에 대한 정보를 생성하여, 먹스(480)로 제공한다. 이러한 정보는 스트림 내에서 기 설정된 필드에 기록될 수 있다. 구체적으로는 PMT(Program map table) 디스크립터(descriptor), 유저 데이터 영역 등에 기록될 수 있다. 또는, 별도의 스트림을 통해 제공될 수도 있다. 이러한 디스패리티 정보들은 뎁스 스타일(depth style) 정보, 뎁스 제어 허용 정보 등과 같은 다양한 파라미터로 제공될 수 있다.
다음에서는 디스패리티 정보의 다양한 예에 대하여 설명한다.
표 1
Overlay_plane_depth(){ No. of bits
...
depth_control_permission 1
reserved 7
if(depth_control_permission =='1'){
depth_style_number 4
reserved 4
for(i=0; i<depth_style_number;i++){
depth_style()
}
....
}
표 1은 오버레이 레이어의 뎁스 또는 디스패리티를 알리기 위한 정보의 신택스를 나타낸다. 표 1에서 depth_control_permission이란 사용자가 오버레이 레이어의 뎁스를 직접 조정할 수 있도록 하는 파라미터이다. 즉, 이 값이 1인 경우, 사용자는 뎁스 조절을 수행할 수 있다. 반면, 0이면, 3D 재생이 가능한 외부 재생 장치 혹은 표시 장치에서 뎁스 조절이 가능하다고 하더라도, 작자(author)의 제작 의도에 따라 뎁스 조절이 허용되지 않게 된다.
한편, 오버레이 레이어의 뎁스 또는 디스패리티는 다음과 같은 뎁스 스타일이라는 함수를 이용하여 수신기(즉, 디스플레이 장치나 신호 처리 장치)측에 제공될 수 있다.
표 2
depth_style() No.of bits
...
video_mode 1
optimized_graphic_depth 8
osd_offset 8
min_graphic_depth 8
max_graphic_depth 8
reserved 7
...
}
여기서, videp-mode란 2D 모드인지 3D 모드인지를 알리는 정보이다. 즉, 0인 경우에는 2D 모드, 1인 경우에는 3D 모드를 의미한다.
optimized_graphic_depth란 작자에 의해 결정된 자막의 최적 뎁스 또는 디스패리티를 나타내고, osd_offset이란 작자에 의해 결정된 OSD 메뉴의 뎁스 또는 디스패리티를 나타낸다.
그리고 min_graphic_depth란 깊이 역전 현상이 발생하지 않도록 정해진 오버레이 레이어의 최소 뎁스 또는 디스패리티를 나타내고, max_graphic_depth란 사용자의 시청 불편을 최소화하면서 입체효과를 최적화시키기 위한 오버레이 레이어의 최대 뎁스 또는 디스패리티를 나타낸다.
한편, 표 1과 같은 오버레이 플레인 뎁스()의 정의 위치는 PMT 디스크립터 부분이 될 수 있다. 구체적으로는 overlay_plane_depth에 대한 디스크립터는 다음 표와 같이 정의될 수 있다.
표 3
overlay_plane_depth_descriptor{ No. of bits
...
descriptor_tag 8
descriptor_length 8
overlay_plane_depth()
...
overlay_plane_depth_descriptor는, ISO/IEC 13818-1에서 정의하고 있는 descriptor_tag의 User private영역에 표 3과 같은 방식으로 정의될 수 있다.
그 밖에, ES User data 영역에도 overlay_plane_depth()에 대하여 정의할 수 있으나, 그 정의 주기에 대해서는 제한을 두지 않는다.
한편, 표 2의 video-mode, optimized_graphic_depth, osd_offset, min_graphic_depth, max_graphic_depth 등은 다양한 값으로 정해질 수 있다.
구체적으로는 아래 표 4와 같이 정의될 수 있다.
표 4
video_mode 0(2D)
min_graphic_depth 10
optimized_graphic_depth 15
max_graphic_depth 20
osd_offset 0
도 16은 표 4와 같이 파라미터가 정의되었을 때의 화면 구성을 나타낸다. 즉, 표 4에서와 같이 osd_offset이 0으로 세팅되면 OSD 메뉴(11)는 영상이 표시되는 레이어, 즉, 레퍼런스 레이어에 표시된다. 반면, min_graphic_depth가 10으로 표시되면, 그래픽 객체(12)는 오버레이 레이어 상에 표시된다.
또는, 각 파라미터들은 아래 표 5와 같이 정의될 수도 있다.
표 5
video_mode 0(2D)
min_graphic_depth 0
optimized_graphic_depth 0
max_graphic_depth 0
osd_offset 10
도 17은 표 5와 같이 파라미터가 정의되었을 때의 화면 구성을 나타낸다. 즉, 표 5에서와 같이 osd_offset이 10으로 세팅되면 OSD 메뉴(11)는 오버레이 레이어 상에 표시된다. 반면, 그래픽 객체(12)는 레퍼런스 레이어에 표시된다.
이와 같이 그래픽 객체에 대한 디스패리티 정보가 외부로부터 제공되는 경우에는 그 디스패리티 정보에 따라 각종 그래픽 객체를 적어도 하나의 오버레이 레이어 또는 레퍼런스 레이어에 표시할 수 있다.
한편, 오버레이 레이어의 뎁스 또는 디스패리티를 정의하기 위해서 별도의 PES 스트림이 정의될 수도 있다. 구체적으로는 다음과 같은 포맷의 PES 스트림이 마련될 수 있다.
표 6
syntax size
PES_data_field(){
data_identifier 8
while nextbits() == sync_byte{
overlay_plane_depth_segment()
}
end_of_PES_data_field_marker 8
}
표 6에서 data_identifier는 오버레이 레이어의 뎁스 또는 디스패리티에 대한 정보를 담고 있는 스트림을 구분하기 위한 식별자를 의미한다. 이러한 별도의 스트림은 도 12 내지 도 14와 같은 다양한 구조의 수신기로 수신되어, 처리될 수 있다.
표 6의 overlay_plane_depth_segment는 표 2와 같은 depth_style과 동일한 의미를 가지는 파라미터들로 구성될 수 있다.
한편, 표 3과 같은 overlay_plane_depth_descriptor는 다음 표와 같이 정의될 수도 있다.
표 7
overlay_plane_depth_descriptor{ No. of bits
descriptor_tag 8
descriptor_length 8
depth_control_permission 1
reserved 7
}
표 7에 따르면, overlay_plane_depth 스트림의 존재 여부를 시그널링할 수 있고, 깊이 조절이 허용 가능한지 여부에 대한 정보도 제공하여 줄 수 있다.
도 18은 본 발명의 일 실시 예에 따른 신호 처리 방법을 설명하기 위한 흐름도이다. 도 18에 따르면, 신호가 수신되면(S1810), 수신된 신호를 이용하여 영상을 구성한다(S1820).
한편, 그래픽 데이터를 표시하여야 하는 상황이면(S1830), 그래픽 객체를 구성한다(S1840). 여기서, 그래픽 데이터를 표시하여야 하는 상황이란, 영상과 함께 표시할 자막이 존재하는 경우, OSD 메뉴 선택을 위한 사용자 명령이 입력되는 경우, 기타 어플리케이션이나 위젯 등에 대한 아이콘, 창 등이 표시되어야 하는 사용자 명령이 입력되는 경우 등과 같이 다양할 수 있다.
한편, 그래픽 객체는, 영상이 표시되는 레이어보다 상위인 오버레이 레이어에서 표시될 수 있도록, 입체감이 부여되어 생성된다. 오버레이 레이어의 디스패리티에 대한 정보는 상술한 바와 같이 외부에서 제공될 수도 있고, 레퍼런스 레이어의 디스패리티를 기초로 장치 내부에서 자체적으로 생성할 수도 있으며, 별도로 저장된 깊이 정보를 이용하여 생성할 수도 있다.
이에 따라 영상, 그래픽 객체는 외부 장치로 전송된다(S1850). 여기서, 외부 장치란 본 방법이 수행되는 장치 외부에 별도로 마련된 디스플레이 장치일 수도 있고, 동일 장치 내의 다른 칩을 의미할 수도 있다.
이러한 신호 처리 방법은, 상술한 바와 같이 다양한 방식으로 구현될 수 있다. 즉, 복수 개의 오버레이 상에 다른 종류의 그래픽 객체가 표시될 수도 있고, 오버레이 레이어들 간의 표시 순서를 변경할 수도 있다.
그 밖에, 흐름도에는 모두 표시하지 않았으나, 상술한 여러 장치들에서 수행되는 동작들은 모두 본 발명의 다양한 실시 예에 따른 신호 처리 방법으로 구현될 수 있다. 이에 대해서는, 상술한 여러 실시 예들에서 구체적으로 설명하였으므로, 중복 설명은 생략한다.
이상과 같이 본 발명의 다양한 실시 예들에 따르면 3D 재생이 가능한 장치에서 영상과 그래픽 객체의 깊이가 역전하는 역전 현상 및 이로 인한 피로감 유발을 미연에 방지할 수 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법을 수행하기 위한 프로그램은 다양한 유형의 기록 매체에 저장되어 사용될 수 있다.
구체적으로는, 상술한 방법들을 수행하기 위한 코드는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (35)

  1. 비디오 신호를 처리하여 영상을 구성하는 비디오 처리부;
    그래픽 데이터를 처리하여 그래픽 객체를 구성하는 그래픽 처리부;
    상기 영상 및 상기 그래픽 객체를 표시하기 위한 디스플레이부;
    상기 영상 및 상기 그래픽 객체 각각에 서로 다른 입체감을 부여하여, 상기 영상이 표시되는 레퍼런스 레이어의 상위인 오버레이 레이어에 상기 그래픽 객체가 표시되는 상태를 유지하도록, 상기 비디오 처리부 및 상기 그래픽 처리부를 제어하는 제어부;를 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    외부 소스로부터 상기 레퍼런스 레이어에 대한 제1 디스패리티 정보 및 상기 오버레이 레이어에 대한 제2 디스패리티 정보를 수신하는 수신부;를 더 포함하며,
    상기 제어부는 상기 제1 디스패리티 정보에 따라 상기 영상에 입체감을 부여하도록 상기 비디오 처리부를 제어하고, 상기 제2 디스패리티 정보에 따라 상기 그래픽 객체에 입체감을 부여하도록 상기 그래픽 처리부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  3. 제2항에 있어서,
    상기 수신부는, 상기 비디오 신호, 상기 그래픽 데이터, 상기 제1 디스패리티 정보 및 상기 제2 디스패리티 정보를 포함하는 방송 신호를 수신하며,
    상기 비디오 처리부 및 상기 그래픽 처리부는, 상기 방송 신호에 포함된 프로그램 정보 테이블 또는 유저 데이터 영역으로부터 상기 제1 디스패리티 정보 및 상기 제2 디스패리티 정보를 각각 검출하는 것을 특징으로 하는 디스플레이 장치.
  4. 제1항에 있어서,
    외부 소스로부터 상기 레퍼런스 레이어에 대한 제1 디스패리티 정보를 수신하는 수신부; 및,
    상기 오버레이 레이어에 대한 제2 디스패리티 정보를 생성하는 디스패리티 정보 생성부;를 더 포함하며,
    상기 제어부는 상기 제1 디스패리티 정보에 따라 상기 영상에 입체감을 부여하도록 상기 비디오 처리부를 제어하고, 상기 제2 디스패리티 정보에 따라 상기 그래픽 객체에 입체감을 부여하도록 상기 그래픽 처리부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  5. 제4항에 있어서,
    상기 디스패리티 정보 생성부는,
    상기 레퍼런스 레이어의 디스패리티 변동 상태에 따라 상기 오버레이 레이어의 디스패리티가 변동되어 상기 오버레이 레이어 간의 깊이 차이가 기 설정된 크기를 유지하도록, 상기 제1 디스패리티 정보를 기준으로 상기 제2 디스패리티 정보를 생성하는 것을 특징으로 하는 디스플레이 장치.
  6. 제4항에 있어서,
    상기 디스패리티 정보 생성부는,
    상기 오버레이 레이어가 고정된 깊이를 가지도록 상기 제2 디스패리티 정보를 생성하는 것을 특징으로 하는 디스플레이 장치.
  7. 제6항에 있어서,
    상기 디스패리티 정보 생성부는,
    임의의 스트림 단위 내에서 상기 레퍼런스 레이어의 최대 디스패리티를 검출하여, 검출된 정보를 기준으로 상기 제2 디스패리티 정보를 생성하는 것을 특징으로 하는 디스플레이 장치.
  8. 제6항에 있어서,
    상기 디스패리티 정보 생성부는,
    상기 그래픽 객체가 표시되는 시점에서의 상기 레퍼런스 레이어의 디스패리티를 검출하여, 검출된 정보를 기준으로 상기 제2 디스패리티 정보를 생성하는 것을 특징으로 하는 디스플레이 장치.
  9. 제1항에 있어서,
    기 설정된 깊이 정보가 저장된 저장부; 및
    상기 깊이 정보에 따라, 상기 레퍼런스 레이어에 대한 제1 디스패리티 정보 및 상기 오버레이 레이어에 대한 제2 디스패리티 정보를 생성하는 디스패리티 정보 생성부;를 더 포함하며,
    상기 제어부는 상기 제1 디스패리티 정보에 따라 상기 영상에 입체감을 부여하도록 상기 비디오 처리부를 제어하고, 상기 제2 디스패리티 정보에 따라 상기 그래픽 객체에 입체감을 부여하도록 상기 그래픽 처리부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 오버레이 레이어는 서로 다른 깊이를 가지는 복수 개의 레이어를 포함하며,
    각 레이어에는 서로 다른 종류의 그래픽 객체가 표시되는 것을 특징으로 하는 디스플레이 장치.
  11. 제10항에 있어서,
    상기 각 레이어에 표시되는 그래픽 객체 종류의 표시 순서는 사용자의 선택에 따라 서로 변경 가능한 것을 특징으로 하는 디스플레이 장치.
  12. 제10항에 있어서,
    상기 그래픽 객체는 OSD 메뉴, 자막, 프로그램 정보, 어플리케이션 아이콘, 어플리케이션 창, GUI 창 중 적어도 하나 이상의 종류의 객체를 포함하는 것을 특징으로 하는 디스플레이 장치.
  13. 입력 신호를 수신하는 수신부;
    상기 입력 신호에 포함된 비디오 신호를 처리하여 레퍼런스 레이어에 디스플레이될 수 있도록 영상을 구성하는 비디오 처리부;
    상기 입력 신호에 포함된 오디오 신호를 처리하여 음향을 생성하는 오디오 처리부;
    그래픽 데이터를 처리하여 상기 레퍼런스 레이어의 상위인 오버레이 레이어에 디스플레이되도록 그래픽 객체를 구성하는 그래픽 처리부; 및,
    상기 영상, 상기 음향, 상기 그래픽 객체를 출력 수단으로 전송하는 인터페이스부;를 더 포함하는 것을 특징으로 하는 신호 처리 장치.
  14. 제13항에 있어서,
    상기 비디오 처리부는 상기 입력 신호에 포함된 제1 디스패리티 정보를 검출하여 상기 제1 디스패리티 정보에 기초하여 상기 영상에 입체감을 부여하고,
    상기 그래픽 처리부는, 상기 입력 신호에 포함된 제2 디스패리티 정보를 검출하여 상기 제2 디스패리티 정보에 기초하여 상기 그래픽 객체에 입체감을 부여하는 것을 특징으로 하는 신호 처리 장치.
  15. 제14항에 있어서,
    상기 오버레이 레이어에 대한 제2 디스패리티 정보를 생성하는 디스패리티 정보 생성부;를 더 포함하며,
    상기 비디오 처리부는 상기 입력 신호에 포함된 제1 디스패리티 정보를 검출하여 상기 제1 디스패리티 정보에 기초하여 상기 영상에 입체감을 부여하고,
    상기 그래픽 처리부는 상기 디스패리티 정보 생성부에서 생성한 상기 제2 디스패리티 정보에 따라 상기 그래픽 객체에 입체감을 부여하는 것을 특징으로 하는 신호 처리 장치.
  16. 제15항에 있어서,
    상기 디스패리티 정보 생성부는,
    상기 레퍼런스 레이어의 디스패리티 변동 상태에 따라 상기 오버레이 레이어의 디스패리티가 변동되어 상기 오버레이 레이어 간의 깊이 차이가 기 설정된 크기를 유지하도록, 상기 제1 디스패리티 정보를 기준으로 상기 제2 디스패리티 정보를 생성하는 것을 특징으로 하는 신호 처리 장치.
  17. 제15항에 있어서,
    상기 디스패리티 정보 생성부는,
    상기 오버레이 레이어가 고정된 깊이를 가지도록 상기 제2 디스패리티 정보를 생성하는 것을 특징으로 하는 신호 처리 장치.
  18. 제17항에 있어서,
    상기 디스패리티 정보 생성부는,
    임의의 스트림 단위 내에서 상기 레퍼런스 레이어의 최대 디스패리티를 검출하여, 검출된 정보를 기준으로 상기 제2 디스패리티 정보를 생성하는 것을 특징으로 하는 신호 처리 장치.
  19. 제17항에 있어서,
    상기 디스패리티 정보 생성부는,
    상기 그래픽 객체가 표시되는 시점에서의 상기 레퍼런스 레이어의 디스패리티를 검출하여, 검출된 정보를 기준으로 상기 제2 디스패리티 정보를 생성하는 것을 특징으로 하는 신호 처리 장치.
  20. 제13항에 있어서,
    기 설정된 깊이 정보가 저장된 저장부; 및
    상기 깊이 정보에 따라, 상기 레퍼런스 레이어에 대한 제1 디스패리티 정보 및 상기 오버레이 레이어에 대한 제2 디스패리티 정보를 생성하는 디스패리티 정보 생성부;를 더 포함하며,
    상기 비디오 처리부는 상기 입력 신호에 포함된 제1 디스패리티 정보를 검출하여 상기 제1 디스패리티 정보에 기초하여 상기 영상에 입체감을 부여하고,
    상기 그래픽 처리부는, 상기 입력 신호에 포함된 제2 디스패리티 정보를 검출하여 상기 제2 디스패리티 정보에 기초하여 상기 그래픽 객체에 입체감을 부여하는 것을 특징으로 하는 신호 처리 장치.
  21. 제13항 내지 제20항 중 어느 한 항에 있어서,
    상기 오버레이 레이어는 서로 다른 깊이를 가지는 복수 개의 레이어를 포함하며,
    각 레이어에는 서로 다른 종류의 그래픽 객체가 표시되는 것을 특징으로 하는 신호 처리 장치.
  22. 제21항에 있어서,
    상기 각 레이어에 표시되는 그래픽 객체 종류의 표시 순서는 사용자의 선택에 따라 서로 변경 가능한 것을 특징으로 하는 신호 처리 장치.
  23. 제21항에 있어서,
    상기 그래픽 객체는 OSD 메뉴, 자막, 프로그램 정보, 어플리케이션 아이콘, 어플리케이션 창, GUI 창 중 적어도 하나 이상의 종류의 객체를 포함하는 것을 특징으로 하는 신호 처리 장치.
  24. 비디오 신호를 처리하여 레퍼런스 레이어에 디스플레이될 수 있도록 영상을 구성하는 단계;
    그래픽 데이터를 처리하여 상기 레퍼런스 레이어의 상위인 오버레이 레이어에 디스플레이되도록 그래픽 객체를 구성하는 단계; 및,
    상기 영상 및 상기 그래픽 객체를 출력 수단으로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 신호 처리 방법.
  25. 제24항에 있어서,
    외부 소스로부터 상기 레퍼런스 레이어에 대한 제1 디스패리티 정보 및 상기 오버레이 레이어에 대한 제2 디스패리티 정보를 수신하는 수신 단계;를 더 포함하며,
    상기 영상은 상기 제1 디스패리티 정보에 따라 입체감이 부여되며, 상기 그래픽 객체는 상기 제2 디스패리티 정보에 따라 입체감이 부여되어 구성되는 것을 특징으로 하는 신호 처리 방법.
  26. 제25항에 있어서,
    상기 수신단계는,
    상기 비디오 신호, 상기 그래픽 데이터, 상기 제1 디스패리티 정보 및 상기 제2 디스패리티 정보를 포함하는 방송 신호를 수신하는 단계;
    상기 방송 신호에 포함된 프로그램 정보 테이블 또는 유저 데이터 영역으로부터 상기 제1 디스패리티 정보 및 상기 제2 디스패리티 정보를 각각 검출하는 단계;를 포함하는 것을 특징으로 하는 신호 처리 방법.
  27. 제24항에 있어서,
    외부 소스로부터 상기 레퍼런스 레이어에 대한 제1 디스패리티 정보를 수신하는 단계; 및,
    상기 오버레이 레이어에 대한 제2 디스패리티 정보를 생성하는 단계;를 더 포함하며,
    상기 영상은 상기 제1 디스패리티 정보에 따라 입체감이 부여되며, 상기 그래픽 객체는 상기 제2 디스패리티 정보에 따라 입체감이 부여되어 구성되는 것을 특징으로 하는 신호 처리 방법.
  28. 제27항에 있어서,
    상기 제2 디스패리티 정보를 생성하는 단계는,
    상기 제1 디스패리티 정보를 분석하여 상기 레퍼런스 레이어의 디스패리티 변동 상태를 확인하는 단계;
    상기 레퍼런스 레이어의 디스패리티 변동 상태에 따라 상기 오버레이 레이어의 디스패리티가 변동되어 상기 오버레이 레이어 간의 깊이 차이가 기 설정된 크기를 유지하도록, 상기 제1 디스패리티 정보를 기준으로 상기 제2 디스패리티 정보를 생성하는 단계;를 포함하는 것을 특징으로 하는 신호 처리 방법.
  29. 제27항에 있어서,
    상기 제2 디스패리티 정보는, 상기 오버레이 레이어가 고정된 깊이를 가지도록 생성되는 것임을 특징으로 하는 신호 처리 방법.
  30. 제29항에 있어서,
    상기 제2 디스패리티 정보는,
    임의의 스트림 단위 내에서 검출된 상기 레퍼런스 레이어의 최대 디스패리티를 기준으로 생성되는 것임을 특징으로 하는 신호 처리 방법.
  31. 제29항에 있어서,
    상기 제2 디스패리티 정보는,
    상기 그래픽 객체가 표시되는 시점에 검출되는 상기 레퍼런스 레이어의 디스패리티를 기준으로 생성되는 것임을 특징으로 하는 신호 처리 방법.
  32. 제24항에 있어서,
    기 설정된 깊이 정보가 저장된 저장부로부터 상기 깊이 정보를 독출하는 단계; 및
    상기 깊이 정보에 따라, 상기 레퍼런스 레이어에 대한 제1 디스패리티 정보 및 상기 오버레이 레이어에 대한 제2 디스패리티 정보를 생성하는 단계;를 더 포함하며,
    상기 영상은 상기 제1 디스패리티 정보에 따라 입체감이 부여되며, 상기 그래픽 객체는 상기 제2 디스패리티 정보에 따라 입체감이 부여되어 구성되는 것을 특징으로 하는 신호 처리 방법.
  33. 제24항 내지 제32항 중 어느 한 항에 있어서,
    상기 오버레이 레이어는 서로 다른 깊이를 가지는 복수 개의 레이어를 포함하며,
    각 레이어에는 서로 다른 종류의 그래픽 객체가 표시되는 것을 특징으로 하는 신호 처리 방법.
  34. 제33항에 있어서,
    상기 각 레이어에 표시되는 그래픽 객체 종류의 표시 순서는 사용자의 선택에 따라 서로 변경 가능한 것을 특징으로 하는 신호 처리 방법.
  35. 제33항에 있어서,
    상기 그래픽 객체는 OSD 메뉴, 자막, 프로그램 정보, 어플리케이션 아이콘, 어플리케이션 창, GUI 창 중 적어도 하나 이상의 종류의 객체를 포함하는 것을 특징으로 하는 신호 처리 방법.
PCT/KR2011/007285 2010-10-01 2011-09-30 디스플레이 장치 및 신호 처리 장치와, 그 방법들 WO2012044128A2 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013531503A JP2013546220A (ja) 2010-10-01 2011-09-30 ディスプレイ装置および信号処理装置並びにその方法
US13/824,818 US20130182072A1 (en) 2010-10-01 2011-09-30 Display apparatus, signal processing apparatus and methods thereof for stable display of three-dimensional objects
CN2011800474498A CN103155577A (zh) 2010-10-01 2011-09-30 显示装置和信号处理装置及其方法
EP11829634.2A EP2624571A4 (en) 2010-10-01 2011-09-30 DISPLAY DEVICE, SIGNAL PROCESSING DEVICE AND CORRESPONDING METHODS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US38877010P 2010-10-01 2010-10-01
US61/388,770 2010-10-01

Publications (3)

Publication Number Publication Date
WO2012044128A2 true WO2012044128A2 (ko) 2012-04-05
WO2012044128A3 WO2012044128A3 (ko) 2012-05-31
WO2012044128A4 WO2012044128A4 (ko) 2012-07-26

Family

ID=45893706

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/007285 WO2012044128A2 (ko) 2010-10-01 2011-09-30 디스플레이 장치 및 신호 처리 장치와, 그 방법들

Country Status (6)

Country Link
US (1) US20130182072A1 (ko)
EP (1) EP2624571A4 (ko)
JP (1) JP2013546220A (ko)
KR (1) KR20120034574A (ko)
CN (1) CN103155577A (ko)
WO (1) WO2012044128A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111741358A (zh) * 2019-03-24 2020-10-02 苹果公司 具有选择性视差效果的堆叠媒体元素

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103329549B (zh) * 2011-01-25 2016-03-09 富士胶片株式会社 立体视频处理器、立体成像装置和立体视频处理方法
US8923686B2 (en) * 2011-05-20 2014-12-30 Echostar Technologies L.L.C. Dynamically configurable 3D display
US20140195983A1 (en) * 2012-06-30 2014-07-10 Yangzhou Du 3d graphical user interface
KR20140061098A (ko) * 2012-11-13 2014-05-21 엘지전자 주식회사 영상표시장치, 및 그 동작방법
CN103841394B (zh) * 2012-11-23 2017-07-07 北京三星通信技术研究有限公司 多层式三维显示器的标定设备和标定方法
KR101289527B1 (ko) * 2012-11-26 2013-07-24 김영민 이동 단말기 및 그 제어방법
WO2014126407A1 (en) * 2013-02-15 2014-08-21 Samsung Electronics Co., Ltd. User terminal and method of displaying image thereof
JP6253307B2 (ja) * 2013-08-21 2017-12-27 キヤノン株式会社 撮像装置、外部装置、撮像システム、撮像装置の制御方法、外部装置の制御方法、撮像システムの制御方法、及びプログラム
CN104581341B (zh) * 2013-10-24 2018-05-29 华为终端有限公司 一种字幕显示方法及字幕显示设备
KR102176474B1 (ko) * 2014-01-06 2020-11-09 삼성전자주식회사 영상표시장치, 영상표시장치의 구동방법 및 영상표시방법
CN109561266A (zh) * 2016-07-26 2019-04-02 青岛海信电器股份有限公司 电视的截屏方法及电视
KR102423295B1 (ko) * 2017-08-18 2022-07-21 삼성전자주식회사 심도 맵을 이용하여 객체를 합성하기 위한 장치 및 그에 관한 방법
CN111133763B (zh) * 2017-09-26 2022-05-10 Lg 电子株式会社 360视频***中的叠加处理方法及其设备
EP3493431A1 (en) * 2017-11-30 2019-06-05 Advanced Digital Broadcast S.A. A method for parallel detection of disparities in a high resolution video
KR20190132072A (ko) * 2018-05-18 2019-11-27 삼성전자주식회사 전자장치, 그 제어방법 및 기록매체
US11222470B1 (en) * 2018-08-21 2022-01-11 Palantir Technologies Inc. Systems and methods for generating augmented reality content
US10937362B1 (en) * 2019-09-23 2021-03-02 Au Optronics Corporation Electronic apparatus and operating method thereof
US11210844B1 (en) 2021-04-13 2021-12-28 Dapper Labs Inc. System and method for creating, managing, and displaying 3D digital collectibles
US11099709B1 (en) 2021-04-13 2021-08-24 Dapper Labs Inc. System and method for creating, managing, and displaying an interactive display for 3D digital collectibles
USD991271S1 (en) 2021-04-30 2023-07-04 Dapper Labs, Inc. Display screen with an animated graphical user interface
US11227010B1 (en) 2021-05-03 2022-01-18 Dapper Labs Inc. System and method for creating, managing, and displaying user owned collections of 3D digital collectibles
US11170582B1 (en) 2021-05-04 2021-11-09 Dapper Labs Inc. System and method for creating, managing, and displaying limited edition, serialized 3D digital collectibles with visual indicators of rarity classifications
US11533467B2 (en) * 2021-05-04 2022-12-20 Dapper Labs, Inc. System and method for creating, managing, and displaying 3D digital collectibles with overlay display elements and surrounding structure display elements
US11830106B2 (en) * 2021-11-19 2023-11-28 Lemon Inc. Procedural pattern generation for layered two-dimensional augmented reality effects

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11113028A (ja) * 1997-09-30 1999-04-23 Toshiba Corp ３次元映像表示装置
US7623140B1 (en) * 1999-03-05 2009-11-24 Zoran Corporation Method and apparatus for processing video and graphics data to create a composite output image having independent and separate layers of video and graphics
JP2005267655A (ja) * 2002-08-29 2005-09-29 Sharp Corp コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生プログラム、コンテンツ再生プログラムを記録した記録媒体、および携帯通信端末
KR100597406B1 (ko) * 2004-06-29 2006-07-06 삼성전자주식회사 Ｏｓｄ 화면 상에서 애니메이션이 진행되는 동안 실시간키입력이 가능한 셋탑박스 및 ｏｓｄ 데이터 출력 방법
JP2010505174A (ja) * 2006-09-28 2010-02-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ メニューディスプレイ
CN101682793B (zh) * 2006-10-11 2012-09-26 皇家飞利浦电子股份有限公司 创建三维图形数据
WO2009083863A1 (en) * 2007-12-20 2009-07-09 Koninklijke Philips Electronics N.V. Playback and overlay of 3d graphics onto 3d video
KR101520659B1 (ko) * 2008-02-29 2015-05-15 엘지전자 주식회사 개인용 비디오 레코더를 이용한 영상 비교 장치 및 방법
US8301013B2 (en) * 2008-11-18 2012-10-30 Panasonic Corporation Reproduction device, reproduction method, and program for stereoscopic reproduction
JP5577348B2 (ja) * 2008-12-01 2014-08-20 アイマックス コーポレイション 内容順応情報を有する３次元動画提示方法及びシステム
WO2010092823A1 (ja) * 2009-02-13 2010-08-19 パナソニック株式会社 表示制御装置
MX2011008609A (es) * 2009-02-17 2011-09-09 Koninklije Philips Electronics N V Combinar datos de imagen tridimensional y graficos.
WO2010099495A2 (en) * 2009-02-27 2010-09-02 Laurence James Claydon Systems, apparatus and methods for subtitling for stereoscopic content
EP2489198A4 (en) * 2009-10-16 2013-09-25 Lg Electronics Inc METHOD FOR DISPLAYING 3D CONTENTS AND DEVICE FOR PROCESSING A SIGNAL
US8605136B2 (en) * 2010-08-10 2013-12-10 Sony Corporation 2D to 3D user interface content data conversion

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2624571A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111741358A (zh) * 2019-03-24 2020-10-02 苹果公司 具有选择性视差效果的堆叠媒体元素
CN111741358B (zh) * 2019-03-24 2022-11-18 苹果公司 用于显示媒体组合物的方法、设备和存储器

Also Published As

Publication number Publication date
JP2013546220A (ja) 2013-12-26
KR20120034574A (ko) 2012-04-12
US20130182072A1 (en) 2013-07-18
WO2012044128A4 (ko) 2012-07-26
WO2012044128A3 (ko) 2012-05-31
EP2624571A4 (en) 2014-06-04
EP2624571A2 (en) 2013-08-07
CN103155577A (zh) 2013-06-12

Similar Documents

Publication Publication Date Title
WO2012044128A2 (ko) 디스플레이 장치 및 신호 처리 장치와, 그 방법들
WO2014054845A1 (en) Content processing apparatus for processing high resolution content and method thereof
WO2011062335A1 (en) Method for playing contents
WO2011059261A2 (en) Image display apparatus and operating method thereof
WO2011136622A2 (en) An apparatus of processing an image and a method of processing thereof
WO2010151027A4 (ko) 영상표시장치 및 그 동작방법
WO2011046279A1 (en) Method for indicating a 3d contents and apparatus for processing a signal
WO2014054847A1 (en) Content processing apparatus for processing high resolution content and content processing method thereof
WO2011059260A2 (en) Image display apparatus and image display method thereof
WO2010064830A2 (ko) 워터마크 삽입 장치 및 방법
WO2016089093A1 (ko) 방송 신호 송수신 방법 및 장치
WO2016114442A1 (en) Method for automatically connecting a short-range communication between two devices and apparatus for the same
WO2013100376A1 (en) Apparatus and method for displaying
WO2009126008A2 (en) Device for recording and playing contents, sever for managing content location information, information recording medium, method for managing content information
WO2011152633A2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
WO2011021894A2 (en) Image display apparatus and method for operating the same
WO2010123324A9 (ko) 영상표시장치 및 그 동작방법
WO2011149315A2 (ko) 컨텐츠 제어 방법 및 그를 이용한 컨텐츠 재생 장치
WO2011028073A2 (en) Image display apparatus and operation method therefore
WO2014025239A1 (ko) 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치
WO2014137053A1 (ko) 영상 처리 장치 및 그 방법
WO2012050366A2 (en) 3d image display apparatus and display method thereof
WO2016137134A1 (en) Broadcast receiving apparatus and method for controlling the same
WO2011129602A2 (ko) 3차원 영상 데이터를 부호화하는 방법 및 장치와 복호화 방법 및 장치
WO2013012227A2 (ko) 3d 서비스 처리 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180047449.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11829634

Country of ref document: EP

Kind code of ref document: A2

REEP Request for entry into the european phase

Ref document number: 2011829634

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011829634

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13824818

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2013531503

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE