WO2011058690A1 - 三次元映像復号装置及び三次元映像復号方法 - Google Patents
三次元映像復号装置及び三次元映像復号方法 Download PDFInfo
- Publication number
- WO2011058690A1 WO2011058690A1 PCT/JP2010/005849 JP2010005849W WO2011058690A1 WO 2011058690 A1 WO2011058690 A1 WO 2011058690A1 JP 2010005849 W JP2010005849 W JP 2010005849W WO 2011058690 A1 WO2011058690 A1 WO 2011058690A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- signal
- encoded
- decoded
- error
- video
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
Definitions
- the present invention relates to a 3D video decoding apparatus and a 3D video decoding method, and more particularly, a first encoded signal obtained by encoding a first viewpoint video signal and a second viewpoint video signal different from the first viewpoint are encoded.
- the present invention relates to a 3D video decoding device that decodes a second encoded signal.
- Patent Document 1 describes a technique for encoding and decoding such a 3D video.
- This three-dimensional video display device displays an image that the viewer feels stereoscopically by displaying an image for the right eye and an image for the left eye that have parallax.
- the 3D video display device alternately displays an image for the right eye and an image for the left eye for each frame.
- the viewer uses glasses that switch between viewing the right eye and the left eye for each frame.
- the viewer can recognize the right-eye image only with the right eye and the left-eye image only with the left eye, so that the image displayed by the 3D video display device can be recognized as 3D.
- the display position in the depth direction (protruding direction) in 3D display changes instantaneously, or instantaneously in 2D.
- an unnatural image may be displayed.
- an object of the present invention is to provide a 3D video decoding apparatus and a 3D video decoding method capable of generating a suitable video when an error occurs and / or during special playback.
- a 3D video decoding apparatus includes a first encoded signal obtained by encoding a video signal of a first viewpoint, and a second viewpoint different from the first viewpoint.
- a decoding unit that generates a second decoded signal by decoding the signal, and determines whether an error has occurred in the first encoded signal and the second encoded signal for each predetermined amount of data
- the error determination unit and the error determination unit determine that an error has occurred in one of the first encoded signal and the second encoded signal to which the corresponding display time is given, and the other Determines that there is no error in the signal If the error data amount of the one signal determined that the error has occurred is determined to be greater than or equal to a first threshold, the output determination unit and the output determination unit When it is determined that the amount is less than the first threshold value, the output determination unit does not output both the first decoded signal and the second decoded signal corresponding to the one signal and the other signal, And an output unit that outputs only the first decoded signal or the second decoded signal obtained by decoding the other signal when the error data amount is determined to be equal to or larger than the first threshold.
- the present invention can provide a 3D video decoding apparatus and a 3D video decoding method capable of generating a suitable video when an error occurs and / or during special playback.
- FIG. 1 is a block diagram of a 3D video display system according to Embodiment 1 of the present invention.
- FIG. 2 is a diagram showing an example of the 3D video signal according to Embodiment 1 of the present invention.
- FIG. 3 is a diagram illustrating an example of a left-eye image and a right-eye image according to Embodiment 1 of the present invention.
- FIG. 4 is a diagram showing another example of the 3D video signal according to Embodiment 1 of the present invention.
- FIG. 5 is a block diagram of the 3D video decoding apparatus according to Embodiment 1 of the present invention.
- FIG. 6 is a diagram showing a configuration of an input video signal according to Embodiment 1 of the present invention.
- FIG. 1 is a block diagram of a 3D video display system according to Embodiment 1 of the present invention.
- FIG. 2 is a diagram showing an example of the 3D video signal according to Embodiment 1 of the present invention.
- FIG. 3 is
- FIG. 7 is a diagram showing the configuration of the left-eye coded signal according to Embodiment 1 of the present invention.
- FIG. 8 is a diagram showing a reference relationship of pictures according to Embodiment 1 of the present invention.
- FIG. 9 is a flowchart of decoding processing by the 3D video decoding apparatus according to Embodiment 1 of the present invention.
- FIG. 10 is a diagram showing an input video signal and an output video signal when an error occurs in the right-eye encoded signal in the 3D video decoding apparatus according to Embodiment 1 of the present invention.
- FIG. 11 is a diagram showing an input video signal and an output video signal when an error occurs in the right-eye encoded signal in the 3D video decoding apparatus according to Embodiment 1 of the present invention.
- FIG. 10 is a diagram showing an input video signal and an output video signal when an error occurs in the right-eye encoded signal in the 3D video decoding apparatus according to Embodiment 1 of the present invention.
- FIG. 11 is a
- FIG. 12 is a flowchart of decoding processing by the 3D video decoding apparatus according to Embodiment 2 of the present invention.
- FIG. 13 is a diagram showing an input video signal and an output video signal when an error occurs in a non-reference encoded picture in the 3D video decoding apparatus according to Embodiment 2 of the present invention.
- FIG. 14 is a diagram showing an input video signal and an output video signal when an error occurs in the reference coded picture of the right-eye coded signal in the 3D video decoding apparatus according to Embodiment 2 of the present invention.
- FIG. 15 is a diagram showing the relationship between error slices and reference areas according to Embodiment 2 of the present invention.
- FIG. 16 is a diagram illustrating an input video signal and an output video signal when an error slice is not included in the reference area in the 3D video decoding apparatus according to Embodiment 2 of the present invention.
- FIG. 17 is a diagram showing an input video signal and an output video signal when an error slice is included in the reference area in the 3D video decoding apparatus according to Embodiment 2 of the present invention.
- FIG. 18 is a block diagram showing a configuration of the 3D video decoding apparatus according to Embodiment 3 of the present invention.
- FIG. 19 is a diagram illustrating complementing processing by the 3D video decoding apparatus according to Embodiment 3 of the present invention.
- FIG. 20 is a flowchart of the complementing process performed by the 3D video decoding apparatus according to Embodiment 3 of the present invention.
- FIG. 21 is a block diagram of a 3D video decoding apparatus according to Embodiment 4 of the present invention.
- FIG. 22 is a flowchart of decoding processing by the 3D video decoding apparatus according to Embodiment 4 of the present invention.
- Embodiment 1 The 3D video decoding apparatus according to Embodiment 1 of the present invention, when an error occurs in one of the left-eye video and right-eye video, the amount of data that cannot be decoded due to the error (for example, consecutive pictures in which an error has occurred) 2), two-dimensional display that displays only normal video is performed. When the amount of data that cannot be decoded due to an error is small, both videos are skipped while maintaining the three-dimensional display. Thereby, the 3D video decoding apparatus according to Embodiment 1 of the present invention can generate a suitable video when an error occurs.
- FIG. 1 is a block diagram showing a configuration of a 3D video display system according to Embodiment 1 of the present invention.
- the 3D video display system 10 shown in FIG. 1 includes a digital television 20, a digital video recorder 30, and shutter glasses 43. Further, the digital television 20 and the digital video recorder 30 are connected via an HDMI (High-Definition Multimedia Interface) cable 40.
- HDMI High-Definition Multimedia Interface
- the digital video recorder 30 processes a 3D video signal recorded on an optical disc 41 such as a BD (Blu-ray Disc), and outputs the processed 3D video signal to the digital television 20 via the HDMI cable 40.
- an optical disc 41 such as a BD (Blu-ray Disc)
- the digital television 20 displays a 3D video signal output by the digital video recorder 30 and a 3D video image indicated by the 3D video signal included in the broadcast wave 42.
- the broadcast wave 42 is a terrestrial digital television broadcast, a satellite digital television broadcast, or the like.
- the digital video recorder 30 may process a 3D video signal recorded on a recording medium other than the optical disk 41 (for example, a hard disk drive, a nonvolatile memory, or the like).
- the digital video recorder 30 may process a 3D video signal included in the broadcast wave 42 or a 3D video signal acquired via a communication network such as the Internet.
- the digital video recorder 30 may process a 3D video signal input to an external input terminal (not shown) or the like by an external device.
- the digital television 20 may display a video indicated by a 3D video signal recorded on the optical disc 41 and other recording media. Further, the digital television 20 may display an image indicated by a 3D video signal acquired via a communication network such as the Internet. Further, the digital television 20 may display an image indicated by a 3D video signal input to an external input terminal (not shown) or the like by an external device other than the digital video recorder 30.
- the digital television 20 may perform a predetermined process on the acquired 3D video signal and display an image indicated by the processed 3D video signal.
- the digital television 20 and the digital video recorder 30 may be connected by a standard cable other than the HDMI cable 40, or may be connected by a wireless communication network.
- the digital video recorder 30 includes an input unit 31, a 3D video decoding device 100, and an HDMI communication unit 33.
- the input unit 31 acquires the input video signal 111 recorded on the optical disc 41.
- the 3D video decoding device 100 generates the output video signal 117 by decoding the input video signal 111.
- the HDMI communication unit 33 outputs the output video signal 117 generated by the 3D video decoding device 100 to the digital television 20 via the HDMI cable 40.
- the digital video recorder 30 may store the generated output video signal 117 in a storage unit (such as a hard disk drive and a non-volatile memory) included in the digital video recorder 30 or can be attached to and detached from the digital video recorder 30. It may be recorded on a simple recording medium (such as an optical disk).
- a storage unit such as a hard disk drive and a non-volatile memory
- the digital television 20 includes an input unit 21, an HDMI communication unit 23, a 3D video decoding device 100B, a display panel 26, and a transmitter 27.
- the input unit 21 acquires the input video signal 56 included in the broadcast wave 42.
- the HDMI communication unit 23 acquires the output video signal 117 output from the HDMI communication unit 33 and outputs it as the input video signal 57.
- the 3D video decoding device 100B generates the output video signal 58 by decoding the input video signal 56 or the input video signal 57.
- the display panel 26 displays the video indicated by the output video signal 58 generated by the 3D video decoding device 100B.
- the transmitter 27 controls the shutter glasses 43 using wireless communication.
- FIG. 2 is a diagram showing an example of 3D video data. As shown in FIG. 2, the 3D video data includes left-eye images 170l and right-eye images 170r that are alternately arranged.
- FIG. 3 is a diagram illustrating an example of the left-eye image 170l and the right-eye image 170r.
- the objects included in the left-eye image 170l and the right-eye image 170r have parallax according to the distance of the object from the shooting position.
- the shutter glasses 43 are, for example, liquid crystal shutter glasses worn by a viewer, and include a left-eye liquid crystal shutter and a right-eye liquid crystal shutter.
- the transmitter 27 controls the opening and closing of the left-eye liquid crystal shutter and the right-eye liquid crystal shutter in accordance with the display timing of the left-eye image 170l and the right-eye image 170r. Specifically, the transmitter 27 opens the left-eye liquid crystal shutter of the shutter glasses 43 and closes the right-eye liquid crystal shutter during the period in which the left-eye image 170l is displayed. Further, the transmitter 27 closes the left-eye liquid crystal shutter of the shutter glasses 43 and opens the right-eye liquid crystal shutter during the period in which the right-eye image 170r is displayed. As described above, the left-eye image 170l and the right-eye image 170r are selectively incident on the viewer's left eye and the right eye, respectively.
- the method of selectively causing the left-eye image 170l and the right-eye image 170r to enter the viewer's left eye and right eye is not limited to this method, and other methods may be used.
- the left-eye lines 175l and the right-eye lines 175r may be arranged in stripes in each picture of the 3D video data.
- the display panel 26 includes a left-eye polarizing film formed on the left-eye pixel and a right-eye polarizing film formed on the right-eye pixel.
- Different polarized light linearly polarized light, circularly polarized light, etc.
- the shutter glasses 43 instead of the shutter glasses 43, by using polarized glasses having left-eye and right-eye polarization filters respectively corresponding to the polarized light, the left-eye line 175l and the left-eye lines 175l and The right-eye line 175r can be incident.
- the arrangement pattern of the left-eye video and the right-eye video in the 3D video data may be other than the horizontal stripe shape.
- the left-eye video and the right-eye video may be arranged in vertical stripes in each picture.
- the left-eye video and the right-eye video may be arranged in a checkered pattern (checkered) in one picture.
- the left-eye image 170l and the right-eye image 170r may be arranged side by side in the vertical direction or the horizontal direction in one picture.
- FIG. 5 is a block diagram showing the configuration of the 3D video decoding apparatus 100 according to Embodiment 1 of the present invention.
- the 3D video decoding apparatus 100 includes a storage unit 101, a decoding unit 103, an error determination unit 104, an output determination unit 105, and an output unit 106.
- the storage unit 101 stores the input video signal 111 and outputs it as the input video signal 112.
- the input video signal 112 is H.264.
- H.264 MVC multi-view video coding
- BD Blu-Ray Disc
- 3D three-dimensional standard stream data.
- FIG. 6 is a diagram showing the configuration of the input video signal 112.
- the input video signal 112 is, for example, a transport stream (MPEG-2 TS) and includes a plurality of TS packets.
- Each TS packet is a left-eye packet 151L in which a left-eye video signal is encoded or a right-eye packet 151R in which a right-eye video signal is encoded.
- the left-eye packet 151L and the right-eye packet 151R are alternately arranged in the input video signal 112. Further, the left-eye packet 151L and the right-eye packet 151R corresponding to images displayed at the same time make a pair, and this pair is called an access unit 152.
- the image displayed at the same time is, for example, an image to which the same PTS (Presentation Time Stamp) is assigned.
- PTS Presentation Time Stamp
- each TS packet is given an identifier indicating whether the packet is the left-eye packet 151L or the right-eye packet 151R. Therefore, the 3D video decoding apparatus 100 refers to the identifier, and encodes the left-eye encoded signal 112L (left-eye packet 151L) in which the video signal of the first viewpoint included in the input video signal 112 is encoded. ) And a right eye encoded signal 112R (right eye packet 151R) obtained by encoding a video signal of a second viewpoint different from the first viewpoint.
- FIG. 7 is a diagram showing the configuration of the encoded signal 112L for the left eye.
- the configuration of the right eye encoded signal 112R is the same.
- the left eye encoded signal 112L includes a plurality of sequence data 160.
- the sequence is a unit corresponding to GOP (Group Of Pictures) in the MPEG2 standard.
- the sequence data 160 includes a sequence header 161 and a plurality of picture data 162.
- the sequence header 161 includes control information common to a plurality of picture data 162 included in the sequence data 160.
- Each picture data 162 includes a picture header 163 and pixel data 164.
- the picture header 163 includes control information for the pixel data 164 included in the picture data 162.
- the pixel data 164 is data obtained by encoding one picture data (hereinafter also referred to as a coded picture).
- Each TS packet shown in FIG. 6 is fixed-length data, and corresponds to, for example, a part of one picture data 162 or one or more picture data 162.
- the decoding unit 103 generates a left-eye decoded signal 113L by decoding the left-eye encoded signal 112L. Further, the decoding unit 103 generates the right-eye decoded signal 113R by decoding the right-eye encoded signal 112R. In addition, the decoding unit 103 outputs a decoded video signal 113 including a left-eye decoded signal 113L and a right-eye decoded signal 113R.
- the left-eye coded signal 112L is a base view that is decoded using only the left-eye coded signal 112L.
- the right eye encoded signal 112R is a dependent view decoded using the right eye encoded signal 112R and the left eye encoded signal 112L.
- the decoding unit 103 generates a quantized coefficient by variable-length decoding the left-eye encoded signal 112L and the right-eye encoded signal 112R.
- the decoding unit 103 generates orthogonal transform coefficients (DCT coefficients) by dequantizing the generated quantized coefficients.
- the decoding unit 103 generates a prediction error by performing inverse orthogonal transform on the generated orthogonal transform coefficient.
- the decoding unit 103 generates a predicted image by performing motion compensation using a reference image that has already been decoded.
- the decoding unit 103 generates a decoded image (decoded video signal 113) by adding the generated prediction error and the predicted image.
- the decoding unit 103 stores the generated decoded image in a memory as a reference image used for subsequent image decoding processing.
- FIG. 8 is a diagram showing a reference relationship when decoding an encoded picture.
- the left-eye encoded signal 112L and the right-eye encoded signal 112R include an encoded I picture, an encoded P picture, and an encoded B picture.
- the encoded I picture, the encoded P picture, and the encoded B picture are encoded pictures obtained by encoding the I picture, the P picture, and the B picture, respectively.
- An I picture is a picture that is encoded using only data in the picture.
- the P picture and the B picture are pictures that are encoded using other I pictures or P pictures.
- the encoded I picture is decoded using only the data in the encoded picture.
- the encoded P picture and the encoded B picture are decoded using data in the encoded picture and data of other decoded pictures (hereinafter, decoded pictures).
- decoded pictures used in the following, using a decoded picture as a reference image is also referred to as referring to the decoded picture.
- the coded picture I2 shown in FIG. 8 is a coded I picture
- the coded pictures P2 and P5 are coded P pictures
- the coded pictures B0, B1, B3, and B4 are coded B pictures.
- the arrow shown in FIG. 8 shows the decoded picture to which each encoded picture refers.
- the encoded P picture and encoded B picture included in the left eye encoded signal 112L refer only to the decoded I picture and decoded P picture included in the left eye decoded signal 113L.
- the encoded P picture and encoded B picture included in the right eye encoded signal 112R are included in the decoded I picture and decoded P picture included in the right eye decoded signal 113R and the left eye decoded signal 113L.
- a decoded picture included in the same access unit 152 as the encoded picture is referred to.
- the encoded picture P2 included in the right-eye encoded signal 112R refers to the decoded picture I2 included in the same access unit 152 as the encoded picture P2.
- the left eye decoded signal 113L is referred to from the right eye encoded signal 112R in the access unit 152, but the left eye decoded signal 113L and the right eye decoded signal 113R are When the video difference is large, the reference in the access unit 152 is not performed. Basically, reference is made only within the access unit 152. That is, the encoded picture of the right-eye encoded signal 112R does not refer to the decoded picture of the left-eye decoded signal 113L included in another access unit 152.
- the decoding unit 103 decodes the left-eye encoded signal 112L with reference to only the decoded left-eye decoded signal 113L. Also, the decoding unit 103 decodes the right-eye encoded signal 112R with reference to the left-eye decoded signal 113L and the right-eye decoded signal 113R that have already been decoded.
- the error determination unit 104 determines whether or not the decoding unit 103 can correctly decode the left-eye encoded signal 112L and whether or not the right-eye encoded signal 112R can be correctly decoded. Specifically, the error determination unit 104 determines whether or not the decoding unit 103 can correctly decode each of the encoded pictures included in the left-eye encoded signal 112L and the right-eye encoded signal 112R. That is, the error determination unit 104 causes data loss and data corruption (hereinafter referred to as an error) in the input video signal 112 (111) due to scratches or dirt on the BD disc, packet loss due to a network distribution error, or the like. It is determined whether or not.
- an error data loss and data corruption
- the error determination unit 104 determines in advance that there is no data of the other picture corresponding to one picture of the left-eye coded signal 112L and the right-eye coded signal 112R, and the data value and format are predetermined. If it is out of the normal range, it is determined that an error has occurred in the video signal. Note that the error determination unit 104 may perform this error determination in units of pictures or in other units (slice units, macroblock units, or multiple picture units).
- the output determination unit 105 It is determined whether the left-eye decoded signal 113L and the right-eye decoded signal 113R are both skipped (not output), or only the decoded signal in which no error has occurred is output.
- the encoded signal 112R for the right eye is decoded with reference to the encoded signal 112L for the left eye. Therefore, when an error occurs in the left-eye encoded signal 112L, the right-eye encoded signal 112R may not be correctly decoded.
- the output determination unit 105 determines that both the left-eye decoded signal 113L and the right-eye decoded signal 113R are to be skipped when an error has occurred in the left-eye encoded signal 112L. Further, when an error has occurred in the right eye encoded signal 112R, the output determination unit 105 determines to output only the left eye decoded signal 113L in which no error has occurred.
- the output determination unit 105 further has a predetermined amount of data (for example, the number of encoded pictures in which an error has occurred) of the right-eye encoded signal 112R determined to be unable to be correctly decoded by the error determination unit 104. It is determined whether or not the first threshold value is exceeded. The output determination unit 105 must output both the left-eye decoded signal 113L and the right-eye decoded signal 113R when the number of consecutive encoded pictures with errors (hereinafter referred to as error pictures) is less than the first threshold. If the number of consecutive error pictures is equal to or greater than the first threshold, it is determined that only the left-eye decoded signal 113L is output.
- error pictures the number of consecutive encoded pictures with errors
- the output unit 106 outputs the left-eye decoded signal 113L and the right-eye decoded signal 113R as the output video signal 117. Further, the output unit 106 does not output both or one of the left-eye decoded signal 113L and the right-eye decoded signal 113R determined to be skipped (not output) by the output determining unit 105.
- skipping means not outputting the data of the corresponding decoded picture or outputting the same data as the previous decoded picture in the video signal of the same viewpoint.
- the decoding unit 103 does not perform the decoding process of the encoded picture corresponding to the decoded picture determined to be skipped by the output determination unit 105.
- the output unit 106 may not perform only the output process.
- FIG. 9 is a flowchart of the decoding process performed by the 3D video decoding apparatus 100.
- the error determination unit 104 determines whether or not an error has occurred in the input video signal 112 (S101).
- the output unit 106 outputs the left-eye decoded signal 113L and the right-eye decoded signal 113R as the output video signal 117 (S102). As a result, a 3D image is displayed on the display panel 26.
- the output unit 106 skips the left-eye decoded signal 113L and the right-eye decoded signal 113R.
- the video signal 117 is output (S104). As a result, the immediately preceding 3D image is displayed on the display panel 26 as it is.
- the output determination unit 105 determines whether or not the amount of data in which the error has occurred is greater than or equal to the first threshold value. (S105).
- the output video signal 117 includes a left-eye output signal 117L and a right-eye output signal 117R.
- the left-eye output signal 117L corresponds to the left-eye decoded signal 113L
- the right-eye output signal 117R corresponds to the right-eye decoded signal 113R.
- the output determination unit 105 includes the PTS assigned to the first encoded picture 170 before decoding of the left-eye encoded signal 112L stored in the storage unit 101, and the right eye stored in the storage unit 101.
- the difference from the PTS assigned to the first encoded picture 171 before decoding of the encoded signal 112R for use is calculated.
- the output determination unit 105 determines that the amount of data in which an error has occurred is greater than or equal to the first threshold if the calculated difference is greater than or equal to the second threshold, and an error occurs if the calculated difference is less than the second threshold.
- the determined data amount is determined to be less than the first threshold value.
- the output determination unit 105 may determine that the amount of data in which an error has occurred is greater than or equal to the first threshold when the right-eye encoded signal 112R is underflowing.
- the output determination unit 105 may perform the same determination using the left-eye decoded signal 113L and the right-eye decoded signal 113R stored in a memory (not shown) that stores the decoded video signal 113. Good.
- the output determination unit 105 determines that the left-eye decoded signal 113L And the output video signal 117 which skipped the decoding signal 113R for right eyes is output.
- the 3D video decoding device 100 skips both the left-eye and right-eye images when the amount of data in which an error has occurred is less than the first threshold.
- the three-dimensional display is maintained.
- the 3D video decoding apparatus 100 can prevent the 3D display from instantaneously switching to the 2D display when the amount of data in which an error has occurred is small. Therefore, the 3D video decoding apparatus 100 can generate a suitable video when an error occurs.
- the 3D video decoding apparatus 100 performs 2D display when the amount of data in which an error has occurred is greater than or equal to the first threshold. Accordingly, the 3D video decoding apparatus 100 can prevent the video from being stopped for a long time when the amount of data in which an error has occurred is large. Therefore, the 3D video decoding apparatus 100 can generate a suitable video when an error occurs.
- the 3D video decoding apparatus 100 outputs both the left-eye decoded signal 113L and the right-eye decoded signal 113R when an error occurs in the left-eye encoded signal 112L. skip. Thereby, it is possible to prevent an error occurring in the left-eye encoded signal 112L from propagating to the right-eye decoded signal 113R generated with reference to the left-eye decoded signal 113L. Further, the 3D video decoding apparatus 100 performs 2D display when an error occurs in the right-eye encoded signal 112R. Thereby, the 3D video decoding apparatus 100 can prevent the video from frequently stopping. Thus, the 3D video decoding apparatus 100 can generate a suitable video when an error occurs.
- the left-eye encoded signal 112L is the base view and the right-eye encoded signal 112R is the dependent view has been described, but the right-eye encoded signal 112R is the base view. Yes, the left-eye encoded signal 112L may be a dependent view.
- the 3D video decoding apparatus 100 processes the video for two viewpoints for the left eye and the right eye. That is, there may be a plurality of dependent views.
- the encoded signal for the right eye 112R is decoded with reference to the decoded signal for the left eye 113L.
- the encoded signal for the right eye 112R and the encoded signal for the left eye 112L are themselves The signal may be decoded with reference to only the decoded signal. Even in this case, the same effect as above can be obtained by switching between skipping both decoded signals or outputting only decoded signals in which no error has occurred according to the amount of data in which an error has occurred. realizable.
- step S103 and the determination process in step S105 may be switched, or some of them may be performed simultaneously.
- FIG. 12 is a flowchart of decoding processing by the 3D video decoding apparatus 100 according to Embodiment 2 of the present invention.
- the error determination unit 104 determines whether an error has occurred in the input video signal 112 (S201).
- the error determination unit 104 determines an error for each encoded picture, and determines whether or not the slice can be correctly decoded for each slice included in the error picture.
- the error determination unit 104 may determine whether or not the partial area can be correctly decoded for each partial area (for example, one or a plurality of macroblocks) in the encoded picture other than the slice unit.
- the output unit 106 outputs the left-eye decoded signal 113L and the right-eye decoded signal 113R as the output video signal 117 (S202). As a result, a 3D image is displayed on the display panel 26.
- the output determination unit 105 next determines whether the encoded picture in which the error has occurred is a reference encoded picture or a non-reference encoded picture. Determination is made (S203).
- the reference encoded picture is a picture to which a decoded picture obtained by decoding the encoded picture is referred when the decoding unit 103 decodes another encoded picture included in the same viewpoint video signal.
- a non-reference coded picture is a picture that is not referenced when a decoded picture obtained by decoding the coded picture is decoded by another decoding picture included in the video signal of the same viewpoint by the decoding unit 103.
- it is an encoded B picture.
- FIG. 13 is a diagram illustrating an example of the input video signal 112 and the output video signal 117 when an error occurs in a non-reference encoded picture (error picture 180).
- the output unit 106 skips the left-eye decoded signal 113L and the right-eye decoded signal 113R until the next decoded picture.
- 117 is output (S204). In other words, the output unit 106 skips the error decoded picture corresponding to the error picture and the decoded picture included in the same access unit 152 as the error decoded picture and included in the video signal of the other viewpoint.
- the output determination unit 105 determines whether the error has occurred in the left-eye coded signal 112L or the right-eye coded signal 112R. Is determined (S205).
- the output determination unit 105 skips the decoded picture until the next sequence.
- FIG. 14 is a diagram illustrating an example of the input video signal 112 and the output video signal 117 when an error occurs in the reference encoded picture (error picture 181) of the right-eye encoded signal 112R.
- the output unit 106 skips the right-eye decoded signal 113R until the next sequence.
- the video signal 117 is output (S206).
- the output determination unit 105 determines that the error slice (hereinafter, error slice) is the error It is determined whether it is included in the reference area 187 of the encoded picture of the encoded signal 112R for the right eye included in the same access unit 152 as the picture (S207).
- FIG. 15 is a diagram showing the relationship between the error slice 186 and the reference area 187.
- the reference area 187 is an area in the decoded picture of the left-eye decoded signal 113L that is associated with each encoded picture included in the right-eye encoded signal 112R and is referenced by the encoded picture. That is, the reference area 187 is an area in the error decoded picture that is referred to by the encoded picture of the right eye encoded signal 112R included in the same access unit 152 as the error picture.
- Reference area designation information indicating the reference area 187 is included in the input video signal 112. Specifically, the reference area designation information is H.264. It is Parallel decoding information SEI in the H.264 MVC standard.
- the decoding unit 103 decodes the encoded picture included in the right-eye encoded signal 112R with reference to the reference area 187 included in the decoded picture of the left-eye decoded signal 113L included in the same access unit 152.
- FIG. 16 is a diagram illustrating an example of the input video signal 112 and the output video signal 117 when the error slice 186 is not included in the reference area 187.
- the output unit 106 skips the left-eye decoded signal 113L until the next sequence. 117 is output (S208).
- FIG. 17 is a diagram illustrating an example of the input video signal 112 and the output video signal 117 when the error slice 186 is included in the reference area 187.
- the output unit 106 decodes the left-eye decoded signal 113L and the right-eye decoded signal 113R until the next sequence. Is output (S209).
- the 3D video decoding apparatus 100 outputs the left-eye decoded signal 113L and the right-eye decoded signal 113R when an error occurs in the left-eye encoded signal 112L. Skip both. Thereby, it is possible to prevent an error occurring in the left-eye encoded signal 112L from propagating to the right-eye decoded signal 113R generated with reference to the left-eye decoded signal 113L. Further, the 3D video decoding apparatus 100 performs 2D display when an error occurs in the right-eye encoded signal 112R. Thereby, the 3D video decoding apparatus 100 can prevent the video from frequently stopping. Thus, the 3D video decoding apparatus 100 can generate a suitable video when an error occurs.
- the 3D video decoding apparatus 100 when the error picture is a non-reference encoded picture, decodes the left-eye decoded signal 113L and the right-eye decoded signal 113R until the next decoded picture. Skip together. Thereby, the 3D video decoding apparatus 100 can minimize the number of pictures to be skipped.
- the 3D video decoding apparatus 100 skips both the left-eye decoded signal 113L and the right-eye decoded signal 113R or the decoded signal in which an error has occurred until the next sequence. To do. Thereby, the 3D video decoding apparatus 100 can prevent an error from propagating to the subsequent decoded picture.
- the 3D video decoding apparatus 100 skips both binocular decoded signals when skipping to the next decoded picture. Thereby, the 3D video decoding apparatus 100 can prevent the displayed video from being displayed in 2D for a moment. In addition, the 3D video decoding apparatus 100 performs 2D display when decoding skipping to the next sequence. Thereby, the 3D video decoding apparatus 100 can prevent the video from being stopped for a long time.
- the 3D video decoding apparatus 100 uses the reference area 187 referred to by the corresponding right-eye encoded signal 112R even when an error occurs in the encoded signal for the left eye 112L.
- the error slice 186 is not included, only the right-eye decoded signal 113R is output. Thereby, the 3D video decoding apparatus 100 can prevent the video from frequently stopping.
- the 3D video decoding apparatus 100 can generate a suitable video when an error occurs.
- the 3D video decoding apparatus 100 selects the decoded signal to be output or skipped according to the results of the plurality of determination processes as described above, but the result of the at least one determination process described above. Depending on, a decoded signal to be output or skipped may be selected.
- the 3D video decoding apparatus 100 When an error occurs in the left eye encoded signal 112L, the left eye decoded signal 113L and the right eye When the left-eye coded signal 112L is skipped and an error occurs in the left-eye coded signal 112L, two-dimensional display processing is performed. (2) When the error picture is a non-reference coded picture, the next decoding is performed. If both the left-eye decoded signal 113L and the right-eye decoded signal 113R are skipped to the picture and the error picture is a reference coded picture, the left-eye decoded signal 113L and the right-eye decoded signal 113R are processed until the next sequence.
- both binocular decoded signals are In the case of skipping and skipping to the next sequence, (2) even if an error occurs in the left eye encoded signal 112L, the corresponding right eye encoded signal 112R refers to.
- the error slice 186 is not included in the reference area 187, one or more of the processes for outputting only the right-eye decoded signal 113R may be performed.
- processing order shown in FIG. 12 is an example, and any other processing order may be used as long as the processing order can obtain the same result. Some processes may be performed simultaneously.
- Embodiment 3 The 3D video decoding apparatus 200 according to Embodiment 3 of the present invention uses the header information in which an error has occurred, other header information included in the video signal of the same viewpoint, or a header included in the video signal of the other viewpoint. Use information to supplement.
- the 3D video decoding apparatus 200 according to Embodiment 3 of the present invention can be used in the 3D video display system 10 shown in FIG. 1 in the same manner as the 3D video decoding apparatus 100 according to Embodiment 1. .
- FIG. 18 is a block diagram showing a configuration of the 3D video decoding apparatus 200 according to Embodiment 3 of the present invention.
- symbol is attached
- the 3D video decoding apparatus 200 includes a storage unit 101, a decoding unit 103, an error determination unit 204, a header information storage unit 207, and an output unit 106.
- the storage unit 101 stores the input video signal 111 and outputs it as the input video signal 112.
- the header information storage unit 207 stores header information.
- the header information is control information included in the sequence header 161 and the picture header 163 shown in FIG.
- the error determination unit 204 determines whether the sequence header 161 and the picture header 163 are normal (whether an error has occurred).
- the error determination unit 204 determines that an error has occurred in the header 161 or the picture header 163. Specifically, the error determination unit 204 detects the next start code during the analysis of the header information, or the payload length of the TS packet is out of a predetermined range, or the IP in network distribution. When packet loss occurs, it is determined that an error has occurred in the header information.
- the error determination unit 204 uses the header information stored in the header information storage unit 207 to determine whether the processing target header information is appropriate. Specifically, the error determination unit 204 determines whether the common header information in the video signal of the same viewpoint is not the same as the header information of the previous sequence, or the difference between the current header information and the previous header information is If it is equal to or greater than a predetermined third threshold, it is determined that an error has occurred in the header information to be processed.
- the complementing unit 208 includes the previous header information in the video signal of the same viewpoint or the video signal of another viewpoint corresponding to the display time.
- the header information in which an error has occurred is complemented using the header information included in the.
- the decoding unit 103 generates the left-eye decoded signal 113L by decoding the left-eye encoded signal 112L using the header information included in the left-eye encoded signal 112L. Further, the decoding unit 103 generates the right-eye decoded signal 113R by decoding the right-eye encoded signal 112R using the header information included in the right-eye encoded signal 112R. In addition, the decoding unit 103 generates a decoded video signal 113 including a left-eye decoded signal 113L and a right-eye decoded signal 113R. In addition, when an error occurs in the header information of the input video signal 112, the decoding unit 103 decodes the input video signal 112 using the header information supplemented by the complementing unit 208.
- the output unit 106 outputs the left-eye decoded signal 113L and the right-eye decoded signal 113R as the output video signal 117.
- FIG. 19 is a diagram illustrating a complementing process performed by the 3D video decoding apparatus 200.
- FIG. 20 is a flowchart of the complementing process performed by the 3D video decoding apparatus 200.
- the input video signal 112 includes a left eye encoded signal 112L, a first right eye encoded signal 112R1, and a second right eye encoded signal 112R2. That is, the right eye encoded signal 112R includes the first right eye encoded signal 112R1 and the second right eye encoded signal 112R2. Both the first right-eye coded signal 112R1 and the second right-eye coded signal 112R2 are dependent views.
- the first right-eye encoded signal 112R1 and the second right-eye encoded signal 112R2 are video signals for the right eye that have different amounts of parallax (shift amounts) with respect to the left-eye encoded signal 112L.
- the decoding unit 103 generates a first right-eye decoded signal by decoding the first right-eye encoded signal 112R1 using the header information included in the first right-eye encoded signal 112R1. To do. Also, the decoding unit 103 generates a second right-eye decoded signal by decoding the second right-eye encoded signal 112R2 using the header information included in the second right-eye encoded signal 112R2. To do. In addition, the decoding unit 103 outputs a decoded video signal 113 including a left-eye decoded signal 113L, a first right-eye decoded signal, and a second right-eye decoded signal.
- the output unit 106 outputs the left-eye decoded signal 113L, the first right-eye decoded signal, and the second right-eye decoded signal as the output video signal 117.
- the decoding unit 103 selectively decodes one of the first right-eye encoded signal 112R1 and the second right-eye encoded signal 112R2 in accordance with an external control signal or the like, so that the right-eye decoded signal is decoded. 113R may be generated.
- the output unit 106 outputs the left-eye decoded signal 113L and the right-eye decoded signal 113R generated by the decoding unit 103 as the output video signal 117.
- the left-eye encoded signal 112L, the first right-eye encoded signal 112R1, and the second right-eye encoded signal 112R2 include an SPS (Sequence Parameter Set) 190. Also, the first right-eye encoded signal 112R1 and the second right-eye encoded signal 112R2 include SSPS (Subset SPS) 191. The SPS 190 and SSPS 191 are included in the sequence header 161 shown in FIG.
- the SPS 190 is control information common to a plurality of picture data 162 included in the sequence data 160.
- the SSPS 191 is information indicating the relationship of video signals between viewpoints (the relationship between the encoded signal for the left eye 112L, the encoded signal for the first right eye 112R1, and the encoded signal for the second right eye 112R2).
- the complementing unit 208 reads the SPS 190 of another normal sequence included in the encoded signal of the same viewpoint from the header information storage unit 207.
- the SPS 190 in which an error has occurred is replaced with the read normal SPS 190 (S302).
- the complementing unit 208 is not limited to the SPS 190, and may use information of another normal sequence or picture as long as it is the same information in the encoded signal of the same viewpoint.
- the same information in the encoded signal of the same viewpoint is, for example, H.264. H.264MVC standard priority_id and view_id.
- priority_id indicates the priority in decoding of the encoded signal of the viewpoint.
- priority_id indicates the decoding order of the encoded signals of a plurality of viewpoints.
- view_id is information for identifying the encoded signal of the viewpoint. For example, “0” is assigned to the base view, and “1, 2,...” Is assigned to the dependent view.
- the complementing unit 208 replaces the SSPS 191 in which the error has occurred with a normal SSPS 191 included in the encoded signal of another viewpoint (S304).
- the complementing unit 208 uses the information in which the error has occurred as a video signal of another viewpoint included in the same access unit 152. (S306).
- the same information in the access unit is, for example, H.264.
- H.264 these are non_idr_flag and anchor_pic_flag in the H.264 MVC standard, and nal_unit_type and temporal_id in the BD standard.
- Non_idr_flag is information indicating whether or not the picture is an IDR picture.
- the IDR picture is a kind of I picture, and a picture after the IDR picture is prohibited from referring to a picture before the IDR picture.
- This non_idr_flag indicates that at least the base view picture is an IDR picture, and the dependent view picture may not be an IDR picture.
- Anchor_pic_flag is information indicating whether or not the picture is a picture positioned at the head of the sequence.
- Nal_unit_type is information indicating an attribute of data.
- nal_unit_type indicates that the data is header information or an IDR picture.
- Temporal_id is an identifier indicating the decoding order of a plurality of pictures.
- Serial number temporary_id is given to a plurality of consecutive pictures.
- the 3D video decoding apparatus 200 when an error occurs in common header information between different viewpoints and within the same access unit 152, is changed to another viewpoint and the same access unit. Using the header information of the coded picture in 152, the header information in which an error has occurred is complemented. As a result, the 3D video decoding apparatus 200 can appropriately complement the header information in which an error has occurred, so that a suitable video can be generated when an error occurs.
- the 3D video decoding apparatus 200 when an error occurs in the common header information in the video signal of the same viewpoint, Using normal header information of the encoded picture, the header information in which an error has occurred is complemented. As a result, the 3D video decoding apparatus 200 can appropriately complement the header information in which an error has occurred, so that a suitable video can be generated when an error occurs.
- the 3D video decoding apparatus 200 uses the SSPS 191 of another dependent view to complement the SSPS 191 in which the error has occurred.
- the 3D video decoding apparatus 200 can appropriately supplement the SSPS 191 in which an error has occurred, and thus can generate a suitable video when an error occurs.
- the complementing unit 208 not only replaces the header information in which the error has occurred with normal header information included in the video signal of the same viewpoint or in another viewpoint, but also generates an error using the normal header information. You may complement header information.
- the complement unit 208 can complement the non_idr_flag of the base view picture. Furthermore, the complementing unit 208 can complement the non_idr_flag of the dependent view with the value of the non_idr_flag of the complemented base view.
- the complementing unit 208 can complement the dependent view anchor_pic_flag from the stream information of the base view (information indicating the position of the SPS 190 and the I picture).
- the 3D video decoding apparatus 200 (1) when an error occurs in common header information between different viewpoints and within the same access unit 152, Processing for complementing header information in which an error has occurred using the header information of a picture in the same viewpoint and the same access unit 152, and (2) when an error occurs in common header information in the video signal of the same viewpoint, A process of complementing header information in which an error has occurred using normal header information of another sequence or picture within the video signal of the same viewpoint, and (3) other dependents when an error occurs in SSPS 191
- the SSPS 191 of the view is used to complement the SSPS 191 in which an error has occurred, but at least one of the above processes is performed. It may be.
- processing order shown in FIG. 20 is an example, and other processing orders may be used as long as the processing order can obtain the same result. Some processes may be performed simultaneously.
- Embodiment 4 The 3D video decoding apparatus 300 according to Embodiment 4 of the present invention switches between 2D display and 3D display according to the playback mode (normal playback and special playback).
- the 3D video decoding apparatus 300 according to Embodiment 4 of the present invention can be used in the 3D video display system 10 shown in FIG. 1 in the same manner as the 3D video decoding apparatus 100 according to Embodiment 1. .
- FIG. 21 is a block diagram showing a configuration of 3D video decoding apparatus 300 according to Embodiment 4 of the present invention.
- symbol is attached
- the 3D video decoding apparatus 300 decodes the input video signal 111 and outputs an output video signal 117 which is normally reproduced or specially reproduced.
- the 3D video decoding apparatus 300 includes a storage unit 101, a decoding unit 103, a playback mode acquisition unit 304, a depth determination unit 305, and an output unit 106.
- the storage unit 101 stores the input video signal 111 and outputs it as the input video signal 112.
- the reproduction mode acquisition unit 304 acquires a reproduction mode designated by a user operation or the like based on the reproduction mode designation signal 315.
- the playback mode includes a normal playback mode and a special playback mode.
- the special playback mode includes a double speed playback mode (high speed playback mode), a slow playback mode, a frame advance playback mode, a reverse playback mode, a reverse slow playback mode, a reverse frame forward mode, and the like.
- the double-speed playback mode includes a plurality of double-speed playback modes (for example, a 1.3-speed mode, a 1.6-speed mode, a 2-speed mode, etc.) having different speeds.
- the double speed playback mode is a mode in which the picture displayed in the normal playback mode is thinned out and played back.
- the reverse playback mode (reverse slow playback mode and reverse frame advance mode) is a mode for playing back pictures in the reverse order to the picture order displayed in the normal playback mode.
- the decoding unit 103 generates the decoded video signal 113 including the left-eye decoded signal 113L and the right-eye decoded signal 113R by decoding the left-eye encoded signal 112L and the right-eye encoded signal 112R. In addition, the decoding unit 103 generates a decoded video signal 113 that is normally reproduced or specially reproduced by performing a decoding process according to the reproduction mode acquired by the reproduction mode acquisition unit 304.
- the output unit 106 outputs the left-eye decoded signal 113L and the right-eye decoded signal 113R as the output video signal 117. Further, the output unit 106 outputs the left-eye decoded signal 113L and the right-eye decoded signal 113R as the output video signal 117 or outputs the left-eye decoded signal according to the playback mode acquired by the playback mode acquisition unit 304. Whether only 113L is output as the output video signal 117 is switched.
- the depth determination unit 305 uses the information included in the input video signal 112 to determine the depth of the decoded video signal 113 (the depth direction in the three-dimensional display represented by the left-eye decoded signal 113L and the right-eye decoded signal 113R). ) Position) is calculated. Further, the depth determination unit 305 determines whether or not the calculated change amount is equal to or greater than a predetermined fourth threshold value.
- FIG. 22 is a flowchart of the decoding process performed by the 3D video decoding apparatus 300.
- the decoding unit 103 uses the left-eye encoded signal 112L and the right-eye encoded signal 112R. Are decoded to generate a left-eye decoded signal 113L and a right-eye decoded signal 113R. Further, the output unit 106 outputs the left-eye decoded signal 113L and the right-eye decoded signal 113R as the output video signal 117 (S402). As a result, the normally reproduced 3D image is displayed on the display panel 26.
- the decoding unit 103 performs encoding for the left eye.
- the decoding unit 103 By decoding only the signal 112L, a left-eye decoded signal 113L is generated.
- the output unit 106 outputs only the left-eye decoded signal 113L as the output video signal 117 (S407). As a result, the two-dimensional image reproduced in the reverse direction is displayed on the display panel 26.
- the decoding unit 103 When the playback mode acquired by the playback mode acquisition unit 304 is the double speed playback mode and is 1.5 times the speed or higher (Yes in S404 and Yes in S405), the decoding unit 103 outputs the left-eye encoded signal.
- the decoding signal 113L for the left eye is generated by decoding only 112L. Further, the output unit 106 outputs only the left-eye decoded signal 113L as the output video signal 117 (S407). As a result, the 2D video reproduced at double speed is displayed on the display panel 26.
- the depth determination unit 305 When the playback mode acquired by the playback mode acquisition unit 304 is the double speed playback mode and is less than 1.5 times the speed (Yes in S404 and No in S405), the depth determination unit 305 then inputs the input video. A change amount of the depth is calculated from the signal 112, and it is determined whether the calculated change amount is greater than or equal to the fourth threshold value or less than the fourth threshold value (S406).
- the input video signal 112 includes depth information indicating the depth of the decoded video signal 113.
- depth information indicates the depth of the decoded video signal 113.
- the input video signal 112 is different for each divided area. Depth information may be included.
- the depth of the subtitle is corrected using this depth information so that the video (main video) does not penetrate the subtitle.
- the depth determination unit 305 determines the amount of change in the depth of the decoded video signal 113 using this depth information. That is, when the depth change amount indicated by the depth information is greater than or equal to the fifth threshold, the depth determination unit 305 determines that the depth change amount of the decoded video signal 113 is greater than or equal to the fourth threshold, and indicates the depth information. When the change amount of depth to be detected is less than the fifth threshold value, it is determined that the change amount of depth of the decoded video signal 113 is less than the fourth threshold value.
- the amount of change is, for example, the maximum value or average value of the amount of change between consecutive pictures in a part or all of the sections included in the playback section.
- the decoding unit 103 decodes only the left-eye encoded signal 112L, thereby decoding the left-eye decoded signal. 113L is generated. Further, the output unit 106 outputs only the left-eye decoded signal 113L as the output video signal 117 (S407). As a result, the 2D video reproduced at double speed is displayed on the display panel 26.
- the decoding unit 103 outputs the left-eye encoded signal 112L and the right-eye encoded signal 112R. By decoding, a left-eye decoded signal 113L and a right-eye decoded signal 113R are generated. Further, the output unit 106 outputs the left-eye decoded signal 113L and the right-eye decoded signal 113R as the output video signal 117 (S402). As a result, the display panel 26 displays the 3D video reproduced at double speed.
- the playback mode acquisition unit 304 When the playback mode acquired by the playback mode acquisition unit 304 is a special playback mode other than the reverse playback mode and the double speed playback mode (No in S401, No in S402 and No in S403), that is, the playback mode acquisition unit 304
- the decoding unit 103 decodes the left-eye encoded signal 112L and the right-eye encoded signal 112R, thereby decoding the left-eye decoded signal 113L and the right-eye.
- a decoded signal 113R is generated.
- the output unit 106 outputs the left-eye decoded signal 113L and the right-eye decoded signal 113R as the output video signal 117 (S402).
- the display panel 26 displays the three-dimensional video that has been reproduced in slow playback or frame-by-frame playback.
- the 3D video decoding apparatus 300 performs 2D display by outputting only the left-eye decoded signal 113L in the double-speed playback mode. As a result, the 3D video decoding apparatus 300 can prevent a 3D video with a large depth change from being displayed in the double-speed playback mode.
- the 3D video decoding apparatus 300 performs two-dimensional display when the playback speed in the double speed playback mode is equal to or greater than a predetermined threshold, and the playback speed in the double speed playback mode is set in advance. When it is less than the predetermined threshold, three-dimensional display is performed. Thereby, the 3D video decoding apparatus 300 can perform 2D display when the depth change becomes severe due to the high reproduction speed. In addition, the 3D video decoding apparatus 300 can perform 3D display when the playback speed is relatively slow.
- the 3D video decoding apparatus 300 performs 2D display when the depth changes drastically in the double-speed playback mode, and displays 3D display when the change in depth is small. Do. Thereby, the 3D video decoding apparatus 300 can perform 2D display when the depth change becomes severe. In addition, the 3D video decoding apparatus 300 can perform 3D display when there is little change in depth.
- the 3D video decoding apparatus 300 can generate a video suitable for special playback.
- the 3D video decoding apparatus 300 performs 2D display in the reverse playback mode.
- reverse playback requires more decoding than normal playback.
- a picture that is referred to by a picture to be decoded is set on the assumption that display is performed in the forward direction.
- it is necessary to decode a picture referenced by a decoding target picture That is, when the last decoded picture in the sequence (GOP) is reproduced in the backward direction during forward reproduction, it is necessary to decode all the reference coded pictures (I picture and P picture) in the sequence. As a result, the later picture in the sequence takes longer to decode.
- the display interval becomes non-uniform so that the display interval becomes longer as the backward picture is in the sequence during backward reproduction.
- the display intervals of all the pictures are combined in the decoding process that takes the longest time, there arises a problem that the reproduction speed of the backward reproduction becomes slow.
- the processing amount of the decoding unit 103 can be reduced by performing 2D display in the reverse playback mode compared to the case of performing 3D display. .
- the 3D video decoding apparatus 300 can prevent the non-uniform display interval described above, and can generate a video suitable for special playback.
- the 3D video decoding apparatus 300 can improve the playback speed during backward playback.
- the 3D video decoding apparatus 300 can improve the response at the time of backward frame advance.
- the 3D video decoding apparatus 300 has (1) the process of performing 2D display in the double-speed playback mode, and (2) the playback speed of the double-speed playback mode is determined in advance. If the threshold value is equal to or greater than the threshold value, two-dimensional display is performed. If the playback speed in the double-speed playback mode is less than a predetermined threshold value, three-dimensional display is performed. Two-dimensional display is performed when there is a drastic change, three-dimensional display is performed when there is little change in depth, and (4) two-dimensional display is performed during reverse playback mode. One or more of the processes may be performed.
- processing order shown in FIG. 22 is an example, and other processing orders may be used as long as the processing order can obtain the same result. Some processes may be performed simultaneously.
- the 3D video decoding apparatus 300 performs the 2D display when the playback speed of the double speed playback is equal to or higher than a predetermined speed (Yes in S405), but further, similarly to step S406. Depending on whether the amount of change in depth is greater than or equal to a threshold value, switching between two-dimensional display and three-dimensional display may be performed.
- the 3D video decoding devices 100, 200, and 300 according to Embodiments 1 to 4 of the present invention have been described above, but the present invention is not limited to this embodiment.
- the 3D video decoding devices 100, 200 and 300 according to the present invention are applied to a digital television and a digital video recorder.
- the 3D video decoding devices 100, 200 and 300 according to the present invention are described.
- the 3D video decoding devices 100, 200, and 300 according to the present invention can be applied to a 3D video output device (for example, a BD player) that outputs 3D video other than a digital video recorder.
- the 3D video decoding devices 100, 200, and 300 according to the first to fourth embodiments are typically realized as an LSI that is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
- circuits are not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
- An FPGA Field Programmable Gate Array
- reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
- some or all of the functions of the 3D video decoding apparatuses 100, 200, and 300 according to Embodiments 1 to 4 of the present invention may be realized by a processor such as a CPU executing a program.
- the present invention may be the above program or a recording medium on which the above program is recorded.
- the program can be distributed via a transmission medium such as the Internet.
- the present invention may be realized as a 3D video decoding method using characteristic means included in the 3D video decoding apparatus as steps. Further, the present invention can be realized as a 3D video display device such as a digital television provided with the 3D video decoding device described above, or as a 3D video display system including such a 3D video display device.
- the configurations of the 3D video decoding devices 100, 200, and 300 are for illustrative purposes only, and the 3D video decoding device according to the present invention includes all of the above configurations. It is not always necessary to have In other words, the 3D video decoding apparatus according to the present invention only needs to have a minimum configuration capable of realizing the effects of the present invention.
- the 3D video decoding method by the above 3D video decoding apparatus is for illustrative purposes only, and the 3D video decoding by the 3D video decoding apparatus according to the present invention is described.
- the method need not include all of the above steps.
- the 3D video decoding method according to the present invention needs to include only the minimum steps that can realize the effects of the present invention.
- the order in which the above steps are executed is for illustration in order to specifically describe the present invention, and may be in an order other than the above.
- a part of the above steps may be executed simultaneously (in parallel) with other steps.
- the present invention can be applied to a 3D image processing apparatus, and in particular, can be applied to a digital video recorder, a digital television, and the like.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本発明に係る三次元映像復号装置(100)は、左眼用符号化信号(112L)及び右眼用符号化信号(112R)を復号することにより左眼用復号信号(113L)及び右眼用復号信号(113R)を生成する復号部(103)と、左眼用符号化信号(112L)及び右眼用符号化信号(112R)のエラーを判定するエラー判定部(104)と、左眼用符号化信号(112L)及び右眼用符号化信号(112R)のうち一方にエラーが発生している場合、エラーが発生している一方の信号のエラーデータ量が第1閾値以上であるか否かを判定する出力判定部(105)と、前記エラーデータ量が第1閾値未満である場合、左眼用復号信号(113L)及び右眼用復号信号(113R)を共に出力せず、前記エラーデータ量が第1閾値以上である場合、他方の信号が復号された復号信号のみを出力する出力部(106)とを備える。
Description
本発明は、三次元映像復号装置及び三次元映像復号方法に関し、特に、第1視点の映像信号が符号化された第1符号化信号と、第1視点と異なる第2視点の映像信号が符号化された第2符号化信号とを復号する三次元映像復号装置に関する。
視聴者が立体的に感じる二次元映像である三次元映像(多視点映像)を表示する三次元映像表示装置が知られている。例えば、特許文献1には、このような三次元映像を符号化及び復号する技術が記載されている。
この三次元映像表示装置は、互いに視差を有する右眼用の画像と左眼用の画像とを表示することにより、視聴者が立体的に感じる画像を表示する。例えば、三次元映像表示装置は、右眼用の画像と左眼用の画像とを1フレームごとに交互に表示する。また、視聴者は、1フレームごとに右眼と左眼とのどちらが見えるかが切り替わる眼鏡を用いる。これにより、視聴者は、右眼用の画像は右眼でのみ、左眼用の画像は左眼でのみ見ることができるので、三次元映像表示装置が表示する画像を三次元として認識できる。
しかしながら、エラーによるデータ欠落又はデータ化けが発生した場合、このような三次元映像では、瞬間的に三次元表示における深さ方向(飛び出し方向)の表示位置が大きく変わる、又は、瞬間的に二次元表示になることにより、不自然な映像が表示されてしまう可能性がある。
また、早送り等の特殊再生を行う場合にも、瞬間的に三次元表示における深さ方向の表示位置が大きく変わる等の、不自然な映像が表示されてしまう可能性がある。
そこで、本発明は、エラー発生時、及び特殊再生時の少なくとも一方において、好適な映像を生成できる三次元映像復号装置及び三次元映像復号方法を提供することを目的とする。
上記目的を達成するために、本発明の一形態に係る三次元映像復号装置は、第1視点の映像信号が符号化された第1符号化信号と、前記第1視点と異なる第2視点の映像信号が符号化された第2符号化信号とを復号する三次元映像復号装置であって、前記第1符号化信号を復号することにより第1復号信号を生成し、前記第2符号化信号を復号することにより第2復号信号を生成する復号部と、予め定められたデータ量ごとに、前記第1符号化信号及び前記第2符号化信号にエラーが発生しているか否かを判定するエラー判定部と、前記エラー判定部により、対応する表示時刻が付与された前記第1符号化信号及び前記第2符号化信号のうち一方の信号にエラーが発生していると判定され、かつ他方の信号にエラーが発生していないと判定された場合、前記エラーが発生していると判定された前記一方の信号のエラーデータ量が第1閾値以上であるか否かを判定する出力判定部と、前記出力判定部により、前記エラーデータ量が前記第1閾値未満であると判定された場合、前記一方の信号及び前記他方の信号に対応する前記第1復号信号及び前記第2復号信号を共に出力せず、前記出力判定部により、前記エラーデータ量が前記第1閾値以上であると判定された場合、前記他方の信号が復号された前記第1復号信号又は前記第2復号信号のみを出力する出力部とを備える。
以上より、本発明は、エラー発生時、及び特殊再生時の少なくとも一方において、好適な映像を生成できる三次元映像復号装置及び三次元映像復号方法を提供できる。
以下、本発明に係る三次元映像復号装置の実施の形態について、図面を参照しながら詳細に説明する。
(実施の形態1)
本発明の実施の形態1に係る三次元映像復号装置は、左眼用及び右眼用の映像の一方にエラーが発生した際、エラーにより復号できないデータ量(例えば、エラーが発生した連続するピクチャの数)が多い場合には、正常な映像のみを表示する二次元表示を行い、エラーにより復号できないデータ量が少ない場合には、三次元表示を維持したまま両方の映像をスキップする。これにより、本発明の実施の形態1に係る三次元映像復号装置は、エラー発生時において、好適な映像を生成できる。
本発明の実施の形態1に係る三次元映像復号装置は、左眼用及び右眼用の映像の一方にエラーが発生した際、エラーにより復号できないデータ量(例えば、エラーが発生した連続するピクチャの数)が多い場合には、正常な映像のみを表示する二次元表示を行い、エラーにより復号できないデータ量が少ない場合には、三次元表示を維持したまま両方の映像をスキップする。これにより、本発明の実施の形態1に係る三次元映像復号装置は、エラー発生時において、好適な映像を生成できる。
まず、本発明の実施の形態1に係る三次元映像復号装置を含む三次元映像表示システムの構成を説明する。
図1は、本発明の実施の形態1に係る三次元映像表示システムの構成を示すブロック図である。
図1に示す三次元映像表示システム10は、デジタルテレビ20と、デジタルビデオレコーダ30と、シャッタメガネ43とを含む。また、デジタルテレビ20とデジタルビデオレコーダ30とは、HDMI(High-Definition Multimedia Interface)ケーブル40を介して接続されている。
デジタルビデオレコーダ30は、BD(ブルーレイディスク)等の光ディスク41に記録されている三次元映像信号を処理し、処理した三次元映像信号を、HDMIケーブル40を経由してデジタルテレビ20へ出力する。
デジタルテレビ20は、デジタルビデオレコーダ30により出力される三次元映像信号、及び放送波42に含まれる三次元映像信号で示される三次元映像を表示する。例えば、放送波42は、地上デジタルテレビ放送、及び衛星デジタルテレビ放送等である。
なお、デジタルビデオレコーダ30は、光ディスク41以外の記録媒体(例えば、ハードディスクドライブ及び不揮発性メモリ等)に記録されている三次元映像信号を処理してもよい。また、デジタルビデオレコーダ30は、放送波42に含まれる三次元映像信号、又はインターネット等の通信網を経由して取得した三次元映像信号を処理してもよい。また、デジタルビデオレコーダ30は、外部の装置により、外部入力端子(図示せず)等に入力された三次元映像信号を処理してもよい。
同様に、デジタルテレビ20は、光ディスク41及びその他の記録媒体に記録されている三次元映像信号で示される映像を表示してもよい。また、デジタルテレビ20は、インターネット等の通信網を経由して取得した三次元映像信号で示される映像を表示してもよい。また、デジタルテレビ20は、デジタルビデオレコーダ30以外の外部の装置により、外部入力端子(図示せず)等に入力された三次元映像信号で示される映像を表示してもよい。
また、デジタルテレビ20は、取得した三次元映像信号に所定の処理を施し、処理を施した三次元映像信号で示される映像を表示してもよい。
また、デジタルテレビ20とデジタルビデオレコーダ30とは、HDMIケーブル40以外の規格のケーブルにより接続されていてもよいし、無線通信網により接続されていてもよい。
デジタルビデオレコーダ30は、入力部31と、三次元映像復号装置100と、HDMI通信部33とを備える。
入力部31は、光ディスク41に記録されている入力映像信号111を取得する。
三次元映像復号装置100は、入力映像信号111を復号することにより、出力映像信号117を生成する。
HDMI通信部33は、三次元映像復号装置100により生成された出力映像信号117を、HDMIケーブル40を経由してデジタルテレビ20へ出力する。
なお、デジタルビデオレコーダ30は、生成した出力映像信号117を、当該デジタルビデオレコーダ30が備える記憶部(ハードディスクドライブ及び不揮発性メモリ等)に記憶してもよいし、当該デジタルビデオレコーダ30に着脱可能な記録媒体(光ディスク等)に記録してもよい。
デジタルテレビ20は、入力部21と、HDMI通信部23と、三次元映像復号装置100Bと、表示パネル26と、トランスミッタ27とを備える。
入力部21は、放送波42に含まれる入力映像信号56を取得する。
HDMI通信部23は、HDMI通信部33により出力された出力映像信号117を取得し、入力映像信号57として出力する。
三次元映像復号装置100Bは、入力映像信号56又は入力映像信号57を復号することにより、出力映像信号58を生成する。
表示パネル26は、三次元映像復号装置100Bにより生成された出力映像信号58で示される映像を表示する。
トランスミッタ27は、無線通信を用いて、シャッタメガネ43を制御する。
図2は、三次元映像データの一例を示す図である。図2に示すように、三次元映像データは、交互に配置される左眼用画像170lと右眼用画像170rとを含む。
図3は、左眼用画像170l及び右眼用画像170rの一例を示す図である。
図3に示すように、左眼用画像170lと右眼用画像170rとに含まれるオブジェクトは、撮影位置からオブジェクトの距離に応じた視差を有する。
シャッタメガネ43は、例えば、視聴者が装着する液晶シャッタメガネであり、左眼用液晶シャッタと右眼用液晶シャッタとを備える。トランスミッタ27は、左眼用画像170lと右眼用画像170rとの表示タイミングにあわせて、左眼用液晶シャッタ及び右眼用液晶シャッタの開閉を制御する。具体的には、トランスミッタ27は、左眼用画像170lが表示されている期間は、シャッタメガネ43の左眼用液晶シャッタを開き、かつ右眼用液晶シャッタを閉じる。また、トランスミッタ27は、右眼用画像170rが表示されている期間は、シャッタメガネ43の左眼用液晶シャッタを閉じ、かつ右眼用液晶シャッタを開く。このように、視聴者の左眼には左眼用画像170lが、右眼には右眼用画像170rが、それぞれ選択的に入射される。
なお、視聴者の左眼及び右眼に、左眼用画像170l及び右眼用画像170rを選択的に入射させる方法は、この方法に限定されず、これ以外の方法を用いてもよい。
例えば、図4に示すように、三次元映像データの各ピクチャ内に左眼用ライン175lと右眼用ライン175rとがストライプ状に配置されてもよい。
この場合、表示パネル26は、左眼用の画素上に形成された左眼用偏光フィルムと、右眼用の画素上に形成された右眼用偏光フィルムとを備えることにより、左眼用ライン175lと右眼用ライン175rとに異なる偏光(直線偏光又は円偏光等)をかける。また、シャッタメガネ43の代わりに、上記偏光にそれぞれ対応する左眼用及び右眼用の偏光フィルタを備える偏光メガネを用いることで、視聴者の左眼及び右眼に、左眼用ライン175l及び右眼用ライン175rを入射させることができる。
なお、三次元映像データにおける、左眼用映像と右眼用映像との配置パターンは、横ストライプ状以外であってもよい。例えば、各ピクチャ内に左眼用映像と右眼用映像とが縦ストライプに配置されてもよい。また、1ピクチャ内に左眼用映像と右眼用映像が市松状(チェッカ状)に配置されてもよい。また、1ピクチャ内に、左眼用画像170lと右眼用画像170rとが垂直方向又は水平方向に並んで配置されてもよい。
以下、本発明の実施の形態1に係る三次元映像復号装置100について詳細に説明する。
図5は、本発明の実施の形態1に係る三次元映像復号装置100の構成を示すブロック図である。この三次元映像復号装置100は、格納部101と、復号部103と、エラー判定部104と、出力判定部105と、出力部106とを備える。
格納部101は、入力映像信号111を格納し、入力映像信号112として出力する。
以下、入力映像信号112(111)の構成を説明する。
例えば、入力映像信号112は、H.264MVC(多視点映像符号化)-BD(Blu-Ray Disc)3D(三次元)規格に準拠したストリームデータである。
図6は、入力映像信号112の構成を示す図である。
入力映像信号112は、例えば、トランスポートストリーム(MPEG-2 TS)であり、複数のTSパケットを含む。各TSパケットは、左眼用映像信号が符号化された左眼用パケット151L、又は、右眼用映像信号が符号化された右眼用パケット151Rである。この左眼用パケット151Lと右眼用パケット151Rとは、入力映像信号112において交互に配置される。また、同時刻に表示される画像に対応する左眼用パケット151Lと右眼用パケット151Rとは対をなし、この対はアクセスユニット152と呼ばれる。
なお、ここで、同時刻に表示される画像とは、例えば、同一のPTS(Presentation Time Stamp)が付与されている画像である。なお、上述したように、表示パネル26に左眼用画像170lと右眼用画像170rとが交互に表示される場合には、同一のPTSが付与されている画像は同時ではなく連続的に表示される。
また、各TSパケットには、当該パケットが左眼用パケット151Lであるか、右眼用パケット151Rであるかを示す識別子が付与されている。よって、三次元映像復号装置100は、当該識別子を参照することで、入力映像信号112に含まれる、第1視点の映像信号が符号化された左眼用符号化信号112L(左眼用パケット151L)と、第1視点と異なる第2視点の映像信号が符号化された右眼用符号化信号112R(右眼用パケット151R)とを識別する。
図7は、左眼用符号化信号112Lの構成を示す図である。なお、右眼用符号化信号112Rの構成も同様である。
左眼用符号化信号112Lは、複数のシーケンスデータ160を含む。ここで、シーケンスとは、MPEG2規格におけるGOP(Group Of Pictures)に相当する単位である。
シーケンスデータ160は、シーケンスヘッダ161と、複数のピクチャデータ162とを含む。シーケンスヘッダ161は、当該シーケンスデータ160に含まれる複数のピクチャデータ162に共通の制御情報を含む。
各ピクチャデータ162は、ピクチャヘッダ163と、ピクセルデータ164とを含む。ピクチャヘッダ163は、当該ピクチャデータ162に含まれるピクセルデータ164の制御情報を含む。ピクセルデータ164は、1ピクチャのデータが符号化されたデータ(以下、符号化ピクチャとも記す。)である。
なお、図6に示す各TSパケットは、固定長のデータであり、例えば、1つのピクチャデータ162の一部、又は、1つ以上のピクチャデータ162に対応する。
再び図5を参照して説明を行う。
復号部103は、左眼用符号化信号112Lを復号することにより左眼用復号信号113Lを生成する。また、復号部103は、右眼用符号化信号112Rを復号することにより右眼用復号信号113Rを生成する。また、復号部103は、左眼用復号信号113L及び右眼用復号信号113Rを含む復号映像信号113を出力する。
ここで、左眼用符号化信号112Lは、当該左眼用符号化信号112Lのみを用いて復号されるベースビューである。また、右眼用符号化信号112Rは、当該右眼用符号化信号112R及び左眼用符号化信号112Lを用いて復号されるディペンデントビューである。
具体的には、復号部103は、左眼用符号化信号112L及び右眼用符号化信号112Rを、可変長復号することにより、量子化係数を生成する。次に、復号部103は、生成した量子化係数を逆量子化することにより、直交変換係数(DCT係数)を生成する。次に、復号部103は、生成した直交変換係数を逆直交変換することにより、予測誤差を生成する。一方で、復号部103は、既に復号済みの参照画像を用いて動き補償を行うことにより、予測画像を生成する。次に、復号部103は、生成した予測誤差と予測画像とを加算することにより復号画像(復号映像信号113)を生成する。また、復号部103は、生成した復号画像を、後の画像の復号処理に用いる参照画像としてメモリに格納する。
図8は、符号化ピクチャを復号する際の参照関係を示す図である。
なお、左眼用符号化信号112L及び右眼用符号化信号112Rは、符号化Iピクチャと、符号化Pピクチャと、符号化Bピクチャとを含む。ここで、符号化Iピクチャ、符号化Pピクチャ及び符号化Bピクチャは、それぞれIピクチャ、Pピクチャ及びBピクチャが符号化された符号化ピクチャである。また、Iピクチャは当該ピクチャ内のデータのみを用いて符号化されるピクチャである。Pピクチャ及びBピクチャは、他のIピクチャ又はPピクチャを用いて符号化されるピクチャである。
言い換えると、符号化Iピクチャは、当該符号化ピクチャ内のデータのみを用いて復号される。符号化Pピクチャ及び符号化Bピクチャは、当該符号化ピクチャ内のデータと、他の復号済みのピクチャ(以下、復号ピクチャ)のデータとを用いて復号される。なお、以下では、復号ピクチャを参照画像として用いることを、復号ピクチャを参照するとも記す。
なお、図8に示す符号化ピクチャI2は符号化Iピクチャであり、符号化ピクチャP2、P5は符号化Pピクチャであり、符号化ピクチャB0、B1、B3、B4は符号化Bピクチャである。また、図8に示す矢印は、各符号化ピクチャが参照する復号ピクチャを示す。
図8に示すように、左眼用符号化信号112Lに含まれる符号化Pピクチャ及び符号化Bピクチャは、左眼用復号信号113Lに含まれる復号Iピクチャ及び復号Pピクチャのみを参照する。また、右眼用符号化信号112Rに含まれる符号化Pピクチャ及び符号化Bピクチャは、右眼用復号信号113Rに含まれる復号Iピクチャ及び復号Pピクチャと、左眼用復号信号113Lに含まれる復号ピクチャのうち当該符号化ピクチャと同一のアクセスユニット152に含まれる復号ピクチャとを参照する。例えば、図8に示す例では、右眼用符号化信号112Rに含まれる符号化ピクチャP2は、当該符号化ピクチャP2と同一のアクセスユニット152に含まれる復号ピクチャI2を参照する。
また、基本的には、このようなアクセスユニット152内の右眼用符号化信号112Rから左眼用復号信号113Lの参照は行われるが、左眼用復号信号113Lと右眼用復号信号113Rとの映像差が大きい場合には、このアクセスユニット152内の参照は行われない。また、基本的には、アクセスユニット152内のみで参照が行われる。つまり、右眼用符号化信号112Rの符号化ピクチャは、他のアクセスユニット152に含まれる、左眼用復号信号113Lの復号ピクチャを参照しない。
このように、復号部103は、左眼用符号化信号112Lを、既に復号した左眼用復号信号113Lのみを参照して復号する。また、復号部103は、右眼用符号化信号112Rを、既に復号した左眼用復号信号113L及び右眼用復号信号113Rを参照して復号する。
エラー判定部104は、復号部103が、左眼用符号化信号112Lを正しく復号できるか否か、及び右眼用符号化信号112Rを正しく復号できるか否かを判定する。具体的には、エラー判定部104は、復号部103が、左眼用符号化信号112L及び右眼用符号化信号112Rに含まれる符号化ピクチャのそれぞれを正しく復号できるか否かを判定する。つまり、エラー判定部104は、BDディスク等の傷又は汚れ、及びネットワーク配信エラーによるパケット欠落等により、入力映像信号112(111)にデータ欠落及びデータ化け(以下、エラーと記す)が発生しているか否かを判定する。
例えば、エラー判定部104は、左眼用符号化信号112L及び右眼用符号化信号112Rの一方のピクチャに対応する他方のピクチャのデータが存在しない場合、及び、データの値及びフォーマットが予め定められた正常な範囲外である場合に、当該映像信号にエラーが発生していると判定する。なお、エラー判定部104は、このエラー判定をピクチャ単位で行ってもよいし、それ以外の単位(スライス単位、マクロブロック単位又は複数ピクチャ単位)で行なってもよい。
出力判定部105は、エラー判定部104により、同一アクセスユニット152に含まれる左眼用符号化信号112L及び右眼用符号化信号112Rの一方のみにエラーが発生していると判定された場合、左眼用復号信号113L及び右眼用復号信号113Rを共にスキップする(出力しない)か、エラーが発生していない復号信号のみを出力するかを判定する。
ここで、上述したように右眼用符号化信号112Rは、左眼用符号化信号112Lを参照して復号される。よって、左眼用符号化信号112Lにエラーが発生した場合には、右眼用符号化信号112Rも正しく復号できない場合がある。
よって、出力判定部105は、左眼用符号化信号112Lにエラーが発生している場合には、左眼用復号信号113L及び右眼用復号信号113Rを共にスキップすると判定する。また、出力判定部105は、右眼用符号化信号112Rにエラーが発生している場合には、エラーが発生していない左眼用復号信号113Lのみを出力すると判定する。
また、出力判定部105は、さらに、エラー判定部104により正しく復号できないと判定された右眼用符号化信号112Rのデータ量(例えば、エラーが発生した符号化ピクチャの数)が予め定められた第1閾値以上であるか否かを判定する。出力判定部105は、連続する、エラーが発生した符号化ピクチャ(以下、エラーピクチャ)の数が第1閾値未満の場合、左眼用復号信号113L及び右眼用復号信号113Rを共に出力しないと判定し、連続するエラーピクチャの数が第1閾値以上の場合、左眼用復号信号113Lのみを出力すると判定する。
出力部106は、左眼用復号信号113L及び右眼用復号信号113Rを出力映像信号117として出力する。また、出力部106は出力判定部105によりスキップする(出力しない)と判定された左眼用復号信号113L及び右眼用復号信号113Rの両方又は一方を出力しない。ここでスキップするとは、対応する復号ピクチャのデータを出力しない、又は、同一視点の映像信号における直前の復号ピクチャと同じデータを出力することである。
また、復号部103は、出力判定部105によりスキップすると判定された復号ピクチャに対応する符号化ピクチャの復号処理を行なわない。なお、復号部103が復号処理の全て又は一部を行ったうえで、出力部106が出力処理のみを行なわなくてもよい。
以下、三次元映像復号装置100の動作の流れを説明する。
図9は、三次元映像復号装置100による復号処理のフローチャートである。
図9に示すように、まず、エラー判定部104は、入力映像信号112にエラーが発生しているか否かを判定する(S101)。
エラーが発生していない場合(S101でNo)、出力部106は、左眼用復号信号113L及び右眼用復号信号113Rを出力映像信号117として出力する(S102)。これにより、表示パネル26には三次元映像が表示される。
一方、左眼用符号化信号112Lにエラーが発生している場合(S101でYes、かつS103でYes)、出力部106は、左眼用復号信号113L及び右眼用復号信号113Rをスキップした出力映像信号117を出力する(S104)。これにより、表示パネル26には直前の三次元映像がそのまま表示される。
また、右眼用符号化信号112Rにエラーが発生している場合(S103でNo)、次に、出力判定部105は、エラーが発生したデータ量が第1閾値以上であるか否かを判定する(S105)。
以下、出力判定部105によるエラーが発生したデータ量の判定方法の具体例を説明する。
図10及び図11は、右眼用符号化信号112Rにエラーが発生した場合の、入力映像信号112及び出力映像信号117の例を示す図である。なお、出力映像信号117は、左眼用出力信号117Lと右眼用出力信号117Rとを含む。また、左眼用出力信号117Lは左眼用復号信号113Lに対応し、右眼用出力信号117Rは右眼用復号信号113Rに対応する。
例えば、出力判定部105は、格納部101に格納されている左眼用符号化信号112Lの復号前の先頭の符号化ピクチャ170に付与されたPTSと、格納部101に格納されている右眼用符号化信号112Rの復号前の先頭の符号化ピクチャ171に付与されたPTSとの差分を算出する。出力判定部105は、算出した差分が第2閾値以上である場合、エラーが発生したデータ量が第1閾値以上であると判定し、算出した差分が第2閾値未満である場合、エラーが発生したデータ量が第1閾値未満であると判定する。
なお、出力判定部105は、右眼用符号化信号112Rがアンダーフローしている場合に、エラーが発生したデータ量が第1閾値以上であると判定してもよい。
また、出力判定部105は、復号映像信号113を格納するメモリ(図示せず)に格納されている左眼用復号信号113L及び右眼用復号信号113Rを用いて、同様の判定を行なってもよい。
図10に示すように、エラーが発生したデータ量が第1閾値未満である場合(S105でNo)、左眼用復号信号113L及び右眼用復号信号113Rをスキップした出力映像信号117を出力する(S104)。
一方、図11に示すように、エラーが発生したデータ量が第1閾値以上である場合(S105でYes)、左眼用復号信号113Lを含み、右眼用復号信号113Rをスキップした出力映像信号117を出力する(S106)。これにより、表示パネル26には、左眼用画像170lのみが二次元表示される。
なお、図9には図示していないが、左眼用符号化信号112L及び右眼用符号化信号112Rの両方にエラーが発生した場合には、出力判定部105は、左眼用復号信号113L及び右眼用復号信号113Rをスキップした出力映像信号117を出力する。
以上により、本発明の実施の形態1に係る三次元映像復号装置100は、エラーが発生したデータ量が第1閾値未満の場合は、左眼用及び右眼用の両方の画像をスキップすることにより、三次元表示を維持する。これにより、三次元映像復号装置100は、エラーが発生したデータ量が少ない場合に、瞬間的に三次元表示が二次元表示に切り替わることを防止できる。よって、三次元映像復号装置100は、エラー発生時において、好適な映像を生成できる。
また、本発明の実施の形態1に係る三次元映像復号装置100は、エラーが発生したデータ量が第1閾値以上である場合は、二次元表示を行なう。これにより、三次元映像復号装置100は、エラーが発生したデータ量が多い場合に長時間、映像が停止してしまうことを防止できる。よって、三次元映像復号装置100は、エラー発生時において、好適な映像を生成できる。
また、本発明の実施の形態1に係る三次元映像復号装置100は、左眼用符号化信号112Lにエラーが発生した場合には、左眼用復号信号113L及び右眼用復号信号113Rを共にスキップする。これにより、左眼用符号化信号112Lで発生したエラーが、左眼用復号信号113Lを参照して生成される右眼用復号信号113Rに伝播することを防止できる。また、三次元映像復号装置100は、右眼用符号化信号112Rにエラーが発生した場合には、二次元表示を行なう。これにより、三次元映像復号装置100は、頻繁に映像が停止してしまうことを防止できる。このように、三次元映像復号装置100は、エラー発生時において、好適な映像を生成できる。
なお、上記説明では、左眼用符号化信号112Lがベースビューであり、右眼用符号化信号112Rがディペンデントビューである例を述べたが、右眼用符号化信号112Rがベースビューであり、左眼用符号化信号112Lがディペンデントビューであってもよい。
また、上記説明では、三次元映像復号装置100が左眼用及び右眼用の2視点の映像を処理する例を述べたが、3視点以上の映像を処理してもよい。つまり、複数のディペンデントビューが存在してもよい。
また、上記説明では、右眼用符号化信号112Rが左眼用復号信号113Lを参照して復号される例を述べたが、右眼用符号化信号112R及び左眼用符号化信号112Lが自身の復号信号のみを参照して復号される信号であってもよい。この場合であっても、エラーが発生したデータ量に応じて、両方の復号信号をスキップするか、エラーが発生していない復号信号のみを出力するかを切り替えることで、上記と同様の効果を実現できる。
また、図9に示す処理の順序は一例であり、これ以外の順序で各ステップを行なってもよい。例えば、ステップS103の判定処理と、ステップS105の判定処理との順序を入れ替えてもよいし、一部を同時に行なってもよい。
(実施の形態2)
実施の形態1では、主に複数ピクチャに対応するデータが欠落した場合の三次元映像復号装置100の処理について説明した。本発明の実施の形態2では、主にBDディスクの汚れ及び傷等により、1つの符号化ピクチャのデータにエラーが発生した場合の三次元映像復号装置100の動作を説明する。
実施の形態1では、主に複数ピクチャに対応するデータが欠落した場合の三次元映像復号装置100の処理について説明した。本発明の実施の形態2では、主にBDディスクの汚れ及び傷等により、1つの符号化ピクチャのデータにエラーが発生した場合の三次元映像復号装置100の動作を説明する。
図12は、本発明の実施の形態2に係る三次元映像復号装置100による復号処理のフローチャートである。
図12に示すように、まず、エラー判定部104は、入力映像信号112にエラーが発生しているか否かを判定する(S201)。ここで、エラー判定部104は、符号化ピクチャ単位でエラーを判定するとともに、エラーピクチャに含まれるスライスごとに、当該スライスを正しく復号できるか否かを判定する。なお、エラー判定部104は、スライス単位以外の符号化ピクチャ内の部分領域(例えば、1又は複数マクロブロック)ごとに当該部分領域を正しく復号できるか否かを判定してもよい。
エラーが発生していない場合(S201でNo)、出力部106は、左眼用復号信号113L及び右眼用復号信号113Rを出力映像信号117として出力する(S202)。これにより、表示パネル26には三次元映像が表示される。
一方、エラーが発生している場合(S201でYes)、次に、出力判定部105は、エラーが発生した符号化ピクチャが、参照符号化ピクチャであるか、非参照符号化ピクチャであるかを判定する(S203)。ここで参照符号化ピクチャとは、当該符号化ピクチャが復号された復号ピクチャが、復号部103による、同一視点の映像信号に含まれる他の符号化ピクチャの復号の際に参照されるピクチャであり、具体的には、符号化Iピクチャ及び符号化Pピクチャである。また、非参照符号化ピクチャとは、当該符号化ピクチャが復号された復号ピクチャが、復号部103による、同一視点の映像信号に含まれる他の符号化ピクチャの復号の際に参照されないピクチャであり、具体的には、符号化Bピクチャである。
図13は、非参照符号化ピクチャ(エラーピクチャ180)にエラーが発生した場合の入力映像信号112及び出力映像信号117の例を示す図である。
図13に示すように、非参照符号化ピクチャにエラーが発生した場合には、出力部106は、次の復号ピクチャまで左眼用復号信号113L及び右眼用復号信号113Rをスキップした出力映像信号117を出力する(S204)。言い換えると、出力部106は、エラーピクチャに対応するエラー復号ピクチャと、当該エラー復号ピクチャと同じアクセスユニット152に含まれ、かつ他方の視点の映像信号に含まれる復号ピクチャとをスキップする。
一方、参照符号化ピクチャにエラーが発生した場合(S203でYes)、次に、出力判定部105は、左眼用符号化信号112L及び右眼用符号化信号112Rのどちらでエラーが発生したかを判定する(S205)。
ここで、参照符号化ピクチャにエラーが発生した場合、後続のピクチャがエラー復号ピクチャを参照することにより、エラーが伝播する可能性がある。よって、出力判定部105は、参照符号化ピクチャでエラーが発生した場合には、次のシーケンスまで復号ピクチャをスキップする。
図14は、右眼用符号化信号112Rの参照符号化ピクチャ(エラーピクチャ181)にエラーが発生した場合の入力映像信号112及び出力映像信号117の例を示す図である。
図14に示すように、右眼用符号化信号112Rの参照符号化ピクチャにエラーが発生した場合(S205でNo)、出力部106は、次のシーケンスまで右眼用復号信号113Rをスキップした出力映像信号117を出力する(S206)。
一方、左眼用符号化信号112Lの参照符号化ピクチャにエラーが発生した場合(S205でYes)、次に、出力判定部105は、エラーが発生したスライス(以下、エラースライス)が、当該エラーピクチャと同一のアクセスユニット152に含まれる右眼用符号化信号112Rの符号化ピクチャの参照エリア187に含まれるか否かを判定する(S207)。
図15は、エラースライス186と、参照エリア187との関係を示す図である。ここで参照エリア187とは、右眼用符号化信号112Rに含まれる符号化ピクチャ毎に対応付けられ、当該符号化ピクチャが参照する左眼用復号信号113Lの復号ピクチャ内の領域である。つまり、参照エリア187は、エラーピクチャと同一アクセスユニット152に含まれる右眼用符号化信号112Rの符号化ピクチャが参照するエラー復号ピクチャ内の領域である。この参照エリア187を示す参照領域指定情報は、入力映像信号112に含まれる。具体的には、この参照領域指定情報は、H.264MVC規格におけるParrallel decoding infomation SEIである。
復号部103は、右眼用符号化信号112Rに含まれる符号化ピクチャを、同一アクセスユニット152に含まれる左眼用復号信号113Lの復号ピクチャに含まれる参照エリア187を参照して復号する。
図15に示すように、左眼用符号化信号112Lにエラーが発生した場合でも、エラースライス186が参照エリア187に含まれない場合、言い換えると、参照エリア187が正しく復号できる正常スライス185のみを含む場合には、エラー復号ピクチャを参照する右眼用符号化信号112Rの符号化ピクチャを正しく復号できる。
図16は、エラースライス186が参照エリア187に含まれない場合の入力映像信号112及び出力映像信号117の例を示す図である。
図16に示すように、出力部106は、エラーピクチャ182のエラースライス186が参照エリア187に含まれない場合(S207でNo)、次のシーケンスまで左眼用復号信号113Lをスキップした出力映像信号117を出力する(S208)。
また、図17は、エラースライス186が参照エリア187に含まれる場合の入力映像信号112及び出力映像信号117の例を示す図である。
図17に示すように、出力部106は、エラーピクチャ182のエラースライス186が参照エリア187に含まれる場合(S207でYes)、次のシーケンスまで左眼用復号信号113L及び右眼用復号信号113Rを共にスキップした出力映像信号117を出力する(S209)。
以上により、本発明の実施の形態2に係る三次元映像復号装置100は、左眼用符号化信号112Lにエラーが発生した場合には、左眼用復号信号113L及び右眼用復号信号113Rを共にスキップする。これにより、左眼用符号化信号112Lで発生したエラーが、左眼用復号信号113Lを参照して生成される右眼用復号信号113Rに伝播することを防止できる。また、三次元映像復号装置100は、右眼用符号化信号112Rにエラーが発生した場合には、二次元表示を行なう。これにより、三次元映像復号装置100は、頻繁に映像が停止してしまうことを防止できる。このように、三次元映像復号装置100は、エラー発生時において、好適な映像を生成できる。
また、本発明の実施の形態2に係る三次元映像復号装置100は、エラーピクチャが非参照符号化ピクチャである場合は、次の復号ピクチャまで左眼用復号信号113L及び右眼用復号信号113Rを共にスキップする。これにより、三次元映像復号装置100は、スキップするピクチャの数を最小限にできる。また、三次元映像復号装置100は、エラーピクチャが参照符号化ピクチャである場合は、次のシーケンスまで左眼用復号信号113L及び右眼用復号信号113Rの両方又はエラーが発生した復号信号をスキップする。これにより、三次元映像復号装置100は、エラーが後続の復号ピクチャに伝播することを防止できる。
また、本発明の実施の形態2に係る三次元映像復号装置100は、次の復号ピクチャまでスキップする場合には、両眼用の復号信号を共にスキップする。これにより、三次元映像復号装置100は、表示される映像が一瞬だけ二次元表示されることを防止できる。また、三次元映像復号装置100は、次のシーケンスまで復号スキップする場合には、二次元表示を行なう。これにより、三次元映像復号装置100は、長時間、映像が停止してしまうことを防止できる。
また、本発明の実施の形態2に係る三次元映像復号装置100は、左眼用符号化信号112Lにエラーが発生した場合でも、対応する右眼用符号化信号112Rが参照する参照エリア187にエラースライス186が含まれない場合には、右眼用復号信号113Rのみを出力する。これにより、三次元映像復号装置100は、頻繁に映像が停止してしまうことを防止できる。
このように、本発明の実施の形態2に係る三次元映像復号装置100は、エラー発生時において、好適な映像を生成できる。
なお、上記説明では、三次元映像復号装置100は、上記のように複数の判定処理の結果に応じて、出力又はスキップする復号信号を選択しているが、上記の少なくとも一つの判定処理の結果に応じて、出力又はスキップする復号信号を選択してもよい。
具体的には、本発明の実施の形態2に係る三次元映像復号装置100は、(1)左眼用符号化信号112Lにエラーが発生した場合には、左眼用復号信号113L及び右眼用復号信号113Rを共にスキップし、左眼用符号化信号112Lにエラーが発生した場合には二次元表示を行なう処理、(2)エラーピクチャが非参照符号化ピクチャである場合は、次の復号ピクチャまで左眼用復号信号113L及び右眼用復号信号113Rを共にスキップし、エラーピクチャが参照符号化ピクチャである場合は、次のシーケンスまで左眼用復号信号113L及び右眼用復号信号113Rの両方又はエラーが発生した復号信号をスキップする処理、(3)上記(2)において、次の復号ピクチャまでスキップする場合には、両眼用の復号信号を共にスキップし、次のシーケンスまでスキップする場合には、二次元表示を行なう処理、(4)左眼用符号化信号112Lにエラーが発生した場合でも、対応する右眼用符号化信号112Rが参照する参照エリア187にエラースライス186が含まれない場合には、右眼用復号信号113Rのみを出力する処理のうちいずれか1以上を行なえばよい。
また、図12に示す処理順序は一例であり、同様の結果を得られる処理順序であれば、これ以外の処理順序であってもよい。また、一部の処理を同時に行なってもよい。
(実施の形態3)
本発明の実施の形態3に係る三次元映像復号装置200は、エラーが発生したヘッダ情報を、同一視点の映像信号に含まれる他のヘッダ情報、又は、他の視点の映像信号に含まれるヘッダ情報を用いて補完する。
本発明の実施の形態3に係る三次元映像復号装置200は、エラーが発生したヘッダ情報を、同一視点の映像信号に含まれる他のヘッダ情報、又は、他の視点の映像信号に含まれるヘッダ情報を用いて補完する。
なお、本発明の実施の形態3に係る三次元映像復号装置200は、実施の形態1に係る三次元映像復号装置100と同様に、図1に示す三次元映像表示システム10に用いることができる。
図18は、本発明の実施の形態3に係る三次元映像復号装置200の構成を示すブロック図である。なお、図5と同様の要素には同一の符号を付している。
この三次元映像復号装置200は、格納部101と、復号部103と、エラー判定部204と、ヘッダ情報格納部207と、出力部106とを備える。
格納部101は、入力映像信号111を格納し、入力映像信号112として出力する。
ヘッダ情報格納部207は、ヘッダ情報を格納する。ここでヘッダ情報とは、図7に示すシーケンスヘッダ161及びピクチャヘッダ163に含まれる制御情報である。
エラー判定部204は、シーケンスヘッダ161及びピクチャヘッダ163が正常であるか(エラーが発生しているか)否かを判定する。
例えば、エラー判定部204は、シーケンスヘッダ161又はピクチャヘッダ163が存在しない場合、及び、シーケンスヘッダ161又はピクチャヘッダ163のデータ値及びフォーマットが予め定められた正常な範囲外である場合に、当該シーケンスヘッダ161又はピクチャヘッダ163にエラーが発生していると判定する。具体的には、エラー判定部204は、ヘッダ情報の解析中に次のスタートコードを検出した場合、又は、TSパケットのペイロード長が予め定められた範囲外である場合、又は、ネットワーク配信におけるIPパケットロスが発生した場合に、当該ヘッダ情報にエラーが発生していると判定する。
また、エラー判定部204は、ヘッダ情報格納部207に格納されているヘッダ情報を用いて、処理対象のヘッダ情報が適切であるか否かを判定する。具体的には、エラー判定部204は、同一視点の映像信号内で共通のヘッダ情報が、以前のシーケンスのヘッダ情報と同一でない場合、又は、現在のヘッダ情報と以前のヘッダ情報との差分が予め定められた第3閾値以上の場合、処理対象のヘッダ情報にエラーが発生していると判定する。
補完部208は、エラー判定部204によりヘッダ情報にエラーが発生していると判定された場合、同一視点の映像信号内の以前のヘッダ情報、又は、対応する表示時刻の他の視点の映像信号に含まれるヘッダ情報を用いて、エラーが発生したヘッダ情報を補完する。
復号部103は、左眼用符号化信号112Lに含まれるヘッダ情報を用いて、当該左眼用符号化信号112Lを復号することにより、左眼用復号信号113Lを生成する。また、復号部103は、右眼用符号化信号112Rに含まれるヘッダ情報を用いて、右眼用符号化信号112Rを復号することにより、右眼用復号信号113Rを生成する。また、復号部103は、左眼用復号信号113L及び右眼用復号信号113Rを含む復号映像信号113を生成する。また、復号部103は、入力映像信号112のヘッダ情報にエラーが発生した場合には、補完部208により補完されたヘッダ情報を用いて入力映像信号112を復号する。
出力部106は、左眼用復号信号113L及び右眼用復号信号113Rを出力映像信号117として出力する。
以下、三次元映像復号装置200の動作を説明する。
図19は、三次元映像復号装置200による補完処理を示す図である。また、図20は、三次元映像復号装置200による補完処理のフローチャートである。
なお、図19に示すように入力映像信号112は、左眼用符号化信号112Lと、第1右眼用符号化信号112R1と、第2右眼用符号化信号112R2とを含む。つまり、右眼用符号化信号112Rは、第1右眼用符号化信号112R1と、第2右眼用符号化信号112R2とを含む。この第1右眼用符号化信号112R1及び第2右眼用符号化信号112R2は、共にディペンデントビューである。例えば、第1右眼用符号化信号112R1及び第2右眼用符号化信号112R2は、左眼用符号化信号112Lに対する視差の量(ずらし量)が異なる右眼用の映像信号である。
また、復号部103は、第1右眼用符号化信号112R1に含まれるヘッダ情報を用いて、当該第1右眼用符号化信号112R1を復号することにより、第1右眼用復号信号を生成する。また、復号部103は、第2右眼用符号化信号112R2に含まれるヘッダ情報を用いて、当該第2右眼用符号化信号112R2を復号することにより、第2右眼用復号信号を生成する。また、復号部103は、左眼用復号信号113L、第1右眼用復号信号及び第2右眼用復号信号を含む復号映像信号113を出力する。
出力部106は、左眼用復号信号113L、第1右眼用復号信号及び第2右眼用復号信号を出力映像信号117として出力する。
なお、復号部103は、外部からの制御信号等に従い、第1右眼用符号化信号112R1及び第2右眼用符号化信号112R2の一方を選択的に復号することにより、右眼用復号信号113Rを生成してもよい。この場合、出力部106は、復号部103により生成された左眼用復号信号113L及び右眼用復号信号113Rを出力映像信号117として出力する。
また、左眼用符号化信号112L、第1右眼用符号化信号112R1及び第2右眼用符号化信号112R2は、SPS(Sequence Parameter Set)190を含む。また、第1右眼用符号化信号112R1及び第2右眼用符号化信号112R2は、SSPS(Subset SPS)191を含む。また、このSPS190及びSSPS191は、図7に示すシーケンスヘッダ161に含まれる。
SPS190は、当該シーケンスデータ160に含まれる複数のピクチャデータ162に共通の制御情報である。SSPS191は、視点間の映像信号の関係(左眼用符号化信号112L、第1右眼用符号化信号112R1及び第2右眼用符号化信号112R2の関係)を示す情報である。
図20に示すように、補完部208は、SPS190にエラーが発生した場合(S301でYes)、ヘッダ情報格納部207から同一視点の符号化信号に含まれる、正常な他のシーケンスのSPS190を読み出し、エラーが発生しているSPS190を、読み出した正常なSPS190に置き換える(S302)。
なお、補完部208は、SPS190に限らず、同一視点の符号化信号内で同一の情報であれば正常な他のシーケンス又はピクチャの情報を用いてもよい。ここで同一視点の符号化信号内で同一の情報とは、例えば、H.264MVC規格のpriority_id及びview_idである。priority_idは、当該視点の符号化信号の復号の際の優先度を示す。言い換えると、priority_idは、複数の視点の符号化信号の復号の順序を示す。また、view_idは、当該視点の符号化信号を識別するための情報である。例えば、ベースビューには「0」が付与され、ディペンデントビューには「1、2・・・」が付与される。
また、補完部208は、SSPS191にエラーが発生した場合(S303でYes)、エラーが発生しているSSPS191を、他の視点の符号化信号に含まれる、正常なSSPS191に置き換える(S304)。
また、補完部208は、アクセスユニット152内で同一の情報にエラーが発生した場合(S305でYes)、エラーが発生している情報を、同一アクセスユニット152に含まれる、他の視点の映像信号に含まれる正常な情報に置き換える(S306)。
ここで、アクセスユニット内で同一の情報とは、例えば、H.264MVC規格におけるnon_idr_flag及びanchor_pic_flagであり、BD規格におけるnal_unit_type及びtemporal_idである。
non_idr_flagは、当該ピクチャがIDRピクチャであるか否かを示す情報である。ここで、IDRピクチャとは、Iピクチャの一種であり、当該IDRピクチャより後のピクチャは、当該IDRピクチャより前のピクチャを参照することが禁止される。なお、このnon_idr_flagは、少なくともベースビューのピクチャがIDRピクチャであることを示すものであり、ディペンデントビューのピクチャはIDRピクチャでなくてもよい。
anchor_pic_flagは、当該ピクチャがシーケンスの先頭に位置するピクチャであるか否かを示す情報である。
nal_unit_typeは、データの属性を示す情報である。例えば、nal_unit_typeにより、当該データがヘッダ情報である、又は、IDRピクチャである等が示される。
temporal_idは、複数のピクチャの復号順を示す識別子である。複数の連続するピクチャに対して、連番のtemporal_idが付与される。
以上により、本発明の実施の形態3に係る三次元映像復号装置200は、異なる視点間かつ同一アクセスユニット152内で共通のヘッダ情報にエラーが発生した場合には、他の視点かつ同一アクセスユニット152内の符号化ピクチャのヘッダ情報を用いて、エラーが発生したヘッダ情報を補完する。これにより、三次元映像復号装置200は、エラーが発生したヘッダ情報を適切に補完できるので、エラー発生時に好適な映像を生成できる。
また、本発明の実施の形態3に係る三次元映像復号装置200は、同一視点の映像信号内で共通のヘッダ情報にエラーが発生した場合には、同一視点の映像信号内の他のシーケンス又は符号化ピクチャの正常なヘッダ情報を用いて、エラーが発生したヘッダ情報を補完する。これにより、三次元映像復号装置200は、エラーが発生したヘッダ情報を適切に補完できるので、エラー発生時に好適な映像を生成できる。
また、本発明の実施の形態3に係る三次元映像復号装置200は、SSPS191にエラーが発生した場合には、他のディペンデントビューのSSPS191を用いて、エラーが発生したSSPS191を補完する。これにより、三次元映像復号装置200は、エラーが発生したSSPS191を適切に補完できるので、エラー発生時に好適な映像を生成できる。
なお、補完部208は、同一視点内、又は他の視点の映像信号に含まれる正常なヘッダ情報に、エラーが発生したヘッダ情報を置き換えるだけでなく、正常なヘッダ情報を用いてエラーが発生したヘッダ情報を補完してもよい。
具体的には、補完部208は、ベースビューのnal_unit_typeで当該ピクチャがIDRピクチャであることが示される場合、当該ベースビューのピクチャのnon_idr_flagを補完することができる。さらに、補完部208は、ディペンデントビューのnon_idr_flagを、補完したベースビューのnon_idr_flagの値に補完できる。
また、補完部208は、ディペンデントビューのanchor_pic_flagをベースビューのストリーム情報(SPS190の位置及びIピクチャであることを示す情報)から補完することもできる。
また、上記説明では、三次元映像復号装置200が3視点の映像信号を処理する例を述べたが、4視点以上の映像信号を処理してもよい。
また、上記説明では、本発明の実施の形態3に係る三次元映像復号装置200は、(1)異なる視点間かつ同一アクセスユニット152内で共通のヘッダ情報にエラーが発生した場合に、他の視点かつ同一アクセスユニット152内のピクチャのヘッダ情報を用いて、エラーが発生したヘッダ情報を補完する処理と、(2)同一視点の映像信号内で共通のヘッダ情報にエラーが発生した場合に、同一視点の映像信号内の他のシーケンス又はピクチャの正常なヘッダ情報を用いて、エラーが発生したヘッダ情報を補完する処理と、(3)SSPS191にエラーが発生した場合に、他のディペンデントビューのSSPS191を用いて、エラーが発生したSSPS191を補完する処理とを行っているが、上記処理のうちいずれか1以上を行なってもよい。
また、図20に示す処理順序は一例であり、同様の結果を得られる処理順序であれば、これ以外の処理順序であってもよい。また、一部の処理を同時に行なってもよい。
(実施の形態4)
本発明の実施の形態4に係る三次元映像復号装置300は、再生モード(通常再生及び特殊再生)に応じて、二次元表示を行うか、三次元表示を行うかを切り替える。
本発明の実施の形態4に係る三次元映像復号装置300は、再生モード(通常再生及び特殊再生)に応じて、二次元表示を行うか、三次元表示を行うかを切り替える。
なお、本発明の実施の形態4に係る三次元映像復号装置300は、実施の形態1に係る三次元映像復号装置100と同様に、図1に示す三次元映像表示システム10に用いることができる。
図21は、本発明の実施の形態4に係る三次元映像復号装置300の構成を示すブロック図である。なお、図5と同様の要素には同一の符号を付している。
この三次元映像復号装置300は、入力映像信号111を復号するとともに、通常再生又は特殊再生した出力映像信号117を出力する。また、三次元映像復号装置300は、格納部101と、復号部103と、再生モード取得部304と、深度判定部305と、出力部106とを備える。
格納部101は、入力映像信号111を格納し、入力映像信号112として出力する。
再生モード取得部304は、再生モード指定信号315に基づき、ユーザの操作等により指定された再生モードを取得する。ここで、再生モードとは、通常再生モードと、特殊再生モードとを含む。また、特殊再生モードは、倍速再生モード(高速再生モード)、スロー再生モード、コマ送り再生モード、逆方向再生モード、逆方向スロー再生モード、及び逆方向コマ送りモード等である。また、倍速再生モードは、速度の異なる複数の倍速再生モード(例えば、1.3倍速モード、1.6倍速モード、2倍速モード等)を含む。
また、倍速再生モードとは、通常再生モード時に表示されるピクチャを間引いて再生するモードである。また、逆方向再生モード(逆方向スロー再生モード及び逆方向コマ送りモード)は、通常再生モード時に表示されるピクチャ順に対して逆の順序でピクチャを再生するモードである。
復号部103は、左眼用符号化信号112L及び右眼用符号化信号112Rを復号することにより、左眼用復号信号113L及び右眼用復号信号113Rを含む復号映像信号113を生成する。また、復号部103は、再生モード取得部304により取得された再生モードに応じた復号処理を行うことより、通常再生又は特殊再生した復号映像信号113を生成する。
出力部106は、左眼用復号信号113L及び右眼用復号信号113Rを出力映像信号117として出力する。また、出力部106は、再生モード取得部304により取得された再生モードに応じて、左眼用復号信号113L及び右眼用復号信号113Rを出力映像信号117として出力するか、左眼用復号信号113Lのみを出力映像信号117として出力するかを切り替える。
深度判定部305は、入力映像信号112に含まれる情報を用いて、復号映像信号113の深度(左眼用復号信号113Lと右眼用復号信号113Rとで表現される三次元表示における深さ方向の位置)の変化量を算出する。また、深度判定部305は、算出した変化量が予め定められた第4閾値以上であるか否かを判定する。
図22は、三次元映像復号装置300による復号処理のフローチャートである。
図22に示すように、再生モード取得部304が取得した再生モードが通常再生モードである場合(S401でYes)、復号部103は、左眼用符号化信号112L及び右眼用符号化信号112Rを復号することにより左眼用復号信号113L及び右眼用復号信号113Rを生成する。また、出力部106は、左眼用復号信号113L及び右眼用復号信号113Rを出力映像信号117として出力する(S402)。これにより、表示パネル26には、通常再生された三次元映像が表示される。
一方、再生モード取得部304が取得した再生モードが、逆方向再生モード、逆方向再生モード、逆方向スロー再生モード、又は逆方向コマ送りモードである場合、復号部103は、左眼用符号化信号112Lのみを復号することにより左眼用復号信号113Lを生成する。また、出力部106は、左眼用復号信号113Lのみを出力映像信号117として出力する(S407)。これにより、表示パネル26には、逆方向再生された二次元映像が表示される。
また、再生モード取得部304が取得した再生モードが倍速再生モードであり、かつ、1.5倍速以上である場合(S404でYesかつS405でYes)、復号部103は、左眼用符号化信号112Lのみを復号することにより左眼用復号信号113Lを生成する。また、出力部106は、左眼用復号信号113Lのみを出力映像信号117として出力する(S407)。これにより、表示パネル26には、倍速再生された二次元映像が表示される。
また、再生モード取得部304が取得した再生モードが倍速再生モードであり、かつ、1.5倍速未満である場合(S404でYesかつS405でNo)、次に、深度判定部305は、入力映像信号112を深度の変化量を算出し、算出した変化量が第4閾値以上であるか第4閾値未満であるかを判定する(S406)。
具体的には、入力映像信号112は、復号映像信号113の深度を示す深度情報を含む。なお、表示する画像内に複数の深度が存在する場合、例えば画面上部は奥に位置し、画面下部が手前に位置するような画像では、入力映像信号112は、区切られた領域毎に別々の深度情報を含んでもよい。また、この深度情報を用いて、ビデオ(主映像)が字幕を突き抜けないように、字幕の深度が補正される。
深度判定部305は、この深度情報を用いて復号映像信号113を深度の変化量を判定する。つまり、深度判定部305は、深度情報で示される深度の変化量が第5閾値以上である場合、復号映像信号113の深度の変化量が第4閾値以上であると判定し、深度情報で示される深度の変化量が第5閾値未満である場合、復号映像信号113の深度の変化量が第4閾値未満であると判定する。
また、ここで変化量とは、例えば、再生区間に含まれる一部又は全ての区間における連続するピクチャ間の変化量の最大値又は平均値である。
深度判定部305により深度の変化量が第4閾値以上であると判定された場合(S406でYes)、復号部103は、左眼用符号化信号112Lのみを復号することにより左眼用復号信号113Lを生成する。また、出力部106は、左眼用復号信号113Lのみを出力映像信号117として出力する(S407)。これにより、表示パネル26には、倍速再生された二次元映像が表示される。
一方、深度判定部305により深度の変化量が第4閾値未満であると判定された場合(S406でNo)、復号部103は、左眼用符号化信号112L及び右眼用符号化信号112Rを復号することにより左眼用復号信号113L及び右眼用復号信号113Rを生成する。また、出力部106は、左眼用復号信号113L及び右眼用復号信号113Rを出力映像信号117として出力する(S402)。これにより、表示パネル26には、倍速再生された三次元映像が表示される。
また、再生モード取得部304が取得した再生モードが逆方向再生モード及び倍速再生モード以外の特殊再生モードの場合(S401でNo、S402でNoかつS403でNo)、つまり、再生モード取得部304が取得した再生モードがスロー再生モード又はコマ送りモードである場合、復号部103は、左眼用符号化信号112L及び右眼用符号化信号112Rを復号することにより左眼用復号信号113L及び右眼用復号信号113Rを生成する。また、出力部106は、左眼用復号信号113L及び右眼用復号信号113Rを出力映像信号117として出力する(S402)。これにより、表示パネル26には、スロー再生又はコマ送り再生された三次元映像が表示される。
以上より、本発明の実施の形態4に係る三次元映像復号装置300は、倍速再生モード時には左眼用復号信号113Lのみを出力することにより二次元表示を行う。これにより、三次元映像復号装置300は、倍速再生モード時に深度変化が激しい三次元映像が表示されることを防止できる。
また、本発明の実施の形態4に係る三次元映像復号装置300は、倍速再生モードの再生速度が予め定められた閾値以上の場合には二次元表示を行い、倍速再生モードの再生速度が予め定められた閾値未満の場合には三次元表示を行う。これにより、三次元映像復号装置300は、再生速度が速いことにより深度変化が激しくなる場合には、二次元表示を行うことができる。また、三次元映像復号装置300は、再生速度が比較的遅い場合には三次元表示を行える。
また、本発明の実施の形態4に係る三次元映像復号装置300は、倍速再生モード時において、深度が激しく変化する場合は二次元表示を行い、深度の変化が少ない場合には三次元表示を行う。これにより、三次元映像復号装置300は、深度変化が激しくなる場合には、二次元表示を行うことができる。また、三次元映像復号装置300は、深度変化が少ない場合には三次元表示を行える。
このように、本発明の実施の形態4に係る三次元映像復号装置300は、特殊再生時に好適な映像を生成できる。
また、本発明の実施の形態4に係る三次元映像復号装置300は、逆方向再生モード時には二次元表示を行う。ここで、逆方向再生は、通常再生より復号処理の処理量が多い。これは、順方向に表示が行われることを前提に復号対象のピクチャが参照するピクチャが設定されているためである。これにより、逆方向再生時には、復号対象のピクチャが参照するピクチャも復号する必要が生じる。つまり、順方向再生時にシーケンス(GOP)内の最後に復号されるピクチャを逆方向再生する場合には、当該シーケンス内の参照符号化ピクチャ(Iピクチャ及びPピクチャ)を全て復号する必要が生じる。これにより、シーケンス内の後ろのピクチャほど復号処理に時間がかかることになる。よって、復号部103の処理能力が十分でない場合、逆方向再生時に、シーケンス内の後ろのピクチャほど表示間隔が長くなるという表示間隔の不均一が生じる。または、最も時間がかかる復号処理に全てのピクチャの表示間隔をあわせた場合には、逆方向再生の再生速度が遅くなるという問題が生じる。
一方、本発明の実施の形態4に係る三次元映像復号装置300では、逆方向再生モード時には二次元表示を行うことで、三次元表示を行う場合に比べて復号部103の処理量を低減できる。これにより、三次元映像復号装置300は、上記の表示間隔の不均一を防止できるので、特殊再生時に好適な映像を生成できる。また、三次元映像復号装置300は、逆方向再生時の再生速度を向上できる。また、三次元映像復号装置300は、逆方向コマ送り時のレスポンスを向上できる。
なお、上記説明では、本発明の実施の形態4に係る三次元映像復号装置300は、(1)倍速再生モード時に二次元表示を行う処理と、(2)倍速再生モードの再生速度が予め定められた閾値以上の場合には二次元表示を行い、倍速再生モードの再生速度が予め定められた閾値未満の場合には三次元表示を行う処理と、(3)倍速再生モード時において、深度が激しく変化する場合は二次元表示を行い、深度の変化が少ない場合には三次元表示を行う処理と、(4)逆方向再生モード時には二次元表示を行う処理とを行っているが、これらの処理のうち1以上を行えばよい。
また、図22に示す処理順序は一例であり、同様の結果を得られる処理順序であれば、これ以外の処理順序であってもよい。また、一部の処理を同時に行なってもよい。
また、上記説明では、三次元映像復号装置300は、倍速再生の再生速度が予め定められた速度以上の場合(S405でYes)、二次元表示を行っているが、さらに、ステップS406と同様に深度の変化量が閾値以上であるか否かに応じて、二次元表示を行うか三次元表示を行うかを切り替えてもよい。
以上、本発明の実施の形態1~4に係る三次元映像復号装置100、200及び300について説明したが、本発明は、この実施の形態に限定されるものではない。
例えば、上記説明では、専用メガネ(シャッタメガネ43)を用いる場合を例に述べたが、専用メガネを用いない方式にも本発明を適用できる。
また、上記説明では、本発明に係る三次元映像復号装置100、200及び300をデジタルテレビ及びデジタルビデオレコーダに適用した例を述べたが、本発明に係る三次元映像復号装置100、200及び300は、デジタルテレビ以外の三次元映像を表示する三次元映像表示装置(例えば、携帯電話機器、パーソナルコンピュータ等)に適用できる。また、本発明に係る三次元映像復号装置100、200及び300は、デジタルビデオレコーダ以外の三次元映像を出力する三次元映像出力装置(例えば、BDプレーヤ等)に適用できる。
また、上記実施の形態1~4に係る三次元映像復号装置100、200及び300は典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又はすべてを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。
また、本発明の実施の形態1~4に係る三次元映像復号装置100、200及び300の機能の一部又は全てを、CPU等のプロセッサがプログラムを実行することにより実現してもよい。
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
また、本発明は、三次元映像復号装置に含まれる特徴的な手段をステップとする三次元映像復号方法として実現してもよい。また、本発明は、上述した三次元映像復号装置を備えるデジタルテレビ等の三次元映像表示装置として実現したり、このような三次元映像表示装置を含む三次元映像表示システムとして実現したりできる。
また、上記実施の形態1~4に係る三次元映像復号装置100、200及び300、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
また、上記で用いた数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
また、上記三次元映像復号装置100、200及び300の構成は、本発明を具体的に説明するために例示するためのものであり、本発明に係る三次元映像復号装置は、上記構成の全てを必ずしも備える必要はない。言い換えると、本発明に係る三次元映像復号装置は、本発明の効果を実現できる最小限の構成のみを備えればよい。
同様に、上記の三次元映像復号装置による三次元映像復号方法は、本発明を具体的に説明するために例示するためのものであり、本発明に係る三次元映像復号装置による三次元映像復号方法は、上記ステップの全てを必ずしも含む必要はない。言い換えると、本発明に係る三次元映像復号方法は、本発明の効果を実現できる最小限のステップのみを含めばよい。また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
本発明は、三次元映像処理装置に適用でき、特に、デジタルビデオレコーダ及びデジタルテレビ等に適用できる。
10 三次元映像表示システム
20 デジタルテレビ
21、31 入力部
23、33 HDMI通信部
26 表示パネル
27 トランスミッタ
30 デジタルビデオレコーダ
40 HDMIケーブル
41 光ディスク
42 放送波
43 シャッタメガネ
56、57、111、112 入力映像信号
58、117 出力映像信号
100、100B、200、300 三次元映像復号装置
101 格納部
103 復号部
104、204 エラー判定部
105 出力判定部
106 出力部
112L 左眼用符号化信号
112R 右眼用符号化信号
112R1 第1右眼用符号化信号
112R2 第2右眼用符号化信号
113 復号映像信号
113L 左眼用復号信号
113R 右眼用復号信号
117L 左眼用出力信号
117R 右眼用出力信号
151L 左眼用パケット
151R 右眼用パケット
152 アクセスユニット
160 シーケンスデータ
161 シーケンスヘッダ
162 ピクチャデータ
163 ピクチャヘッダ
164 ピクセルデータ
170、171 符号化ピクチャ
170l 左眼用画像
170r 右眼用画像
175l 左眼用ライン
175r 右眼用ライン
180、181、182 エラーピクチャ
185 正常スライス
186 エラースライス
187 参照エリア
190 SPS
191 SSPS
207 ヘッダ情報格納部
208 補完部
304 再生モード取得部
305 深度判定部
315 再生モード指定信号
20 デジタルテレビ
21、31 入力部
23、33 HDMI通信部
26 表示パネル
27 トランスミッタ
30 デジタルビデオレコーダ
40 HDMIケーブル
41 光ディスク
42 放送波
43 シャッタメガネ
56、57、111、112 入力映像信号
58、117 出力映像信号
100、100B、200、300 三次元映像復号装置
101 格納部
103 復号部
104、204 エラー判定部
105 出力判定部
106 出力部
112L 左眼用符号化信号
112R 右眼用符号化信号
112R1 第1右眼用符号化信号
112R2 第2右眼用符号化信号
113 復号映像信号
113L 左眼用復号信号
113R 右眼用復号信号
117L 左眼用出力信号
117R 右眼用出力信号
151L 左眼用パケット
151R 右眼用パケット
152 アクセスユニット
160 シーケンスデータ
161 シーケンスヘッダ
162 ピクチャデータ
163 ピクチャヘッダ
164 ピクセルデータ
170、171 符号化ピクチャ
170l 左眼用画像
170r 右眼用画像
175l 左眼用ライン
175r 右眼用ライン
180、181、182 エラーピクチャ
185 正常スライス
186 エラースライス
187 参照エリア
190 SPS
191 SSPS
207 ヘッダ情報格納部
208 補完部
304 再生モード取得部
305 深度判定部
315 再生モード指定信号
Claims (19)
- 第1視点の映像信号が符号化された第1符号化信号と、前記第1視点と異なる第2視点の映像信号が符号化された第2符号化信号とを復号する三次元映像復号装置であって、
前記第1符号化信号を復号することにより第1復号信号を生成し、前記第2符号化信号を復号することにより第2復号信号を生成する復号部と、
予め定められたデータ量ごとに、前記第1符号化信号及び前記第2符号化信号にエラーが発生しているか否かを判定するエラー判定部と、
前記エラー判定部により、対応する表示時刻が付与された前記第1符号化信号及び前記第2符号化信号のうち一方の信号にエラーが発生していると判定され、かつ他方の信号にエラーが発生していないと判定された場合、前記エラーが発生していると判定された前記一方の信号のエラーデータ量が第1閾値以上であるか否かを判定する出力判定部と、
前記出力判定部により、前記エラーデータ量が前記第1閾値未満であると判定された場合、前記一方の信号及び前記他方の信号に対応する前記第1復号信号及び前記第2復号信号を共に出力せず、前記出力判定部により、前記エラーデータ量が前記第1閾値以上であると判定された場合、前記他方の信号が復号された前記第1復号信号又は前記第2復号信号のみを出力する出力部とを備える
三次元映像復号装置。 - 前記復号部は、前記第1符号化信号を、既に復号した前記第1復号信号を参照して復号し、前記第2符号化信号を、既に復号した前記第1復号信号及び前記第2復号信号を参照して復号し、
前記出力判定部は、さらに、前記エラー判定部により、対応する表示時刻が付与された前記第1符号化信号及び前記第2符号化信号のうち一方の信号にエラーが発生していると判定され、かつ他方の信号にエラーが発生していないと判定された場合、前記一方の信号が前記第1符号化信号であるか前記第2符号化信号であるかを判定し、
前記出力部は、
前記出力判定部により、前記一方の信号が前記第1符号化信号であると判定された場合、前記一方の信号及び前記他方の信号に対応する前記第1復号信号及び前記第2復号信号を共に出力せず、
前記出力判定部により、前記エラーデータ量が前記第1閾値以上であると判定され、かつ、前記出力判定部により、前記一方の信号が前記第2符号化信号であると判定された場合、前記他方の信号が復号された前記第1復号信号のみを出力する
請求項1記載の三次元映像復号装置。 - 第1視点の映像信号が符号化された第1符号化信号と、前記第1視点と異なる第2視点の映像信号が符号化された第2符号化信号とを復号する三次元映像復号装置であって、
前記第1符号化信号を、既に復号した前記第1復号信号を参照して復号することにより第1復号信号を生成し、前記第2符号化信号を、既に復号した前記第1復号信号及び前記第2復号信号を参照して復号することにより第2復号信号を生成する復号部と、
前記第1符号化信号及び前記第2符号化信号にエラーが発生しているか否かを判定するエラー判定部と、
前記エラー判定部により、対応する表示時刻が付与された前記第1符号化信号及び前記第2符号化信号のうち一方の信号にエラーが発生していると判定され、かつ他方の信号にエラーが発生していないと判定された場合、前記一方の信号が前記第1符号化信号であるか前記第2符号化信号であるかを判定する出力判定部と、
前記出力判定部により、前記一方の信号が前記第1符号化信号であると判定された場合、前記一方の信号及び前記他方の信号に対応する前記第1復号信号及び前記第2復号信号を共に出力せず、前記出力判定部により、前記一方の信号が前記第2符号化信号であると判定された場合、前記他方の信号が復号された前記第1復号信号のみを出力する出力部とを備える
三次元映像復号装置。 - 前記第2符号化信号は、当該第2符号化信号に含まれる符号化ピクチャに対応付けられ、前記第1復号信号に含まれる復号ピクチャの一部の領域である参照エリアを指定する参照領域指定情報を含み、
前記復号部は、前記第2符号化信号に含まれる符号化ピクチャを、当該符号化ピクチャに対応した表示時刻が付与された前記復号ピクチャに含まれる前記参照エリアを参照して復号し、
前記エラー判定部は、前記符号化ピクチャに含まれる複数のスライスごとに、当該スライスにエラーが発生しているか否かを判定し、
前記出力判定部は、前記一方の信号が前記第2符号化信号であると判定した場合、エラーが発生していると判定されたエラースライスが前記参照エリアに含まれるか否かを判定し、
前記出力部は、
前記出力判定部により、前記エラースライスが前記参照エリアに含まれると判定された場合、前記一方の信号及び前記他方の信号に対応する前記第1復号信号及び前記第2復号信号を共に出力せず、
前記出力判定部により、前記エラースライスが前記参照エリアに含まれないと判定された場合、前記他方の信号が復号された前記第1復号信号のみを出力する
請求項2又は3記載の三次元映像復号装置。 - 前記第1符号化信号及び前記第2符号化信号のそれぞれは、複数の符号化ピクチャと、当該複数の符号化ピクチャに共通の情報とを含む複数のグループデータを含み、
前記出力判定部は、さらに、
前記エラー判定部によりエラーが発生していると判定されたエラー符号化ピクチャが、当該エラー符号化ピクチャが復号された復号ピクチャが前記復号部による他の符号化ピクチャの復号の際に参照される参照符号化ピクチャであるか、前記復号部による他の符号化ピクチャの復号の際に参照されない非参照符号化ピクチャであるかを判定し、
前記出力部は、
前記エラー判定部により、前記エラー符号化ピクチャが前記参照符号化ピクチャであると判定された場合、当該エラー符号化ピクチャと、当該エラー符号化ピクチャが含まれるグループデータに含まれる当該エラー符号化ピクチャより後の符号化ピクチャとに対応する復号ピクチャを出力せず、
前記エラー判定部により、前記エラー符号化ピクチャが前記非参照符号化ピクチャであると判定された場合、当該エラー符号化ピクチャに対応する復号ピクチャを出力しない
請求項2~4のいずれか1項に記載の三次元映像復号装置。 - 前記出力部は、
前記エラー判定部により、前記エラー符号化ピクチャが前記非参照符号化ピクチャであると判定された場合、前記一方の信号及び前記他方の信号に対応する前記第1復号信号及び前記第2復号信号を共に出力しないと判定し、
前記エラー判定部により、前記エラー符号化ピクチャが前記参照符号化ピクチャであると判定された場合、前記他方の信号が復号された前記第1復号信号又は前記第2復号信号のみを出力すると判定する
請求項5記載の三次元映像復号装置。 - 第1視点の映像信号が符号化された第1符号化信号と、前記第1視点と異なる第2視点の映像信号が符号化された第2符号化信号とを復号する三次元映像復号装置であって、
前記第1符号化信号を、当該第1符号化信号に含まれる第1情報を用いて復号することにより第1復号信号を生成し、前記第2符号化信号を、当該第2符号化信号に含まれる第2情報を用いて復号することにより第2復号信号を生成する復号部と、
前記第1情報及び前記第2情報にエラーが発生しているか否かを判定するエラー判定部と、
前記エラー判定部により、対応する表示時刻が付与された前記第1情報及び前記第2情報の一方にエラーが発生していると判定された場合、他方を用いて当該一方を補完する補完部を備える
三次元映像復号装置。 - 前記三次元映像復号装置は、さらに、前記第1視点及び前記第2視点と異なる第3視点の映像信号が符号化された第3符号化信号を復号し、
前記復号部は、
前記第3符号化信号を、当該第3符号化信号に含まれる第3情報を用いて復号することにより第3復号信号を生成し、
前記第3符号化信号を、既に復号した前記第3復号信号を参照して復号し、
前記第1符号化信号及び前記第2符号化信号を、既に復号した前記第1復号信号、前記第2復号信号及び前記第3復号信号を参照して復号し、
前記第1符号化信号は、複数の符号化ピクチャと、当該複数の符号化ピクチャに共通の情報である前記第1情報とを含む複数の第1グループデータを含み、
前記第2符号化信号は、複数の符号化ピクチャと、当該複数の符号化ピクチャに共通の情報である前記第2情報とを含む複数の第2グループデータを含み、
前記第1情報及び前記第2情報は、第1視点の映像信号と第2視点の映像信号と第3視点の映像信号との視点間の関係を示す情報である
請求項7記載の三次元映像復号装置。 - 前記第1符号化信号は、複数の符号化ピクチャと、当該複数の符号化ピクチャに共通の情報であり、前記第1情報に含まれる第4情報とを含む複数の第1グループデータを含み、
前記第2符号化信号は、複数の符号化ピクチャと、当該複数の符号化ピクチャに共通の情報であり、前記第2情報に含まれる第5情報とを含む複数の第2グループデータを含み、
前記補完部は、
前記エラー判定部により、前記複数の第1グループデータに含まれる一の第1グループデータに含まれる第4情報にエラーが発生していると判定された場合、前記複数の第1グループデータに含まれる他の第1グループデータに含まれる第4情報を用いて、当該一の第1グループデータに含まれる第4情報を補完し、
前記エラー判定部により、前記複数の第2グループデータに含まれる一の第2グループデータに含まれる第5情報にエラーが発生していると判定された場合、前記複数の第2グループデータに含まれる他の第2グループデータに含まれる第5情報を用いて、当該一の第2グループデータに含まれる第5情報を補完する
請求項7又は8記載の三次元映像復号装置。 - 第1視点の映像信号が符号化された第1符号化信号と、前記第1視点と異なる第2視点の映像信号が符号化された第2符号化信号とを復号するとともに、通常再生又は特殊再生した出力映像信号を出力する三次元映像復号装置であって、
前記通常再生又は前記特殊再生の指示を取得する再生モード取得部と、
前記再生モード取得により取得された指示に応じて、前記第1符号化信号を復号することにより、通常再生又は特殊再生した第1復号信号を生成し、前記第2符号化信号を復号することにより、通常再生又は特殊再生した第2復号信号を生成する復号部と、
前記再生モード取得部により前記通常再生の指示が取得された場合、前記第1復号信号及び前記第2復号信号を共に出力し、前記再生モード取得部により前記特殊再生の指示が取得された場合、前記第1復号信号及び前記第2復号信号の一方のみを前記出力映像信号として出力する出力部とを備える
三次元映像復号装置。 - 前記特殊再生は倍速再生を含み、
前記出力部は、前記再生モード取得部により前記倍速再生の指示が取得された場合、前記第1復号信号及び前記第2復号信号の一方のみを出力する
請求項10記載の三次元映像復号装置。 - 前記倍速再生は、第1倍速再生と、前記第1倍速再生よりも高速な第2倍速再生とを含み、
前記出力部は、
前記再生モード取得部により前記第1倍速再生の指示が取得された場合、前記第1復号信号及び前記第2復号信号を共に出力し、
前記再生モード取得部により前記第2倍速再生の指示が取得された場合、前記第1復号信号及び前記第2復号信号の一方のみを出力する
請求項11記載の三次元映像復号装置。 - 前記三次元映像復号装置は、さらに、
前記第1復号信号と前記第2復号信号とにより表現される三次元映像の深さ方向の変化量が第1閾値以上であるか否かを判定する深度判定部を備え、
前記出力部は、
前記再生モード取得部により前記倍速再生の指示が取得され、かつ、前記深度判定部により前記変化量が前記第1閾値以上であると判定された場合、前記第1復号信号及び前記第2復号信号の一方のみを出力し、
前記再生モード取得部により前記倍速再生の指示が取得され、かつ、前記深度判定部により前記変化量が前記第1閾値未満であると判定された場合、前記第1復号信号及び前記第2復号信号を共に出力する
請求項11記載の三次元映像復号装置。 - 前記第1符号化信号及び前記第2符号化信号の少なくとも一方は、前記第1復号信号及び前記第2復号信号の三次元表示における深さ方向の位置を示す深度情報を含み、
前記深度判定部は、
前記深度情報で示される深さ方向の位置の変化量が第2閾値以上である場合、前記第1復号信号と前記第2復号信号とにより表現される三次元映像の深さ方向の変化量が前記第1閾値以上であると判定し、
前記深度情報で示される深さ方向の位置の変化量が前記第2閾値未満である場合、前記第1復号信号と前記第2復号信号とにより表現される三次元映像の深さ方向の変化量が前記第1閾値未満であると判定する
請求項13記載の三次元映像復号装置。 - 前記特殊再生は、前記通常再生時に表示されるピクチャ順に対して逆の順序でピクチャを再生する逆方向再生を含み、
前記再生モード取得部により前記逆方向再生の指示が取得された場合、
前記復号部は、前記第1符号化信号及び前記第2符号化信号の一方のみを復号することにより、前記第1復号信号及び前記第2復号信号の一方のみを生成し、
前記出力部は、前記復号部により生成された前記第1復号信号及び前記第2復号信号の前記一方のみを出力する
請求項10記載の三次元映像復号装置。 - 第1視点の映像信号が符号化された第1符号化信号と、前記第1視点と異なる第2視点の映像信号が符号化された第2符号化信号とを復号する三次元映像復号方法であって、
前記第1符号化信号を復号することにより第1復号信号を生成し、前記第2符号化信号を復号することにより第2復号信号を生成する復号ステップと、
予め定められたデータ量ごとに、前記第1符号化信号及び前記第2符号化信号にエラーが発生しているか否かを判定するエラー判定ステップと、
前記エラー判定ステップにより、対応する表示時刻が付与された前記第1符号化信号及び前記第2符号化信号のうち一方の信号にエラーが発生していると判定され、かつ他方の信号にエラーが発生していないと判定された場合、前記エラーが発生していると判定された前記一方の信号のエラーデータ量が第1閾値以上であるか否かを判定する出力判定ステップと、
前記出力判定ステップにより、前記エラーデータ量が前記第1閾値未満であると判定された場合、前記一方の信号及び前記他方の信号に対応する前記第1復号信号及び前記第2復号信号を共に出力せず、前記出力判定ステップにより、前記エラーデータ量が前記第1閾値以上であると判定された場合、前記他方の信号が復号された前記第1復号信号又は前記第2復号信号のみを出力する出力ステップとを含む
三次元映像復号方法。 - 第1視点の映像信号が符号化された第1符号化信号と、前記第1視点と異なる第2視点の映像信号が符号化された第2符号化信号とを復号する三次元映像復号方法であって、
前記第1符号化信号を、既に復号した前記第1復号信号を参照して復号することにより第1復号信号を生成し、前記第2符号化信号を、既に復号した前記第1復号信号及び前記第2復号信号を参照して復号することにより第2復号信号を生成する復号ステップと、
前記第1符号化信号及び前記第2符号化信号にエラーが発生しているか否かを判定するエラー判定ステップと、
前記エラー判定ステップにより、対応する表示時刻が付与された前記第1符号化信号及び前記第2符号化信号のうち一方の信号にエラーが発生していると判定され、かつ他方の信号にエラーが発生していないと判定された場合、前記一方の信号が前記第1符号化信号であるか前記第2符号化信号であるかを判定する出力判定ステップと、
前記出力判定ステップにより、前記一方の信号が前記第1符号化信号であると判定された場合、前記一方の信号及び前記他方の信号に対応する前記第1復号信号及び前記第2復号信号を共に出力せず、前記出力判定ステップにより、前記一方の信号が前記第2符号化信号であると判定された場合、前記他方の信号が復号された前記第1復号信号のみを出力する出力ステップとを含む
三次元映像復号方法。 - 第1視点の映像信号が符号化された第1符号化信号と、前記第1視点と異なる第2視点の映像信号が符号化された第2符号化信号とを復号する三次元映像復号方法であって、
前記第1符号化信号を、当該第1符号化信号に含まれる第1情報を用いて復号することにより第1復号信号を生成し、前記第2符号化信号を、当該第2符号化信号に含まれる第2情報を用いて復号することにより第2復号信号を生成する復号ステップと、
前記第1情報及び前記第2情報にエラーが発生しているか否かを判定するエラー判定ステップと、
前記エラー判定ステップにより、対応する表示時刻が付与された前記第1情報及び前記第2情報の一方にエラーが発生していると判定された場合、他方を用いて当該一方を補完する補完ステップを含む
三次元映像復号方法。 - 第1視点の映像信号が符号化された第1符号化信号と、前記第1視点と異なる第2視点の映像信号が符号化された第2符号化信号とを復号するとともに、通常再生又は特殊再生した出力映像信号を出力する三次元映像復号方法であって、
前記第1符号化信号を復号することにより第1復号信号を生成し、前記第2符号化信号を復号することにより第2復号信号を生成する復号ステップと、
前記通常再生又は前記特殊再生の指示を取得する再生モード取得ステップと、
前記再生モード取得ステップにより前記通常再生の指示が取得された場合、前記第1復号信号及び前記第2復号信号を共に出力し、前記再生モード取得ステップにより前記特殊再生の指示が取得された場合、前記第1復号信号及び前記第2復号信号の一方のみを前記出力映像信号として出力する出力ステップとを含む
三次元映像復号方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201080009970.8A CN102342119B (zh) | 2009-11-11 | 2010-09-29 | 三维影像解码装置及三维影像解码方法 |
US13/189,834 US8577208B2 (en) | 2009-11-11 | 2011-07-25 | 3D video decoding apparatus and 3D video decoding method |
US13/975,031 US8964859B2 (en) | 2009-11-11 | 2013-08-23 | 3D video decoding apparatus and 3D video decoding method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009-258212 | 2009-11-11 | ||
JP2009258212A JP4823349B2 (ja) | 2009-11-11 | 2009-11-11 | 三次元映像復号装置及び三次元映像復号方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US13/189,834 Continuation US8577208B2 (en) | 2009-11-11 | 2011-07-25 | 3D video decoding apparatus and 3D video decoding method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011058690A1 true WO2011058690A1 (ja) | 2011-05-19 |
Family
ID=43991365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2010/005849 WO2011058690A1 (ja) | 2009-11-11 | 2010-09-29 | 三次元映像復号装置及び三次元映像復号方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US8577208B2 (ja) |
JP (1) | JP4823349B2 (ja) |
CN (1) | CN102342119B (ja) |
WO (1) | WO2011058690A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5732986B2 (ja) * | 2011-04-08 | 2015-06-10 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP5238849B2 (ja) * | 2011-05-16 | 2013-07-17 | 株式会社東芝 | 電子機器、電子機器の制御方法及び電子機器の制御プログラム |
JP5328852B2 (ja) * | 2011-07-25 | 2013-10-30 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像処理方法、プログラム及び情報記憶媒体 |
EP2645724A4 (en) | 2011-11-11 | 2014-08-06 | Sony Corp | SENDING DEVICE, TRANSMISSION PROCEDURE, RECEPTION DEVICE AND RECEPTION PROCEDURE |
JP6192902B2 (ja) * | 2011-11-11 | 2017-09-06 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 |
JP5864223B2 (ja) * | 2011-11-16 | 2016-02-17 | シャープ株式会社 | 電子機器、表示制御方法、およびプログラム |
JP2013106288A (ja) * | 2011-11-16 | 2013-05-30 | Sharp Corp | 電子機器、表示制御方法、およびプログラム |
EP2800391A4 (en) * | 2011-12-27 | 2015-07-29 | Lg Electronics Inc | DIGITAL BROADCAST RECEIVING METHOD FOR DISPLAYING THREE-DIMENSIONAL IMAGE, AND CORRESPONDING RECEIVING DEVICE |
WO2013114887A1 (en) | 2012-02-02 | 2013-08-08 | Panasonic Corporation | Methods and apparatuses for 3d media data generation, encoding, decoding and display using disparity information |
CN102780894B (zh) * | 2012-05-31 | 2016-12-14 | 新奥特(北京)视频技术有限公司 | 一种3d图像的编解码方法 |
FI3471419T3 (fi) | 2012-06-25 | 2023-05-29 | Huawei Tech Co Ltd | Gtla (gradual temporal layer access) -kuvat videopakkauksessa |
US9066082B2 (en) * | 2013-03-15 | 2015-06-23 | International Business Machines Corporation | Forensics in multi-channel media content |
US10728565B2 (en) | 2013-04-05 | 2020-07-28 | Samsung Electronics Co., Ltd. | Video encoding method and apparatus thereof and a video decoding method and apparatus thereof |
US10531063B2 (en) | 2015-12-25 | 2020-01-07 | Samsung Electronics Co., Ltd. | Method and apparatus for processing stereoscopic video |
US10152068B1 (en) * | 2018-02-14 | 2018-12-11 | Delta Electronics, Inc. | Electrical ballast and driving method thereof |
US11044456B2 (en) * | 2018-05-31 | 2021-06-22 | Electronics And Telecommunications Research Institute | Image processing method and image player using thereof |
WO2020009344A1 (ko) * | 2018-07-06 | 2020-01-09 | 엘지전자 주식회사 | 360 비디오 데이터의 서브픽처 기반 처리 방법 및 그 장치 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07327242A (ja) * | 1994-05-31 | 1995-12-12 | Sanyo Electric Co Ltd | 立体動画像圧縮符号化装置及び立体動画像復号再生装置 |
JP2005110121A (ja) * | 2003-10-01 | 2005-04-21 | Sharp Corp | 画像データ表示装置 |
JP2008103820A (ja) * | 2006-10-17 | 2008-05-01 | Sharp Corp | 立体画像処理装置 |
JP2008306602A (ja) * | 2007-06-08 | 2008-12-18 | Canon Inc | 画像表示システム、及びその制御方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3332575B2 (ja) * | 1994-05-23 | 2002-10-07 | 三洋電機株式会社 | 立体動画像再生装置 |
JP3338183B2 (ja) * | 1994-07-26 | 2002-10-28 | 三洋電機株式会社 | 立体動画像の復号装置 |
JPH08149521A (ja) * | 1994-11-21 | 1996-06-07 | Sanyo Electric Co Ltd | 立体動画像の復号装置及び記録媒体 |
JPH10243419A (ja) * | 1997-02-26 | 1998-09-11 | Toshiba Corp | 立体視画像符号化・復号化方法及び装置 |
JP2000134642A (ja) * | 1998-10-21 | 2000-05-12 | Toshiba Corp | 立体モードと平面モードを持つ立体映像再生装置とその方法 |
US6281903B1 (en) * | 1998-12-04 | 2001-08-28 | International Business Machines Corporation | Methods and apparatus for embedding 2D image content into 3D models |
EP1919087A1 (en) * | 1999-03-01 | 2008-05-07 | Fujitsu Limited | Turbo decoder |
JP3592168B2 (ja) | 1999-12-22 | 2004-11-24 | キヤノン株式会社 | 画像データの符号化復号化方法及び装置 |
US7020826B2 (en) * | 2002-01-23 | 2006-03-28 | Thomson Licensing | Intra-decoder component block messaging |
JP3992533B2 (ja) * | 2002-04-25 | 2007-10-17 | シャープ株式会社 | 立体視を可能とする立体動画像用のデータ復号装置 |
JP3778893B2 (ja) * | 2002-11-19 | 2006-05-24 | 株式会社ソフィア | 遊技機 |
US9077991B2 (en) * | 2002-12-10 | 2015-07-07 | Sony Computer Entertainment America Llc | System and method for utilizing forward error correction with video compression |
JP4830655B2 (ja) * | 2006-06-13 | 2011-12-07 | ソニー株式会社 | 再生装置、再生方法 |
CN101355707B (zh) * | 2008-06-10 | 2010-08-11 | 西南交通大学 | 一种立体视频分层编码差错控制方法 |
WO2010014973A1 (en) * | 2008-08-01 | 2010-02-04 | Real D | Method and apparatus to mark and identify stereoscopic video frames |
US20100046917A1 (en) * | 2008-08-21 | 2010-02-25 | David Naranjo | 3d enabled player/recorder |
-
2009
- 2009-11-11 JP JP2009258212A patent/JP4823349B2/ja not_active Expired - Fee Related
-
2010
- 2010-09-29 CN CN201080009970.8A patent/CN102342119B/zh not_active Expired - Fee Related
- 2010-09-29 WO PCT/JP2010/005849 patent/WO2011058690A1/ja active Application Filing
-
2011
- 2011-07-25 US US13/189,834 patent/US8577208B2/en not_active Expired - Fee Related
-
2013
- 2013-08-23 US US13/975,031 patent/US8964859B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07327242A (ja) * | 1994-05-31 | 1995-12-12 | Sanyo Electric Co Ltd | 立体動画像圧縮符号化装置及び立体動画像復号再生装置 |
JP2005110121A (ja) * | 2003-10-01 | 2005-04-21 | Sharp Corp | 画像データ表示装置 |
JP2008103820A (ja) * | 2006-10-17 | 2008-05-01 | Sharp Corp | 立体画像処理装置 |
JP2008306602A (ja) * | 2007-06-08 | 2008-12-18 | Canon Inc | 画像表示システム、及びその制御方法 |
Also Published As
Publication number | Publication date |
---|---|
US8577208B2 (en) | 2013-11-05 |
US8964859B2 (en) | 2015-02-24 |
US20130343469A1 (en) | 2013-12-26 |
CN102342119B (zh) | 2014-07-23 |
CN102342119A (zh) | 2012-02-01 |
JP4823349B2 (ja) | 2011-11-24 |
JP2011103589A (ja) | 2011-05-26 |
US20110280552A1 (en) | 2011-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4823349B2 (ja) | 三次元映像復号装置及び三次元映像復号方法 | |
RU2552137C2 (ru) | Точки входа для ускоренного 3d-воспроизведения | |
US20120050476A1 (en) | Video processing device | |
US20110249091A1 (en) | Video signal processing apparatus and video signal processing method | |
JPWO2012111325A1 (ja) | 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム | |
US8711942B2 (en) | Moving picture decoding device and moving picture decoding method | |
WO2012169204A1 (ja) | 送信装置、受信装置、送信方法及び受信方法 | |
JP5415217B2 (ja) | 三次元映像処理装置 | |
KR101977260B1 (ko) | 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치 | |
CN102144395A (zh) | 高速搜索模式中的立体图像再现方法和使用该方法的立体图像再现装置 | |
JP6008292B2 (ja) | ビデオストリームの映像のデータ作成装置及び再生装置 | |
US20110280318A1 (en) | Multiview video decoding apparatus and multiview video decoding method | |
JP5377589B2 (ja) | 再生方法、再生装置、光ディスク | |
JP2012028960A (ja) | 画像復号装置、画像復号方法および画像復号プログラム | |
JP5343792B2 (ja) | 画像符号化装置、画像符号化方法およびそのプログラム | |
US20140049608A1 (en) | Video processing device and video processing method | |
JP6585199B2 (ja) | 映像再生方法及び映像再生装置 | |
JP6280260B2 (ja) | 映像再生方法、映像再生装置、光ディスク | |
JP6109371B2 (ja) | 映像再生方法、映像再生装置、光ディスク | |
JP6049794B2 (ja) | 映像再生方法、映像再生装置、光ディスク | |
JP5383833B2 (ja) | 映像情報記録方法、映像情報再生方法、映像情報記録装置、映像情報再生装置、光ディスク | |
JP2013211777A (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム | |
JP2019198106A (ja) | 光ディスク及び映像再生方法 | |
JP2014042308A (ja) | 映像再生方法、映像再生装置、光ディスク |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 201080009970.8 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10829658 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 10829658 Country of ref document: EP Kind code of ref document: A1 |