WO2012165218A1 - 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置 - Google Patents

記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置 Download PDF

Info

Publication number
WO2012165218A1
WO2012165218A1 PCT/JP2012/063031 JP2012063031W WO2012165218A1 WO 2012165218 A1 WO2012165218 A1 WO 2012165218A1 JP 2012063031 W JP2012063031 W JP 2012063031W WO 2012165218 A1 WO2012165218 A1 WO 2012165218A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
view video
base view
information
video stream
Prior art date
Application number
PCT/JP2012/063031
Other languages
English (en)
French (fr)
Inventor
俊也 浜田
有留　憲一郎
前　篤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP12793581.5A priority Critical patent/EP2688303A4/en
Priority to KR20137030803A priority patent/KR20140030202A/ko
Priority to US14/118,081 priority patent/US20140072271A1/en
Priority to CN201280024910.2A priority patent/CN103548345A/zh
Publication of WO2012165218A1 publication Critical patent/WO2012165218A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus

Definitions

  • the present technology particularly relates to a recording apparatus, a recording method, a reproducing apparatus, a reproducing method, a program, and a recording / reproducing apparatus that can provide information on a plurality of cameras used for photographing to a reproducing apparatus.
  • the video data of 3D content includes data for an image for the left eye (L image) and an image for the right eye (R image). There is a shift corresponding to parallax between the subject appearing in the L image and the subject appearing in the R image.
  • the subject can be recognized in three dimensions.
  • the optimal parallax varies depending on the size of the display image on the display device, and the optimal parallax varies depending on the viewing distance.
  • the present technology has been made in view of such a situation, and makes it possible to provide information on a plurality of cameras used for photographing to a playback-side apparatus.
  • the recording apparatus encodes an image captured by the first camera and an image captured by the second camera using H.264 / MPEG-4 MVC, and generates a non-base view video stream.
  • the SEI including at least one of information on the optical axis interval between the first camera and the second camera, information on convergence angle, and information on focal length is recorded as the SEI of each picture constituting
  • a recording control unit for recording the Base-view video stream and the Non-base-view video stream in which the SEI is recorded on a recording medium.
  • the first camera and the second camera each have at least a lens.
  • An image sensor for the first camera and an image sensor for the second camera may be provided as the image sensor that performs photoelectric conversion of light taken into the lens, or one image sensor is the first.
  • the camera and the second camera may be used in common.
  • the first camera and the second camera may be provided inside the recording apparatus, or may be provided outside the recording apparatus. When provided outside the recording apparatus, images captured by the first camera and the second camera are supplied to the recording apparatus by wired or wireless communication.
  • the first camera that captures an image for the left eye and the second camera that captures an image for the right eye can be further provided.
  • the encoding unit encodes the left-eye image captured by the first camera as the Base view video stream, and the right-eye image captured by the second camera is the Non-image.
  • -base view Can be encoded as a video stream.
  • the encoding unit can record information including two values as the optical axis interval information.
  • the optical axis interval between the first camera and the second camera is expressed by dividing one of the two values by the other value.
  • the encoding unit can record information including two values as the convergence angle information.
  • the convergence angle of the first camera and the second camera is expressed by dividing one of the two values by the other value.
  • the playback device provides a Base obtained by encoding an image captured by the first camera and an image captured by the second camera using H.264 / MPEG-4CMVC.
  • a view video stream, and an SEI including at least one of information on optical axis spacing, convergence angle information, and focal length information of the first camera and the second camera is recorded as an SEI of each picture
  • a decoding unit that decodes the non-base video stream is recorded as an SEI of each picture.
  • a display control unit configured to adjust and display a parallax between an image obtained by decoding the Base view video stream and an image obtained by decoding the Non-base view video stream based on the SEI; Can be provided.
  • the display control unit displays an image obtained by decoding the Base-view video stream as a left-eye image, and an image obtained by decoding the Non-base view video stream is used as a right-eye image. Can be displayed.
  • the recording / playback apparatus encodes an image shot by the first camera and an image shot by the second camera using H.264 / MPEG-4 MVC, and produces a non-base view video.
  • the SEI of each picture constituting the stream the SEI including at least one of information on an optical axis interval between the first camera and the second camera, information on a convergence angle, and information on a focal length is used.
  • information on a plurality of cameras used for shooting can be provided to a playback-side device.
  • FIG. 1 is a diagram illustrating a configuration example of a recording / reproducing system according to an embodiment of the present technology.
  • the recording / reproducing system of FIG. 1 includes a recording device 1, a reproducing device 2, and a display device 3.
  • the playback device 2 and the display device 3 are connected via a cable 4 such as an HDMI (High Definition Multimedia Interface) cable.
  • HDMI High Definition Multimedia Interface
  • the recording device 1 is a video camera capable of capturing and recording 3D images.
  • a lens 11R is provided at a right position from the recording apparatus 1 toward the subject, and a lens 11L is provided at a left position.
  • a right-eye camera having an optical system for generating an R image based on the light captured by the lens 11R and an L image based on the light captured from the lens 11L are generated.
  • a left-eye camera having an optical system is provided.
  • the recording apparatus 1 encodes the R image and the L image by H.264 / MPEG-4 (MVC (Multi-view Video coding), and records them on an internal recording medium according to a recording format such as AVCHD (Advanced Video Codec High Definition). .
  • MVC Multi-view Video coding
  • AVCHD Advanced Video Codec High Definition
  • H.264 / MPEG-4 MVC will be described with reference to FIG.
  • a video stream called a Base view video stream and a video stream called a Non-base view video stream are defined.
  • the Base view video stream is a stream obtained by encoding, for example, an L image of L images and R images by H.264 / AVC. As indicated by the vertical arrows in FIG. 2, predictive coding using a Base view picture as a reference image is not permitted.
  • non-base view pictures are allowed to be predictive encoded using the Base view picture as a reference image.
  • the data amount of the Non-base view video stream is the video of the L image. Compared to the data volume of the Base view video stream that is a stream.
  • the encoding of the L image and the R image taken by the recording device 1 is performed by such H.264 / MPEG-4 MVC.
  • the recording apparatus 1 when the L image and the R image are encoded, the information regarding the camera status of the left-eye camera used for capturing the L image and the right-eye camera used for capturing the R image is used. Camera information is recorded in the Non-base view video stream.
  • the camera information includes information representing the following contents.
  • Camera optical axis interval (base line length) [mm] 2.
  • Angle of convergence [degree] 3.
  • the base line length is a distance (mm) between the position PR, which is the optical axis position of the lens 11R, and the position PL, which is the optical axis position of the lens 11L.
  • the convergence angle is an angle between a straight line connecting the position P and the position PR and a straight line connecting the position P and the position PL, where the position of the subject is the position P.
  • the 35mm equivalent focal length is the focal length (mm) in terms of 35mm between the left-eye camera and the right-eye camera at the time of shooting.
  • the recording device 1 defines a data structure called MDP (Modified DV pack Meta) in user_data_unregistered SEI of the non-base view video stream, and records camera information using the data structure.
  • MDP Modified DV pack Meta
  • user_data_unregistered SEI is arbitrary user data and is added to each picture.
  • the MDP is additional information recorded in real time at the time of shooting.
  • the playback device 2 captures and plays back 3D video data captured by the recording device 1 and recorded on a recording medium inside the recording device 1 via a USB (Universal Serial Bus) cable or an HDMI cable.
  • USB Universal Serial Bus
  • the playback device 2 records the parallax between the L image obtained by playing the Base view video stream and the R image obtained by playing the Non-base view video stream in the Non-base view video stream at the time of shooting. Adjust using the camera information. For adjusting the parallax, information such as the size of the display device of the display device 3 is also used as appropriate so that the parallax is optimal when displayed on the display device of the display device 3.
  • the playback device 2 outputs the L image and the R image with adjusted parallax to the display device 3 via the cable 4 and displays them alternately.
  • the display device 3 is a TV that supports the display of stereo images.
  • the display device 3 is provided with a display device such as an LCD (Liquid Crystal Display).
  • the recording device 1 reproduces the situation such as the installation position of the camera at the time of shooting.
  • the device 2 can be provided.
  • the playback device 2 can know the status of the camera at the time of shooting by referring to the camera information recorded in the Non-base view video stream. In addition, the playback device 2 can reproduce the positional relationship between the recording device 1 and the subject by adjusting the parallax between the L image and the R image according to the situation of the camera at the time of shooting. Can be provided.
  • FIG. 4 is a block diagram illustrating a configuration example of the recording apparatus 1.
  • the recording apparatus 1 includes a camera unit 21, a recording unit 22, and a recording medium 23.
  • the camera unit 21 includes a right-eye camera 31R and a left-eye camera 31L.
  • the right-eye camera 31R includes a lens 11R and an image sensor 12R, and performs photoelectric conversion of light captured by the lens 11R in the image sensor 12R.
  • the right-eye camera 31R performs processing such as A / D conversion on a video signal obtained by performing photoelectric conversion, and outputs R image data.
  • the left-eye camera 31L includes a lens 11L and an image sensor 12L, and performs photoelectric conversion of light captured by the lens 11L in the image sensor 12L.
  • the left-eye camera 31L performs processing such as A / D conversion on a video signal obtained by performing photoelectric conversion, and outputs L image data.
  • the recording unit 22 includes an MVC encoder 41, a camera information acquisition unit 42, and a recording control unit 43.
  • the MVC encoder 41 encodes the R image captured by the right-eye camera 31R and the L image captured by the left-eye camera 31L using H.264 / MPEG-4 MVC.
  • the MVC encoder 41 includes a Base view video encoder 51, a Non-base view video encoder 52, and an integration unit 53.
  • the R image data output from the right-eye camera 31R is input to the Non-base video viewer 52
  • the L image data output from the left-eye camera 31L is the Base video video encoder 51 and the Non-base video video encoder 52. Is input.
  • the Base view video encoder 51 encodes the L image captured by the left-eye camera 31 ⁇ / b> L using H.264 / AVC, and outputs the Base view video stream to the integration unit 53.
  • the non-base view video encoder 52 encodes the R image captured by the right-eye camera 31 ⁇ / b> R using the L image captured by the left-eye camera 31 ⁇ / b> L as a reference image, and generates a non-base view video stream. To do.
  • the Non-base view video encoder 52 adds user_data_unregistered SEI representing the baseline length, the convergence angle, and the 35 mm equivalent focal length supplied from the camera information acquisition unit 42 as the SEI of each picture of the Non-base view video stream. . From the camera information acquisition unit 42, information on the base line length, the convergence angle, and the 35 mm equivalent focal length of the right-eye camera 31R and the left-eye camera 31L, which is camera information acquired from the camera unit 21, is supplied.
  • FIG. 5 is a diagram showing the data structure of a Non-base view video stream.
  • FIG. 5A is a diagram showing a data structure of an Access unit that stores data of a leading picture among pictures included in one GOP (Group Of Picture).
  • one Access data unit stores data for one picture.
  • the Access Unit storing the data of the first picture of the Non-base view is a View and dependency dependency representation delimiter, Subset and SPS (Sequence Parameter Set), PPS (Picture Parameter Set), SEI (Supplemental (Enhancement Information) and Slice.
  • “View and dependency representation delimiter represents the beginning of Access Unit. Subset
  • SPS contains the information regarding the encoding of the whole sequence
  • PPS contains the information regarding the encoding of the picture in which data is stored in Access
  • SEI is additional information and includes various SEI messages such as MVC_scalable_nesting SEI and user_data_unregistered SEI.
  • user_data_unregistered SEI of parallax information (Offset metadata) of subtitles displayed at the time of reproduction is included.
  • Information on the base line length, the convergence angle, and the 35 mm equivalent focal length acquired by the camera information acquisition unit 42 is recorded as user_data_unregistered SEI different from user_data_unregistered SEI of parallax information.
  • Slice following SEI is the data of the first picture (R image) of 1 GOP. Subsequent to Slice, Filler Data, End of Sequence, and End of stream may be included.
  • FIG. 5B is a diagram illustrating the data structure of the Access Unit that stores data of the second and subsequent pictures among pictures included in one GOP.
  • the Access Unit storing the data of the second and subsequent pictures of 1 GOP is composed of a View and dependency dependency representation delimiter and a Slice.
  • Information such as PPS and SEI may be included.
  • the data structure of the Access unit of the Base view video stream generated by the Base view video encoder 51 is the data shown in FIG. 5 except that user_data_unregistered SEI indicating the base line length, the convergence angle, and the 35 mm equivalent focal length is not recorded. It has the same data structure as the structure.
  • FIG. 6 is a diagram showing the syntax of user_data_unregistered SEI that stores MDP related to baseline length, convergence angle, and 35 mm equivalent focal length.
  • the uuid_iso_iec_11578 on the second line is a 128-bit field and is set to “17ee8c60-f84d-11d9-8cd6-0800200c9a66”.
  • the TypeIndicator on the 3rd line is a 32-bit field and represents the type of user data transmitted by the SEI message. “0x4D 44 50 4D” represents the MDP.
  • ModifiedDVPackMeta () of the fifth and subsequent lines is set. ModifiedDVPackMeta () includes number_of_modified_dv_pack_entries and one_modified_dv_pack ().
  • the number_of_modified_dv_pack_entries on the 6th line is an 8-bit field and represents the number of one_modified_dv_pack () included in the user_data_unregistered SEI.
  • one_modified_dv_pack () includes mdp_id and mdp_data.
  • Mdp_id on the 9th line is an 8-bit field and represents the type of one_modified_dv_pack () including this field.
  • FIG. 7 is a diagram showing mdp_id. As shown in FIG. 7, the fact that mdp_id is 0x20 indicates that one_modified_dv_pack () is BASELINE LENGTH pack (). BASELINE LENGTH pack () is one_modified_dv_pack () including baseline length information as mdp_data.
  • Mdp_id of 0x21 indicates that one_modified_dv_pack () is CONVERGENCE ANGLE pack ().
  • CONVERGENCE ANGLE pack () is one_modified_dv_pack () including information on the convergence angle as mdp_data.
  • the 35mm equivalent focal length is represented by FOCAL_LENGTH in the existing Consumer Camera2 Pack ().
  • Consumer Camera2 Pack () is one_modified_dv_pack () whose mdp_id is 0x71.
  • Mdp_data on the 10th line in FIG. 6 is a 32-bit field, and represents one of the base line length, the convergence angle, and the 35 mm equivalent focal length. A fixed value may always be set as mdp_data.
  • ModifiedDVPackMeta The size of one ModifiedDVPackMeta () is 255 bytes or less including emulation prevention bytes. -Multiple pictures of user_data_unregistered SEI including ModifiedDVPackMeta () must not be added to one picture. -If there is no user_data_unregistered SEI message including ModifiedDVPackMeta () in the first field of the complementary field pair, the user_data_unregistered SEI message including ModifiedDVPackMeta () must not be included in the second field.
  • the total of mdp_data is 255 bytes or less, and the total of user_data_unregistered_SEI is 511 bytes or less.
  • FIG. 8 shows BASELINE LENGTH pack ().
  • BASELINE LENGTH pack () includes mdp_id, mdp_data1, and mdp_data2.
  • the mdp_id of BASELINE LENGTH pack () is 0x20 as described above.
  • Each of mdp_data1 and mdp_data2 is a 16-bit field, and the baseline length in mm is represented by two values of mdp_data1 and mdp_data2.
  • Baseline length (baseline length [mm]) is represented by the following formula (1).
  • baseline length [mm] mdp_data1 / mdp_data2 (1)
  • FIG. 9 is a diagram showing CONVERGENCE “ANGLE” pack ().
  • CONVERGENCE ANGLE pack () includes mdp_id, mdp_data1, and mdp_data2.
  • the mdp_id of CONVERGENCE ANGLE pack () is 0x21 as described above.
  • mdp_data1 and mdp_data2 are 16-bit fields, respectively, and the convergence angle in degrees is represented by two values of mdp_data1 and mdp_data2.
  • the Non-base video view video encoder 52 in FIG. 4 outputs the non-base video view video stream in which information on the base line length, the convergence angle, and the 35 mm equivalent focal length is recorded to the integration unit 53 in this way.
  • the integration unit 53 integrates the Base view video stream supplied from the Base view video encoder 51 and the Non-base view video stream supplied from the Non-base view video encoder 52, and converts the H.264 / MPEG-4 MVC.
  • the encoded data is output to the recording control unit 43.
  • the camera information acquisition unit 42 acquires information on the baseline length, the convergence angle, and the 35 mm equivalent focal length from, for example, the camera unit 21 and outputs the information to the non-base video viewer 52.
  • the recording control unit 43 records the encoded data supplied from the MVC encoder 41 on the recording medium 23 according to, for example, AVCHD.
  • the recording medium 23 includes a flash memory, a hard disk, and the like, and records encoded data according to control by the recording control unit 43.
  • a memory card inserted into a slot provided in the casing of the recording apparatus 1 may be used as the recording medium 23.
  • the encoded data recorded on the recording medium 23 is transferred to the reproducing device 2 when the recording device 1 is connected to the reproducing device 2 by a USB cable or the like.
  • step S1 the MVC encoder 41 encodes the image input from the camera unit 21 using H.264 / MPEG-4 MVC. That is, the Base view video encoder 51 encodes the L image captured by the left-eye camera 31L using H.264 / AVC, and generates a Base view video stream. The non-base-view video encoder 52 encodes the R image captured by the right-eye camera 31 ⁇ / b> R using the L image as a reference image as appropriate, and generates a non-base-view video stream.
  • step S ⁇ b> 2 the camera information acquisition unit 42 acquires information on the current baseline length, convergence angle, and 35 mm equivalent focal length from the camera unit 21.
  • the Non-base view video encoder 52 sets BASELINE LENGTH pack () representing the baseline length, CONVERGENCE ANGLE pack () representing the convergence angle, and 35 mm equivalent focal length to user_data_unregistered SEI of each picture of Non-base view.
  • Record Consumer Camera2 Pack ().
  • Base-view video stream generated by Base-view video encoder 51 and Non-base, generated by Non-base-view video encoder 52, and recorded BASELINE-LENGTH pack (), CONVERGENCE-ANGLE pack (), Consumer-Camera2 Pack ()
  • the view video stream is integrated by the integration unit 53 and supplied to the recording control unit 43.
  • step S 4 the recording control unit 43 records the H.264 / MPEG-4 MVC encoded data supplied from the integration unit 53 on the recording medium 23.
  • step S5 the MVC encoder 41 determines whether or not an input image from the camera unit 21 exists. If it is determined that the input image exists, the process from step S1 is repeated. The processing in steps S1 to S4 is performed on the image data of each picture. On the other hand, if the camera unit 21 has finished shooting and it is determined in step S5 that no input image exists, the process is terminated.
  • the recording apparatus 1 can record information on the base line length, the convergence angle, and the 35 mm equivalent focal length of the camera used for taking a stereo image in the encoded data of each picture of Non-base view.
  • the camera information can be provided to the playback device 2.
  • the recording device 1 does not record the camera information in the Base ⁇ ⁇ ⁇ view video stream, but records it in the Non-base view video stream, thereby reproducing the Base view video stream and displaying only the L image (2D image).
  • the playback apparatus 2 can perform this. Since the Base view video stream is a stream encoded by H.264 / AVC, any video data captured from the recording device 1 can be used as long as the device is compatible with H.264 / AVC. Can be played.
  • the baseline length information may be recorded with the convergence angle as a fixed value.
  • the information on the convergence angle may be recorded with the base line length as a fixed value.
  • only 35 mm equivalent focal length information may be recorded.
  • FIG. 11 is a block diagram illustrating a configuration example of the playback device 2.
  • the playback apparatus 2 includes an acquisition unit 101, a playback unit 102, and a display control unit 103.
  • the acquisition unit 101 acquires 3D video data, which is H.264 / MPEG-4 MVC encoded data, from the recording device 1 via a USB cable or the like, and outputs it.
  • the 3D video data output from the acquisition unit 101 is input to the Base view video decoder 121 and the Non-base view video decoder 122 of the MVC decoder 111.
  • the 3D video data captured from the recording device 1 may be recorded once on a recording medium in the playback device 2, and the 3D video data may be acquired by the acquisition unit 101 from the recording medium.
  • the playback unit 102 includes an MVC decoder 111 and a camera information extraction unit 112.
  • the MVC decoder 111 decodes 3D video data by H.264 / MPEG-4 MVC.
  • the MVC decoder 111 includes a Base view video decoder 121 and a Non-base view video decoder 122.
  • the Base view video decoder 121 decodes the Base view video stream included in the 3D video supplied from the acquisition unit 101 by H.264 / AVC, and outputs an L image.
  • the L image output from the Base view video decoder 121 is supplied to the non-base view video decoder 122 and the display control unit 103.
  • the Non-base view video decoder 122 appropriately decodes the Non-base view video stream included in the 3D video supplied from the acquisition unit 101 using the L image decoded by the Base view video decoder 121 as a reference image, and R Output an image.
  • the R image output from the non-base view video decoder 122 is supplied to the display control unit 103.
  • the camera information extraction unit 112 uses BASELINE LENGTH pack () representing the base line length and CONVERGENCE ANGLE representing the convergence angle. pack (), Consumer Camera2 Pack () representing 35mm equivalent focal length is acquired.
  • the camera information extraction unit 112 obtains the baseline length by performing the calculation of the above formula (1) based on the two values included in BASELINE LENGTH pack (), and based on the two values included in CONVERGENCE ANGLE pack (). Then, the convergence angle is obtained by calculating the above equation (2). In addition, the camera information extraction unit 112 identifies a 35 mm equivalent focal length from Consumer Camera2 Pack (). The camera information extraction unit 112 outputs information on the base line length, the convergence angle, and the 35 mm equivalent focal length to the display control unit 103.
  • the display control unit 103 calculates the parallax between the L image supplied from the Base view video decoder 121 and the R image supplied from the Non-base view video decoder 122, the base line length and the convergence angle acquired by the camera information extraction unit 112. Adjust using the 35mm equivalent focal length information.
  • the display control unit 103 communicates with the display device 3 to acquire information such as the size of the display device of the display device 3 from the display device 3 and use it for parallax adjustment.
  • the display control unit 103 outputs the L image and the R image in which the parallax is adjusted so that the parallax is optimal when displayed on the display device of the display device 3 to the display device 3 for display.
  • step S21 the MVC decoder 111 decodes the 3D video data input from the acquisition unit 101 using H.264 / MPEG-4 MVC. That is, the Base view video decoder 121 decodes the Base view video stream using H.264 / AVC. Further, the Non-base view video decoder 122 decodes the Non-base view video stream using the L image decoded by the Base view video decoder 121 as a reference image as appropriate.
  • step S22 the camera information extracting unit 112 extracts BASELINE LENGTH pack (), CONVERGENCE ANGLE pack (), Consumer Camera2 pack () from user_data_unregistered SEI of each picture of Non-base view.
  • the camera information extraction unit 112 controls display of base line length obtained based on BASELINE LENGTH pack (), convergence angle obtained based on CONVERGENCE ANGLE pack (), and 35mm equivalent focal length information obtained from Consumer Camera2 Pack (). Output to the unit 103.
  • step S23 the display control unit 103 performs parallax adjustment processing.
  • the parallax adjustment process will be described later with reference to the flowchart of FIG.
  • step S24 the display control unit 103 outputs the L image and the R image adjusted for parallax to the display device 3 to display them.
  • step S25 the MVC decoder 111 determines whether or not there is encoded data to be decoded. If it is determined that the encoded data is present, the process from step S21 is repeated. The processes in steps S21 to S24 are performed on the encoded data of each picture. On the other hand, since the decoding of all the encoded data has been completed, when it is determined in step S25 that no encoded data exists, the process is ended.
  • step S31 the display control unit 103 communicates with the display device 3 and acquires the size of the display device of the display device 3.
  • the size of the display device of the display device 3 may be set directly by the user for the playback device 2.
  • step S32 the display control unit 103 acquires the viewing distance, which is the distance from the display device surface of the display device 3 to the user, from the display device 3.
  • the viewing distance may be directly set by the user with respect to the playback device 2.
  • the amount of parallax perceived by the user varies depending on the viewing distance. Therefore, when the viewing distance can be acquired, the parallax can be adjusted more precisely by using the information. In the following, a case where the parallax is adjusted without considering the viewing distance will be described.
  • step S33 the display control unit 103 obtains the parallax between the L image and the R image on the display device of the display device 3 when the parallax is not adjusted.
  • step S34 the display control unit 103 determines whether or not the parallax between the L image and the R image on the display device exceeds a threshold value.
  • step S35 the display control unit 103 uses the L image and the R image as they are without adjusting the parallax.
  • the data is output to the display device 3 and displayed.
  • step S34 when it is determined in step S34 that the parallax between the L image and the R image on the display device exceeds the threshold value, in step S36, the display control unit 103 reduces the parallax between the L image and the R image. The L image and the R image are shifted in the horizontal direction on the display device and displayed. Thereafter, the process returns to step S23 in FIG. 12, and the subsequent processing is performed.
  • FIG. 14 is a diagram for explaining the relationship between the convergence angle, the baseline length, and the parallax.
  • the range indicated by the dashed arrow # 1 is a range captured by the left-eye camera 31L
  • the range indicated by the dashed arrow # 2 is a range captured by the right-eye camera 31R.
  • ⁇ represents the convergence angle
  • B represents the baseline length.
  • F represents the subject distance.
  • the display control unit 103 When calculating the parallax on the display device, the display control unit 103 first shoots the image of the focus position (subject image) by shifting the horizontal direction by the left-eye camera 31L and the right-eye camera 31R. Find out if it is broken. The difference in the horizontal shift amount indicated by the solid arrow # 3 is the parallax X.
  • the parallax amount on the display device can be calculated from the horizontal width information of the display device. It becomes possible to calculate (step S33).
  • the display control unit 103 shifts the L image and the R image in the horizontal direction so that the parallax is reduced (step S36).
  • the horizontal shooting range D [m] is obtained from the horizontal angle of view q and the subject distance F [m]. Assuming that the shooting range D [m] is shot at a resolution of 1920 pixels, the parallax size converted to pixels is 1920 ⁇ (B / D) [pixels].
  • the parallax B is the difference between the shooting range D [m] of the left-eye camera 31L and the shooting range D [m] of the right-eye camera 31R.
  • the 35 mm equivalent focal length and subject distance are already defined in AVCHD's Modified DV pack meta, and can be used.
  • the 35 mm equivalent focal length is expressed by FOCAL_LENGTH as described above, and the subject distance (focus position) is expressed by FOCUS.
  • the horizontal size of the display device of the display device 3 is S [m]
  • the length corresponding to the parallax on the display device is S ⁇ (B / D) [m].
  • the L image and the R image can be displayed with appropriate parallax by shifting the image in the horizontal direction to reduce parallax.
  • the playback device 2 can display the L image and the R image with an optimal parallax.
  • FIG. 16 is a block diagram illustrating a configuration example of a recording / reproducing system.
  • the recording device 1 in FIG. 16 includes a reproduction unit 102 and a display control unit 103. That is, the recording apparatus 1 in FIG. 16 has not only a function as a recording apparatus but also a function as a reproducing apparatus.
  • 3D video is shot and 3D video obtained by shooting is played back as described with reference to FIG.
  • the L image and the R image reproduced by the recording device 1 are output to the display device 3 and displayed.
  • the recording device 1 and the display device 3 are connected by, for example, an HDMI cable.
  • FIG. 17 is a block diagram showing another configuration example of the recording / reproducing system. 17 includes a camera unit 21, a recording unit 22, and a recording medium 23, and the playback device 2 includes an acquisition unit 101 and a playback unit 102.
  • the display device 3 is provided with a display control unit 103.
  • the playback device 2 in FIG. 17 has a function of decoding 3D video captured from the recording device 1 by H.264 / MPEG-4 MVC. However, unlike the playback device 2 in FIG. It does not have a function of adjusting the parallax between the obtained L image and R image. Adjustment of the parallax between the L image and the R image is performed in the display device 3.
  • the acquisition unit 101 of the playback device 2 acquires 3D video data from the recording device 1, and the playback unit 102 decodes the 3D video data acquired by the acquisition unit 101 using H.264 / MPEG-4 MVC.
  • the playback unit 102 outputs the L image and the R image obtained by decoding to the display device 3 together with information on the base line length, the convergence angle, and the 35 mm equivalent focal length acquired from user_data_unregistered SEI of the non-base video stream.
  • the display control unit 103 of the display device 3 displays the parallax between the L image and the R image supplied from the playback device 2 based on the base line length, the convergence angle, and the 35 mm equivalent focal length information supplied from the playback device 2.
  • the L image and the R image adjusted as described with reference to FIG. 13 and adjusted in parallax are displayed.
  • information such as the size of the display device used for parallax adjustment is information known to the display device 3 that performs parallax adjustment.
  • the camera information of the camera used to shoot the L image and the camera used to shoot the R image is recorded in the Non-base view video stream of H.264 / MPEG-4 MVC. It is also possible to record the camera information in one stream in which the L image and the R image are recorded by the Side by side method.
  • H.264 AVC is used for the encoding method of L image and R image of Side by side method.
  • the camera information is recorded, for example, in user_data_unregistered_SEI () of the AVC stream.
  • FIG. 18 is a block diagram illustrating a configuration example of hardware of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 155 is further connected to the bus 154.
  • the input / output interface 155 is connected to an input unit 156 composed of a keyboard, a mouse, etc., and an output unit 157 composed of a display, a speaker, and the like.
  • the input / output interface 155 is connected to a storage unit 158 made up of a hard disk, a non-volatile memory, etc., a communication unit 159 made up of a network interface, etc., and a drive 160 that drives the removable media 161.
  • the CPU 151 loads the program stored in the storage unit 158 to the RAM 153 via the input / output interface 155 and the bus 154 and executes it, thereby executing the above-described series of processing. Is done.
  • the program executed by the CPU 151 is recorded on the removable medium 161 or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and is installed in the storage unit 158.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the first camera and the second camera are encoded by H.264 / MPEG-4 MVC, and the SEI of each picture constituting the Non-base view video stream is used as the first SEI.
  • a recording apparatus comprising: a recording control unit configured to record a Base view video stream and a Non-base view video stream in which the SEI is recorded on a recording medium.
  • the encoding unit includes: Encode the image for the left eye taken by the first camera as the Base view video stream,
  • the encoding unit records information including two values as information on the optical axis interval,
  • the optical axis interval between the first camera and the second camera is expressed by dividing one of the two values by the other value.
  • the encoding unit records information including two values as the convergence angle information, The convergence angle of the first camera and the second camera is expressed by dividing one of the two values by the other value. Any one of (1) to (3) The recording device described.
  • the image taken with the first camera and the image taken with the second camera are encoded by H.264 / MPEG-4 MVC,
  • SEI of each picture constituting the non-base view video stream at least one of information on the optical axis interval between the first camera and the second camera, information on the convergence angle, and information on the focal length
  • Record the SEI including A recording method including a step of recording a Base view video stream and a Non-base view video stream in which the SEI is recorded on a recording medium.
  • the image taken with the first camera and the image taken with the second camera are encoded by H.264 / MPEG-4 MVC,
  • SEI of each picture constituting the non-base view video stream at least one of information on the optical axis interval between the first camera and the second camera, information on the convergence angle, and information on the focal length
  • Record the SEI including A program that causes a computer to execute processing including a step of recording a Base view video stream and a Non-base view video stream in which the SEI is recorded on a recording medium.
  • a Base view video stream obtained by encoding an image captured by the first camera and an image captured by the second camera with H.264 / MPEG-4 MVC, the first camera, The non-base view video stream in which the SEI including at least one of the optical axis interval information, the convergence angle information, and the focal length information of the second camera is recorded as the SEI of each picture is decoded.
  • a playback device including a decoding unit.
  • a display control unit configured to adjust and display a parallax between an image obtained by decoding the Base view video stream and an image obtained by decoding the Non-base view video stream based on the SEI The playback device according to (7).
  • the display control unit Display the image obtained by decoding the Base view video stream as an image for the left eye,
  • a reproduction method including steps.
  • a program that causes a computer to execute processing including steps.
  • the first camera and the second camera are encoded by H.264 / MPEG-4 MVC, and the SEI of each picture constituting the Non-base view video stream is used as the first SEI.
  • An encoding unit that records the SEI including at least one of information on an optical axis interval between the first camera and the second camera, information on an angle of convergence, and information on a focal length;
  • a recording control unit that records a Base view video stream and a Non-base view video stream in which the SEI is recorded on a recording medium, and the Base view video stream and the Non-base view video stream recorded on the recording medium.
  • a recording / reproducing apparatus that records a Base view video stream and a Non-base view video stream in which the SEI is recorded on a recording medium, and the Base view video stream and the Non-base view video stream recorded on the recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

　本技術は、撮影に用いられた複数のカメラの情報を再生側の装置に提供することができる記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置に関する。本技術の一側面の記録装置は、第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録する符号化部と、Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる記録制御部とを備える。

Description

記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置
　本技術は、特に、撮影に用いられた複数のカメラの情報を再生側の装置に提供することができるようにした記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置に関する。
　近年、立体視が可能な画像を収録した3Dコンテンツが注目されている。3Dコンテンツのビデオデータには、左目用の画像（Ｌ画像）と右目用の画像（Ｒ画像）のデータが含まれる。Ｌ画像に写る被写体とＲ画像に写る被写体には、視差に相当するずれがある。
　例えば視差が設定されたＬ画像とＲ画像を交互に表示し、アクティブシャッタメガネをかけたユーザの左目と右目にそれぞれ届けることによって、被写体を立体的に認識させることが可能になる。
特開２００７－２８０５１６号公報
　ユーザが知覚する視差が視聴環境によって異なるため、常に最適な視差で視聴させることは難しい。例えば、表示デバイス上における表示画像の大きさによっても最適な視差は異なるし、視聴距離によっても最適な視差は異なる。
　Ｌ画像とＲ画像から撮影時におけるカメラの位置等を推定し、それに合わせて視差を調整することも試みられているが、撮影時の状況を再生側で完全に復元することは困難である。
　本技術はこのような状況に鑑みてなされたものであり、撮影に用いられた複数のカメラの情報を再生側の装置に提供することができるようにするものである。
　本技術の第１の側面の記録装置は、第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録する符号化部と、Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる記録制御部とを備える。
　第１のカメラと第２のカメラは、それぞれ、レンズを少なくとも有する。レンズに取り込まれた光の光電変換を行う撮像素子として、第１のカメラ用の撮像素子と第２のカメラ用の撮像素子がそれぞれ設けられるようにしてもよいし、１つの撮像素子が第１のカメラと第２のカメラにより共有して用いられるようにしてもよい。
　第１のカメラと第２のカメラは、記録装置の内部に設けられるものであってもよいし、記録装置の外部に設けられるものであってもよい。記録装置の外部に設けられる場合、第１のカメラと第２のカメラにより撮影された画像は、有線、または無線の通信によって記録装置に供給される。
　左目用の画像を撮影する前記第１のカメラと、右目用の画像を撮影する前記第２のカメラとをさらに設けることができる。この場合、前記符号化部には、前記第１のカメラで撮影された左目用の画像を前記Base viewビデオストリームとして符号化させ、前記第２のカメラで撮影された右目用の画像を前記Non-base viewビデオストリームとして符号化させることができる。
　前記符号化部には、前記光軸間隔の情報として、２つの値を含む情報を記録させることができる。この場合、前記第１のカメラと前記第２のカメラの光軸間隔は、前記２つの値のうちの一方の値を他方の値で除算することによって表される。
　前記符号化部には、前記輻輳角の情報として、２つの値を含む情報を記録させることができる。この場合、前記第１のカメラと前記第２のカメラの輻輳角は、前記２つの値のうちの一方の値を他方の値で除算することによって表される。
　本技術の第２の側面の再生装置は、第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化することによって得られたBase viewビデオストリームと、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含むSEIが各ピクチャのSEIとして記録されたNon-base viewビデオストリームとを復号する復号部を備える。
　前記SEIに基づいて、前記Base viewビデオストリームを復号して得られた画像と、前記Non-base viewビデオストリームを復号して得られた画像との視差を調整し、表示させる表示制御部をさらに設けることができる。
　前記表示制御部には、前記Base viewビデオストリームを復号して得られた画像を左目用の画像として表示させ、前記Non-base viewビデオストリームを復号して得られた画像を右目用の画像として表示させることができる。
　本技術の第３の側面の記録再生装置は、第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録する符号化部と、Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる記録制御部と、前記記録媒体に記録された前記Base viewビデオストリームと前記Non-base viewビデオストリームとを復号する復号部とを備える。
　本技術によれば、撮影に用いられた複数のカメラの情報を再生側の装置に提供することができる。
本技術の一実施形態に係る記録再生システムの構成例を示す図である。 H.264/MPEG-4 MVCについて説明する図である。 基線長と輻輳角について説明する図である。 記録装置の構成例を示すブロック図である。 Non-base viewビデオストリームのデータ構造を示す図である。 user_data_unregistered SEIのシンタクスを示す図である。 mdp_idを示す図である。 BASELINE LENGTH pack()を示す図である。 CONVERGENCE ANGLE pack()を示す図である。 記録装置の記録処理について説明するフローチャートである。 再生装置の構成例を示すブロック図である。 再生装置の再生処理について説明するフローチャートである。 図１２のステップＳ２３において行われる視差調整処理について説明するフローチャートである。 輻輳角、基線長、視差の関係について説明する図である。 視差の調整について説明する図である。 記録再生システムの構成例を示すブロック図である。 記録再生システムの他の構成例を示すブロック図である。 コンピュータの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．記録再生システムについて
　２．記録装置について
　３．再生装置について
　４．変形例
＜記録再生システムについて＞
　図１は、本技術の一実施形態に係る記録再生システムの構成例を示す図である。
　図１の記録再生システムは、記録装置１、再生装置２、および表示装置３から構成される。再生装置２と表示装置３は、HDMI(High Definition Multimedia Interface)ケーブルなどのケーブル４を介して接続される。
　記録装置１は3D画像の撮影と記録が可能なビデオカメラである。記録装置１の前面には、記録装置１から被写体に向かって右側の位置にレンズ１１Ｒが設けられ、左側の位置にレンズ１１Ｌが設けられる。記録装置１の内部には、レンズ１１Ｒにより取り込まれた光に基づいてＲ画像を生成するための光学系を有する右目用のカメラと、レンズ１１Ｌから取り込まれた光に基づいてＬ画像を生成するための光学系を有する左目用のカメラが設けられる。
　記録装置１は、Ｒ画像とＬ画像をH.264/MPEG-4 MVC(Multi-view Video coding)によって符号化し、AVCHD(Advanced Video Codec High Definition)などの記録フォーマットに従って内部の記録媒体に記録する。
　ここで、H.264/MPEG-4 MVCについて図２を参照して説明する。H.264/MPEG-4 MVCでは、Base viewビデオストリームと呼ばれるビデオストリームと、Non-base viewビデオストリームと呼ばれるビデオストリームが定義されている。
　Base viewビデオストリームは、Ｌ画像とＲ画像のうちの例えばＬ画像をH.264/AVCによって符号化することによって得られたストリームである。図２の縦方向の矢印で示すように、Base viewのピクチャには、他のviewのピクチャを参照画像とする予測符号化が許されていない。
　一方、Non-base viewのピクチャには、Base viewのピクチャを参照画像とする予測符号化が許されている。例えばＬ画像をBase viewにするとともにＲ画像をNon-base viewとして符号化を行った場合、その結果得られるＲ画像のビデオストリームであるNon-base viewビデオストリームのデータ量は、Ｌ画像のビデオストリームであるBase viewビデオストリームのデータ量に比較して少なくなる。
　なお、H.264/AVCでの符号化であるから、図２の横方向の矢印で示すように、Base viewのピクチャについて、時間方向の予測符号化が行われている。また、Non-base viewのピクチャについても、view間の予測とともに、時間方向の予測符号化が行われている。Non-base viewのピクチャを復号するには、符号化時に参照先とした、対応するBase viewのピクチャの復号が先に終了している必要がある。
　記録装置１により撮影されたＬ画像とＲ画像の符号化は、このようなH.264/MPEG-4 MVCによって行われる。記録装置１においては、Ｌ画像とＲ画像の符号化時、Ｌ画像の撮影に用いられた左目用のカメラとＲ画像の撮影に用いられた右目用のカメラとのカメラの状況に関する情報であるカメラ情報が、Non-base viewビデオストリームに記録される。
　カメラ情報には例えば以下の内容を表す情報が含まれる。
　１.　カメラ光軸間隔（基線長）[mm]
　２.　輻輳角[度]
　３.　35mm換算焦点距離[mm]
　図３に示すように、基線長は、レンズ１１Ｒの光軸位置である位置PRと、レンズ１１Ｌの光軸位置である位置PLの距離（mm）である。輻輳角は、被写体の位置を位置Ｐとして、位置Ｐと位置PRを結ぶ直線と、位置Ｐと位置PLを結ぶ直線との角度である。
　35mm換算焦点距離は、撮影時における左目用のカメラと右目用のカメラの35mm換算の焦点距離（mm）である。
　後述するように、記録装置１は、Non-base viewビデオストリームのuser_data_unregistered SEIの中にMDP(Modified DV pack Meta)と呼ぶデータ構造を定義し、そのデータ構造を用いてカメラ情報を記録する。user_data_unregistered SEIは任意のユーザデータであり、各ピクチャに付加される。MDPは、撮影時にリアルタイムで記録される付加情報である。
　図１の再生装置２は、AVCHDによって記録されたビデオデータの再生が可能なプレーヤである。再生装置２は、記録装置１により撮影され、記録装置１の内部の記録媒体に記録された3DビデオのデータをUSB(Universal Serial Bus)ケーブルやHDMIケーブルなどを介して取り込み、再生する。
　再生装置２は、Base viewビデオストリームを再生して得られたＬ画像と、Non-base viewビデオストリームを再生して得られたＲ画像の視差を、撮影時にNon-base viewビデオストリームに記録されたカメラ情報を用いて調整する。表示装置３の表示デバイスに表示したときに最適な視差になるように、視差の調整には、適宜、表示装置３の表示デバイスのサイズなどの情報も用いられる。
　再生装置２は、視差を調整したＬ画像とＲ画像をケーブル４を介して表示装置３に出力し、交互に表示させる。表示装置３はステレオ画像の表示に対応したTVである。表示装置３には、LCD(Liquid Crystal Display)などよりなる表示デバイスが設けられる。
　このように、Ｌ画像とＲ画像の撮影に用いられたカメラの情報をNon-base viewビデオストリームに記録しておくことによって、記録装置１は、撮影時におけるカメラの設置位置等の状況を再生装置２に提供することができる。
　再生装置２は、Non-base viewビデオストリームに記録されたカメラ情報を参照することによって、撮影時におけるカメラの状況を知ることができる。また、再生装置２は、Ｌ画像とＲ画像の視差を撮影時におけるカメラの状況に応じて調整することによって、記録装置１と被写体の位置関係を再現することが可能となり、見やすい画像をユーザに提供することができる。
＜記録装置について＞
［記録装置の構成］
　図４は、記録装置１の構成例を示すブロック図である。記録装置１は、カメラ部２１、記録部２２、および記録媒体２３から構成される。
　カメラ部２１は、右目用カメラ３１Ｒと左目用カメラ３１Ｌから構成される。
　右目用カメラ３１Ｒは、レンズ１１Ｒと撮像素子１２Ｒから構成され、レンズ１１Ｒによって取り込まれた光の光電変換を撮像素子１２Ｒにおいて行う。右目用カメラ３１Ｒは、光電変換を行うことによって得られたビデオ信号に対してA/D変換などの処理を施し、Ｒ画像のデータを出力する。
　左目用カメラ３１Ｌは、レンズ１１Ｌと撮像素子１２Ｌから構成され、レンズ１１Ｌによって取り込まれた光の光電変換を撮像素子１２Ｌにおいて行う。左目用カメラ３１Ｌは、光電変換を行うことによって得られたビデオ信号に対してA/D変換などの処理を施し、Ｌ画像のデータを出力する。
　記録部２２は、MVCエンコーダ４１、カメラ情報取得部４２、および記録制御部４３から構成される。
　MVCエンコーダ４１は、右目用カメラ３１Ｒにより撮影されたＲ画像と左目用カメラ３１Ｌにより撮影されたＬ画像をH.264/MPEG-4 MVCによって符号化する。MVCエンコーダ４１は、Base viewビデオエンコーダ５１、Non-base viewビデオエンコーダ５２、および統合部５３から構成される。右目用カメラ３１Ｒから出力されたＲ画像のデータはNon-base viewビデオエンコーダ５２に入力され、左目用カメラ３１Ｌから出力されたＬ画像のデータはBase viewビデオエンコーダ５１とNon-base viewビデオエンコーダ５２に入力される。
　Base viewビデオエンコーダ５１は、左目用カメラ３１Ｌにより撮影されたＬ画像をH.264/AVCによって符号化し、Base viewビデオストリームを統合部５３に出力する。
　Non-base viewビデオエンコーダ５２は、右目用カメラ３１Ｒにより撮影されたＲ画像を、適宜、左目用カメラ３１Ｌにより撮影されたＬ画像を参照画像として用いて符号化し、Non-base viewビデオストリームを生成する。
　また、Non-base viewビデオエンコーダ５２は、Non-base viewビデオストリームの各ピクチャのSEIとして、カメラ情報取得部４２から供給された基線長、輻輳角、35mm換算焦点距離を表すuser_data_unregistered SEIを付加する。カメラ情報取得部４２からは、カメラ部２１から取得されたカメラ情報である右目用カメラ３１Ｒと左目用カメラ３１Ｌの基線長、輻輳角、35mm換算焦点距離の情報が供給されてくる。
　図５は、Non-base viewビデオストリームのデータ構造を示す図である。
　図５のＡは、１つのGOP(Group Of Picture)に含まれるピクチャのうちの先頭のピクチャのデータを格納するAccess Unitのデータ構造を示す図である。H.264/AVCにおいて、１つのAccess Unitには１ピクチャ分のデータが格納される。
　図５のＡに示すように、Non-base viewの先頭のピクチャのデータを格納するAccess Unitは、View and dependency representationデリミタ、Subset SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、SEI(Supplemental Enhancement Information)、およびSliceから構成される。
　View and dependency representationデリミタはAccess Unitの先頭を表す。Subset SPSには、シーケンス全体の符号化に関する情報が含まれ、PPSには、Access Unitにデータが格納されるピクチャの符号化に関する情報が含まれる。SEIは付加情報であり、MVC_scalable_nesting SEI、user_data_unregistered SEIなどの各種のSEIメッセージが含まれる。
　図５のＡの例においては、例えば再生時に表示する字幕の視差の情報（Offset metadata）のuser_data_unregistered SEIが含まれている。カメラ情報取得部４２により取得された基線長、輻輳角、35mm換算焦点距離の情報は、字幕の視差の情報のuser_data_unregistered SEIとは異なるuser_data_unregistered SEIとして記録される。
　SEIに続くSliceが、１GOPの先頭のピクチャ（Ｒ画像）のデータである。Sliceに続けて、Filler Data、End of Sequence、End of streamが含まれることもある。
　図５のＢは、１つのGOPに含まれるピクチャのうちの２番目以降のピクチャのデータを格納するAccess Unitのデータ構造を示す図である。図５のＢに示すように、１GOPの２番目以降のピクチャのデータを格納するAccess Unitは、View and dependency representationデリミタとSliceから構成される。PPS、SEI等の情報が含まれることもある。
　なお、Base viewビデオエンコーダ５１により生成されるBase viewビデオストリームのAccess Unitのデータ構造は、基線長、輻輳角、35mm換算焦点距離を表すuser_data_unregistered SEIが記録されない点を除いて、図５に示すデータ構造と基本的に同じデータ構造を有する。
　図６は、基線長、輻輳角、35mm換算焦点距離に関するMDPを格納するuser_data_unregistered SEIのシンタクスを示す図である。
　２行目のuuid_iso_iec_11578は128ビットのフィールドであり、“17ee8c60-f84d-11d9-8cd6-0800200c9a66”が設定される。
　３行目のTypeIndicatorは32ビットのフィールドであり、SEIメッセージが伝送するユーザデータの種類を表す。“0x4D 44 50 4D”はMDPを表す。TypeIndicatorが“0x4D 44 50 4D”である場合に５行目以降のModifiedDVPackMeta()が設定される。ModifiedDVPackMeta()にはnumber_of_modified_dv_pack_entriesとone_modified_dv_pack()が含まれる。
　６行目のnumber_of_modified_dv_pack_entriesは8ビットのフィールドであり、user_data_unregistered SEIに含まれるone_modified_dv_pack()の数を表す。one_modified_dv_pack()にはmdp_idとmdp_dataが含まれる。
　９行目のmdp_idは8ビットのフィールドであり、このフィールドが含まれるone_modified_dv_pack()の種類を表す。
　図７は、mdp_idを示す図である。図７に示すように、mdp_idが0x20であることは、one_modified_dv_pack()がBASELINE LENGTH pack()であることを表す。BASELINE LENGTH pack()は、基線長の情報をmdp_dataとして含むone_modified_dv_pack()である。
　mdp_idが0x21であることは、one_modified_dv_pack()がCONVERGENCE ANGLE pack()であることを表す。CONVERGENCE ANGLE pack()は、輻輳角の情報をmdp_dataとして含むone_modified_dv_pack()である。
　なお、35mm換算焦点距離については、既存のConsumer Camera2 Pack()内のFOCAL_LENGTHにより表される。Consumer Camera2 Pack()は、mdp_idが0x71のone_modified_dv_pack()である。
　図６の１０行目のmdp_dataは32ビットのフィールドであり、基線長、輻輳角、35mm換算焦点距離のうちのいずれかを表す。mdp_dataとして固定値が常に設定されるようにしてもよい。
　なお、ModifiedDVPackMeta()には下記のルールが適用される。
　・emulation prevention bytesを含めて、１つのModifiedDVPackMeta()のサイズは255 bytes以下である。
　・１ピクチャには、ModifiedDVPackMeta()を含む複数のuser_data_unregistered SEIメッセージを付加してはいけない。
　・complementary fieldペアの最初のフィールドにModifiedDVPackMeta()を含むuser_data_unregistered SEIメッセージがない場合、２番目のフィールドにもModifiedDVPackMeta()を含むuser_data_unregistered SEIメッセージを含めてはいけない。
　また、Base viewとNon-base viewのそれぞれにおいて、mdp_dataの合計が255バイト以下であり、user_data_unregistered_SEIの合計が511バイト以下とする。
　図８は、BASELINE LENGTH pack()を示す図である。
　BASELINE LENGTH pack()にはmdp_id、mdp_data1、およびmdp_data2が含まれる。BASELINE LENGTH pack()のmdp_idは、上述したように0x20である。
　mdp_data1とmdp_data2は、それぞれ16ビットのフィールドであり、mdp_data1とmdp_data2の２つの値により、mm単位の基線長が表される。基線長（baseline length [mm]）は下式（１）により表される。
　　baseline length [mm] = mdp_data1/mdp_data2　　・・・　（１）
　２つの値を用いて基線長を表すようにすることにより、1mm以下の距離を表すことが可能になる。なお、mdp_data1 = mdp_data2 = 0xFFFFである場合、そのことは、基線長が不明、あるいはno informationを表す。
　図９は、CONVERGENCE ANGLE pack()を示す図である。
　CONVERGENCE ANGLE pack()にはmdp_id、mdp_data1、およびmdp_data2が含まれる。CONVERGENCE ANGLE pack()のmdp_idは、上述したように0x21である。
　mdp_data1とmdp_data2は、それぞれ16ビットのフィールドであり、mdp_data1とmdp_data2の２つの値により、度単位の輻輳角が表される。輻輳角（convergence angle [degree]）は下式（２）により表される。輻輳角は0度以上、180度未満である。
　　convergence angle [degree] = mdp_data1/mdp_data2　　・・・　（２）
　２つの値を用いて輻輳角を表すようにすることにより、1度以下の角度を表すことが可能になる。なお、mdp_data1 = mdp_data2 = 0xFFFFである場合、そのことは、輻輳角が不明、あるいはno informationを表す。
　図４のNon-base viewビデオエンコーダ５２は、このようにして基線長、輻輳角、35mm換算焦点距離の情報を記録したNon-base viewビデオストリームを統合部５３に出力する。
　統合部５３は、Base viewビデオエンコーダ５１から供給されたBase viewビデオストリームと、Non-base viewビデオエンコーダ５２から供給されたNon-base viewビデオストリームを統合し、H.264/MPEG-4 MVCの符号化データとして記録制御部４３に出力する。
　カメラ情報取得部４２は、基線長、輻輳角、35mm換算焦点距離の情報を例えばカメラ部２１から取得し、Non-base viewビデオエンコーダ５２に出力する。
　記録制御部４３は、MVCエンコーダ４１から供給された符号化データを例えばAVCHDに従って記録媒体２３に記録させる。
　記録媒体２３は、フラッシュメモリやハードディスクなどよりなり、記録制御部４３による制御に従って符号化データを記録する。記録装置１の筐体に設けられたスロットに挿入されたメモリカードが記録媒体２３として用いられるようにしてもよい。記録媒体２３に記録された符号化データは、USBケーブルなどによって記録装置１が再生装置２に接続されたとき、再生装置２に転送される。
［記録装置の動作］
　ここで、図１０のフローチャートを参照して、記録装置１の記録処理について説明する。図１０の処理は、右目用カメラ３１Ｒにより撮影されたＲ画像と左目用カメラ３１Ｌにより撮影されたＬ画像が記録部２２に入力されたときに開始される。
　ステップＳ１において、MVCエンコーダ４１は、カメラ部２１から入力された画像をH.264/MPEG-4 MVCを用いて符号化する。すなわち、Base viewビデオエンコーダ５１は、左目用カメラ３１Ｌにより撮影されたＬ画像をH.264/AVCによって符号化し、Base viewビデオストリームを生成する。また、Non-base viewビデオエンコーダ５２は、右目用カメラ３１Ｒにより撮影されたＲ画像を、Ｌ画像を参照画像として適宜用いて符号化し、Non-base viewビデオストリームを生成する。
　ステップＳ２において、カメラ情報取得部４２は、現在の基線長、輻輳角、35mm換算焦点距離の情報をカメラ部２１から取得する。
　ステップＳ３において、Non-base viewビデオエンコーダ５２は、Non-base viewの各ピクチャのuser_data_unregistered SEIに、基線長を表すBASELINE LENGTH pack()、輻輳角を表すCONVERGENCE ANGLE pack()、35mm換算焦点距離を表すConsumer Camera2 Pack()を記録する。Base viewビデオエンコーダ５１により生成されたBase viewビデオストリームと、Non-base viewビデオエンコーダ５２により生成され、BASELINE LENGTH pack()、CONVERGENCE ANGLE pack()、Consumer Camera2 Pack()が記録されたNon-base viewビデオストリームは統合部５３により統合され、記録制御部４３に供給される。
　ステップＳ４において、記録制御部４３は、統合部５３から供給されたH.264/MPEG-4 MVCの符号化データを記録媒体２３に記録する。
　ステップＳ５において、MVCエンコーダ４１は、カメラ部２１からの入力画像が存在するか否かを判定し、存在すると判定した場合、ステップＳ１以降の処理を繰り返す。ステップＳ１乃至Ｓ４の処理が、各ピクチャの画像データを対象として行われる。一方、カメラ部２１において撮影が終了され、入力画像が存在しないとステップＳ５において判定した場合、処理を終了させる。
　以上の処理により、記録装置１は、ステレオ画像の撮影に用いられたカメラの基線長、輻輳角、35mm換算焦点距離の情報をNon-base viewの各ピクチャの符号化データに記録することができ、カメラ情報を再生装置２に提供することができる。
　また、記録装置１は、カメラ情報をBase viewビデオストリームには記録しないで、Non-base viewビデオストリームに記録することによって、Base viewビデオストリームを再生してＬ画像（2D画像）のみの表示を再生装置２に行わせることができる。Base viewビデオストリームはH.264/AVCによって符号化されたストリームであるため、H.264/AVCに対応した機器であれば、既存の再生装置であっても、記録装置１から取り込んだビデオデータを再生することが可能になる。
　以上においては、基線長、輻輳角、35mm換算焦点距離の情報をNon-base viewビデオストリームに記録するものとしたが、輻輳角を固定値として基線長の情報のみを記録するようにしてもよいし、基線長を固定値として輻輳角の情報のみを記録するようにしてもよい。また、35mm換算焦点距離の情報のみを記録するようにしてもよい。
　右目用カメラ３１Ｒと左目用カメラ３１Ｌの設置状況に関する、基線長、輻輳角以外の情報を記録するようにしてもよい。
＜再生装置について＞
［再生装置の構成］
　以上のようにして記録装置１により撮影され、記録媒体２３に記録されたH.264/MPEG-4 MVCの符号化データを再生する再生装置２について説明する。
　図１１は、再生装置２の構成例を示すブロック図である。再生装置２は、取得部１０１、再生部１０２、および表示制御部１０３から構成される。
　取得部１０１は、H.264/MPEG-4 MVCの符号化データである3DビデオのデータをUSBケーブルなどを介して記録装置１から取得し、出力する。取得部１０１から出力された3Dビデオのデータは、MVCデコーダ１１１のBase viewビデオデコーダ１２１とNon-base viewビデオデコーダ１２２に入力される。記録装置１から取り込まれた3Dビデオのデータが再生装置２内の記録媒体に一度記録され、その記録媒体から、3Dビデオのデータが取得部１０１により取得されるようにしてもよい。
　再生部１０２は、MVCデコーダ１１１とカメラ情報抽出部１１２から構成される。MVCデコーダ１１１は、3DビデオのデータをH.264/MPEG-4 MVCによって復号する。MVCデコーダ１１１は、Base viewビデオデコーダ１２１とNon-base viewビデオデコーダ１２２から構成される。
　Base viewビデオデコーダ１２１は、取得部１０１から供給された3Dビデオに含まれるBase viewビデオストリームをH.264/AVCによって復号し、Ｌ画像を出力する。Base viewビデオデコーダ１２１から出力されたＬ画像はNon-base viewビデオデコーダ１２２と表示制御部１０３に供給される。
　Non-base viewビデオデコーダ１２２は、取得部１０１から供給された3Dビデオに含まれるNon-base viewビデオストリームを、適宜、Base viewビデオデコーダ１２１により復号されたＬ画像を参照画像として復号し、Ｒ画像を出力する。Non-base viewビデオデコーダ１２２から出力されたＲ画像は表示制御部１０３に供給される。
　カメラ情報抽出部１１２は、Non-base viewビデオデコーダ１２２により復号の対象になっているNon-base viewの各ピクチャのuser_data_unregistered SEIから、基線長を表すBASELINE LENGTH pack()、輻輳角を表すCONVERGENCE ANGLE pack()、35mm換算焦点距離を表すConsumer Camera2 Pack()を取得する。
　カメラ情報抽出部１１２は、BASELINE LENGTH pack()に含まれる２つの値に基づいて上式（１）の計算を行うことによって基線長を求め、CONVERGENCE ANGLE pack()に含まれる２つの値に基づいて上式（２）の計算を行うことによって輻輳角を求める。また、カメラ情報抽出部１１２は、Consumer Camera2 Pack()から35mm換算焦点距離を特定する。カメラ情報抽出部１１２は、基線長、輻輳角、35mm換算焦点距離の情報を表示制御部１０３に出力する。
　表示制御部１０３は、Base viewビデオデコーダ１２１から供給されたＬ画像と、Non-base viewビデオデコーダ１２２から供給されたＲ画像の視差を、カメラ情報抽出部１１２により取得された基線長、輻輳角、35mm換算焦点距離の情報を用いて調整する。表示制御部１０３は、表示装置３と通信を行うことによって、表示装置３の表示デバイスのサイズなどの情報を表示装置３から取得し、視差の調整に用いる。
　表示制御部１０３は、表示装置３の表示デバイスに表示したときに最適な視差になるように視差を調整したＬ画像とＲ画像を表示装置３に出力し、表示させる。
［再生装置の動作］
　ここで、図１２のフローチャートを参照して、再生装置２の再生処理について説明する。図１２の処理は、例えば、3Dビデオのデータが取得部１０１から再生部１０２に入力されたときに開始される。
　ステップＳ２１において、MVCデコーダ１１１は、取得部１０１から入力された3DビデオのデータをH.264/MPEG-4 MVCを用いて復号する。すなわち、Base viewビデオデコーダ１２１は、Base viewビデオストリームをH.264/AVCによって復号する。また、Non-base viewビデオデコーダ１２２は、Non-base viewビデオストリームを、Base viewビデオデコーダ１２１により復号されたＬ画像を参照画像として適宜用いて復号する。
　Base viewビデオデコーダ１２１によりBase viewビデオストリームの復号が行われることによって得られたＬ画像と、Non-base viewビデオデコーダ１２２によりNon-base viewビデオストリームの復号が行われることによって得られたＲ画像は表示制御部１０３に供給される。
　ステップＳ２２において、カメラ情報抽出部１１２は、Non-base viewの各ピクチャのuser_data_unregistered SEIから、BASELINE LENGTH pack()、CONVERGENCE ANGLE pack()、Consumer Camera2 Pack()を抽出する。カメラ情報抽出部１１２は、BASELINE LENGTH pack()に基づいて求めた基線長、CONVERGENCE ANGLE pack()に基づいて求めた輻輳角、Consumer Camera2 Pack()から取得した35mm換算焦点距離の情報を表示制御部１０３に出力する。
　ステップＳ２３において、表示制御部１０３は視差調整処理を行う。視差調整処理については図１３のフローチャートを参照して後述する。
　ステップＳ２４において、表示制御部１０３は、視差を調整したＬ画像とＲ画像を表示装置３に出力し、表示させる。
　ステップＳ２５において、MVCデコーダ１１１は、復号する符号化データが存在するか否かを判定し、存在すると判定した場合、ステップＳ２１以降の処理を繰り返す。ステップＳ２１乃至Ｓ２４の処理が、各ピクチャの符号化データを対象として行われる。一方、全ての符号化データの復号が終了したことから、符号化データが存在しないとステップＳ２５において判定した場合、処理を終了させる。
　次に、図１３のフローチャートを参照して、図１２のステップＳ２３において行われる視差調整処理について説明する。
　ステップＳ３１において、表示制御部１０３は、表示装置３と通信を行い、表示装置３の表示デバイスのサイズを取得する。表示装置３の表示デバイスのサイズが、再生装置２に対してユーザにより直接設定されるようにしてもよい。
　ステップＳ３２において、表示制御部１０３は、表示装置３の表示デバイス面からユーザまでの距離である視聴距離を表示装置３から取得する。視聴距離が、再生装置２に対してユーザにより直接設定されるようにしてもよい。
　ユーザが知覚する視差の量は視聴距離によっても変化する。従って、視聴距離を取得できる場合、その情報をも用いることによってより精密に視差を調整することが可能になる。以下においては、視聴距離を考慮しないで視差を調整する場合について説明する。
　ステップＳ３３において、表示制御部１０３は、視差を調整しない場合の、表示装置３の表示デバイス上でのＬ画像とＲ画像の視差を求める。
　ステップＳ３４において、表示制御部１０３は、表示デバイス上でのＬ画像とＲ画像の視差が閾値を超えているか否かを判定する。
　表示デバイス上でのＬ画像とＲ画像の視差が閾値を超えていないとステップＳ３４において判定した場合、ステップＳ３５において、表示制御部１０３は、Ｌ画像とＲ画像をそのまま、視差を調整することなく表示装置３に出力し、表示させる。
　一方、表示デバイス上でのＬ画像とＲ画像の視差が閾値を超えているとステップＳ３４において判定した場合、ステップＳ３６において、表示制御部１０３は、Ｌ画像とＲ画像の視差が小さくなるように、Ｌ画像とＲ画像を表示デバイス上において水平方向にシフトし、表示させる。その後、図１２のステップＳ２３に戻り、それ以降の処理が行われる。
　図１４は、輻輳角、基線長、視差の関係について説明する図である。
　図１４に示す被写体面上のうち、破線矢印＃１で示す範囲が左目用カメラ３１Ｌにより撮影される範囲であり、破線矢印＃２で示す範囲が右目用カメラ３１Ｒにより撮影される範囲である。αは輻輳角を表し、Ｂは基線長を表す。Ｆは被写体距離を表す。
　表示デバイス上での視差を算出する場合、表示制御部１０３は、まず、フォーカス位置の画像（被写体の画像）が、左目用カメラ３１Ｌと右目用カメラ３１Ｒによってどの程度水平方向にずれて撮影が行われているかを求める。水平方向のずれ量が、実線矢印＃３で示す差が視差Ｘになる。
　左目用カメラ３１Ｌと右目用カメラ３１Ｒの撮像素子の横幅が35mmであると想定したときの視差量[mm]を求めることができれば、表示デバイスの横幅の情報から、表示デバイス上での視差量を計算することが可能になる（ステップＳ３３）。表示デバイス上での視差量が閾値を超えている場合、表示制御部１０３は、視差が小さくなるようにＬ画像とＲ画像を水平方向にシフトする（ステップＳ３６）。
　ここで、図１５に示すように、左目用カメラ３１Ｌと右目用カメラ３１Ｒの２台のカメラが平行に配置されている場合（輻輳角α＝0）を考える。このとき、基線長と視差は等しくなる。
　また、フレームサイズをｘ、35mm換算焦点距離をｆとすると、水平画角ｑが下式（３）により求められる。
　　tan(ｑ／２) = ｘ／２ｆ　　　・・・　（３）
　水平画角ｑと被写体距離Ｆ[m]から、水平方向の撮影範囲Ｄ[m]が求められる。撮影範囲Ｄ[m]を1920ピクセルの解像度で撮影するものとすると、ピクセル換算した視差の大きさは1920×（Ｂ／Ｄ）[ピクセル]となる。視差Ｂは、左目用カメラ３１Ｌの撮影範囲Ｄ[m]と右目用カメラ３１Ｒの撮影範囲Ｄ[m]の差である。
　ここで、35mm換算焦点距離と被写体距離については、AVCHDのModified DV pack metaで既に定義されているため、これを用いることが可能である。35mm換算焦点距離は上述したようにFOCAL_LENGTHにより表され、被写体距離（フォーカス位置）はFOCUSにより表される。
　表示装置３の表示デバイスの水平方向のサイズをＳ[m]とすると、表示デバイス上での視差に相当する長さは、Ｓ×（Ｂ／Ｄ）[m]となる。この値が閾値を超える場合は、画像を水平方向にシフトして視差を緩和することにより、Ｌ画像とＲ画像を適切な視差で表示させることが可能になる。
　以上の処理により、再生装置２は、Ｌ画像とＲ画像を最適な視差で表示させることが可能になる。
＜変形例＞
　変形例１．
　図１６は、記録再生システムの構成例を示すブロック図である。図１６の記録装置１には、カメラ部２１、記録部２２、記録媒体２３の他に、再生部１０２と表示制御部１０３が設けられる。すなわち、図１６の記録装置１は、記録装置としての機能だけでなく、再生装置としての機能をも有している。
　図１６の構成を有する記録装置１においては、3Dビデオの撮影が行われるとともに、撮影によって得られた3Dビデオの再生が図１２を参照して説明したようにして行われる。記録装置１により再生されたＬ画像とＲ画像は表示装置３に出力され、表示される。記録装置１と表示装置３は例えばHDMIケーブルによって接続される。
　変形例２．
　図１７は、記録再生システムの他の構成例を示すブロック図である。図１７の記録装置１には、カメラ部２１、記録部２２、記録媒体２３が設けられ、再生装置２には取得部１０１と再生部１０２が設けられる。表示装置３には表示制御部１０３が設けられる。
　すなわち、図１７の再生装置２は、記録装置１から取り込んだ3DビデオをH.264/MPEG-4 MVCによって復号する機能は有しているが、図１１の再生装置２とは異なり、復号によって得られたＬ画像とＲ画像の視差を調整する機能は有していない。Ｌ画像とＲ画像の視差の調整は、表示装置３において行われることになる。
　図１７の構成を有する記録装置１においては、3Dビデオの撮影が行われ、撮影によって得られた3Dビデオが再生装置２に転送される。
　再生装置２の取得部１０１は3Dビデオのデータを記録装置１から取得し、再生部１０２は、取得部１０１により取得された3DビデオのデータをH.264/MPEG-4 MVCによって復号する。再生部１０２は、復号して得られたＬ画像とＲ画像を、Non-base viewビデオストリームのuser_data_unregistered SEIから取得した基線長、輻輳角、35mm換算焦点距離の情報とともに表示装置３に出力する。
　表示装置３の表示制御部１０３は、再生装置２から供給されたＬ画像とＲ画像の視差を、再生装置２から供給された基線長、輻輳角、35mm換算焦点距離の情報に基づいて、図１３を参照して説明したようにして調整し、視差を調整したＬ画像とＲ画像を表示する。この場合、視差の調整に用いる表示デバイスのサイズなどの情報は、視差の調整を行う表示装置３にとって既知の情報となる。
　変形例３．
　以上においては、Ｌ画像の撮影に用いられたカメラとＲ画像の撮影に用いられたカメラのカメラ情報をH.264/MPEG-4 MVCのNon-base viewビデオストリームに記録するものとしたが、カメラ情報を、Side by side方式でＬ画像とＲ画像を記録した１つのストリームに記録することも可能である。
　Side by side方式のＬ画像とＲ画像の符号化方式には例えばH.264 AVCが用いられる。カメラ情報は、例えば、AVCストリームのuser_data_unregistered_SEI()に記録される。
［コンピュータの構成例］
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　CPU(Central Processing Unit)１５１、ROM(Read Only Memory)１５２、RAM(Random Access Memory)１５３は、バス１５４により相互に接続されている。
　バス１５４には、さらに、入出力インタフェース１５５が接続されている。入出力インタフェース１５５には、キーボード、マウスなどよりなる入力部１５６、ディスプレイ、スピーカなどよりなる出力部１５７が接続される。また、入出力インタフェース１５５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１５８、ネットワークインタフェースなどよりなる通信部１５９、リムーバブルメディア１６１を駆動するドライブ１６０が接続される。
　以上のように構成されるコンピュータでは、CPU１５１が、例えば、記憶部１５８に記憶されているプログラムを入出力インタフェース１５５及びバス１５４を介してRAM１５３にロードして実行することにより、上述した一連の処理が行われる。
　CPU１５１が実行するプログラムは、例えばリムーバブルメディア１６１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１５８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
［構成の組み合わせ例］
　本技術は、以下のような構成をとることもできる。
（１）
　第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録する符号化部と、
　Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる記録制御部と
　を備える記録装置。
（２）
　左目用の画像を撮影する前記第１のカメラと、
　右目用の画像を撮影する前記第２のカメラと
　をさらに備え、
　前記符号化部は、
　　前記第１のカメラで撮影された左目用の画像を前記Base viewビデオストリームとして符号化し、
　　前記第２のカメラで撮影された右目用の画像を前記Non-base viewビデオストリームとして符号化する
　前記（１）に記載の記録装置。
（３）
　前記符号化部は、前記光軸間隔の情報として、２つの値を含む情報を記録し、
　前記第１のカメラと前記第２のカメラの光軸間隔は、前記２つの値のうちの一方の値を他方の値で除算することによって表される
　前記（１）または（２）に記載の記録装置。
（４）
　前記符号化部は、前記輻輳角の情報として、２つの値を含む情報を記録し、
　前記第１のカメラと前記第２のカメラの輻輳角は、前記２つの値のうちの一方の値を他方の値で除算することによって表される
　前記（１）乃至（３）のいずれかに記載の記録装置。
（５）
　第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、
　Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録し、
　Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる
　ステップを含む記録方法。
（６）
　第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、
　Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録し、
　Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる
　ステップを含む処理をコンピュータに実行させるプログラム。
（７）
　第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化することによって得られたBase viewビデオストリームと、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含むSEIが各ピクチャのSEIとして記録されたNon-base viewビデオストリームとを復号する復号部を備える
　再生装置。
（８）
　前記SEIに基づいて、前記Base viewビデオストリームを復号して得られた画像と、前記Non-base viewビデオストリームを復号して得られた画像との視差を調整し、表示させる表示制御部をさらに備える
　前記（７）に記載の再生装置。
（９）
　前記表示制御部は、
　　前記Base viewビデオストリームを復号して得られた画像を左目用の画像として表示させ、
　　前記Non-base viewビデオストリームを復号して得られた画像を右目用の画像として表示させる
　前記（７）または（８）に記載の再生装置。
（１０）
　第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化することによって得られたBase viewビデオストリームと、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含むSEIが各ピクチャのSEIとして記録されたNon-base viewビデオストリームとを復号する
　ステップを含む再生方法。
（１１）
　第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化することによって得られたBase viewビデオストリームと、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含むSEIが各ピクチャのSEIとして記録されたNon-base viewビデオストリームとを復号する
　ステップを含む処理をコンピュータに実行させるプログラム。
（１２）
　第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録する符号化部と、
　Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる記録制御部と
　前記記録媒体に記録された前記Base viewビデオストリームと前記Non-base viewビデオストリームとを復号する復号部と
　を備える記録再生装置。
　１　記録装置，　２　再生装置，　３　表示装置，　２１　カメラ部，　２２　記録部，　２３　記録媒体，　１０１　取得部，　１０２　再生部，　１０３　表示制御部

Claims (12)

  1. 　第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録する符号化部と、
    　Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる記録制御部と
    　を備える記録装置。
  2. 　左目用の画像を撮影する前記第１のカメラと、
    　右目用の画像を撮影する前記第２のカメラと
    　をさらに備え、
    　前記符号化部は、
    　　前記第１のカメラで撮影された左目用の画像を前記Base viewビデオストリームとして符号化し、
    　　前記第２のカメラで撮影された右目用の画像を前記Non-base viewビデオストリームとして符号化する
    　請求項１に記載の記録装置。
  3. 　前記符号化部は、前記光軸間隔の情報として、２つの値を含む情報を記録し、
    　前記第１のカメラと前記第２のカメラの光軸間隔は、前記２つの値のうちの一方の値を他方の値で除算することによって表される
    　請求項１に記載の記録装置。
  4. 　前記符号化部は、前記輻輳角の情報として、２つの値を含む情報を記録し、
    　前記第１のカメラと前記第２のカメラの輻輳角は、前記２つの値のうちの一方の値を他方の値で除算することによって表される
    　請求項１に記載の記録装置。
  5. 　第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、
    　Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録し、
    　Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる
    　ステップを含む記録方法。
  6. 　第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、
    　Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録し、
    　Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる
    　ステップを含む処理をコンピュータに実行させるプログラム。
  7. 　第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化することによって得られたBase viewビデオストリームと、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含むSEIが各ピクチャのSEIとして記録されたNon-base viewビデオストリームとを復号する復号部を備える
    　再生装置。
  8. 　前記SEIに基づいて、前記Base viewビデオストリームを復号して得られた画像と、前記Non-base viewビデオストリームを復号して得られた画像との視差を調整し、表示させる表示制御部をさらに備える
    　請求項７に記載の再生装置。
  9. 　前記表示制御部は、
    　　前記Base viewビデオストリームを復号して得られた画像を左目用の画像として表示させ、
    　　前記Non-base viewビデオストリームを復号して得られた画像を右目用の画像として表示させる
    　請求項８に記載の再生装置。
  10. 　第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化することによって得られたBase viewビデオストリームと、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含むSEIが各ピクチャのSEIとして記録されたNon-base viewビデオストリームとを復号する
    　ステップを含む再生方法。
  11. 　第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化することによって得られたBase viewビデオストリームと、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含むSEIが各ピクチャのSEIとして記録されたNon-base viewビデオストリームとを復号する
    　ステップを含む処理をコンピュータに実行させるプログラム。
  12. 　第１のカメラで撮影された画像と第２のカメラで撮影された画像をH.264/MPEG-4 MVCによって符号化し、Non-base viewビデオストリームを構成する各ピクチャのSEIとして、前記第１のカメラと前記第２のカメラの光軸間隔の情報、輻輳角の情報、および、焦点距離の情報のうちの少なくともいずれかを含む前記SEIを記録する符号化部と、
    　Base viewビデオストリームと、前記SEIが記録されたNon-base viewビデオストリームとを記録媒体に記録させる記録制御部と、
    　前記記録媒体に記録された前記Base viewビデオストリームと前記Non-base viewビデオストリームとを復号する復号部と
    　を備える記録再生装置。
PCT/JP2012/063031 2011-05-30 2012-05-22 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置 WO2012165218A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP12793581.5A EP2688303A4 (en) 2011-05-30 2012-05-22 RECORDING DEVICE, RECORDING METHOD, PLAYING DEVICE, PLAYING METHOD, PROGRAM AND RECORDING / REPLAYING DEVICE
KR20137030803A KR20140030202A (ko) 2011-05-30 2012-05-22 기록 장치, 기록 방법, 재생 장치, 재생 방법, 프로그램 및 기록 재생 장치
US14/118,081 US20140072271A1 (en) 2011-05-30 2012-05-22 Recording apparatus, recording method, reproduction apparatus, reproduction method, program, and recording reproduction apparatus
CN201280024910.2A CN103548345A (zh) 2011-05-30 2012-05-22 记录设备和方法、再现设备和方法、程序和记录再现设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011120187A JP2012249137A (ja) 2011-05-30 2011-05-30 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置
JP2011-120187 2011-05-30

Publications (1)

Publication Number Publication Date
WO2012165218A1 true WO2012165218A1 (ja) 2012-12-06

Family

ID=47259079

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/063031 WO2012165218A1 (ja) 2011-05-30 2012-05-22 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置

Country Status (7)

Country Link
US (1) US20140072271A1 (ja)
EP (1) EP2688303A4 (ja)
JP (1) JP2012249137A (ja)
KR (1) KR20140030202A (ja)
CN (1) CN103548345A (ja)
TW (1) TW201304540A (ja)
WO (1) WO2012165218A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10880565B2 (en) * 2014-03-24 2020-12-29 Qualcomm Incorporated Use of specific HEVC SEI messages for multi-layer video codecs
JP2015198391A (ja) * 2014-04-02 2015-11-09 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
US10104415B2 (en) * 2015-01-21 2018-10-16 Microsoft Technology Licensing, Llc Shared scene mesh data synchronisation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280516A (ja) 2006-04-06 2007-10-25 Sony Corp 記録装置、記録方法および記録プログラム、記録再生装置、記録再生方法および記録再生プログラム、編集装置、編集方法および編集プログラム、ならびに、表示方法
JP2010157826A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像復号装置、画像符復号方法およびそのプログラム
WO2010085361A2 (en) * 2009-01-26 2010-07-29 Thomson Licensing Frame packing for video coding
JP2011502375A (ja) * 2007-10-10 2011-01-20 韓國電子通信研究院 ステレオスコピックデータの保存および再生のためのメタデータ構造ならびにこれを利用するステレオスコピックコンテンツファイルの保存方法
WO2011024373A1 (ja) * 2009-08-31 2011-03-03 パナソニック株式会社 立体視制御装置、集積回路、立体視制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69030911T2 (de) * 1989-10-25 1997-11-06 Hitachi Ltd Stereoskopisches bilderzeugendes System
US7515759B2 (en) * 2004-07-14 2009-04-07 Sharp Laboratories Of America, Inc. 3D video coding using sub-sequences
KR101199498B1 (ko) * 2005-03-31 2012-11-09 삼성전자주식회사 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
CN101292538B (zh) * 2005-10-19 2012-11-28 汤姆森特许公司 使用可缩放的视频编码的多视图视频编码
EP2088789A3 (en) * 2008-02-05 2012-08-15 Samsung Electronics Co., Ltd. Apparatus and method for generating and displaying media files
KR101530713B1 (ko) * 2008-02-05 2015-06-23 삼성전자주식회사 영상 파일을 생성하고 표시하기 위한 장치 및 방법
KR101506219B1 (ko) * 2008-03-25 2015-03-27 삼성전자주식회사 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체
US9288470B2 (en) * 2008-12-02 2016-03-15 Lg Electronics Inc. 3D image signal transmission method, 3D image display apparatus and signal processing method therein
JP4957823B2 (ja) * 2009-04-08 2012-06-20 ソニー株式会社 再生装置および再生方法
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
KR20110011000A (ko) * 2009-07-27 2011-02-08 삼성전자주식회사 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 생성 방법 및 그 장치, 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 수신 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280516A (ja) 2006-04-06 2007-10-25 Sony Corp 記録装置、記録方法および記録プログラム、記録再生装置、記録再生方法および記録再生プログラム、編集装置、編集方法および編集プログラム、ならびに、表示方法
JP2011502375A (ja) * 2007-10-10 2011-01-20 韓國電子通信研究院 ステレオスコピックデータの保存および再生のためのメタデータ構造ならびにこれを利用するステレオスコピックコンテンツファイルの保存方法
JP2010157826A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像復号装置、画像符復号方法およびそのプログラム
WO2010085361A2 (en) * 2009-01-26 2010-07-29 Thomson Licensing Frame packing for video coding
WO2011024373A1 (ja) * 2009-08-31 2011-03-03 パナソニック株式会社 立体視制御装置、集積回路、立体視制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2688303A4

Also Published As

Publication number Publication date
TW201304540A (zh) 2013-01-16
JP2012249137A (ja) 2012-12-13
KR20140030202A (ko) 2014-03-11
EP2688303A1 (en) 2014-01-22
US20140072271A1 (en) 2014-03-13
CN103548345A (zh) 2014-01-29
EP2688303A4 (en) 2014-11-05

Similar Documents

Publication Publication Date Title
JP5231563B2 (ja) 立体映像データを記録する方法
US8259162B2 (en) Method and apparatus for generating stereoscopic image data stream for temporally partial three-dimensional (3D) data, and method and apparatus for displaying temporally partial 3D data of stereoscopic image
US8780173B2 (en) Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
US9191645B2 (en) Stereoscopic video and audio recording method, stereoscopic video and audio reproducing method, stereoscopic video and audio recording apparatus, stereoscopic video and audio reproducing apparatus, and stereoscopic video and audio recording medium
RU2552137C2 (ru) Точки входа для ускоренного 3d-воспроизведения
JP2011223482A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2006191357A (ja) 再生装置および再生プログラム
KR20100068360A (ko) 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
US9118895B2 (en) Data structure, image processing apparatus, image processing method, and program
US10037335B1 (en) Detection of 3-D videos
US20140354770A1 (en) Digital broadcast receiving method for displaying three-dimensional image, and receiving device thereof
US9549167B2 (en) Data structure, image processing apparatus and method, and program
WO2012165218A1 (ja) 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置
WO2013146636A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
JP2013051637A (ja) 符号化装置及び符号化方法
WO2012161077A1 (ja) 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置
KR101382618B1 (ko) 콘텐츠 정보 생성 방법 및 콘텐츠 정보를 이용한 콘텐츠처리 장치
WO2012165160A1 (ja) 再生装置、再生方法、およびプログラム
EP2837183A2 (en) Depth signaling data
JP2013211777A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12793581

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012793581

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14118081

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20137030803

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE