WO2011024373A1 - 立体視制御装置、集積回路、立体視制御方法 - Google Patents

立体視制御装置、集積回路、立体視制御方法 Download PDF

Info

Publication number
WO2011024373A1
WO2011024373A1 PCT/JP2010/004455 JP2010004455W WO2011024373A1 WO 2011024373 A1 WO2011024373 A1 WO 2011024373A1 JP 2010004455 W JP2010004455 W JP 2010004455W WO 2011024373 A1 WO2011024373 A1 WO 2011024373A1
Authority
WO
WIPO (PCT)
Prior art keywords
level
stereoscopic
stereoscopic effect
parallax
lock
Prior art date
Application number
PCT/JP2010/004455
Other languages
English (en)
French (fr)
Inventor
後藤芳稔
小塚雅之
矢羽田洋
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to AU2010288010A priority Critical patent/AU2010288010A1/en
Priority to CA2738975A priority patent/CA2738975A1/en
Priority to JP2011513170A priority patent/JPWO2011024373A1/ja
Priority to US13/122,022 priority patent/US20110187836A1/en
Priority to CN2010800027748A priority patent/CN102172032A/zh
Priority to EP10811432A priority patent/EP2475181A4/en
Publication of WO2011024373A1 publication Critical patent/WO2011024373A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/008—Aspects relating to glasses for viewing stereoscopic images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Definitions

  • the present invention relates to a stereoscopic control device that allows a user to view a stereoscopic video, and particularly relates to a technology for protecting infants, elderly people, and the like against a stereoscopic effect.
  • the producer of a stereoscopic video can adjust the parallax between the video that should be viewed with the left eye and the video that should be viewed with the right eye, thereby changing the degree of projection of the video and providing stereoscopic effects to the viewer. it can. For example, by setting a large parallax and increasing the pop-up degree, it is possible to produce a strong surprise to the viewer.
  • the object on the screen may appear closer to the user's eyes and nose. Even adults may be surprised by such stereoscopic effects, but they would like to avoid the fact that infants, etc., watch stereoscopic videos without permission when parents are absent.
  • Parental lock is a technology that regulates playback of extreme video based on level settings on the device side. This level setting is based on an ethical standard called “rating system” established for each country.
  • an object of the present invention is to provide a stereoscopic control device that can effectively protect infants, the elderly, and the like against stereoscopic effects without depending on the video screening of a group such as a movie ethics screening committee. That is.
  • a stereoscopic control device for solving the above-described problem is a stereoscopic display that allows a user to view a stereoscopic video image by acquiring a set of main view data and sub-view data and outputting the set to another device.
  • a control device detecting means for detecting parallax information indicating parallax between a pixel in main view data and a pixel in sub-view data; an operation for setting a lock level to lock a stereoscopic effect during viewing; and / Or accepting means for accepting an operation to change from the user, authenticating means for performing user authentication in accepting the setting operation and / or changing operation of the lock level from the user, and the validity of the user is authenticated by the user authentication
  • the holding means for holding the lock level that has been set or changed, and the solid provided by the parallax information.
  • Control means for comparing the effect level with the lock level held by the holding means, and for limiting the stereoscopic effect when the level of the stereoscopic effect is higher than the lock level
  • the control means compares the level of the stereoscopic effect brought about by the parallax formed by the pixels in the main view data and the pixels in the subview data with the lock level set or changed through user authentication, and Since the stereoscopic effect is limited when the level is higher than the lock level, viewing of a stereoscopic video with a large pop-out effect can be limited to adult viewers.
  • the parallax between the pixel in the main view data and the pixel in the sub view data is automatically detected by software processing, and the user sets or changes the lock level to be compared with this parallax. With this simple operation, it is possible to adjust the projecting degree of 3D video.
  • the restriction of stereoscopic playback as described above does not require screening as in the Japan Film Ethics Screening Committee, etc., so adjustment of the 3D video projection requires the establishment of a legal system for the screening system. do not do.
  • Makers can play a major role in promoting the spread of sound stereoscopic content, making a significant contribution to the industry.
  • the parallax to be compared for the lock level is used for level conversion by diverting motion vector information extracted when decoding MVC (Multi-view Video Coding) standard data to the calculation of parallax information. It is possible to keep the increase in the load on the reproducing apparatus accompanying the level conversion to the minimum.
  • MVC Multi-view Video Coding
  • FIG. (A) It is a figure which pops out and shows stereoscopic vision.
  • (B) It is a figure which shows retracted stereoscopic vision.
  • (A) It is a figure which shows the relationship between the distance (3H-a) from a convergence point to the mapping point on a screen, the intermediate value E / 2 of pupil distance, and the convergence angle (alpha) / 2.
  • (B) It is a figure which shows the relationship between the distance (3H-a) from a convergence point to the mapping point on a screen, the intermediate value E / 2 of a pupil distance, and the convergence angle (beta) / 2. It is a figure which shows the file structure of a recording medium.
  • A It is a figure which shows the structure of a base view component and a dependent view component.
  • B It is a figure which shows the internal structure of a slice.
  • C It is a figure which shows the structure of a macroblock.
  • 1 is a block diagram illustrating an example of a configuration of a playback device 10 in a first embodiment.
  • FIG. 10 is a diagram illustrating a parallax ⁇ a on a display surface in an xy coordinate system of a base view component and a dependent view component.
  • FIG. 6 is a diagram depicting a base view view component to which MB (x0, y0) belongs and a dependent view component to which MB (x1, y1) belongs.
  • 6 is a flowchart showing a decoding process procedure of the playback apparatus 10 according to Embodiment 1.
  • FIG. 6 is a flowchart showing parallax information detection processing according to Embodiment 1.
  • FIG. It is a flowchart which shows the change process of a lock level.
  • 10 is a block diagram illustrating an example of a configuration of a display device 200 in Embodiment 2.
  • FIG. 2 is a diagram depicting a base view view component to which MB (x0, y0) belongs and a dependent view component to which MB (x1, y1) belongs.
  • 6 is a flowchart showing
  • FIG. 6 is a diagram illustrating parallax detected by the display device 200.
  • FIG. FIG. 10 is a flowchart showing the operation of the display device 200 in the second embodiment.
  • FIG. 10 is a flowchart showing an operation of parallax information detection processing (S203) in the second embodiment.
  • (A) It is a figure which shows the whole structure in Embodiment 3.
  • FIG. (B) It is a figure which shows the shutter operation
  • 10 is a block diagram illustrating an example of a configuration of 3D glasses 300 according to Embodiment 3.
  • FIG. 10 is a process flow diagram illustrating an operation of 3D glasses 300 according to Embodiment 3. It is a figure which shows the normal shutter operation
  • standard when a stereoscopic vision effect level is made into six steps (N 6).
  • Embodiment 1 This embodiment is an embodiment in the case where a playback device used as a pair with a display device is implemented as a stereoscopic control device. That is, the stereoscopic control device according to the present embodiment reads a plurality of view components from the recording medium, and converts the parallax information in the view components into a level. Then, the converted level is compared with the level indicating the degree of the permissible stereoscopic effect preset by the user, and the stereoscopic effect is controlled according to the comparison result.
  • FIG. 1 is a diagram showing the configuration of a system using the playback apparatus 1 according to the first embodiment. As shown in FIG. 1, this system includes a playback device 1, a display device 2, and 3D glasses 3.
  • the playback apparatus 1 decodes the view video data, detects the parallax information from the view video data, levels the detected parallax information, and the level converted from the parallax information and the level of the stereoscopic effect allowed by the user And the stereoscopic effect is controlled based on the comparison result.
  • the view video data refers to compression-coded video data, and includes main view data that configures video viewed from the main line of sight and sub-view data that configures video viewed from the secondary line of sight.
  • the display device 2 displays an uncompressed picture obtained by decoding the view video data by the playback device 1.
  • a right-eye image and a left-eye image are alternately displayed.
  • the image for the right eye and the image for the left eye are images for showing the right eye and the left eye, respectively.
  • the 3D glasses 3 are so-called active shutter type 3D glasses, which alternately open and close the left and right liquid crystal shutters in accordance with a timing signal transmitted by infrared (IR) from the display device 2. Specifically, when the right-eye image is displayed on the display device 2, the right-eye liquid crystal shutter is opened and the left-eye liquid crystal shutter is closed. When the left-eye image is displayed on the display device 2, the left-eye liquid crystal shutter is opened and the right-eye liquid crystal shutter is closed. As a result, the right-eye image appears on the right eye and the left-eye image appears on the left eye, realizing stereoscopic viewing.
  • IR infrared
  • FIG. 2A shows a stereoscopic view that provides a pop-out effect
  • FIG. 2B shows a stereoscopic view that provides a retracting effect.
  • the pop-up stereoscopic view is a stereoscopic view that is observed as if the object is protruding from the display surface, and the retracted stereoscopic view is a view that is observed as if the object is retracted from the display surface.
  • the pop-up stereoscopic view is a stereoscopic view that is observed as if the object is protruding from the display surface, and the retracted stereoscopic view is a view that is observed as if the object is retracted from the display surface.
  • H is the height (vertical length) of the display surface
  • E is the interpupillary distance. Since the optimum viewing distance is generally three times the height of the display surface, the viewing distance is 3H.
  • ⁇ a represents the parallax of the pixel on the image. When the right eye pixel R-pixel and the left eye pixel L-pixel are in the positional relationship of FIG. 2A, ⁇ a is a positive value, and ⁇ a when the right eye pixel R-pixel is in the positional relationship of FIG. 2B is a negative value. .
  • FIG. 2A shows a set of left-eye pixels R-pixels and right-eye pixels R-pixels present on the screen in the display device.
  • the left eye pupil L-view-point and the right eye pupil R-view-point are shown on the left side.
  • a straight line connecting the left-eye pixel L-pixel and the left-eye pupil L-view-point is the line of sight of the left-eye pupil L-view-point, and is realized by switching between light transmission and light shielding by 3D glasses.
  • the straight line connecting the right-eye pixel R-pixel and the right-eye pupil R-view-point is the line of sight of the right-eye pupil R-view-point, and is realized by switching between translucent and light-shielding with 3D glasses.
  • the intersection of the line of sight of the right eye pupil R-view-point and the line of sight of the left eye pupil L-view-point is a convergence point, and in a stereoscopic image, there is a pixel on the screen at this convergence point feel.
  • the angle formed by the line of sight of the right eye pupil R-view-point and the line of sight of the left eye pupil L-view-point is referred to as “convergence angle ⁇ ”.
  • a mapping point obtained by mapping a convergence point on the screen is a convergence point during planar view reproduction.
  • the right eye pupil R-view-point gaze and the left eye pupil L-view-point when the intersection of the gaze of the right eye pupil R-view-point and the left eye pupil L-view-point is present on the screen The angle formed by the line of sight is called “convergence angle ⁇ ”.
  • the difference in convergence angle between stereoscopic reproduction and planar reproduction, that is, ⁇ is a parameter representing the magnitude of the stereoscopic effect.
  • the height of the screen on the display device is H, it is desirable for the viewer to see the screen at a position 3H away from the center of the screen.
  • H the distance from the center of the screen to the viewer.
  • the pupil distance E is 60 mm for an adult.
  • E / 2 and 3H-a are shown in FIG.
  • E / 2 and 3H-a are 2 of the triangle shown in FIG.
  • FIG. 4 is a diagram showing a file configuration of the recording medium. As shown in FIG. 4, the following stream file, stream information file, and playlist information file are recorded on the recording medium. 1.5.1 Stream file 10 The stream file 10 stores a base view video stream 11, a dependent view stream 12, one or more audio streams 13, and a transport stream 14 obtained by multiplexing a graphics stream. There are 2D stream files and 2D-3D files.
  • the 2D dedicated stream file has a normal transport stream format
  • the 2D-3D combined stream file has a stereoscopic interleaved stream file format.
  • the file format of the stereoscopic interleaved stream file includes a divided part obtained by dividing the main transport stream (main TS) including the base-view video stream, and a sub-transport stream including the dependent-view stream ( The file format is such that the divided parts obtained by dividing the sub TS are alternately arranged and recorded on the recording medium.
  • the stream information file 15 is a stream information file that guarantees random access to the packets constituting the transport stream 14 in the stream file 10 and seamless reproduction with other transport streams. Through the stream information file 15, the stream file 10 is managed as an “AV clip”.
  • the stream information file 15 includes a 2D stream information file 16 and a 3D stream information file 17.
  • the 3D stream information file 17 includes clip information (clip base information 18) for base view and dependent view.
  • Clip information (clip dependent information 19) and a stereoscopic entry map 20 are included.
  • 1.5.3 Clip base information 18 The clip base information 18 includes extent start point information for the base view, and the clip dependent information 19 includes extent start point information for the dependent view.
  • the extent start point information for the base view is composed of a plurality of source packet numbers. Each source packet number indicates the number of packets where the division position of the division part (extent) that constitutes the main TS exists.
  • the extent start point information for the dependent view is also composed of a plurality of source packet numbers, and indicates how many packets have the division position of the division part (extent) constituting the sub-TS.
  • the stereoscopic interleaved stream file is divided into a main TS and a sub-TS.
  • the playlist information file 21 is a file that stores information for causing a playback device to play back a playlist.
  • a “playlist” is a playback path that is defined by specifying playback sections on the time axis of the transport stream (TS) and logically specifying the playback order between the playback sections. Of these, it plays the role of defining which part is played back and in what order the scene is developed.
  • the playlist information defines the “type” of the playlist.
  • the playback path defined by the playlist information is a so-called “multipath”.
  • Multipath is a bundle of a playback path (main path) defined for a main TS and a playback path (subpath) defined for a sub-TS. If the playback path of the base-view video stream is defined in this multi-pass and the playback path of the dependent-view video stream is defined in the sub-path, the combination of video streams for reproducing stereoscopic vision can be preferably defined. it can.
  • FIG. 5 is a diagram showing playlist information, a base-view video stream and a dependent view stream, and a stream file in association with each other.
  • the first level shows main path information and sub path information included in the playlist information.
  • the main path information is composed of one or more play item information.
  • the play item information defines a playback section by defining In_Time that is the start time of the playback section and Out_Time that is the end time of the playback section on the time axis of the base-view video stream.
  • Sub path information is also composed of one or more sub play item information.
  • the sub play item information defines a playback section by defining In_Time as the start time of the playback section and Out_Time as the end time of the playback section on the time axis of the base-view video stream.
  • the second tier shows the base view video stream and the dependent view stream.
  • the base view video stream is a sub-bit stream whose view_id is 0 in the MVC standard, and a sequence of view components whose view_id is 0.
  • MPEG-4 MVC base-view video stream obeys the limitations of MPEG-4 AVC video stream.
  • MVC dependent view video stream ⁇ ⁇ is a sub-bitstream with view_id of 1 in the MVC standard and a sequence of view components with view_id of 1.
  • a plurality of base view components constituting the base view video stream are described in the base view video stream in the second level.
  • a plurality of dependent view components constituting the dependent view stream are described inside the dependent view stream.
  • the description will proceed assuming that the base view component of the MVC standard is the main view data and the dependent view component of the MVC standard is the sub-view data.
  • These base view component and dependent view component have picture types such as IDR, B, and P.
  • a view component refers to each of a plurality of picture data that is simultaneously played back for stereoscopic playback in one frame period. Compression encoding using the correlation between viewpoints is achieved by using the view components of the base-view video stream and the dependent-view video stream as picture data and realizing compression encoding using the correlation between pictures. Made.
  • a combination of the view component of the base view video stream and the view component of the dependent view video stream allocated in one frame period constitutes one access unit, and this access unit is random. Access is possible.
  • Both the base view video stream and the dependent view video stream have a GOP structure in which each view component is a “picture”, and are composed of a closed GOP and an open GOP.
  • the closed GOP is composed of an IDR picture, a B picture following the IDR picture, and a P picture.
  • the open GOP is composed of a Non-IDR I picture, a B picture following the Non-IDR I picture, and a P picture.
  • the stereoscopic interleaved stream file format is an interleaved format of the extent of the main transport stream (main TS) including the base view stream and the extent of the sub transport stream (sub TS) including the dependent view video stream. Are arranged alternately.
  • the third row shows the packet sequence of the source packets that make up the stream file.
  • FIG. 6 shows a base view component constituting a base view video stream and a dependent view component constituting a dependent view stream.
  • the first level shows a base view component constituting a base view video stream
  • the second level shows a dependent view component constituting a dependent view stream.
  • base view component # 1 and dependent view component # 2 constitutes frame i
  • base view component # 3 and dependent view component # 4 defines frame i + 1.
  • a combination of the base view component # and the dependent view component # 2 constitutes a frame i + 2.
  • Dependent view component # 2 is a P picture type
  • base view component # 1 is a reference picture
  • dependent view component # 4 is a P picture type
  • base view component # 3 is a reference picture I understand that. Since a view component can set a picture type and a reference picture in units of slices, some view components use a plurality of view components as reference pictures.
  • the dependent view component # 4 has the picture number "4", the picture type is "P picture”, and the reference picture has a dependent view component # 2, base view component # 2 It turns out that it is 3.
  • the dependent view components that use the base view component in the same frame as a reference picture are the base view component # 2 in frame i and the dependent view component # 8 in frame i + 3. Since this dependent view component can be said to have a parallax component with the base view component in the same frame, the parallax between the dependent view component # 2 and the base view component # 1, and the dependency If the parallax between the dent view component # 8 and the base view component # 7 is converted into a stereoscopic effect level, appropriate stereoscopic effect control can be realized.
  • FIG. 8 is a diagram showing a hierarchical relationship between the base view component, the dependent view component, the slice, and the macro block.
  • (A) shows the structure of the base view component and the dependent view component. These view components are composed of horizontal 1920 ⁇ vertical 1080 pixels, and among these, a collection of horizontal 1920 ⁇ vertical 32 pixels is a slice.
  • (B) shows the internal structure of the slice. A slice is configured by arranging a plurality of macroblocks, which are a collection of 32 ⁇ 32 pixels.
  • (C) is a configuration of a macroblock, which is a collection of 32 ⁇ 32 pixels.
  • the view component is compressed and encoded in units of macroblocks, and motion compensation is performed. Therefore, if processing is performed on such macroblocks, disparity suitable for conversion to a stereoscopic effect level can be detected. it can.
  • FIG. 9 is a block diagram showing an example of the configuration of the playback apparatus 1 in the first embodiment.
  • the playback device 1 includes a reading unit 110, a setup unit 114, a decoder 116, a register set 118, a control unit 122, a plane memory 123, and a transmission unit 124.
  • the reading unit 110 is an optical disk drive 111, a card reader / writer 112, and a hard disk drive 113.
  • the setup unit 114 is an OSD generation unit 115.
  • the decoder 116 is a parallax information detection unit 117.
  • the register set 118 is a player status register 119.
  • a process is performed in which the stereoscopic interleaved stream file is divided into a main TS and a sub-TS, and these are stored in separate buffers.
  • This segmentation includes processing for extracting source packets from the stereoscopic interleaved stream file and reading them to the buffer by the number of packets of the source packet number indicated in the extent start point information in the clip dependent information, and clip base information. This is done by repeating the process of extracting the source packet from the stereoscopic interleaved stream file and reading it out to another buffer by the number of packets of the source packet number indicated in the extent start point information.
  • the setup unit 114 displays a setup menu in response to an operation by the user's remote controller or the like, accepts various settings from the user, and writes them in the player setting register 120 in the register set 118. Consists of functions. There are five setting items accepted by the setup menu: lock level setting, country / region, menu language, audio language, and subtitle language.
  • the lock level is a parental lock level, and represents a threshold value determined by a parental authority among a plurality of users who may use the playback device. If the level given to the view component is equal to or lower than the lock level, the stereoscopic effect by that level is allowed.
  • the lock level is set and changed through a password authentication procedure. If the password set in advance by the parent is not authenticated, the lock level is not set or changed. Note that the password authentication procedure is performed when setting and changing the lock level, but biometric authentication and other user authentication procedures may be used instead of the password authentication procedure.
  • the decoder 116 pre-loads the view components constituting the dependent-view video stream, and then decodes the view component of the picture type (IDR type) intended for the decoder refresh located at the head of the closed GOP in the base-view video stream. . In this decoding, all the internal buffers are cleared. After decoding the IDR type view component in this way, the subsequent view component of the base view video stream that is compression-encoded based on the correlation with the view component and the view component of the dependent view video stream are decoded. . If uncompressed picture data for the view component is obtained by decoding, the picture data is stored in a buffer for storing decoded data (decoded data buffer), and the picture data is used as a reference picture.
  • IDR type picture type
  • the disparity information detection unit 117 is a component that realizes an extended function of the video decoder 116, and detects disparity information and converts the detected disparity information to a level.
  • Decoding of the view component in the decoder 116 includes dequantization, variable code length coding, and motion compensation.
  • motion compensation for the dependent view component a macroblock constituting the base view view component is used as a reference macroblock. To do.
  • the motion vectors of the macroblocks in the dependent view component and the individual macroblocks and macroblocks constituting the base view view component are calculated, the motion vectors are detected as disparity information and converted into levels. To achieve the process. By performing such conversion processing, the level of how much stereoscopic effect the parallax with the base view component brings about the dependent view component is given.
  • the register set 118 includes a plurality of player status registers and a plurality of player setting registers.
  • the player status register 119 is a hardware resource for storing a numerical value as an operand when the MPU of the playback apparatus performs an arithmetic operation or a bit operation, and has an initial value when an optical disk is loaded. This is a register for determining the validity of the stored value when the state of the playback device is changed, such as when the current play item is changed. This stored value includes the current playlist number, the current stream number, and the like. Since the initial value is stored when the optical disk is loaded, the stored value is temporary. If the optical disk is ejected or the playback apparatus is turned off, the stored value loses its validity.
  • the player setting register 120 is different from the player status register 119 in that power supply measures are taken. Since power supply measures are taken, the stored value is saved in a non-volatile memory when the playback device is turned off, and the stored value is restored when the playback device is powered on.
  • the capability of the counterpart device found by negotiation with the device to be connected is set in the player setting register 120.
  • 1.6.9 Lock level register 121 The lock level register 121 is a component of the player setting register 120 and records the lock level written by the setup unit 114.
  • 1.6.10 Control unit 122 The control unit 122 compares the stereoscopic effect level leveled by the parallax information detection unit 117 with the lock level recorded in the lock level register 121, and controls the stereoscopic effect based on the comparison result. Specifically, the stereoscopic effect control is performed when the stereoscopic effect level is higher than the lock level, and the stereoscopic effect control is not performed when the stereoscopic effect level is equal to or lower than the lock level.
  • the control of the stereoscopic effect means switching to the 2D playback mode, and is realized by outputting only the uncompressed pictures constituting the base view component to the display device 20.
  • the 3D playback mode is maintained.
  • the plane memory 123 stores an uncompressed picture obtained by the decoding process by the decoder 116.
  • the bitmap created by the OSD generation unit 115 is stored.
  • 1.6.12 Transmitter 124 When the transmission unit 124 is connected to another device in the home theater system via an interface, the transmission unit 124 proceeds to the data transmission phase through the negotiation phase and performs data transmission.
  • the capabilities (including decoding capability, playback capability, and display frequency) of the counterpart device are grasped and set in the player setting register 120 to determine a transmission method for subsequent transmissions. is there.
  • the process proceeds to the data transfer phase.
  • the data transfer phase the side-by-side picture data created by combining the base view component and the dependent view component in the horizontal direction is transferred to the display device at a high transfer rate according to the horizontal synchronization period in the display device.
  • the transmission unit 124 combines the base view component and the dependent view view component with the playback device set to the 3D playback mode. Output to the display device.
  • the playback device When the level obtained by the conversion by the video decoder is equal to or higher than the set lock level, the playback device is set to the 2D playback mode, and only the base view component is output to the display device.
  • the playback mode of the playback device should be set to the 2D playback mode or the 3D playback mode according to the relationship between the lock level and the stereoscopic effect level. If the lock level has three levels of level 1, level 2, and level 3, and the stereoscopic effect level also has three levels of level 1, level 2, and level 3, the values of each level of the lock level Which of the 2D playback mode and the 3D playback mode should be selected in accordance with the combination with the value of each stage of the stereoscopic effect level is expressed using the table of FIG.
  • FIG. 10 is a diagram showing the correspondence between the stereoscopic effect level and the lock level.
  • the stereoscopic effect level and the lock level are each set in three stages. Referring to FIG. 10, for example, when the lock level is level 2, normal 3D playback is performed for 3D images with the stereoscopic effect level of level 1 and level 2, and the stereoscopic effect level is level 3. Is switched to 2D playback.
  • Leveling of Stereoscopic Effect Level Leveling such as Level 1, Level 2 and Level 3 in this figure is performed based on “3DC Safety Guidelines (Revised December 27, 2009)” issued by 3D Consortium. Specifically, the range of parallax angles for comfortable stereoscopic vision proposed by the 3DC Safety Guidelines (parallax angle
  • the stereoscopic effect level is a stepwise representation of the parallax angle representing the stereoscopic effect, and this parallax angle is the parallax ⁇ a, that is, the base view component and the dependent view component on the screen. Varies depending on the number of pixels in When the stereoscopic effect level has three values such as level 1, level 2, and level 3, what is the range of the parallax angle and what is the number of pixels of the parallax ⁇ a?
  • FIG. 11 is a table format.
  • FIG. 11 is a diagram showing the correspondence relationship between the stereoscopic effect level, the parallax angle, and the parallax in a tabular format.
  • the horizontal column is composed of a stereoscopic effect level column, a parallax angle column, and a parallax column, and the vertical arrangement of the stereoscopic effect level column includes three levels, level 1, level 2, and level 3. Indicates.
  • the vertical arrangement in the parallax angle column indicates the range of parallax angles corresponding to the level 1, level 2, and level 3 stereoscopic effect levels.
  • Level 1 has a parallax angle of less than 40 minutes
  • Level 2 has a parallax angle of 40 minutes or more and less than 70 minutes
  • Level 3 has a parallax angle of 70 minutes or more.
  • the vertical arrangement in the parallax column indicates the range of the number of pixels constituting the parallax ⁇ a corresponding to the range of the parallax angle
  • the parallax information is obtained from information on a motion vector detected at the time of motion compensation. Since the motion vector is detected as the number of pixels, leveling is performed based on the number of pixels constituting the parallax ⁇ a.
  • Leveling is performed according to a standard obtained by converting the range of
  • the vertical arrangement in the parallax column shows the corresponding range of the parallax angle
  • the parallax ⁇ a is expressed by a mathematical expression, but when the parallax ⁇ a is set to a specific numerical value using ⁇ and ⁇ , the parallax ⁇ a becomes as shown in FIG.
  • FIG. 12 is a diagram showing a range of the number of pixels constituting the parallax ⁇ a when the display device 20 is a 1920 ⁇ 1080, 50-inch (1106 mm wide, 622 mm long) television monitor.
  • the stereoscopic effect level is set to level 3 when the number of pixels constituting the parallax ⁇ a is 66 or more or ⁇ 66 or less, and the stereoscopic effect level is set to 38 or more and 65 or less or ⁇ 65 or more and ⁇ 38 or less.
  • Is set to level 2 and the stereoscopic effect level is set to level 1 when it is between -37 and 37.
  • the interpupillary distance E is 60 mm.
  • FIG. 13A shows a password input screen that is displayed when the lock level is selected. This password is used to confirm whether or not the user who wants to set / change the lock level is a parent.
  • FIG. 13B shows a lock level selection screen. The user changes the lock level according to this screen.
  • the level 1 check box accepts a setting where the lock level is level 1 (restricted to a comfortable level).
  • an upper limit of level 1 that is, a stereoscopic effect such that the parallax angle is 40 minutes or less is allowed.
  • the level 2 check box accepts a setting where level 2 (only strong levels are restricted) is the lock level. Checking this check box allows a stereoscopic effect such that the upper limit of level 2, that is, the parallax angle is less than 70 minutes.
  • the level 3 check box accepts a setting where level 3 (no restriction) is the lock level. By checking this check box, the upper limit of level 3, that is, a stereoscopic effect such that the parallax angle is 70 minutes or more is allowed.
  • the depth column indicates the depth corresponding to the upper limit of the level 1 angle range in mm.
  • the upper limit of level 1 is set to 40 minutes
  • the depth column displays 1359 mm, which is the value of 3H ⁇ a described above, as the depth corresponding to 40 minutes.
  • This depth can be increased or decreased by inputting a numerical value in the depth column, and the threshold value to be set to level 2 can be changed in accordance with the increase or decrease.
  • the lock level in the player setting register 120 can be changed to any one of level 1, level 2, and level 3, and the user can freely determine the threshold value to be set to level 1. be able to.
  • details of the stereoscopic effect level will be described. 1.10 Details of the stereoscopic effect level While the lock level is determined by an artificial operation such as setting a manufacturer or changing by the user, the stereoscopic effect level corresponds to the base view component and the dependent view component. It depends on the characteristics of the two images, how much the pixel has parallax. Hereinafter, how the parallax that is the number of pixels between the pixel in the base view component and the pixel in the dependent view component is detected will be described.
  • FIG. 14 is drawn based on FIG. 2, and the macroblock to which the R-Pixel (x1, y1) belongs and the macroblock to which the left-eye pixel L-pixel (x0, y0) belongs at the lower right of the base figure. Is drawn.
  • the parallax between the right eye pixel R-Pixel (x1, y1) and the left eye pixel L-pixel (x0, y0) is the coordinates of the macroblock to which the right eye pixel R-Pixel (x1, y1) belongs, the left eye pixel L-pixel ( x0, y0) can be approximated by the coordinates of the macroblock to which the macroblock belongs, and ⁇ a can be derived by calculating the difference of the X coordinates of the macroblock.
  • FIG. 15 is a diagram depicting a base view view component to which MB (x0, y0) belongs and a dependent view component to which MB (x1, y1) belongs.
  • a state in which the base view view component and the dependent view component are overlaid is depicted, with the front side being the dependent view component and the back side being the base view view component.
  • a broken line in the drawing represents that MB (x0, y0) belonging to the base view view component is mapped to the dependent view component.
  • the difference between this mapping point and the right eye pixel R-Pixel (x1, y1) represents the parallax between the right eye pixel R-Pixel (x1, y1) and the left eye pixel L-pixel (x0, y0).
  • MB (x0, y0) and MB (x1, y1) originally represent the same object with different viewpoint position and viewpoint direction and have a strong correlation.
  • MB (x0, y0) having a strong correlation is selected as a reference macroblock.
  • motion vectors are calculated for a plurality of macroblocks existing in the base view view component and in the vicinity of MB (x1, y1), and MB (x0, Since the motion vector is also calculated for y0), the horizontal component of the motion vector (Horizontal_Motion_Vector) for this MB (x0, y0) is detected as an approximate value of the parallax between the base view component and the dependent view component. can do.
  • the parallax angle is calculated using the approximate value of the parallax as the parallax ⁇ a, the stereoscopic effect levels of the base view component and the dependent view component that are currently reproduced can be obtained. This completes the explanation of the stereoscopic effect level.
  • FIG. 16 is a flowchart showing a decoding process procedure of the playback apparatus 1 according to the first embodiment.
  • the decoder 116 starts decoding the view video data read by the reading unit 110 (step S101).
  • step S101 it is assumed that decoding for the xth frame is started.
  • the decoder 116 determines whether or not the current time is the time indicated in the DTS (Decoding Time Stamp) of the frame (t_x) (step S102).
  • DTS is information that designates a decoding time.
  • a decoding process is performed.
  • the decoder 116 performs motion compensation on the base view component (t_x) and stores the obtained uncompressed picture in the video plane. . (Step S103).
  • the decoder 116 performs motion compensation on the dependent view component (t_x), and stores the obtained uncompressed picture in the video plane. Then, the disparity information detection unit 117 detects disparity information (t_x) based on motion vector information obtained in motion compensation (step S104).
  • the parallax information is detected with the number of pixels between the Macro Block (MB) including the left eye pixel L-Pixel and the MB including the right eye pixel R-Pixel as the number of pixels constituting the parallax ⁇ a.
  • the parallax information is detected by the horizontal component (Horizontal-Motion-Vector) of the motion vector from the MB including the left eye pixel L-Pixel to the MB including the R-Pixel. Details of the processing in step S104 will be described in ⁇ Parallax information detection processing>.
  • the parallax information detection unit 117 levels the size of the parallax information (t_x) detected in step S104 as a stereoscopic effect level (step S105). The leveling is performed according to the reference shown in FIG.
  • the transmission unit 124 determines whether the current time is the time indicated in the PTS (Presentation Time Stamp) of the frame (t_y) (step S106).
  • the PTS is information for specifying a display time. When the current time matches the PTS, display processing is performed.
  • control unit 122 determines whether or not the stereoscopic effect level converted in step S107 is larger than the lock level recorded in the lock level register 121 ( Step S107).
  • the stereoscopic effect level is generated for the dependent view component in which the disparity information with the base view component is correctly detected, the disparity information with the base view component is correctly detected during the effective period of the stereoscopic effect level. From the PTS of the dependent view component to immediately before the PTS of the next dependent view component in which disparity information with the base view component is correctly detected. In such a period, the control of the stereoscopic effect based on the stereoscopic effect level is continued.
  • the control unit 122 issues a command to the transmission unit 124 to output an uncompressed picture constituting the base view component (t_y) to the display device 2 (step S107). S108).
  • a stereoscopic video image having a stereoscopic effect stronger than the stereoscopic effect allowed by the user it can be switched to 2D reproduction.
  • control unit 122 When the stereoscopic effect level is equal to or lower than the lock level (step S107, NO), the control unit 122 outputs a non-compressed picture constituting the base view component (t_y) and the dependent view component (t_y) to the display device 20. Is transmitted to the transmission unit 124 (step S109).
  • the stereoscopic effect level and the lock level are compared, and the uncompressed picture to be output to the display device is changed based on the comparison result.
  • the playback is switched to 2D reproduction, while the stereoscopic effect within the range of the stereoscopic effect permitted by the user is applied.
  • 3D reproduction is performed.
  • step S110 determines the end of reproduction (step S110). If it is not the end of reproduction (step S110, NO), the process of step S101 is performed. When the reproduction is finished (step S110, YES), the view video data decoding process is finished.
  • the playback apparatus 1 can detect parallax information and level the stereoscopic effect level. Then, the stereoscopic effect level can be controlled by comparing the stereoscopic effect level and the lock level and changing the uncompressed picture output to the display device based on the comparison result.
  • the base view component of the base view video stream is converted to an IDR picture.
  • the dependent view component belonging to the same frame as the base view component is considered to be compression-encoded based on the correlation with the IDR picture corresponding to the change point of the video content.
  • the base view component, which is the major change point of the video content is converted to an IDR picture, and the dependent view component belonging to the same frame as this base view component is compressed and encoded based on the correlation with the base view component that is the IDR picture.
  • step S104 Details of the parallax information detection processing in step S104 will be described with reference to the drawings.
  • FIG. 17 is a flowchart showing the disparity information detection process (step S104) in the first embodiment.
  • the decoding process for the x-th frame is assumed.
  • the decoder 116 determines whether View-Component-Type is Dependent-View (step S131).
  • View-Component-Type indicates the attribute of the view component.
  • step S131, NO the process proceeds to the decoding process of the base view component (t_x + 1).
  • step S131, YES When View-Component-Type is Dedicated-View (step S131, YES), the decoder 116 repeats the processing of steps S133 to S136 for all slices (step S132).
  • the decoder 116 executes a decoding process including motion compensation for all MBs belonging to the slice (step S133).
  • the decoder 116 determines whether the picture type of Slice is Predictive (step S134).
  • the picture type Predictive means a picture obtained by forward predictive coding between pictures.
  • the decoder 116 determines whether the reference picture at the time of decoding is a base view component (step S135).
  • the dependent view component includes a B picture type and a P picture type that does not use the base view component as a reference picture. Even if there is no parallax with the base view component, these are excluded from the detection of the parallax information.
  • the disparity information detection unit 117 stores the Horizontal_Motion_Vector of each Macro-Block (MB) belonging to the Slice (step S136).
  • step S134 When the picture type is not Predictive (step S134, NO), when the reference picture is not a base view component (step S135, NO), and after the processing of step S136, it is determined whether the processing of steps S133 to S136 is repeated for all slices ( Step S132).
  • the maximum value of Horizontal_Motion_Vector for all MBs in the frame (t_x) is set as disparity information (t_x) in the frame (t_x) (step S137).
  • the parallax information (t_x) can be detected by the above operation. 1.13 Lock Level Setting / Change Processing Details of the lock level setting / change processing will be described below with reference to the drawings.
  • FIG. 18 is a flowchart showing lock level setting / change processing.
  • the setup unit 114 determines whether a lock level setting or changing operation has been performed (step S171).
  • step S171, YES When the user performs the setting or changing operation of the lock level (step S171, YES), the setup unit 114 displays the password input screen shown in FIG. 13A and requests the password input (step S172). Then, the setup unit 114 authenticates the password input in step S172 (step S173). If password authentication fails, the process of step S172 is performed.
  • the setup unit 114 displays a lock level setting menu shown in FIG. 13B (step S174). Then, the setup unit 114 determines whether the user has input the up / down / left / right key (step S175). When the up / down / left / right key is input, the setup unit 114 moves the highlight according to the key direction (step S176). If the up / down / left / right key is not input, the setup unit 114 determines whether the enter key is pressed on the check box (step S177).
  • the setup unit 114 checks the check box (step S178). If the enter key is not pressed, the setup unit 114 determines whether the enter key is pressed on the OK button (step S179).
  • the setup unit 114 determines whether the enter key is pressed on the Cancel button (step S181).
  • step S171 When the user does not set or change the lock level (step S171, NO), the setup unit 114 determines whether the user has performed a reproduction start operation (step S182). When the reproduction start operation is performed, the control program is read from the storage medium and executed (step S183). When the reproduction start operation is not performed, the process of step S171 is performed.
  • the motion vector information extracted when decoding the MVC standard data is used for calculating the parallax information and used for level conversion.
  • the load increase can be kept to a minimum.
  • the playback device detects the disparity information in the process of decoding the view component and converts it into a level.
  • the display device detects the disparity information.
  • the present invention relates to an improvement in which the parallax information is converted into a level to limit the stereoscopic effect.
  • a television that receives a video signal input from a playback device and realizes stereoscopic playback does not have a decoder therein, and therefore cannot detect a motion vector.
  • the parallax between the right eye pixel R-pixel and the left eye pixel L-pixel is detected from an uncompressed picture. In that case, if the parallax information is detected for all the lines, a load is applied to the television, so some lines are extracted.
  • FIG. 19 is a block diagram illustrating an example of the configuration of the display device 200 according to the second embodiment.
  • the display device 200 includes an HDMI receiving unit 211, an operation unit 212, a remote control receiving unit 213, a signal processing unit 214, a parallax information detection unit 215, a lock level recording unit 216, and a stereoscopic effect control unit 217.
  • the HDMI receiving unit 211 receives an uncompressed picture and a stereoscopic effect level transmitted from the playback device 210 via the HDMI cable.
  • the operation unit 212 is for a user to input an operation to the display device 20, and is not particularly limited as long as the user can perform a desired operation input.
  • the remote control receiving unit 213 receives an operation signal from the user using the remote control.
  • the signal processing unit 214 generates a synchronization signal based on the received uncompressed picture.
  • the disparity information detection unit 215 extracts specific horizontal line pixels based on the vertical synchronization signal in each of the right eye image and the left eye image, and detects the number of pixels constituting the disparity ⁇ a from the correlation of the extracted horizontal line pixels. To do. When extracting horizontal line pixels in the entire screen, a large load is applied to the reproduction apparatus, and thus a part of lines is extracted. In addition, since the disparity of a nearby object is large and the disparity of a distant object is small, a line that covers the entire screen is extracted so that the largest disparity can be detected.
  • FIG. 20 is a diagram illustrating the parallax detected by the display device 200. In this way, the screen is divided into upper, middle, and lower areas, and one line is extracted from each area equally.
  • Corresponding points are detected by pattern matching in the horizontal line pixels of the right-eye image and the horizontal line pixels of the left-eye image.
  • the corresponding point refers to the same pixel that differs only in position.
  • the number of pixels constituting the corresponding point of the right-eye image to the corresponding point of the left-eye image is set as parallax information.
  • the corresponding point of the right-eye image is located to the left of the corresponding point of the left-eye image.
  • the number of pixels is a positive value.
  • the number of pixels is set to a negative value.
  • the number of pixels constituting the detected parallax ⁇ a is leveled as a stereoscopic effect level.
  • the leveling is performed according to the reference shown in FIG. Thereby, the display apparatus 200 can detect parallax information and level the stereoscopic effect level.
  • the lock level recording unit 216 records the lock level set or changed by the user operation in the storage device.
  • the lock level is a parental lock level, and represents a threshold value determined by a parental authority among a plurality of users who may use a display device.
  • the stereoscopic effect is controlled for a stereoscopic image to which a stereoscopic effect level higher than the lock level is given.
  • three levels are set.
  • FIG. 10 is a diagram illustrating a correspondence relationship between the stereoscopic effect level and the lock level.
  • the lock level 2 is switched to 2D playback (stereoscopic effect control) for a stereoscopic image with a stereoscopic effect level of level 3, and the stereoscopic effect level is changed to a level 1 and level 2 stereoscopic image.
  • this indicates that switching to 2D playback is not performed.
  • the stereoscopic effect control unit 217 compares the stereoscopic effect level leveled by the parallax information detection unit 215 with the lock level recorded in the lock level recording unit 216. When the stereoscopic effect level is greater than the lock level, the stereoscopic effect level Control.
  • the control of the stereoscopic effect is to switch to 2D playback. Specifically, 2D playback is realized by displaying only the pictures constituting the base view component.
  • the video panel driving unit 218 drives the video panel 219 based on the synchronization signal generated by the signal processing unit 214 and the control of the stereoscopic effect by the stereoscopic effect control unit 217.
  • a right-eye image and a left-eye image are alternately displayed.
  • 2D reproduction by controlling the stereoscopic effect only one of the right-eye image and the left-eye image is displayed.
  • the video panel 219 is a liquid crystal display, plasma display, or the like, and displays video based on the processing of the video panel drive unit 218.
  • the timing signal generator 220 generates a signal that determines the timing of opening and closing the left and right liquid crystal shutters in the 3D glasses 30. Specifically, the timing signal is generated so that the left-eye liquid crystal shutter is closed when the right-eye image is displayed on the liquid crystal panel 158, and the right-eye liquid crystal shutter is closed when the left-eye image is displayed on the liquid crystal panel 158. .
  • the IR transmitter 221 transmits the timing signal generated by the timing signal generator 220 as infrared rays.
  • the components of the display device 200 configured as described above are described in the playback device by causing the processor to describe a program showing the processing procedure of the flowchart of FIG. Can be implemented.
  • the software implementation of the components of the display device 200 will be described with reference to the flowchart of FIG.
  • FIG. 21 is a flowchart showing the operation of the display device 200 in the second embodiment. Here, it is assumed that the display process for the yth frame is started.
  • the signal processing unit 214 starts generating a synchronization signal based on the uncompressed moving image data received by the HDMI receiving unit 211 (step S201).
  • the parallax information detection unit 215 extracts horizontal line pixels based on the vertical synchronization signal in the right-eye image and the left-eye image (step S202).
  • the parallax information detection unit 215 extracts horizontal line pixels based on the vertical synchronization signal in the right-eye image and the left-eye image (step S202).
  • a large load is applied to the reproduction apparatus, and thus a part of lines is extracted.
  • a line that covers the entire screen is extracted so that the largest parallax can be detected.
  • horizontal line pixels are extracted by dividing the screen into upper, middle, and lower areas and extracting lines one by one from each area.
  • the parallax information detection unit 215 detects parallax information using the horizontal line pixels extracted in step S202 (step S203).
  • the disparity information is the number of pixels constituting the disparity ⁇ a. Details of this parallax information detection processing will be described in ⁇ Parallax information detection processing (S203)>.
  • the parallax information detection unit 215 converts the parallax information detected in step S203 into a stereoscopic effect level and stores it (step S204). This leveling is performed according to the criteria shown in FIG.
  • the stereoscopic effect control unit 217 determines whether a lock level is set in the lock level recording unit 216 (step S205).
  • the stereoscopic effect control unit 217 determines whether the stereoscopic effect level converted in step S204 is greater than the lock level recorded in the lock level recording unit 216 ( Step S206).
  • the video panel driving unit 218 displays only the pictures constituting the base view component (t_y) in one frame period (step S207).
  • the video panel driving unit 218 displays the pictures constituting the base view component (t_y) and the dependent view component (t_y) within one frame period. (Step S208).
  • 3D playback can be performed when playing back a stereoscopic video with a stereoscopic effect within the range of the stereoscopic effect allowed by the user.
  • the signal processing unit 214 determines the end of reproduction (step S209). In the case of the end of reproduction (step S209, YES), the process ends. If the reproduction is not finished (step S209, YES), the process of step S202 is performed.
  • the display device 200 can detect parallax information, level the stereoscopic effect level, and control the stereoscopic effect based on the comparison result between the stereoscopic effect level and the lock level.
  • Disparity information detection processing procedure S203 Details of the parallax information detection processing in step S203 will be described with reference to the drawings.
  • FIG. 22 is a flowchart showing the operation of the parallax information detection process (S203) in the second embodiment.
  • Steps S252 to S254 are repeated in each of the upper, middle and lower areas (step S251).
  • the parallax information detection unit 215 detects corresponding pixels by pattern matching in the horizontal line pixels of the right-eye image and the horizontal line pixels of the left-eye image (step S252).
  • the corresponding pixels are the same pixels that differ only in position.
  • the parallax information detection unit 215 obtains the number of pixels between corresponding pixels detected in step S252, and uses the number of pixels as parallax information (step S253).
  • parallax information detection part 215 preserve
  • step S255 After performing the processing from step S252 to step S254 in each of the upper, middle, and lower areas, the maximum value of the parallax obtained in each of the upper, middle, and lower areas is set as the parallax information of the entire screen (step S255).
  • the parallax information can be detected in the display device 200 by the above operation.
  • the target for calculating the stereoscopic effect level in the first embodiment is limited to the dependent view component that is compression-coded with the correlation with the base view component.
  • the accuracy of the stereoscopic effect level is improved regardless of the picture type of the benchmark score. Can do.
  • the display device uniformly synchronizes the shutters of the glasses to allow the user to view the 3D video, but in this embodiment, an allowable level is set for each of the glasses. In this way, the shutter operation according to the set content level is performed on each of the glasses.
  • the 3D glasses will be described with reference to the drawings.
  • the 3D glasses 300 are so-called active shutter type 3D glasses.
  • the IR signal is received by the IR receiver 310 from the IR transmitter 320 of the display device 2, and the left and right liquid crystal shutters are alternately switched based on the timing signal. Open and close.
  • the right liquid crystal shutter is closed so that the image for the left eye is projected only to the left eye.
  • the right-eye image is displayed on the display device 2, as shown in FIG. 23C, the left liquid crystal shutter is closed so that the right-eye image is projected only to the right eye.
  • parallax occurs and stereoscopic vision is realized.
  • FIG. 24 is a block diagram illustrating an example of a configuration of the 3D glasses 300 according to the third embodiment.
  • the 3D glasses 300 include an IR receiver 310, an operation unit 311, a lock level recording unit 312, a stereoscopic effect control unit 313, a liquid crystal shutter control unit 314, and a liquid crystal shutter 315. .
  • the IR receiver 310 receives the timing signal and the stereoscopic effect level information transmitted from the IR transmitter 320 of the display device 2.
  • the stereoscopic effect level received in the third embodiment is leveled in three stages from level 1 to level 3.
  • the operation unit 311 is for a user to input an operation to the 3D glasses 300, and is not particularly limited as long as the user can perform a desired operation input.
  • the lock level recording unit 312 records the lock level set or changed by the operation unit 311.
  • the lock level is set in three levels from level 1 to level 3.
  • the stereoscopic effect control 313 compares the lock level recorded in the lock level recording unit 312 with the stereoscopic effect level received by the IR receiving unit 310, and controls the shutter operation based on the comparison result.
  • the stereoscopic effect level is equal to or higher than the lock level, the operation of the liquid crystal shutter is switched to 2D playback by opening and closing the left and right simultaneously.
  • the liquid crystal shutter controller 314 controls the liquid crystal shutter 315 based on the timing signal received by the IR receiver 310 and the control of the stereoscopic effect.
  • the left and right shutters are alternately opened and closed.
  • the left and right shutters are opened and closed simultaneously. Thereby, it is possible to switch to 2D playback.
  • 3.4 Operation of 3D Glasses 300 The components of the 3D glasses 300 configured as described above are described in the playback apparatus by writing a program indicating the processing procedure of the flowchart in FIG. Can be implemented.
  • the software implementation of the components of the 3D glasses 300 will be described with reference to the flowchart of FIG.
  • the lock level recording unit 312 determines whether a lock level is set (step S301).
  • the lock level recording unit 312 sets the lock level according to the user operation (step S302).
  • step S301 When the lock level is set (step S301, YES), the IR receiver 310 determines the start of reproduction (step S303). If the reproduction is not started (step S303, NO), the process waits until the reproduction is started.
  • step S303 When reproduction is started (step S303, YES), the IR receiver 310 receives a timing signal (step S304).
  • the stereoscopic effect control unit 313 determines whether information on the stereoscopic effect level is attached to the timing signal (step S305).
  • the stereoscopic effect control unit 313 determines whether the stereoscopic effect level is higher than the lock level (step S306).
  • FIG. 26 is a diagram illustrating a normal shutter operation during stereoscopic video playback and a shutter operation during 2D playback switching.
  • the first row shows the timing at which the right-eye image and the left-eye image are switched on the display device 2.
  • the second row shows a normal shutter operation of the 3D glasses 300. In this case, the right-eye image appears in the right eye, and the left-eye image appears in the left eye.
  • the third row shows the shutter operation when switching to 2D playback. In this case, only the right-eye image appears in both eyes, and 2D playback is performed. As described above, when a moving image exceeding the level of the stereoscopic effect allowed by the user is reproduced, it is possible to switch to 2D reproduction by simultaneously opening and closing the shutter.
  • step S305, NO When the stereoscopic effect level is not attached (step S305, NO), and when the stereoscopic effect level is equal to or lower than the lock level (step S306, NO), the liquid crystal shutter 315 closes the left shutter during the base view display period, The shutter operation is controlled to close the right shutter during the dependent view display period (step S308).
  • the liquid crystal shutter controller 314 determines the end of reproduction (step S309). In the case of end of reproduction (step S309, YES), the shutter operation process ends. If the reproduction is not finished (step S309, NO), the process of step S304 is executed.
  • an individual lock level can be set for each user, and different stereoscopic control can be performed for each user.
  • the stereoscopic effect level is divided into three levels of level 1, level 2, and level 3, and leveling is performed.
  • the stereoscopic effect level is higher than the lock level as compared with the lock level set to any one of level 1, level 2, and level 3, the stereoscopic effect is controlled.
  • the stereoscopic effect level is divided into N levels and leveled.
  • the lock level is set to N levels.
  • leveling of the stereoscopic effect and setting of the lock level in the fourth embodiment will be described. Since the configuration and operation are the same as those in the first embodiment except that the stereoscopic effect level is divided into N levels and the lock level is divided into N levels, description of these configurations and operations is omitted.
  • the lock level is set to 6 steps from level 1 to level 6.
  • the stereoscopic effect level is higher than the lock level, the stereoscopic effect is controlled.
  • the stereoscopic effect level and the lock level are compared for each frame, and the stereoscopic effect is controlled based on the comparison result, but once switched to the 2D playback mode.
  • the 2D playback mode may be maintained for a certain period. That is, when the stereoscopic effect level becomes higher than the lock level, 2D playback is maintained even if the stereoscopic effect level becomes equal to or lower than the lock level for a certain period thereafter.
  • Embodiments 1 and 2 the operation of switching to 2D playback was performed when the stereoscopic effect level was greater than the lock level. However, when the stereoscopic effect level was greater than the lock level, a warning was displayed and the stereoscopic video was reproduced. May be canceled. Further, when the stereoscopic effect level is higher than the lock level, a playlist in which the stereoscopic effect is suppressed may be reproduced.
  • the MVC scalable nesting SEI message exists in the first video access unit of the GOP constituting the dependent view.
  • this offset information may be used as disparity information.
  • the 1 plane + Offset mode is a playback mode that realizes stereoscopic viewing without using a pair of right eye images and left eye images by giving left and right parallax to the coordinates of pixels in one plane memory. Since the offset information includes the amount of change in the horizontal direction in the 1 plane + Offset mode, the stereoscopic effect level can be leveled by using the parallax information.
  • the parallax information detected in step S104 in the first embodiment and the stereoscopic effect level leveled in step S105 may be incorporated in the view video data. Then, view video data in which the parallax information and the stereoscopic effect level are incorporated may be written on the recording medium.
  • the addition to the view video data is performed as follows.
  • the dependent view is composed of a plurality of video access units, and each video access unit stores individual view components constituting a GOP (Group Of Pictures).
  • the MVC scalable nesting SEI message exists in the video access unit that stores the first view component of the GOP among the plurality of video access units constituting the GOP.
  • the MVC scalable nesting SEI message includes a user data container, and the disparity information and the stereoscopic effect level for each view component constituting the GOP are stored in the user data container. By doing so, the parallax information and the stereoscopic effect level for each view component are incorporated into the dependent view.
  • view video data can be obtained by performing processing of incorporating disparity information and stereoscopic effect level for each view component constituting the GOP into the MVC scalable nesting SEI message of the access unit located at the head of the GOP and writing back to the recording medium.
  • the parallax information and the stereoscopic effect level are incorporated in.
  • switching to 2D playback is performed by displaying only the pictures constituting the base view component.
  • switching to 2D playback is realized by changing the shutter operation of the 3D glasses.
  • switching to 2D playback may be realized by generating timing signals that simultaneously open the left and right shutters during the base view display period and close simultaneously during the dependent view display period.
  • E Of the internal configuration of the playback device, it is desirable that the parts such as the decoder 116, the register set 118, the control unit 122 and the like centering on the logic elements are configured by an integrated circuit (system LSI).
  • System LSI refers to a bare chip mounted on a high-density substrate and packaged.
  • a system LSI that includes a plurality of bare chips mounted on a high-density substrate and packaged to give the bare chip an external structure like a single LSI is also included in system LSIs (such systems LSI is called a multichip module.)
  • system LSIs are classified into QFP (Quad-Flood Array) and PGA (Pin-Grid Array).
  • QFP is a system LSI with pins attached to the four sides of the package.
  • the PGA is a system LSI with many pins attached to the entire bottom surface.
  • pins serve as an interface with other circuits. Since pins in the system LSI have such an interface role, the system LSI plays a role as the core of the playback apparatus 200 by connecting other circuits to these pins in the system LSI.
  • Such a system LSI can be incorporated in various devices that handle video playback, such as a TV, a game, a personal computer, and a one-seg mobile phone as well as the playback device 200, and can broaden the application of the present invention.
  • the buses connecting circuit elements, ICs, LSIs, their peripheral circuits, external interfaces, etc. will be defined.
  • connection lines, power supply lines, ground lines, clock signal lines, and the like will be defined.
  • the circuit diagram is completed while adjusting the operation timing of each component in consideration of the specifications of the LSI, and making adjustments such as ensuring the necessary bandwidth for each component.
  • Mounting design refers to where on the board the parts (circuit elements, ICs, and LSIs) on the circuit board created by circuit design are placed, or how the connection lines on the circuit board are placed on the board. This is a board layout creation operation for determining whether to perform wiring.
  • the mounting design result is converted into CAM data and output to equipment such as an NC machine tool.
  • NC machine tools perform SoC implementation and SiP implementation based on this CAM data.
  • SoC (System on chip) mounting is a technology that burns multiple circuits on a single chip.
  • SiP (System-in-Package) packaging is a technology that combines multiple chips into one package with resin or the like.
  • the integrated circuit generated as described above may be called IC, LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the hardware configuration shown in each embodiment can be realized.
  • the LUT is stored in the SRAM, and the contents of the SRAM disappear when the power is turned off.
  • the LUT that realizes the hardware configuration shown in each embodiment is defined by the definition of the configuration information. Must be written to SRAM.
  • hardware corresponding to middleware and system LSI hardware other than system LSI, interface part to middleware, interface part of middleware and system LSI, necessary hardware other than middleware and system LSI
  • a specific function is provided by operating in cooperation with each other.
  • the stereoscopic control device According to the stereoscopic control device according to the present invention, it is possible to level the stereoscopic effect applied to the 3D video, and switch whether to limit the stereoscopic effect according to this level. It is useful because viewing can be limited to adult viewers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　３Ｄ映像に対して、デコーダが動き補償を行う際に得られる動きベクトルに基づき、視差情報検出部は視差情報を検出し、その視差情報を立体視効果レベルとしてレベル付けする。そして制御部は立体視効果レベルとロックレベルレジスタに記録したロックレベルとを比較し、その比較結果に基づき立体視効果の制御を行う。

Description

立体視制御装置、集積回路、立体視制御方法
　本発明は立体視映像の視聴をユーザに行わせる立体視制御装置に関し、特に立体視効果に対する幼児、老人等の保護技術に関する。
　近年、両眼視差を利用した、立体視映像の再生技術の開発・研究が盛んに行われている。左目と右目に入射する映像の違いにより、人間は立体を知覚することから、視聴者の左目と右目に視差がある映像を独立して入射させることにより、奥行きを感じさせる技術である。映像の飛出し度合は、視差の大きさに依存する。すなわち、視差が大きければ、映像の飛出し度合が大きくなり、視差が小さければ、映像の飛出し度合が小さくなる。立体視映像の制作者は、左目で視聴すべき映像と右目で視聴すべき映像の視差を調整することで、映像の飛出し度合を変え、視聴者に対して立体視の演出を行うことができる。例えば、視差を大きく設定し飛出し度合を大きくすることで、視聴者に対して強い驚き感を演出することができる。
ＷＯ９７／０７５１０
　飛出し度合が大きい映像は、視聴者に対して強い驚き感を演出することができる。しかし、映像の飛出し度合が大きいものは、年少者、高齢者を極端に驚かせたり、脅えさせるおそれがある。そのため、年少者、高齢者等の保護者は、映像の飛出し度合が大きい映像の視聴を制限したいと希望する場合があり得る。
　特に幼児は、バーチャルな世界と、リアルな世界との区別がついておらず、精神的に未発達な段階で、そのような飛出し度合が大きい立体視映像を視聴すると、何らかの影響がでてしまうのではないかとその両親が心配してしまう。
　また、視聴する表示装置が大画面であればある程、立体視による物体の飛出し度合は大きくなり、例えばユーザの目と鼻の先まで、画面中の物体が接近して見えることがある。大人でさえ、そのような立体視効果で驚いてしまうのに、両親の不在中、幼児等が勝手に立体視映像を視聴するようなことは、避けたいと考えると思われる。
　そこで浮上するのは、特許文献１で記載されているパレンタルロックを立体視映像に対して適用するという考えである。パレンタルロックとは、装置側のレベル設定に基づいて、過激映像の再生を規制する技術である。このレベル設定は、各国毎に定められた"レーティングシステム"と呼ばれる倫理基準に基づく。
　ところが、従来のパレンタルロックは、日本国における映画倫理審査委員会等による映像内容の確認を経たレベル付けを前提としているので、映像の飛出し度合は、その審査対象になっておらず、上述したようなパレンタルロックの考えをそのまま適用することができない。
　ここで、映像の飛出し具合を、映画倫理審査委員会等による審査対象にすることも考えられるが、それには、法制度の充実が必要であり、今後の３Ｄ映画作品の急速な普及には間に合わないと考えられる。
　そこで、本発明の目的は、映画倫理審査委員会等の団体の映像審査に依存することなく、幼児や老人等を立体視効果に対して有効に保護することのできる立体視制御装置を提供することである。
　上記課題を解決するための立体視制御装置は、メインビューデータ及びサブビューデータの組みを取得して、当該組みを他の装置に出力することで、立体視映像の視聴をユーザに行わせる立体視制御装置であって、メインビューデータにおける画素と、サブビューデータにおける画素とがなす視差を示す視差情報を検出する検出手段と、視聴時における立体視効果をロックすべきロックレベルを設定する操作、及び／又は、変更する操作をユーザから受け付ける受付手段と、前記ロックレベルの設定操作及び／又は変更操作をユーザから受け付けるにあたって、ユーザ認証を行う認証手段と、ユーザ認証でユーザの正当性が認証された場合、設定又は変更がなされたロックレベルを保持する保持手段と、視差情報によってもたらされる立体視効果のレベルと、保持手段によって保持されたロックレベルとの比較を行い、立体視効果のレベルがロックレベルよりも高い場合に、立体視効果の制限を行う制御手段とを備えることを特徴とする。
　前記制御手段は、メインビューデータにおける画素と、サブビューデータにおける画素とがなす視差によってもたらされる立体視効果のレベルと、ユーザ認証を経て設定又は変更されたロックレベルとの比較を行い、立体視効果レベルがロックレベルより高い場合に、立体視効果の制限を行うので、飛出し効果が大きい立体視映像の視聴を、成人視聴者に限定することができる。
　かかるメインビューデータにおける画素と、サブビューデータにおける画素とがなす視差は、ソフトウェア的な処理によって自動的に検出されるものであり、ユーザは、この視差の比較対象となるロックレベルを設定又は変更するという簡単な操作によって、３Ｄ映像の飛出し度合を調整することができる。上述したような立体視再生の制限には、日本国における映画倫理審査委員会等のような審査を必要としないから、３Ｄ映像の飛出し度合の調整には、審査制度の法整備を必要としない。
　メーカーが主体になって健全な立体視コンテンツの普及を促進することができるので、産業界への貢献は大きい。
　またロックレベルの比較対象となる視差は、MVC(Multi-view Video Coding)規格のデータをデコードする際に抽出される動きベクトルの情報を視差情報の算出に流用して、レベル変換に用いるので、レベル変換に伴う再生装置の負荷増大を最小現に留めることができる。
本実施の形態１における全体構成を示す図である。 （ａ）飛び出し立体視を示す図である。（ｂ）引っ込み立体視を示す図である。 （ａ）輻輳点から画面上の写像点までの距離(3H-a)と、瞳孔距離の中間値E/2と、輻輳角α/2との関係を示す図である。（ｂ）輻輳点から画面上の写像点までの距離(3H-a)と、瞳孔距離の中間値E/2と、及び輻輳角β/2との関係を示す図である。 記録媒体のファイル構成を示す図である。 プレイリスト情報と、ベースビュービデオストリーム及びディペンデントビューストリームと、ストリームファイルとを対応付けて示す図である。 ベースビューコンポーネント、ディペンデントビューコンポーネントのピクチャ番号、ピクチャタイプ、参照ピクチャを示す図である。 図６のベースビューコンポーネント、ディペンデントビューコンポーネントのピクチャ番号、ピクチャタイプ、参照ピクチャを示す図である。 （ａ）ベースビューコンポーネント、ディペンデントビューコンポーネントの構成を示す図である。（ｂ）スライスの内部構成を示す図である。（ｃ）マクロブロックの構成を示す図である。 実施の形態１における再生装置１０の構成の一例を示すブロック図である。 立体視効果レベルとロックレベルの対応関係を示す図である。 立体視効果レベルと、視差角と、視差との対応関係を表形式に示した図である。 表示装置２０がピクセル数1920×1080、50型（横1106mm、縦622mm）のテレビモニタである場合の視差Δａを構成するピクセル数の範囲を示した図である。 （ａ）ロックレベルの選択時に表示されるパスワード入力画面を示す図である。（ｂ）ロックレベルの選択画面を示す図である。 ベースビューコンポーネント及びディペンデントビューコンポーネントのｘ－ｙ座標系に、表示面上の視差Δａを描いた図である。 MB(x0,y0)が属するベースビュービューコンポーネントと、MB(x1,y1)が属するディペンデントビューコンポーネントとを描いた図である。 実施の形態１における再生装置１０のデコード処理手順を示すフロー図である。 実施の形態１における視差情報検出処理を示すフロー図である。 ロックレベルの変更処理を示すフロー図である。 実施の形態２における表示装置２００の構成の一例を示すブロック図である。 表示装置２００において検出する視差を示す図である。 実施の形態２における表示装置２００の動作を示すフロー図である。 実施の形態２における視差情報検出処理（Ｓ２０３）の動作を示すフロー図である。 （ａ）実施の形態３における全体構成を示す図である。（ｂ）右目用画像視聴時におけるシャッター動作を示す図である。（ｃ）左目用画像視聴時におけるシャッター動作を示す図である。 実施の形態３における３Ｄメガネ３００の構成の一例を示すブロック図である。 実施の形態３における３Ｄメガネ３００の動作を示す処理フロー図である。 立体視映像再生時の通常のシャッター動作と２Ｄ再生切り替え時のシャッター動作を示す図である。 立体視効果レベルを６段階（Ｎ＝６）とした場合のレベル付け基準を示す図である。
　以下、図面を参照しながら、上記立体視制御装置施するための形態について説明する。
（実施の形態１）
１．１　概要
　本実施形態は、表示装置とのペアで用いられる再生装置を、立体視制御装置として実施する場合における実施形態である。つまり本実施形態における立体視制御装置は、記録媒体から複数のビューコンポーネントを読み出して、このビューコンポーネントにおける視差情報をレベルに変換する。そしてその変換したレベルと、あらかじめユーザにより設定された許容する立体視効果の程度を示すレベルとを比較し、その比較結果に応じた立体視効果の制御を行う。具体的には、視差情報を変換したレベルが許容する立体視効果の程度を示すレベルより大きい場合、２Ｄ再生に切り替え、視差情報を変換したレベルが許容する立体視効果の程度を示すレベル以下の場合は通常の３Ｄ再生を行う。以下その実施の形態１について、図面を参照しながら説明する。
１．２　再生装置１を用いたシステムの構成
　まず実施の形態１に係る再生装置の使用の形態について説明する。実施の形態１に係る再生装置は、例えば、家庭内のホームシアターシステムで用いられる。図１は実施の形態１における再生装置１を用いたシステムの構成を示す図である。図１に示されるように、このシステムは再生装置１、表示装置２、３Ｄメガネ３から構成される。
　再生装置１はビュービデオデータのデコード動作、ビュービデオデータから視差情報を検出し検出した視差情報をレベル付けする動作、及び視差情報から変換したレベルとユーザが許容する立体視効果の程度を示すレベルとを比較しその比較結果に基づく立体視効果の制御を行う。ここでビュービデオデータとは圧縮符号化された映像データをいい、主たる視線から見た映像を構成するメインビューデータと、従たる視線から見た映像を構成するサブビューデータとがある。
　表示装置２は再生装置１でビュービデオデータをデコードし得られた非圧縮ピクチャを表示する。立体視映像の再生の場合、右目用画像と左目用画像を交互に表示する。ここで右目用画像、左目用画像とはそれぞれ右目、左目に見せるための画像である。
　３Ｄメガネ３は、いわゆるアクティブシャッター方式の３Ｄメガネであり、表示装置２から赤外線（ＩＲ）で発信されるタイミング信号に合わせて左右の液晶シャッターを交互に開閉する。具体的には、表示装置２に右目用画像が表示される時には右目の液晶シャッターを開き左目の液晶シャッターを閉じる。表示装置２に左目用画像が表示される時には、左目の液晶シャッターを開き右目の液晶シャッターを閉じる。これにより右目用画像は右目に、左目用画像は左目に映り立体視が実現する。
　以上が実施の形態１に係る再生装置の、ホームシアターシステムにおける使用形態についての説明である。続いて、図２を用いて、再生装置１、表示装置２、３Ｄメガネ３により実現される立体視について説明する。
１．３　立体視の原理
　ここで立体視効果には、飛び出し効果をもたらすものと、引っ込み効果をもたらすものとがある。図２（ａ）は、飛び出し効果をもたらす立体視を示し、図２（ｂ）は引っ込み効果をもたらす立体視を示す。飛び出し立体視とは表示面に対して物体が飛び出しているように観察される立体視であり、引っ込み立体視とは表示面に対して物体が引っ込んでいるように観察される立体視である。飛び出し立体視とは表示面に対して物体が飛び出しているように観察される立体視であり、引っ込み立体視とは表示面に対して物体が引っ込んでいるように観察される立体視である。
　これらの図においてHは表示面の高さ（縦の長さ）、Eは瞳孔間距離である。一般に最適視聴距離は表示面の高さの３倍とされることから、視聴距離は3Hとする。Δaは、画像上の画素の視差を表す。右目画素R-pixel・左目画素L-pixelが図２（ａ）の位置関係にある場合のΔaを正の値とし、図２（ｂ）の位置関係にある場合のΔaを負の値とする。
　図２（ａ）の右下に、表示装置における画面に存在する左目画素L-pixel右目画素R-pixelの組みを示す。左側に視聴者の左目瞳孔L-view-pointと、右目瞳孔R-view-pointとを示す。左目画素L-pixelと、左目瞳孔L-view-pointとを結ぶ直線は、左目瞳孔L-view-pointの視線であり、３Ｄ眼鏡による透光・遮光の切り替えによって実現される。
　右目画素R-pixelと、右目瞳孔R-view-pointとを結ぶ直線は、右目瞳孔R-view-pointの視線であり、３Ｄ眼鏡による透光・遮光の切り替えによって実現される。ここで右目瞳孔R-view-pointの視線と、左目瞳孔L-view-pointの視線との交点が輻輳点であり、立体視画像においては、この輻輳点に画面上の画素が存在するように感じる。右目瞳孔R-view-pointの視線と、左目瞳孔L-view-pointの視線とがなす角度を、"輻輳角β"という。
　これとは対照的に、平面視再生時において、右目瞳孔R-view-pointの視線と、左目瞳孔L-view-pointの視線との交点は、表示装置の画面上に存在する。図２（ａ）では、輻輳点を画面上に写像した写像点が、平面視再生時における輻輳点になる。右目瞳孔R-view-pointの視線と、左目瞳孔L-view-pointの視線との交点が画面上に存在する場合における、右目瞳孔R-view-pointの視線と、左目瞳孔L-view-pointの視線とがなす角度を、"輻輳角α"という。そして、立体視再生時と、平面視再生時とにおける輻輳角の差分、つまりβ－αが、立体視効果の大きさを表すパラメータになる。
１．４　閾値の導出の仕方
　３Ｄコンソーシアムにより推奨されている安全ガイドライン値を上回っているかどうかで、立体視効果を切り替える場合、どの程度の画素数を視差の閾値とすべきかという具体的な値について説明する。
　表示装置における画面の高さをHとした場合、視聴者は、画面の中心から3Hだけ離れた位置で、画面を見ることが望ましいとされている。例えば５０インチテレビであれば、画面の中心から視聴者までの距離３Ｈ＝1860mmとなる。一方、瞳孔距離Eは、成人の場合、60mmとなる。
　αは、輻輳点の写像点と、右目瞳孔R-view-point視線・左目瞳孔L-view-point視線とがなす角度であるから、E/2及び3H-aは、図３（ａ）に示す三角形の２辺となり、E/2は、3Hにtan(α/2)を乗じた値として導かれる。よって視聴距離に３Ｈを用いた場合、瞳孔間隔の中間値E/2は、3H×tan(α/2)＝E/2という式で表現される。この式を変形すれば、α/2＝tan-1(E/(3H×2))というものになる。
　ここで、3H＝1860mm、E=60mmである場合、"度"の単位系で表現すればαは、1.848になる。
　３Ｄコンソーシアムにより推奨されている安全ガイドラインでは、"β－αの値は、40分にすべき"と規定されている。"分"とは"度"の６０分の１を表す単位系である。よってβ－αの値が40分になる場合、立体視効果を切り替えることが望ましい。この切り替え点となる輻輳角βは、βーα=40分という式を変形すれば、β＝40/60+αという関係になり、上述したαをこの式に代入すると、β=2.515になる。
　輻輳点から画面上の写像点までの距離(3H-a)と、瞳孔距離の中間値E/2とを用いると、E/2及び3H-aは、図３（ｂ）に示す三角形の２辺となり、E/2は、3H-aにtan(β/2)を乗じた値として算出することができる。よってβ/2は、tan(β/2)＝E/(2×(3H-a))という式で表される。
　上記式を変形して画面から輻輳点までの距離aを表した場合、a=6×tan(β/2)×H-E／2×tan(β/2)になる。ここで、tan(2.515)の具体値である0.022を上記式に代入すれば、a=6×0.022×620／2×0.022=491mm、つまり、491mmという計算結果が得られる。
　ここでaと、3H-aとの比率は、Δaと、瞳孔距離Eとの比率に等しいから、Δa:E=a:3H－aという式が成立する。この式を変形すれば、Δa＝a×E／(3H-a)になり、上述したE、3H、aの具体値を代入すれば、Δaは、21.5mmになる。画面上で、左目画像における画素と、右目画像における画素とがなす視差の閾値を21.5mmにすれば、４０分を限度として、立体視効果の切り替えを実現することができる。
　上記の具体値の計算では、３Ｄコンソーシアムにより推奨されている安全ガイドラインに従い、立体視の強さの度合の閾値を４０分としたが、本実施形態では、セットアップメニューに対する設定によって、かかる閾値を増減することができる。かかる増減のさせ方については後述する。
１．５　記録媒体の構成
　図４は記録媒体のファイル構成を示す図である。図４に示されるように、記録媒体には、以下のストリームファイル、ストリーム情報ファイル、プレイリスト情報ファイルが記録されている。
１．５．１　ストリームファイル１０
　ストリームファイル１０は、ベースビュービデオストリーム１１、ディペンデントビューストリーム１２、１つ以上のオーディオストリーム１３、グラフィクスストリームを多重化することで得られたトランスポートストリーム１４を格納している。ストリームファイルには、2D専用のものと、2D-3D兼用のものとがある。2D専用のストリームファイルは、通常のトランスポートストリーム形式であり、2D-3D兼用のストリームファイルは、立体視インターリーブドストリームファイルのファイル形式を有する。立体視インターリーブドストリームファイルのファイル形式とは、ベースビュービデオストリームを含むメイントランスポートストリーム(メインTS)を分割することで得られた分割部分と、ディペンデントビューストリームを含むサブトランスポートストリーム(サブTS)を分割することで得られる分割部分とを交互配置して記録媒体に記録するというファイル形式である。
１．５．２　ストリーム情報ファイル１５
　ストリーム情報ファイル１５は、ストリームファイル１０におけるトランスポートストリーム１４を構成するパケットに対するランダムアクセスや、他のトランスポートストリームとの途切れ無き再生を保障するストリーム情報ファイルである。このストリーム情報ファイル１５を通じることにより、ストリームファイル１０は"AVクリップ"として管理されることになる。ストリーム情報ファイル１５には、2Dストリーム情報ファイル１６と、3Dストリーム情報ファイル１７とがあり、3Dストリーム情報ファイル１７は、ベースビューのためのクリップ情報(クリップベース情報１８)と、ディペンデントビューのためのクリップ情報(クリップディペンデント情報１９)と、立体視用のエントリーマップ２０とを含む。
１．５．３　クリップベース情報１８
　クリップベース情報１８は、ベースビューのためのエクステントスタートポイント情報を含み、クリップディペンデント情報１９は、ディペンデントビューのためのエクステントスタートポイント情報を含む。ベースビューのためのエクステントスタートポイント情報は、複数のソースパケット番号から構成される。それぞれのソースパケット番号は、メインTSを構成する分割部分(エクステントという)の分割位置が何パケット目に存在するかを示す。ディペンデントビューのためのエクステントスタートポイント情報も複数のソースパケット番号から構成され、サブTSを構成する分割部分(エクステント)の分割位置が何パケットに存在するかを示す。これらのエクステントスタートポイント情報を用いることで、立体視インターリーブドストリームファイルは、メインTSと、サブTSとに分割されることになる。
１．５．４　プレイリスト情報ファイル２１
　プレイリスト情報ファイル２１は、再生装置にプレイリストを再生させるための情報を格納したファイルである。"プレイリスト"とは、トランスポートストリーム(TS)の時間軸上で再生区間を規定するとともに、この再生区間同士の再生順序を論理的に指定することで規定される再生経路であり、TSのうち、どれをどの部分だけ再生して、どのような順序でシーン展開してゆくかを規定する役割をもつ。プレイリスト情報は、かかるプレイリストの"型"を定義する。プレイリスト情報によって定義される再生経路は、いわゆる"マルチパス"である。マルチパスとは、メインTSに対して定義された再生経路(メインパス)と、サブTSに対して定義された再生経路(サブパス)とを束ねたものである。このマルチパスにおいてベースビュービデオストリームの再生経路を規定し、サブパスにおいてディペンデントビュービデオストリームの再生経路を規定すれば、立体視を再生するためのビデオストリームの組合せを、好適に規定することができる。
　以上が再生装置の再生対象となる記録媒体についての説明である。続いて、ベースビュービデオストリーム、ディペンデントビューストリームを構成するビューコンポーネントの詳細について説明する。
１．５．５　ビューコンポーネントの詳細
　図５は、プレイリスト情報と、ベースビュービデオストリーム及びディペンデントビューストリームと、ストリームファイルとを対応付けて示す図である。第１段目は、プレイリスト情報に包含されているメインパス情報と、サブパス情報とを示す。メインパス情報は、1つ以上のプレイアイテム情報から構成される。プレイアイテム情報は、ベースビュービデオストリームの時間軸において、再生区間の開始時点となるIn_Time、再生区間の終了時点となるOut_Timeを定義することで、再生区間を定義する。
　サブパス情報もまた、1つ以上のサブプレイアイテム情報から構成される。サブプレイアイテム情報は、ベースビュービデオストリームの時間軸において、再生区間の開始時点となるIn_Time、再生区間の終了時点となるOut_Timeを定義することで、再生区間を定義する。
　第２段目は、ベースビュービデオストリーム及びディペンデントビューストリームを示す。本図においてベースビュービデオストリームは、MVC規格においてview＿idが0のサブビットストリームであり、view＿idが0のビューコンポーネントのシーケンスである。MPEG-4 MVC ベースビュービデオストリームは、MPEG-4 AVCビデオストリームの制約を守る。
　MVC ディペンデントビュービデオストリーム は、MVC規格においてview＿idが1のサブビットストリームであり、view＿idが1のビューコンポーネントのシーケンスである。
　第２段目におけるベースビュービデオストリームの内部には、ベースビュービデオストリームを構成する複数のベースビューコンポーネントを記載している。またディペンデントビューストリームの内部には、ディペンデントビューストリームを構成する複数のディペンデントビューコンポーネントを記載している。本実施形態では、MVC規格のベースビューコンポーネントがメインビューデータであるとし、MVC規格のディペンデントビューコンポーネントがサブビューデータであるとして説明を進める。これらのベースビューコンポーネント、ディペンデントビューコンポーネントは、IDR,B,Pというようなピクチャタイプを有している。
　ビューコンポーネントとは、一個のフレーム期間において、立体視再生のために同時に再生される複数のピクチャデータのそれぞれのものをいう。視点間の相関性を用いた圧縮符号化は、ベースビュービデオストリーム及びディペンデントビュービデオストリームのビューコンポーネントをピクチャデータとして用いて、ピクチャ間の相関性を用いた圧縮符号化を実現することでなされる。1つのフレーム期間に割り当てられたベースビュービデオストリームのビューコンポーネントと、ディペンデントビュービデオストリームのビューコンポーネントとの組みが、1個のアクセスユニットを構成することになり、このアクセスユニットの単位でランダムアクセスが可能になる。
　ベースビュービデオストリーム及びディペンデントビュービデオストリームは、何れも個々のビューコンポーネントを"ピクチャ"としたGOP構造を有しており、クローズドGOP、オープンGOPから構成される。クローズドGOPは、IDRピクチャと、このIDRピクチャに続くBピクチャと、Pピクチャとから構成される。オープンGOPは、Non-IDR Iピクチャと、Non-IDR Iピクチャに続くBピクチャと、Pピクチャとから構成される。
　立体視インターリーブドストリームファイル形式とは、ベースビューストリームを含むメインのトランスポートストリーム(メインTS)のエクステントと、ディペンデントビュービデオストリームを含むサブトランスポートストリーム(サブTS)のエクステントとをインターリーブ形式で交互配置したものである。
　第３段目は、ストリームファイルを構成するソースパケットのパケット列を示す。
　図６は、ベースビュービデオストリームを構成するベースビューコンポーネントと、ディペンデントビューストリームを構成するディペンデントビューコンポーネントとを示す。第１段目は、ベースビュービデオストリームを構成するベースビューコンポーネントを示し、第２段目は、ディペンデントビューストリームを構成するディペンデントビューコンポーネントを示す。
　これらのうちベースビューコンポーネント#1と、ディペンデントビューコンポーネント#2との組みはフレームiを構成し、ベースビューコンポーネント#3と、ディペンデントビューコンポーネント#4との組みはフレームi+1を構成する。ベースビューコンポーネント#と、ディペンデントビューコンポーネント#2との組みはフレームi+2を構成する。
　これらのベースビューコンポーネント、ディペンデントビューコンポーネントは、表示順序で並べられたものであり、ビューコンポーネント間の矢印は、参照関係を示す。ディペンデントビューコンポーネント#2は、Pピクチャタイプであり、ベースビューコンポーネント#1を参照ピクチャとしており、ディペンデントビューコンポーネント#4は、Pピクチャタイプであり、ベースビューコンポーネント#3を参照ピクチャとしていることがわかる。ビューコンポーネントは、スライス単位で、ピクチャタイプや参照ピクチャを設定することができるので、ビューコンポーネントの中には、複数のビューコンポーネントを参照ピクチャとしているものがある。
　図７は、図６のベースビューコンポーネント、ディペンデントビューコンポーネントのピクチャ番号、ピクチャタイプ、参照ピクチャを示す。ディペンデントビューコンポーネント#2は、ピクチャ番号が"2"であり、ピクチャタイプが"Pピクチャ"、参照ピクチャは、ピクチャ番号＝１であるベースビューコンポーネント#1であることがわかる。
　ディペンデントビューコンポーネント#4は、ピクチャ番号が"4"であり、ピクチャタイプが"Pピクチャ"、参照ピクチャは、ピクチャ番号＝2,3であるディペンデントビューコンポーネント#2,ベースビューコンポーネント#3であることがわかる。
　これらのビューコンポーネントのうち、同じフレーム内のベースビューコンポーネントを参照ピクチャとしているディペンデントビューコンポーネントは、フレームiにおけるベースビューコンポーネント#2、フレームi+3におけるディペンデントビューコンポーネント#8である。かかるディペンデントビューコンポーネントは、同じフレーム内のベースビューコンポーネントとの視差成分を有しているといえるから、ディペンデントビューコンポーネント#2と、ベースビューコンポーネント#1との視差、及び、ディペンデントビューコンポーネント#8と、ベースビューコンポーネント#7との視差を立体視効果レベルに変換すれば、適切な立体視効果の制御を実現することができる。
　図８は、ベースビューコンポーネント、ディペンデントビューコンポーネント、スライス、マクロブロックの階層関係を示す図である。
　（ａ）はベースビューコンポーネント、ディペンデントビューコンポーネントの構成を示す。これらのビューコンポーネントは、横1920×縦1080の画素からなり、これらのうち、横1920×縦32の画素の集まりがスライスである。（ｂ）は、スライスの内部構成を示す。スライスは、横32×縦32の画素の集まりであるマクロブロックを複数配置することで構成される。（ｃ）は、マクロブロックの構成であり、横32×縦32の画素の集まりである。ビューコンポーネントは、このマクロブロックの単位で圧縮符号化がなされ、動き補償がなされるので、かかるマクロブロックに対して処理を行えば、立体視効果レベルへの変換に適切な視差を検出することができる。
　以上が記録媒体についての説明である。続いて、再生装置内部構成の詳細について説明する。
１．６　再生装置１の構成
　再生装置１の構成について説明する。図９は実施の形態１における再生装置１の構成の一例を示すブロック図である。図９に示されるように、再生装置１は、読出部１１０、セットアップ部１１４、デコーダ１１６、レジスタセット１１８、制御部１２２、プレーンメモリ１２３、送信部１２４を含んで構成される。そして読出部１１０は光ディスクドライブ１１１、カードリーダ／ライタ１１２、ハードディスクドライブ１１３を、セットアップ部１１４はＯＳＤ生成部１１５を、デコーダ１１６は視差情報検出部１１７を、レジスタセット１１８はプレーヤ状態レジスタ１１９、プレーヤ設定レジスタ１２０を含んで構成される。さらにプレーヤ設定レジスタ１２０はロックレベルレジスタ１２１を含んで構成される。
１．６．１　読出部１１０
　読出部１１０は、光ディスクドライブ１１１、カードリーダ／ライタ１１２、ハードディスクドライブ１１３を通じて記録媒体からプレイリスト情報ファイル、ストリーム情報ファイル、ストリームファイルを読み出す。
　具体的には、立体視インターリーブドストリームファイルの読み出しにあたって、立体視インターリーブドストリームファイルを、メインTSと、サブTSとに分割して、これらを別々のバッファに格納するという処理を行う。この分割は、クリップディペンデント情報におけるエクステントスタートポイント情報に示されているソースパケット番号のパケット数だけ、立体視インターリーブドストリームファイルからソースパケットを対取り出してバッファに読み出すという処理と、クリップベース情報におけるエクステントスタートポイント情報に示されているソースパケット番号のパケット数だけ、立体視インターリーブドストリームファイルからソースパケットを取り出して別のバッファに読み出すという処理とを繰り返すことでなされる。
１．６．２　セットアップ部１１４
　セットアップ部１１４は、ユーザのリモコン等による操作に応じてセットアップメニューを表示して、ユーザからの各種設定を受け付け、レジスタセット１１８におけるプレーヤ設定レジスタ１２０に書き込むものであり、受付手段、認証手段としての機能から構成される。セットアップメニューにより受け付けられる設定項目には、ロックレベル設定、国・地域、メニュー言語、音声言語、字幕言語という５つの項目がある。ここでロックレベルとは、パレンタルロックのレベルであり、再生装置を使用する可能性がある複数人のユーザのうち、親権者が定めた閾値を表す。ビューコンポーネントに付与されたレベルがこのロックレベル以下であれば、そのレベルによる立体視効果が許容される。一方、ビューコンポーネントに付与されたレベルがこのロックレベルを上回れば、そのレベルによる立体視効果は禁止される。また、ロックレベルの設定及び変更は、パスワード認証手続きを経て行われる。親権者があらかじめ設定したパスワードが認証されない場合、ロックレベルの設定及び変更は行われない。なお、ロックレベルの設定及び変更に際して、パスワード認証手続きを行ったが、パスワード認証手続きでなくとも、生体認証その他のユーザ認証手続きであればよい。
１．６．３　ＯＳＤ生成部１１５
　ＯＳＤ生成部１１５は、ビットマップを作成し、そのビットマップをプレーンメモリに書き込む。
１．６．４　デコーダ１１６
　デコーダ１１６は、ディペンデントビュービデオストリームを構成するビューコンポーネントをプリロードした上、ベースビュービデオストリーム内のクローズGOPの先頭に位置するデコーダリフレッシュを意図したピクチャタイプ(IDRタイプ)のビューコンポーネントをデコードする。このデコードにあたって、内部のバッファを全クリアする。こうしてIDRタイプのビューコンポーネントをデコードした後、このビューコンポーネントとの相関性に基づき圧縮符号化されているベースビュービデオストリームの後続のビューコンポーネント、及び、ディペンデントビュービデオストリームのビューコンポーネントをデコードする。デコードによって当該ビューコンポーネントについての非圧縮のピクチャデータが得られれば、デコードデータ格納のためのバッファ(デコードデータバッファ)に格納し、かかるピクチャデータを参照ピクチャとする。
　この参照ピクチャを用いて、ベースビュービデオストリームの後続のビューコンポーネント、及び、ディペンデントビュービデオストリームのビューコンポーネントについて、動き補償を行う。動き補償によって、ベースビュービデオストリームの後続のビューコンポーネント、及び、ディペンデントビュービデオストリームのビューコンポーネントについて、非圧縮のピクチャデータが得られれば、これらをデコードデータバッファに格納し参照ピクチャとする。以上のデコードは、個々のアクセスユニットのデコードタイムスタンプに示されているデコード開始時刻が到来時になされる。
１．６．５　視差情報検出部１１７
　視差情報検出部１１７は、ビデオデコーダ１１６の拡張機能を実現する構成要素であり、視差情報の検出及び検出した視差情報のレベルへの変換を行う。デコーダ１１６におけるビューコンポーネントのデコードは、逆量子化、可変符号長符号化、動き補償を含み、ディペンデントビューコンポーネントに対する動き補償においては、ベースビュービューコンポーネントを構成するマクロブロックを参照マクロブロックとして利用する。この際、ディペンデントビューコンポーネントにおけるマクロブロックと、ベースビュービューコンポーネントを構成する個々のマクロブロックとマクロブロックとの動きベクトルが算出されるので、この動きベクトルを視差情報として検出してレベルに変換するという処理を実現する。かかる変換処理を行うことで、ディペンデントビューコンポーネントについては、ベースビューコンポーネントとの視差が、どの程度の立体視効果をもたらすかというレベルが付与されることになる。
１．６．６　レジスタセット１１８
　レジスタセット１１８は、複数のプレーヤ状態レジスタ、複数のプレーヤ設定レジスタから構成される。
１．６．７　プレーヤ状態レジスタ１１９
　プレーヤ状態レジスタ１１９は、再生装置のMPUが算術演算やビット演算を行う際、その被演算子となる数値を格納しておくためのハードウェア資源であり、光ディスクが装填された際に初期値が設定され、またカレントプレイアイテムの変更等、再生装置の状態が変化した際に、その格納値の有効性が判定されるレジスタである。この格納値としては、カレントのプレイリスト番号、カレントのストリーム番号等がある。光ディスクの装填時に初期値が格納されるので、この格納値は一時的なものであり、光ディスクがイジェクトされたり、また再生装置の電源が断たれれば、この格納値は有効性を失う。
１．６．８　プレーヤ設定レジスタ１２０
　プレーヤ設定レジスタ１２０は、電源対策が施されている点がプレーヤ状態レジスタ１１９とは異なる。電源対策が施されているので、再生装置の電源遮断時において、その格納値が不揮発性のメモリに退避され、再生装置の電源投入時において、その格納値が復帰される。再生装置の製造主体(マニフャクチャ)が再生装置の出荷時に定めた再生装置の各種コンフィグレーションや、ユーザがセットアップ手順に従い設定した各種コンフィグレーション、そして、再生装置がTVシステムやステレオ、アンプ等のホームシアターシステムの機器と接続された際、接続相手となる機器とのネゴシエーションにより判明した相手側機器のケーパビリティがプレーヤ設定レジスタ１２０に設定される。
１．６．９　ロックレベルレジスタ１２１
　ロックレベルレジスタ１２１は、プレーヤ設定レジスタ１２０の構成要素であり、セットアップ部１１４により書き込まれたロックレベルを記録する。
１．６．１０　制御部１２２
　制御部１２２は、視差情報検出部１１７でレベル付けした立体視効果レベルとロックレベルレジスタ１２１に記録されたロックレベルとを比較し、その比較結果に基づき立体視効果の制御を行う。具体的には立体視効果レベルがロックレベルより大きい場合立体視効果の制御を行い、立体視効果レベルがロックレベル以下の場合立体視効果の制御を行わない。
　ここで立体視効果の制御とは２Ｄ再生モードに切り替えることをいい、ベースビューコンポーネントを構成する非圧縮ピクチャのみを表示装置２０に出力することにより実現される。立体視効果の制御を行わない場合、３Ｄ再生モードが維持される。
１．６．１１　プレーンメモリ１２３
　プレーンメモリ１２３は、デコーダ１１６によるデコード処理で得られる非圧縮ピクチャを格納する。また、ＯＳＤ生成部１１５で作成したビットマップを格納する。
１．６．１２　送信部１２４
　送信部１２４は、ホームシアターシステムにおける他の機器とインターフェイスを介して接続された際、ネゴシエーションフェーズを経て、データ伝送フェーズに移行し、データ伝送を行う。
　このネゴシエーションフェーズは、相手側機器のケーパビリティ(デコード能力、再生能力、表示周波数を含む)を把握して、プレーヤ設定レジスタ１２０に設定しておき、以降の伝送のための伝送方式を定めるものである。このネゴシエーションフェーズを経て、データ転送フェーズに移行する。データ転送フェーズでは、このベースビューコンポーネント及びディペンデントビューコンポーネントを横方向に結合することで作成されるサイドバイサイドピクチャデータを、表示装置における水平同期期間に従い表示装置に高い転送レートで転送する。ここでビデオデコーダによる変換で得られたレベルが、設定されたロックレベルを下回る場合、送信部１２４は、再生装置は３Ｄ再生モードに設定され、ベースビューコンポーネント及びディペンデントビュービューコンポーネントを結合して表示装置に出力する。
　ビデオデコーダによる変換で得られたレベルが、設定されたロックレベル以上である場合、再生装置は２Ｄ再生モードに設定され、ベースビューコンポーネントのみを表示装置に出力する。
　データ転送フェーズにあたっては、表示装置における水平帰線期間、及び、垂直帰線期間において、再生装置と接続された他の装置(表示装置のみならずアンプ、スピーカを含む)に、非圧縮・平文形式のオーディオデータやその他の付加データを転送することができる。こうすることで、表示装置、アンプ、スピーカといった機器は、非圧縮・平文形式のピクチャデータ、非圧縮・平文形式のオーディオデータ、その他の付加データを受け取ることができ、再生出力を実現することができる。ビデオデコーダによって得られたレベルを水平帰線期間、及び、垂直帰線期間において、相手側の表示装置に出力することもできる。
　以上が再生装置の内部構成についての説明である。続いて、再生装置における再生モード設定の詳細について説明する。
１．７　再生モードの選択
　以降、ロックレベルと、立体視効果レベルとの関連によって、再生装置の再生モードを、２Ｄ再生モード、３Ｄ再生モードの何れに設定すべきかについて説明する。ロックレベルがレベル１、レベル２、レベル３という3段階の値をとり、立体視効果レベルもまたレベル１、レベル２、レベル３という3段階の値をとる場合、ロックレベルの各段階の値と、立体視効果レベルの各段階の値との組合せに応じて、２Ｄ再生、３Ｄ再生の何れの再生モードを選択すべきかについては、図１０の表を用いて表現される。
　図１０は立体視効果レベルとロックレベルの対応関係を示す図である。ここでは立体視効果レベル、ロックレベルをそれぞれ３段階に設定する。図１０を参照するに、例えばロックレベルがレベル２の場合、立体視効果レベルがレベル１、レベル２の３Ｄ映像に対しては通常の３Ｄ再生を行い、立体視効果レベルがレベル３の３Ｄ映像に対しては２Ｄ再生に切り替える。
　以上が再生モードについての説明である。続いて、立体視効果レベルのレベル付けについて説明する。
１．８　立体視効果レベルのレベル付け
　本図におけるレベル１、レベル２、レベル３といったレベル付けは、３Ｄコンソーシアムが発行する『３ＤＣ安全ガイドライン（２００９年１２月２７日改訂）』に基づき行う。具体的には、３ＤＣ安全ガイドラインで提唱されている快適な立体視のための視差角の範囲（視差角｜β－α｜が４０分（４０／６０度）以内）及び強い立体視を避けるための視差角の範囲（視差角｜β－α｜が７０分（７０／６０度）以内）に基づき、検出した視差情報を３段階の立体視効果レベルにレベル付けする。
　上述したように、立体視効果レベルは、立体視効果を表す視差角を段階的に表したものであり、この視差角は、視差Δa、つまり、画面上のベースビューコンポーネント、ディペンデントビューコンポーネントにおける画素数によって変化する。立体視効果レベルがレベル１、レベル２、レベル３といった３段階の値をとる場合、ここの値において、視差角がどのような角度範囲になるか、視差Δaがどのような画素数になるかを表形式で表したのが図１１である。
　図１１は、立体視効果レベルと、視差角と、視差との対応関係を表形式に示した図である。横欄は、立体視効果レベルの欄と、視差角の欄と、視差の欄とから構成され、立体視効果レベルの欄の縦の並びは、レベル１、レベル２、レベル３といった3つのレベルを示す。視差角の欄の縦の並びは、レベル１、レベル２、レベル３の立体視効果レベルに対応する視差角の範囲を示す。これから、レベル１は視差角が４０分未満であり、レベル２は視差角が４０分以上７０分未満であり、レベル３は視差角が７０分以上であることがわかる。視差の欄の縦の並びは視差角｜β－α｜の範囲に対応する視差Δaを構成するピクセル数の範囲を示す。実施の形態１においては視差情報を、動き補償の際検出される動きベクトルの情報から求める。その動きベクトルはピクセル数として検出されることから、視差Δaを構成するピクセル数に基づきレベル付けを行う。
　ここで視差Δaと視差角｜β－α｜を構成する輻輳角α及びβとの関係について説明する。輻輳角α及びβの単位系に"度"を用いる。まず、図２（ａ）、図２（ｂ）に示される輻輳角βを含む三角形に注目すると、瞳孔間距離Ｅは奥行き３Ｈ－ａを用いて、Ｅ＝２×（３Ｈ－ａ）×ｔａｎ（πβ／３６０）と表される。同様に図２（ａ）、図２（ｂ）に示される輻輳角βを含む三角形に注目すると、視差Δａは飛び出し量ａを用いて、Δａ＝２×ａ×ｔａｎ（πβ／３６０）と表せる。すなわち瞳孔間距離Ｅと視差Δａの合計"Ｅ＋Δａ"はＥ＋Δａ＝２×３Ｈ×ｔａｎ（πβ／３６０）と表される。そしてこの式を変形すると視差ΔａはΔａ＝６Ｈ×ｔａｎ（πβ／３６０）－Ｅと表せる。ここで、図２（ａ）、図２（ｂ）で示される輻輳角αを含む三角形に注目すると、Ｅは輻輳角αを用いてＥ＝２×３Ｈ×ｔａｎ（πα／３６０）と表せることから、この式をΔａの式に代入することにより視差ΔａはΔａ＝６Ｈ｛ｔａｎ（πβ／３６０）－ｔａｎ（πα／３６０）｝と表せる。
　よって視差Δａを構成するピクセル数は１ｍｍ当たりのピクセル数Ｐを用いてΔａ（ピクセル数）＝Ｐ×６Ｈ｛ｔａｎ（πβ／３６０）－ｔａｎ（πα／３６０）｝と表されることから視差角｜β－α｜の範囲を、上記式に基づき視差Δａを構成するピクセル数の範囲に変換した基準によりレベル付けを行う。図１１において視差の欄の縦の並びは、対応する視差角｜β－α｜の範囲を上記数に基づき視差Δａを構成するピクセル数の範囲に変換したものを示す。
　図１１の表において視差Δａは、数式で表現していたが、α、βを用いて視差Δａを具体的な数値に設定すると、視差Δａは図１２のようになる。
　図１２は表示装置２０がピクセル数1920×1080、50型（横1106mm、縦622mm）のテレビモニタである場合の視差Δａを構成するピクセル数の範囲を示した図である。図１２に示されるように、視差Δａを構成するピクセル数が６６以上又は－６６以下の時に立体視効果レベルをレベル３とし、３８以上６５以下又は－６５以上－３８以下の時に立体視効果レベルをレベル２とし、－３７以上３７以下の時に立体視効果レベルをレベル１とする。なお本実施形態において、瞳孔間距離Ｅは６０ｍｍとする。
　以上が立体視効果レベルのレベル付けについての説明である。続いて、ロックレベルの設定・変更に関するセットアップメニューについて説明する。
１．９　セットアップメニュー
　セットアップメニューでは、音声言語設定、字幕言語設定といった一般的なセットアップ項目の他に、ロックレベルの項目が存在しており、かかる項目を選択すれば、図１３のメニューが現れる。
　図１３（ａ）は、ロックレベルの選択時に、表示されるパスワード入力画面である。このパスワードは、ロックレベルを設定・変更しようとするユーザが、親権者であるかどうかの確認を行うためのものである。
　図１３（ｂ）は、ロックレベル選択画面である。この画面に従いユーザはロックレベルの変更を行う。
　レベル１のチェックボックスは、レベル１(快適なレベルに制限)をロックレベルとする設定を受け付ける。このチェックボックスがチェックされることで、レベル１の上限、つまり、視差角が40分以下となるような立体視効果を許容する。
　レベル２のチェックボックスは、レベル２(強いレベルのみを制限)をロックレベルとする設定を受け付ける。このチェックボックスがチェックされることで、レベル２の上限、つまり、視差角が70分未満となるような立体視効果を許容する。
　レベル３のチェックボックスは、レベル３(規制なし)をロックレベルとする設定を受け付ける。このチェックボックスがチェックされることで、レベル３の上限、つまり、視差角が70分以上となるような立体視効果を許容する。
　奥行き欄は、レベル１の角度範囲の上限に対応する奥行きをmm表記で示す。本実施形態では、レベル１の上限値が４０分に設定されており、奥行き欄には、４０分に対応する奥行きとして、上述した3H－aの値である、1359mmが表示されている。奥行き欄に対する数値入力によって、この奥行きを増減させることができ、この増減に伴い、レベル２とすべき閾値を変化させることができる。
　以上のメニューに対するロックレベルの設定で、プレーヤ設定レジスタ１２０におけるロックレベルは、レベル１、レベル２、レベル３の何れに変更することができるし、またレベル１とすべき閾値をユーザが自由に定めることができる。以上がロックレベルについての説明である。続いて、立体視効果レベルの詳細について説明する。
１．１０　立体視効果レベルの詳細
　ロックレベルがマニファクチャの設定やユーザによる変更といった人為的な操作で決められるのに対し、立体視効果レベルはベースビューコンポーネントと、ディペンデントビューコンポーネントとで対応する画素がどれだけ視差をもっているかという、2つの画像の特性によって決まる。以下、ベースビューコンポーネントにおける画素と、ディペンデントビューコンポーネントにおける画素との間の画素数である視差がどのように検出されるかについて説明する。
　先ず始めに、視差情報の検出について説明する。
　図１４は、図２をベースとして作図されており、このベースとなる図の右下にR-Pixel(x1,y1)が属するマクロブロック、左目画素L-pixel(x0,y0)が属するマクロブロックを描いている。この右目画素R-Pixel(x1,y1)、左目画素L-pixel(x0,y0)間の視差は、右目画素R-Pixel(x1,y1)が属するマクロブロックの座標、左目画素L-pixel(x0,y0)が属するマクロブロックの座標で近似することができ、このマクロブロックのＸ座標の差分を算出すれば、Δａを導くことができる。
　マクロブロックの座標を用いた視差の近似化について述べる。
　図１５は、MB(x0,y0)が属するベースビュービューコンポーネントと、MB(x1,y1)が属するディペンデントビューコンポーネントとを描いた図である。本図では、ベースビュービューコンポーネントと、ディペンデントビューコンポーネントとが重ね合わされている状態を描いており、手前側がディペンデントビューコンポーネント、奥手側がベースビュービューコンポーネントになっている。図中の破線は、ベースビュービューコンポーネントに属するMB(x0,y0)を、ディペンデントビューコンポーネントに写像することを表す。この写像点と、右目画素R-Pixel(x1,y1)との差分が、右目画素R-Pixel(x1,y1)と、左目画素L-pixel(x0,y0)との視差を表す。ここで、MB(x0,y0)と、MB(x1,y1)とは元々、視点位置や視点方向が異なるだけの同じ対象物を表したものであり、強い相関性をもつから、ディペンデントビューコンポーネントのデコードにあたって、MB(x1,y1)のデコード行う際、強い相関性をもつMB(x0,y0)が参照マクロブロックとして選ばれる。この参照マクロブロックの選択の際、ベースビュービューコンポーネントに存在するマクロブロックであって、MB(x1,y1)近辺に存在する複数のマクロブロックに対して、動きベクトルが算出され、MB(x0,y0)についても動きベクトルが算出されるから、このMB(x0,y0)についての動きベクトルの水平成分(Horizontal_Motion_Vector)を、ベースビュービューコンポーネントと、ディペンデントビューコンポーネントとの視差の近似値として検出することができる。
　かかる視差の近似値を視差Δaとして用いて、上述したような視差角の計算を行えば、現在再生されているベースビューコンポーネント及びディペンデントビューコンポーネントの立体視効果レベルを得ることができる。以上が立体視効果レベルについての説明である。
　これまでに述べた、再生装置の構成要素は、図１６～図１８のフローチャートに示す処理手順を、オブジェクト指向プログラミング言語等を用いて記述してプロセッサに実行させることで、ソフトウェア的に再生装置内に実装することができる。以下、再生装置の構成要素の実装のための処理手順について説明する。
１．１１　デコード処理手順
　図１６は実施の形態１における再生装置１のデコード処理手順を示すフロー図である。図１６に示されるように、まずデコーダ１１６は、読出部１１０で読み出したビュービデオデータのデコードを開始する（ステップＳ１０１）。ここで、ｘ番目のフレームについてのデコードを開始するものとする。
　次にデコーダ１１６は、現在時刻がフレーム（ｔ＿ｘ）のＤＴＳ（Ｄｅｃｏｄｉｎｇ　Ｔｉｍｅ　Ｓｔａｍｐ）に示される時刻であるか判定する（ステップＳ１０２）。ここでＤＴＳとは、復号時刻を指定する情報である。現在時刻とＤＴＳが一致した場合、デコード処理を行う。
　現在時刻がＤＴＳに示される時間である場合（ステップＳ１０１、ＹＥＳ）、デコーダ１１６は、ベースビューコンポーネント（ｔ＿ｘ）に対して、動き補償を行い、得られた非圧縮のピクチャをビデオプレーンに格納する。（ステップＳ１０３）。
　次にデコーダ１１６は、ディペンデントビューコンポーネント（ｔ＿ｘ）に対して、動き補償を行い、得られた非圧縮のピクチャをビデオプレーンに格納する。そして視差情報検出部１１７は、動き補償において得られる動きベクトルの情報に基づき視差情報（ｔ＿ｘ）を検出する（ステップＳ１０４）。
　左目画素Ｌ－Ｐｉｘｅｌを含むＭａｃｒｏ　Ｂｒｏｃｋ（ＭＢ）と右目画素Ｒ－Ｐｉｘｅｌを含むＭＢとの間のピクセル数を、視差Δａを構成するピクセル数として、視差情報の検出を行う。具体的には、左目画素Ｌ－Ｐｉｘｅｌを含むＭＢからＲ－Ｐｉｘｅｌを含むＭＢまでの動きベクトルの水平成分（Ｈｏｒｉｚｏｎｔａｌ－Ｍｏｔｉｏｎ－Ｖｅｃｔｏｒ）により視差情報を検出する。ステップＳ１０４の処理の詳細については、＜視差情報検出処理＞で説明する。
　視差情報検出部１１７は、ステップＳ１０４で検出した視差情報（ｔ＿ｘ）の大きさを立体視効果レベルとしてレベル付けする（ステップＳ１０５）。そのレベル付けは前述した図１１に示される基準により行う。
　現在時刻がＤＴＳに示される時刻と一致しない場合（ステップＳ１０２、ＮＯ）、送信部１２４は現在時刻がフレーム（ｔ＿ｙ）のＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）に示される時刻であるか判定する（ステップＳ１０６）。ここでＰＴＳとは、表示時刻を指定する情報である。現在時刻とＰＴＳが一致する場合、表示処理を行う。
　現在時刻がＰＴＳに示される時刻である場合（ステップＳ１０６、ＹＥＳ）制御部１２２は、ステップＳ１０７において変換した立体視効果レベルがロックレベルレジスタ１２１に記録されたロックレベルより大きいであるか判定する（ステップＳ１０７）。
　立体視効果レベルは、ベースビューコンポーネントとの視差情報が正しく検出されたディペンデントビューコンポーネントについて生成されるから、立体視効果レベルの有効期間は、ベースビューコンポーネントとの視差情報が正しく検出されたディペンデントビューコンポーネントのＰＴＳから、ベースビューコンポーネントとの視差情報が正しく検出された次のディペンデントビューコンポーネントのＰＴＳの直前までとなる。かかる期間において、立体視効果レベルに基づく立体視効果の制御は継続することになる。
　立体視効果レベルがロックレベルより大きい場合（ステップＳ１０７、ＹＥＳ）、制御部１２２は、ベースビューコンポーネント（ｔ＿ｙ）を構成する非圧縮ピクチャを表示装置２に出力する命令を送信部１２４に発する（ステップＳ１０８）。これによりユーザが許容する立体視効果より強い立体視効果が施された立体視映像が再生される場合、２Ｄ再生に切り替えることができる。
　立体視効果レベルがロックレベル以下の場合（ステップＳ１０７、ＮＯ）、制御部１２２はベースビューコンポーネント（ｔ＿ｙ）及びディペンデントビューコンポーネント（ｔ＿ｙ）を構成する非圧縮ピクチャを表示装置２０に出力する命令を送信部１２４に発する（ステップＳ１０９）。
　以上ステップＳ１０７－Ｓ１０９のように、立体視効果レベルとロックレベルを比較し、その比較結果に基づき表示装置に出力する非圧縮ピクチャを変える。これにより、ユーザが許容する立体視効果より強い立体視効果が施された立体視映像を再生する場合２Ｄ再生に切り替え、一方ユーザが許容する立体視効果の範囲内の立体視効果が施された立体視映像を再生する場合３Ｄ再生を行う。
　ステップＳ１０６、ステップＳ１０８、ステップＳ１０９の処理後及び現在時刻がＰＴＳに示される時刻でない場合（ステップＳ１０６、ＮＯ）、デコーダ１１６は再生終了の判定を行う（ステップＳ１１０）。再生終了でない場合（ステップＳ１１０、ＮＯ）、ステップＳ１０１の処理を行う。再生終了の場合（ステップＳ１１０、ＹＥＳ）、ビュービデオデータのデコード処理を終える。
　以上の動作により、再生装置１において視差情報を検出し、立体視効果レベルのレベル付けを行うことができる。そして、立体視効果レベルとロックレベルを比較し、その比較結果に基づき表示装置に出力する非圧縮ピクチャを変えることにより、立体視効果の制御を行うことができる。
　ここで、同じフレームに属するベースビューコンポーネントを参照ピクチャとするようなディペンデントビューコンポーネントを視差情報の検出対象とすることの技術的意義を述べる。
　立体視映像が突然飛出してくるようなシーンでは、映像内容が大きく変化することから、ベースビュービデオストリームのベースビューコンポーネントがIDRピクチャに変換される。そして、このベースビューコンポーネントと同じフレームに属するディペンデントビューコンポーネントは、映像内容の変化点にあたるIDRピクチャとの相関性に基づき圧縮符号化されると考えられる。映像内容の大きな変化点にあたるベースビューコンポーネントは、IDRピクチャに変換され、このベースビューコンポーネントと同じフレームに属するディペンデントビューコンポーネントは、IDRピクチャであるベースビューコンポーネントとの相関性に基づき圧縮符号化されると考えられるから、基本的には、同じフレームに属するベースビューコンポーネントを参照ピクチャとしたディペンデントビューコンポーネントに対して視差情報を検出すれば、ベースビュービデオストリーム、ディペンデントビューストリームにおける大きな映像内容の変化点における視差情報を、GOPの時間精度で、適切に検出することができる。よって、視差情報検出のためのデコーダの負荷増大を最低限に抑制しつつも、立体視映像の飛出し時点を好適にGOP単位で検出することができる。
１．１２　視差情報検出処理（ステップＳ１０４）
　ステップＳ１０４の視差情報検出処理の詳細について図面を参照しながら説明する。
　図１７は実施の形態１における視差情報検出処理（ステップＳ１０４）を示すフロー図である。ここで、ｘ番目のフレームについてのデコード処理とする。
　まずデコーダ１１６は、Ｖｉｅｗ－Ｃｏｍｐｏｎｅｎｔ－ＴｙｐｅがＤｅｐｅｎｄｅｎｔ－Ｖｉｅｗであるか判定する（ステップＳ１３１）。Ｖｉｅｗ－Ｃｏｍｐｏｎｅｎｔ－Ｔｙｐｅとはビューコンポーネントの属性を示すものである。
　Ｖｉｅｗ－Ｃｏｍｐｏｎｅｎｔ－ＴｙｐｅがＤｅｐｅｎｄｅｎｔ－Ｖｉｅｗでない場合（ステップＳ１３１、ＮＯ）、ベースビューコンポーネント（ｔ＿ｘ＋１）のデコード処理に移る。
　Ｖｉｅｗ－Ｃｏｍｐｏｎｅｎｔ－ＴｙｐｅがＤｅｐｅｄｅｎｔ－Ｖｉｅｗである場合（ステップＳ１３１、ＹＥＳ）、デコーダ１１６はステップＳ１３３～Ｓ１３６の処理を全てのＳｌｉｃｅについて繰り返す（ステップＳ１３２）。
　まずデコーダ１１６は、動き補償を含むデコード処理をＳｌｉｃｅに属する全てのＭＢについて実行する（ステップＳ１３３）。
　次にデコーダ１１６は、ＳｌｉｃｅのピクチャタイプがＰｒｅｄｉｃｔｉｖｅであるか判定する（ステップＳ１３４）。ここでピクチャタイプがＰｒｅｄｉｃｔｉｖｅとは、ピクチャ間の順方向予測符号化によって得られるピクチャをいう。
　ピクチャタイプがＰｒｅｄｉｃｔｉｖｅである場合（ステップＳ１３４、ＹＥＳ）、デコーダ１１６は、デコードの際の参照ピクチャがベースビューコンポーネントであるか判定する（ステップＳ１３５）。
　ステップＳ１３４、１３５の処理は、ディペンデントビューのビューコンポーネントには、Ｂピクチャタイプのものや、Ｐピクチャタイプでありながらベースビューコンポーネントを参照ピクチャとしていないものが存在し、ディペンデントビューコンポーネントであってもベースビューコンポーネントとの視差を有しないことから、これらのものを視差情報の検出から除外するものである。
　参照ピクチャがベースビューコンポーネントである場合（ステップ１３５、ＹＥＳ）、視差情報検出部１１７はＳｌｉｃｅに属する各Ｍａｃｒｏ－Ｂｒｏｃｋ（ＭＢ）のＨｏｒｉｚｏｎｔａｌ＿Ｍｏｔｉｏｎ＿Ｖｅｃｔｏｒを保存する（ステップＳ１３６）。
　ピクチャタイプがＰｒｅｄｉｃｔｉｖｅでない場合（ステップＳ１３４、ＮＯ）、参照ピクチャがベースビューコンポーネントでない場合（ステップＳ１３５、ＮＯ）及びステップＳ１３６の処理後、ステップＳ１３３～Ｓ１３６の処理を全てのＳｌｉｃｅについて繰り返したか判定する（ステップＳ１３２）。
　全てのＳｌｉｃｅについて処理を行った場合（ステップＳ１３２、ＹＥＳ）、フレーム（ｔ＿ｘ）における全てのＭＢに対するＨｏｒｉｚｏｎｔａｌ＿Ｍｏｔｉｏｎ＿Ｖｅｃｔｏｒの最大値を、フレーム（ｔ＿ｘ）における視差情報（ｔ＿ｘ）とする（ステップＳ１３７）。
　以上の動作により、視差情報（ｔ＿ｘ）を検出することができる。
１．１３　ロックレベルの設定・変更処理
　次にロックレベル設定・変更処理の詳細について図面を参照しながら説明する。
　図１８はロックレベルの設定・変更処理を示すフロー図である。
　まずセットアップ部１１４において、ロックレベルの設定又は変更操作が行われたか判定する（ステップＳ１７１）。
　ユーザがロックレベルの設定又は変更操作を行った場合（ステップＳ１７１、ＹＥＳ）、セットアップ部１１４は図１３（ａ）に示されるパスワードの入力画面を表示し、パスワード入力を求める（ステップＳ１７２）。そしてセットアップ部１１４は、ステップＳ１７２において入力したパスワードの認証を行う（ステップＳ１７３）。パスワード認証に失敗した場合、ステップＳ１７２の処理を行う。
　パスワード認証に成功した場合（ステップＳ１７３、ＹＥＳ）、セットアップ部１１４は、図１３（ｂ）に示されるロックレベルの設定メニューを表示する（ステップＳ１７４）。そしてセットアップ部１１４は、ユーザが上下左右キーを入力したか判定する（ステップＳ１７５）。上下左右キーが入力された場合、セットアップ部１１４はキー方向に従いハイライトを移動させる（ステップＳ１７６）。上下左右キーが入力されない場合、セットアップ部１１４はチェックボックス上で決定キーが押されたか判定する（ステップＳ１７７）。
　チェックボックス上で決定キーが押された場合、セットアップ部１１４は、チェックボックスのチェックを行う（ステップＳ１７８）。決定キーが押されない場合、セットアップ部１１４は、ＯＫボタン上で決定キーが押されたかを判定する（ステップＳ１７９）。
　ＯＫボタン上で決定キーが押された場合、ロックレベルレジスタ１２１にチェックしたロックレベルを保存する（ステップＳ１８０）。決定キーが押されない場合、セットアップ部１１４はＣａｎｃｅｌボタン上で決定キーが押されたか判定する（ステップＳ１８１）。
　ユーザがロックレベルの設定又は変更操作を行わない場合（ステップＳ１７１、ＮＯ）、セットアップ部１１４はユーザが再生開始操作を行ったか判定する（ステップＳ１８２）。再生開始操作が行われる場合、制御プログラムを記憶媒体から読みだして実行する（ステップＳ１８３）。再生開始操作が行われない場合、ステップＳ１７１の処理を行う。
　以上のように本実施形態によれば、MVC規格のデータをデコードする際に抽出される動きベクトルの情報を視差情報の算出に流用して、レベル変換に用いるので、レベル変換に伴う再生装置の負荷増大を最小現に留めることができる。
　（実施の形態２）
２．１　概要
　第１実施形態では、再生装置がビューコンポーネントのデコードの過程で視差情報を検出し、レベルに変換するという処理を実現したが、本実施形態は、表示装置で視差情報の検出を行い、この視差情報をレベルに変換して立体視効果の制限を行うという改良に関する。
　再生装置からの映像信号入力を受け付けて、立体視再生を実現するテレビは、その内部にデコーダを具備していないので、動きベクトルを検出することはできない。右目画素R-pixelと、左目画素L-pixelとの視差を、非圧縮のピクチャから検出する。その場合、全ラインに対して視差情報を検出するとテレビに負荷がかかるため、一部のラインを抽出する。
　近くの物体の視差は大きくて遠くの物体の視差は小さいので、最も大きな視差を検出できるように、ラインの抽出範囲は、画面全体にする。具体的には、画面を上、中、下のエリアに３分割して、それぞれのエリアから均等にラインの抽出を行う。以下、その実施の形態２について、図面を参照しながら説明する。
２．２　構成
　図１９は、実施の形態２における表示装置２００の構成の一例を示すブロック図である。図１９に示されるように、表示装置２００は、ＨＤＭＩ受信部２１１、操作部２１２、リモコン受信部２１３、信号処理部２１４、視差情報検出部２１５、ロックレベル記録部２１６、立体視効果制御部２１７、映像パネル駆動部２１８、映像パネル２１９、タイミング信号発生器２２０、ＩＲ発光部２２１を含んで構成される。
　ＨＤＭＩ受信部２１１は再生装置２１０からＨＤＭＩケーブルを通じて送信される非圧縮ピクチャ及び立体視効果レベルを受信する。
　操作部２１２はユーザが表示装置２０に操作入力を行うためのものであり、ユーザが所望の操作入力を行えるものであれば特に限定されない。
　リモコン受信部２１３はユーザからのリモコンによる操作信号を受信する。
　信号処理部２１４は受信した非圧縮ピクチャに基づき、同期信号を生成する。
　視差情報検出部２１５は、右目用画像、左目用画像のそれぞれにおいて、垂直同期信号による特定の水平ライン画素を抽出し、その抽出した水平ライン画素の相関性から視差Δａを構成するピクセル数を検出する。画面全体において水平ライン画素の抽出を行う場合、再生装置に大きな負荷がかかるため、一部のラインを抽出する。また近くの物体の視差は大きく、遠くの物体の視差は小さいので、最も大きな視差を検出できるように、画面全体を網羅するようなラインの抽出を行う。図２０は表示装置２００において検出する視差を示す図である。このように、画面を上、中、下のエリア３分割して、それぞれのエリアから均等に１つずつラインの抽出を行う。そして右目用画像の水平ライン画素と左目用画像の水平ライン画素において、パターンマッチングにより対応点を検出する。ここで対応点とは位置のみが異なる同一画素をいう。右目用画像の対応点から左目用画像の対応点までを構成するピクセル数を視差情報とする。図２０においては右目用画像の対応点が左目用画像の対応点に対して左に位置している。この位置関係にある場合ピクセル数を正の値とする。一方右目用画像の対応点が左目用画像の対応点に対して右に位置する場合、ピクセル数を負の値とする。
　検出した視差Δａを構成するピクセル数は立体視効果レベルとしてレベル付けする。そのレベル付けは前述した図１１示される基準により行う。これにより表示装置２００において視差情報を検出し立体視効果レベルのレベル付けを行うことができる。
　ロックレベル記録部２１６は、ユーザ操作により設定又は変更されるロックレベルを記憶装置に記録する。ここでロックレベルとは、パレンタルロックのレベルであり、表示装置を使用する可能性がある複数人のユーザのうち、親権者が定めた閾値を表す。ロックレベルより大きい立体視効果レベルが付与される立体視映像に対しては立体視効果の制御を行う。実施の形態２においては、３段階のレベルを設定する。図１０は立体視効果レベルとロックレベルの対応関係を示す図である。例えばロックレベル２は立体視効果レベルがレベル３の立体視映像に対しては２Ｄ再生への切り替え（立体視効果の制御）を行い、立体視効果レベルがレベル１、レベル２の立体視映像に対しては２Ｄ再生への切り替えを行わないことを表す。
　立体視効果制御部２１７は、視差情報検出部２１５でレベル付けした立体視効果レベルとロックレベル記録部２１６に記録されたロックレベルを比較し、立体視効果レベルがロックレベルより大きい場合立体視効果の制御を行う。ここで立体視効果の制御は、２Ｄ再生に切り替えることである。具体的には、ベースビューコンポーネントを構成するピクチャのみを表示することにより、２Ｄ再生を実現する。
　映像パネル駆動部２１８は、信号処理部２１４で生成された同期信号及び立体視効果制御部２１７による立体視効果の制御に基づき映像パネル２１９を駆動する。立体視映像を再生する場合、右目用画像と左目用画像を交互に表示する。立体視効果の制御により２Ｄ再生を行う場合、右目用画像又は左目用画像の一方のみを表示する。
　映像パネル２１９は、液晶ディスプレイ・プラズマディスプレイ等であり、映像パネル駆動部２１８の処理に基づき映像を表示する。
　タイミング信号発生器２２０は、３Ｄメガネ３０における左右の液晶シャッター開閉のタイミングを決定する信号を生成する。具体的には、右目用画像が液晶パネル１５８に表示されるとき左目用の液晶シャッターを閉じ、左目用画像が液晶パネル１５８に表示されるとき右目用の液晶シャッターを閉じるようタイミング信号を生成する。
　ＩＲ発信部２２１はタイミング信号発生器２２０で生成するタイミング信号を赤外線として発信する。
２．３　表示装置２００の動作
　以上のように構成された表示装置２００の構成要素は、図２１のフローチャートの処理手順を示すプログラムをコンピュータ読取言語で記述してプロセッサに実行させることで再生装置に実装することができる。以下、図２１のフローチャートを参照しながら、表示装置２００の構成要素のソフトウェア的な実装について説明する。
　図２１は実施の形態２における表示装置２００の動作を示すフロー図である。ここで、ｙ番目のフレームについての表示処理を開始するもとする。
　信号処理部２１４はＨＤＭＩ受信部２１１で受信した非圧縮動画データに基づき、同期信号生成を開始する（ステップＳ２０１）。
　同期信号生成が開始された場合（ステップＳ２０１、ＹＥＳ）、視差情報検出部２１５は、右目用画像・左目用画像それぞれにおいて、垂直同期信号による水平ライン画素を抽出する（ステップＳ２０２）。画面全体において水平ライン画素の抽出を行う場合、再生装置に大きな負荷がかかるため、一部のラインを抽出する。また近くの物体の視差は大きく、遠くの物体の視差は小さいので、最も大きな視差を検出できるように、画面全体を網羅するようなラインの抽出を行う。水平ライン画素の抽出は図２０に示されるように、画面を上、中、下のエリアに３分割して、それぞれのエリアから均等に１つずつラインの抽出を行う。
　視差情報検出部２１５は、ステップＳ２０２で抽出した水平ライン画素を用いて、視差情報の検出を行う（ステップＳ２０３）。視差情報は視差Δａを構成するピクセル数である。この視差情報検出処理の詳細については、＜視差情報検出処理（Ｓ２０３）＞で説明する。
　視差情報検出部２１５はステップＳ２０３で検出した視差情報を立体視効果レベルに変換して格納する（ステップＳ２０４）。このレベル付けは図１１に示される基準により行う。
　立体視効果制御部２１７は、ロックレベル記録部２１６にロックレベルが設定されているか判断する（ステップＳ２０５）。
　ロックレベルが設定されている場合（ステップＳ２０５、ＹＥＳ）、立体視効果制御部２１７は、ステップＳ２０４で変換した立体視効果レベルがロックレベル記録部２１６に記録されたロックレベルより大きいか判定する（ステップＳ２０６）。
　立体視効果のレベルがロックレベルより大きい場合（ステップＳ２０６、ＹＥＳ）、映像パネル駆動部２１８は、ベースビューコンポーネント（ｔ＿ｙ）を構成するピクチャのみを１フレーム期間に表示する（ステップＳ２０７）。これによりユーザが許容する立体視効果より強い立体視効果が施された立体視映像を再生する場合、２Ｄ再生に切り替えることができる。
　立体視効果のレベルがロックレベル以下の場合（ステップＳ２０６、ＮＯ）、映像パネル駆動部２１８はベースビューコンポーネント（ｔ＿ｙ）、ディペンデントビューコンポーネント（ｔ＿ｙ）を構成するピクチャを１フレーム期間内に表示する（ステップＳ２０８）。これによりユーザが許容する立体視効果の範囲内の立体視効果が施された立体視映像を再生する場合、３Ｄ再生を行うことができる。
　信号処理部２１４は、再生終了の判定を行う（ステップＳ２０９）。再生終了の場合（ステップＳ２０９、ＹＥＳ）、処理は終了する。再生終了でない場合（ステップＳ２０９、ＹＥＳ）、ステップＳ２０２の処理を行う。
　以上の動作により、表示装置２００において視差情報を検出し立体視効果レベルのレベル付けを行い、立体視効果レベルとロックレベルとの比較結果に基づき立体視効果の制御を行うことができる。
２．４　視差情報検出処理手順（Ｓ２０３）
　ステップＳ２０３の視差情報検出処理の詳細について図面を参照しながら説明する。
　図２２は実施の形態２における視差情報検出処理（Ｓ２０３）の動作を示すフロー図である。
　ステップＳ２５２からステップＳ２５４までを上、中、下の各エリアにおいて繰り返す（ステップＳ２５１）。
　まず視差情報検出部２１５は、右目用画像の水平ライン画素と左目用画像の水平ライン画素において、パターンマッチングにより対応する画素を検出する（ステップＳ２５２）。ここで対応する画素とは位置のみが異なる同一画素である。
　次に視差情報検出部２１５は、ステップＳ２５２で検出した対応する画素間のピクセル数を求め、そのピクセル数を視差情報とする（ステップＳ２５３）。
　そして視差情報検出部２１５は、ステップＳ２５３で得られた視差情報を保存する（ステップＳ２５４）。
　ステップＳ２５２からステップＳ２５４の処理を上、中、下の各エリアにおいて行った後、上、中、下それぞれのエリアで求められた視差の最大値を画面全体の視差情報とする（ステップＳ２５５）。
　以上の動作により表示装置２００において視差情報を検出することができる。
　第１実施形態における立体視効果レベルの算出の対象は、ベースビューコンポーネントとの相関性で圧縮符号化されたディペンデントビューコンポーネントに限定されていた。しかし、本実施形態では、右目用のピクチャと、左目用のピクチャとの画素間の視差から視差情報を検出するので、ベンチマークスコアのピクチャタイプに依存されず、立体視効果レベルの精度を高めることができる。
　以上のように本実施形態によれば、表示装置において視差情報を検出し立体視効果レベルのレベル付けを行うことができる。そしてレベル付けした立体視効果レベルとロックレベルを比較し、その比較結果に基づき立体視効果の制御を行うことができる。
（実施の形態３）
３．１　概要
　これまでの実施の形態では、表示装置が一律にメガネのシャッターを同期させて３Ｄ映像の視聴をユーザに行わせていたが、本実施形態は、メガネ毎に許容レベルの設定することで、設定された内容レベルに応じたシャッター動作を、それぞれのメガネに行わせる実施形態である。以下その３Ｄメガネについて図面を参照しながら説明する。
３．２　全体構成
　図２３（ａ）は、実施の形態３における全体構成を示す図である。３Ｄメガネ３００は、いわゆるアクティブシャッター方式の３Ｄメガネであり、表示装置２のＩＲ発信部３２０から発信されるタイミング信号をＩＲ受信部３１０で受信し、そのタイミング信号に基づき左右の液晶シャッターを交互に開閉する。表示装置２に左目用画像が表示された場合、図２３（ｂ）に示されるように、右の液晶シャッターを閉じ、左目にのみ左目用画像を映すようにする。表示装置２に右目用画像が表示された場合、図２３（ｃ）に示されるように、左の液晶シャッターを閉じ、右目にのみ右目用画像を映すようにする。これにより、視差が生じ立体視が実現する。
３．３　３Ｄメガネ３００の構成
　図２４は、実施の形態３における３Ｄメガネ３００の構成の一例を示すブロック図である。図２４に示されるように、３Ｄメガネ３００は、ＩＲ受信部３１０、操作部３１１、ロックレベル記録部３１２、立体視効果制御部３１３、液晶シャッター制御部３１４、液晶シャッター３１５を含んで構成される。
　ＩＲ受信部３１０は、表示装置２のＩＲ発信部３２０から発信されるタイミング信号及び立体視効果レベルの情報を受信する。実施の形態３において受信する立体視効果レベルはレベル１からレベル３までの３段階にレベル付けされたものである。
　操作部３１１はユーザが３Ｄメガネ３００に操作入力を行うためのものであり、ユーザが所望の操作入力を行えるものであれば特に限定されない。
　ロックレベル記録部３１２は、操作部３１１で設定又は変更されるロックレベルを記録する。３Ｄメガネごとにロックレベルを設定することにより、ユーザごとに異なる立体視効果の制御を行うことができる。例えば家族で立体視効果が施された映画を観賞する際、２Ｄ再生への切り替えを子供のみに限定することができる。実施の形態３において、ロックレベルはレベル１からレベル３までの３段階のレベルを設定する。
　立体視効果制御３１３は、ロックレベル記録部３１２に記録されたロックレベルとＩＲ受信部３１０で受信した立体視効果レベルとを比較し、その比較結果に基づきシャッター動作の制御を行う。立体視効果レベルがロックレベル以上である場合、液晶シャッターの動作を左右同時に開閉することにより２Ｄ再生に切り替える。
　液晶シャッター制御部３１４は、ＩＲ受信部３１０で受信したタイミング信号及び立体視効果の制御に基づき液晶シャッター３１５の制御を行う。立体視効果の制御を行わない場合、左右のシャッターを交互に開閉する。立体視効果の制御を行う場合、左右のシャッターを同時に開閉する。これにより２Ｄ再生に切り替えることができる。
３．４　３Ｄメガネ３００の動作
　以上のように構成された３Ｄメガネ３００の構成要素は、図２５のフローチャートの処理手順を示すプログラムをコンピュータ読取言語で記述してプロセッサに実行させることで再生装置に実装することができる。以下、図２５のフローチャートを参照しながら、３Ｄメガネ３００の構成要素のソフトウェア的な実装について説明する。
　ロックレベル記録部３１２は、ロックレベルが設定されているか判定する（ステップＳ３０１）。
　ロックレベルが設定されていない場合（ステップＳ３０１、ＮＯ）、ロックレベル記録部３１２はユーザ操作に従いロックレベルを設定する（ステップＳ３０２）。
　ロックレベルが設定されている場合（ステップＳ３０１、ＹＥＳ）、ＩＲ受信部３１０は再生開始を判定する（ステップＳ３０３）。再生が開始されない場合（ステップＳ３０３、ＮＯ）、再生が開始するまで処理待ちする。
　再生が開始される場合（ステップＳ３０３、ＹＥＳ）、ＩＲ受信部３１０は、タイミング信号を受信する（ステップＳ３０４）。
　立体視効果制御部３１３は、タイミング信号に立体視効果レベルの情報が付随しているか判定する（ステップＳ３０５）。
　立体視効果レベルの情報が付随している場合（ステップＳ３０５、ＹＥＳ）、立体視効果制御部３１３は、立体視効果レベルがロックレベルより大きいか判定する（ステップＳ３０６）。
　立体視効果レベルがロックレベルより大きい場合（ステップＳ３０６，ＹＥＳ）、液晶シャッター制御部３１４は、ベースビューの表示期間で左右のシャッターを同時に開き、ディペンデントビューの表示期間で同時に閉じるようシャッター動作の制御を行う（ステップＳ３０７）。図２６は立体視映像再生時の通常のシャッター動作と２Ｄ再生切り替え時のシャッター動作を示す図である。図２６において、第１段は表示装置２で右目用画像と左目用画像が切り替わるタイミングを示している。第２段は３Ｄメガネ３００の通常のシャッター動作を示している。この場合右目に右目用画像が映り、左目に左目用画像が映る。これにより視差が生じ立体視が実現される。第３段は２Ｄ再生切り替え時のシャッター動作を示している。この場合両眼に右目用画像のみが映り２Ｄ再生となる。このようにユーザが許容する立体視効果のレベル以上の動画が再生される場合、シャッターの開閉を左右同時に行うことで、２Ｄ再生に切り替えることができる。
　立体視効果レベルが付随していない場合（ステップＳ３０５、ＮＯ）、立体視効果レベルがロックレベル以下の場合（ステップＳ３０６、ＮＯ）、液晶シャッター３１５はベースビューの表示期間で左のシャッターを閉じ、ディペンデントビューの表示期間で右のシャッターを閉じるようシャッター動作の制御を行う（ステップＳ３０８）。
　液晶シャッター制御部３１４は、再生終了の判定する（ステップＳ３０９）。再生終了の場合（ステップＳ３０９、ＹＥＳ）、シャッター動作処理は終了する。再生終了でない場合（ステップＳ３０９、ＮＯ）、ステップＳ３０４の処理を実行する。
　本実施形態によれば、ユーザ毎に個別のロックレベルを設定でき、ユーザ毎に異なる立体視制御を行うことができる。
　（実施の形態４）
　実施の形態１、２においては、立体視効果レベルをレベル１、レベル２、レベル３の３段階のレベルに分け、レベル付けを行う。そしてレベル１、レベル２、レベル３のいずれかのレベルに設定したロックレベルと比較して、立体視効果レベルがロックレベルより大きいである場合立体視効果の制御を行う。一方実施の形態４においては、立体視効果レベルをＮ段階のレベルに分けレベル付けを行う。立体視効果レベルをＮ段階としたことに応じて、ロックレベルはＮ段階に設定する。以下実施の形態４における立体視効果のレベル付け、ロックレベルの設定について説明する。なお立体視効果レベルをＮ段階、ロックレベルをＮ段階のレベルに分ける以外は実施の形態１と同じ構成・動作であることから、これらの構成・動作についての説明は省略する。
　図２７は立体視効果レベルを６段階（Ｎ＝６）とした場合のレベル付け基準を示す図である。図２７に示されるようにそれぞれ視差角｜β－α｜の範囲によりレベル付けを行う。
　立体視効果レベルを６段階とした場合ロックレベルはレベル１からレベル６までの６段階のレベルを設定する。そして立体視効果レベルがロックレベルより大きい場合立体視効果の制御を行う。このように立体視効果レベルを細かくレベル付けすることにより、より細やかな立体視効果の制御を行うことができる。
　（補足）
　なお、上記の実施の形態に基づいて説明してきたが、本発明は上記の実施の形態に限定されないことはもちろんである。以下のような場合も本発明に含まれる。
（ａ）実施形態１、２、３において、１フレーム毎に、立体視効果レベルとロックレベルを比較しその比較結果に基づき立体視効果の制御を行ったが、一度２Ｄ再生モードに切り替わった場合、２Ｄ再生モードを一定期間維持するようにしてもよい。すなわち、立体視効果レベルがロックレベルより大きくなった場合、その後の一定フレーム間、仮に立体視効果レベルがロックレベル以下になったとしても、２Ｄ再生を維持する。これにより短期間に２Ｄ再生モード、３Ｄ再生モードが入れ替わることがなくなり、ユーザにより自然な立体視効果の再生制御を実現することができる。
（ｂ）実施の形態１、２において、立体視効果レベルがロックレベルより大きい場合２Ｄ再生に切り替える動作を行ったが、立体視効果レベルがロックレベルより大きい場合ワーニングを表示し立体視映像の再生を中止してもよい。また、立体視効果レベルがロックレベルより大きい場合立体視効果が抑制されたプレイリストを再生してもよい。
（ｃ）実施の形態１において動き補償時に検出する動きベクトルを用いて視差情報の検出を行ったが、ディペンデントビューを構成するＧＯＰの先頭のビデオアクセスユニット内にMVCスケーラブルネスティングＳＥＩメッセージが存在し、このMVCスケーラブルネスティングＳＥＩメッセージ内に１ｐｌａｎｅ＋Ｏｆｆｓｅｔモードのためのオフセット情報が存在する場合、このオフセット情報を視差情報として用いてもよい。１ｐｌａｎｅ＋Ｏｆｆｓｅｔモードとは、一枚のプレーンメモリにおける画素の座標に左右の視差を与えることで、右目画像、左目画像の組みを用いることなく立体視を実現する再生モードである。オフセット情報とは、かかる１ｐｌａｎｅ＋Ｏｆｆｓｅｔモードにおける水平方向の変化量を含むので、係る視差情報を用いることで立体視効果レベルのレベル付けを行うことができる。
　また、第１実施形態におけるステップＳ１０４で検出する視差情報、ステップＳ１０５でレベル付けする立体視効果レベルをビュービデオデータに組み込んでもよい。そして視差情報、立体視効果レベルが組み込まれたビュービデオデータを記録媒体に書き込んでもよい。このビュービデオデータへの付加は、以下のように行う。
　ディペンデントビューは、複数のビデオアクセスユニットから構成されており、このビデオアクセスユニットは、ＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅｓ）を構成する個々のビューコンポーネントを格納する。ＧＯＰを構成する複数のビデオアクセスユニットのうち、ＧＯＰの先頭のビューコンポーネントを格納したビデオアクセスユニットには、MVCスケーラブルネスティングＳＥＩメッセージが存在する。このMVCスケーラブルネスティングＳＥＩメッセージには、ユーザデータコンテナが存在し、このユーザデータコンテナの中に、ＧＯＰを構成する各ビューコンポーネントについての視差情報、立体視効果レベルを格納する。こうすることで、各ビューコンポーネントについての視差情報、立体視効果レベルは、ディペンデントビューに組み込まれることになる。つまり、ＧＯＰ先頭に位置するアクセスユニットのMVCスケーラブルネスティングＳＥＩメッセージにＧＯＰを構成する各ビューコンポーネントについての視差情報、立体視効果レベルを組み込み、記録媒体に書き戻すとの処理を行えば、ビュービデオデータには視差情報、立体視効果レベルが組み込まれることになる。
（ｄ）実施の形態２においてベースビューコンポーネントを構成するピクチャのみを表示することで２Ｄ再生への切り替えを行ったが、３Ｄメガネのシャッター動作を変更することにより２Ｄ再生への切り替えを実現してもよい。具体的にはベースビューの表示期間で、左右のシャッターを同時に開き、ディペンデントビューの表示期間で同時に閉じるようなタイミング信号を生成することで２Ｄ再生への切り替えを実現してもよい。
（ｅ）再生装置の内部構成のうち、デコーダ１１６、レジスタセット１１８、制御部１２２等、ロジック素子を中心とした部分は、集積回路(システムLSI)で構成することが望ましい。
　システムLSIとは、高密度基板上にベアチップを実装し、パッケージングしたものをいう。複数個のベアチップを高密度基板上に実装し、パッケージングすることにより、あたかも1つのLSIのような外形構造を複数個のベアチップに持たせたものも、システムLSIに含まれる(このようなシステムLSIは、マルチチップモジュールと呼ばれる。)。
　ここでパッケージの種別に着目するとシステムLSIには、QFP(クッド フラッド アレイ)、PGA(ピン グリッド アレイ)という種別がある。QFPは、パッケージの四側面にピンが取り付けられたシステムLSIである。PGAは、底面全体に、多くのピンが取り付けられたシステムLSIである。
　これらのピンは、他の回路とのインターフェイスとしての役割を担っている。システムLSIにおけるピンには、こうしたインターフェイスの役割が存在するので、システムLSIにおけるこれらのピンに、他の回路を接続することにより、システムLSIは、再生装置２００の中核としての役割を果たす。
　かかるシステムLSIは、再生装置２００は勿論のこと、TVやゲーム、パソコン、ワンセグ携帯等、映像再生を扱う様々な機器に組込みが可能であり、本発明の用途を多いに広げることができる。
　具体的な生産手順の詳細は以下のものになる。まず各実施形態に示した構成図を基に、システムLSIとすべき部分の回路図を作成し、回路素子やIC,LSIを用いて、構成図における構成要素を具現化する。
　そうして、各構成要素を具現化してゆけば、回路素子やIC,LSI間を接続するバスやその周辺回路、外部とのインターフェイス等を規定する。更には、接続線、電源ライン、グランドライン、クロック信号線等も規定してゆく。この規定にあたって、LSIのスペックを考慮して各構成要素の動作タイミングを調整したり、各構成要素に必要なバンド幅を保証する等の調整を加えながら、回路図を完成させてゆく。
　回路図が完成すれば、実装設計を行う。実装設計とは、回路設計によって作成された回路図上の部品(回路素子やIC,LSI)を基板上のどこへ配置するか、あるいは、回路図上の接続線を、基板上にどのように配線するかを決定する基板レイアウトの作成作業である。
　こうして実装設計が行われ、基板上のレイアウトが確定すれば、実装設計結果をCAMデータに変換して、NC工作機械等の設備に出力する。NC工作機械は、このCAMデータを基に、SoC実装やSiP実装を行う。SoC(System on chip)実装とは、1チップ上に複数の回路を焼き付ける技術である。SiP(System in Package)実装とは、複数チップを樹脂等で1パッケージにする技術である。以上の過程を経て、本発明に係るシステムLSIは、各実施形態に示した再生装置２００の内部構成図を基に作ることができる。
　尚、上述のようにして生成される集積回路は、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。
　FPGAを用いてシステムLSIを実現した場合は、多数のロジックエレメントが格子状に配置されており、LUT(Look Up Table)に記載されている入出力の組合せに基づき、縦・横の配線をつなぐことにより、各実施形態に示したハードウェア構成を実現することができる。LUTは、SRAMに記憶されており、かかるSRAMの内容は、電源断により消滅するので、かかるFPGAの利用時には、コンフィグ情報の定義により、各実施形態に示したハードウェア構成を実現するLUTを、SRAMに書き込ませる必要がある。
　本実施の形態は、ミドルウェアとシステムLSIに対応するハードウェア、システムLSI以外のハードウェア、ミドルウェアに対するインターフェイスの部分、ミドルウェアとシステムLSIのインターフェイスの部分、ミドルウェアとシステムLSI以外の必要なハードウェアへのインターフェイスの部分、ユーザインターフェースの部分で実現し、これらを組み込んで再生装置を構成したとき、それぞれが連携して動作することにより特有の機能が提供されることになる。
　本発明に係る立体視制御装置によれば、３Ｄ映像に施された立体視効果をレベル付けでき、このレベルに応じて立体視効果を制限するかどうかを切り替えるので、飛び出し効果が大きい３Ｄ映像の視聴を、成人の視聴者に限定することができ有用である。
１　再生装置
２　表示装置
３　３Ｄメガネ
１０　ストリームファイル
１１　ベースビュービデオストリーム
１２　ディペンデントビュービデオストリーム
１３　オーディオストリーム
１４　トランスポートストリーム
１５　ストリーム情報ファイル
１６　2Dストリーム情報ファイル
１７　3Dストリーム情報ファイル
１８　クリップベース情報
１９　クリップディペンデント情報
２０　エントリーマップ
２１　プレイリスト情報ファイル
２２　メインパス情報
２３　サブパス情報
１１０　読出部
１１１　光ディスクドライブ
１１２　カードリーダ／ライタ
１１３　ハードディスクドライブ
１１４　セットアップ部
１１５　ＯＳＤ生成部
１１６　デコーダ
１１７　視差情報検出部
１１８　レジスタセット
１１９　プレーヤ状態レジスタ
１２０　プレーヤ設定レジスタ
１２１　ロックレベルレジスタ
１２２　制御部
１２３　プレーンメモリ
１２４　送信部
２００　表示装置
２１０　再生装置
２１１　ＨＤＭＩ受信部
２１２　操作部
２１３　リモコン受信部
２１４　信号処理部
２１５　視差情報検出部
２１６　ロックレベル記録部
２１７　立体視効果制御部
２１８　映像パネル駆動部
２１９　映像パネル
２２０　タイミング信号発生器
２２１　ＩＲ発信部
３００　３Ｄメガネ
３１０　ＩＲ受信部
３１１　操作部
３１２　ロックレベル記録部
３１３　立体視効果制御部
３１４　液晶シャッター制御部
３１５　液晶シャッター
３２０　ＩＲ発信部

Claims (11)

  1. 　メインビューデータ及びサブビューデータの組みを取得して、当該組みを他の装置に出力することで、立体視映像の視聴をユーザに行わせる立体視制御装置であって、
    　メインビューデータにおける画素と、サブビューデータにおける画素とがなす視差を示す視差情報を検出する検出手段と、
    　視聴時における立体視効果をロックすべきロックレベルを設定する操作、及び／又は、変更する操作をユーザから受け付ける受付手段と、
    　前記ロックレベルの設定操作及び／又は変更操作をユーザから受け付けるにあたって、ユーザ認証を行う認証手段と、
    　ユーザ認証でユーザの正当性が認証された場合、設定又は変更がなされたロックレベルを保持する保持手段と、
    　視差情報によってもたらされる立体視効果のレベルと、保持手段によって保持されたロックレベルとの比較を行い、立体視効果のレベルがロックレベルよりも高い場合に、立体視効果の制限を行う制御手段と
    　を備える立体視制御装置。
  2. 　前記視差情報は視差Δａを構成する画素数を示し、
    　前記立体視効果は表示面上での輻輳角α及び結像点での輻輳角βから構成される視差角｜β－α｜に基づくものであり、
    　表示面と視聴者との距離をｈとした場合、輻輳角β、輻輳角α及び視差Δａは、
    　Δａ＝２×ｈ×（ｔａｎβ/２－ｔａｎα/２）の関係式を満たす
    　ことを特徴とする請求項１記載の立体視制御装置。
  3. 　前記立体視制御装置は更に、
    　1つ以上の閾値を用いて、検出された視差情報によって示される視差Δａを、複数のレベルのうち、何れかに変換する変換手段を備え、
    　前記ロックレベルとの比較に用いられる立体視効果のレベルは、前記変換手段による変換によって得られるレベルである
    　ことを特徴とする請求項１記載の立体視制御装置。
  4. 　前記立体視制御装置は、メインビューデータと、サブビューデータとの相関性に基づき動き補償を行うデコーダを備え、
    　前記検出手段による視差情報の検出は、
    　動き補償時に用いられる動きベクトルの水平方向成分を算出することでなされる
    　ことを特徴とする請求項１記載の立体視制御装置。
  5. 　前記検出手段による視差情報の検出は、
    　メインビューデータから抽出された特定のライン画素と、サブビューデータから抽出された特定のライン画素とを対象にした、同一性の判定を実行し、同一性が存在する画素が、ビューデータ間で何画素だけ隔てられているかを計数することでなされる
    　ことを特徴とする請求項１記載の立体視制御装置。
  6. 　メインビューデータ及びサブビューデータを表示する画面は、複数の領域に分割され、
    　ライン画素の抽出は、
    　前記画面を分割することで得た複数の分割領域のそれぞれに対してなされる
    　ことを特徴とする請求項５記載の立体視制御装置。
  7. 　前記ロックレベルは、立体視映像の視聴時に、ユーザが着用するシャッター制御機能付き眼鏡毎に設定されており、
    　前記立体視効果の制限は、
    　立体視効果のレベルがロックレベルよりも高い場合に、ロックレベルに応じたシャッター制御を、眼鏡に実行させることでなされる
    　ことを特徴とする請求項１記載の立体視制御装置。
  8. 　前記シャッター制御とは、フレーム期間において、右目用映像及び左目用映像のうちどちらか一方を、左右の目で視聴させることである
    　請求項７記載の立体視制御装置。
  9. 　記録媒体であって、
    　立体視映像を構成する複数のメインビューデータ及びサブビューデータの組みと、レベルを示すデータとが記録されており、
    　レベルは、
    　メインビューデータ及びサブビューデータの組みによって構成される立体視映像が、どれだけの立体視効果をもたらすかを示す
    　ことを特徴とする記録媒体。
  10. 　メインビューデータ及びサブビューデータの組みを取得して、当該組みを他の装置に出力することで、立体視映像の視聴をユーザに行わせる集積回路であって、
    　メインビューデータにおける画素と、サブビューデータにおける画素とがなす視差を示す視差情報を検出する検出手段と、
    　視聴時における立体視効果をロックすべきロックレベルを設定する操作、及び／又は、変更する操作をユーザから受け付ける受付手段と、
    　前記ロックレベルの設定操作及び／又は変更操作をユーザから受け付けるにあたって、ユーザ認証を行う認証手段と、
    　ユーザ認証でユーザの正当性が認証された場合、設定又は変更がなされたロックレベルを保持する保持手段と、
    　視差情報によってもたらされる立体視効果のレベルと、ロックレベルとの比較を行い、立体視効果のレベルがロックレベルよりも高い場合に、立体視効果の制限を行う制御手段と
    　を備える集積回路。
  11. 　メインビューデータ及びサブビューデータの組みを取得して、当該組みを他の装置に出力することで、立体視映像の視聴をユーザに行わせる立体視制御方法であって、
    　メインビューデータにおける画素と、サブビューデータにおける画素とがなす視差を示す視差情報を検出する検出ステップと、
    　視聴時における立体視効果をロックすべきロックレベルを設定する操作、及び／又は、変更する操作をユーザから受け付ける受付ステップと、
    　前記ロックレベルの設定操作及び／又は変更操作をユーザから受け付けるにあたって、ユーザ認証を行う認証ステップと、
    　ユーザ認証でユーザの正当性が認証された場合、設定又は変更がなされたロックレベルを保持する保持ステップと、
    　視差情報によってもたらされる立体視効果のレベルと、ロックレベルとの比較を行い、立体視効果のレベルがロックレベルよりも高い場合に、立体視効果の制限を行う制御ステップと
    　を含む立体視制御方法。
PCT/JP2010/004455 2009-08-31 2010-07-08 立体視制御装置、集積回路、立体視制御方法 WO2011024373A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
AU2010288010A AU2010288010A1 (en) 2009-08-31 2010-07-08 Stereoscopic vision control device, integrated circuit, stereoscopic vision control method
CA2738975A CA2738975A1 (en) 2009-08-31 2010-07-08 Stereoscopic display control device, integrated circuit, and stereoscopic display control method
JP2011513170A JPWO2011024373A1 (ja) 2009-08-31 2010-07-08 立体視制御装置、集積回路、立体視制御方法
US13/122,022 US20110187836A1 (en) 2009-08-31 2010-07-08 Stereoscopic display control device, integrated circuit, and stereoscopic display control method
CN2010800027748A CN102172032A (zh) 2009-08-31 2010-07-08 立体视控制装置、集成电路、立体视控制方法
EP10811432A EP2475181A4 (en) 2009-08-31 2010-07-08 STEREOSCOPIC VISION CONTROL DEVICE, INTEGRATED CIRCUIT, STEREOSCOPIC VISION CONTROL METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009199655 2009-08-31
JP2009-199655 2009-08-31

Publications (1)

Publication Number Publication Date
WO2011024373A1 true WO2011024373A1 (ja) 2011-03-03

Family

ID=43627496

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/004455 WO2011024373A1 (ja) 2009-08-31 2010-07-08 立体視制御装置、集積回路、立体視制御方法

Country Status (7)

Country Link
US (1) US20110187836A1 (ja)
EP (1) EP2475181A4 (ja)
JP (1) JPWO2011024373A1 (ja)
CN (1) CN102172032A (ja)
AU (1) AU2010288010A1 (ja)
CA (1) CA2738975A1 (ja)
WO (1) WO2011024373A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012127824A1 (ja) * 2011-03-18 2012-09-27 パナソニック株式会社 眼鏡、立体視映像処理装置、システム
WO2012127837A1 (ja) * 2011-03-18 2012-09-27 パナソニック株式会社 表示装置、３ｄ眼鏡、及び３ｄ映像視聴システム
WO2012165218A1 (ja) * 2011-05-30 2012-12-06 ソニー株式会社 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110116447A (ko) * 2010-04-19 2011-10-26 삼성전자주식회사 디스플레이시스템，셔터방식의 3ｄ안경 및 그 구동방법
JP2013054238A (ja) * 2011-09-05 2013-03-21 Sony Corp 表示制御装置、表示制御方法、およびプログラム
US20140212115A1 (en) * 2013-01-31 2014-07-31 Hewlett Packard Development Company, L.P. Optical disc with three-dimensional viewing depth
CN109756723B (zh) * 2018-12-14 2021-06-11 深圳前海达闼云端智能科技有限公司 获取影像的方法和装置，存储介质和电子设备
TWI807713B (zh) * 2022-03-22 2023-07-01 友達光電股份有限公司 立體顯示系統及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997007510A1 (fr) 1995-08-21 1997-02-27 Matsushita Electric Industrial Co., Ltd. Disque optique multimedia permettant d'effectuer facilement une reproduction selective dans la section de verrouillage, parental, a l'aide d'une petite quantite d'informations de commande, et dispositif de reproduction a cet effet
JPH0984057A (ja) * 1995-09-20 1997-03-28 Sanyo Electric Co Ltd 立体映像装置
JP2004349736A (ja) * 2003-05-08 2004-12-09 Sharp Corp 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体
JP2006262191A (ja) * 2005-03-17 2006-09-28 Victor Co Of Japan Ltd 複数視点立体映像表示方法及び複数視点立体映像表示装置並びに複数視点立体映像表示プログラム
JP2008182348A (ja) * 2007-01-23 2008-08-07 Sharp Corp 受信装置
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5220441A (en) * 1990-09-28 1993-06-15 Eastman Kodak Company Mechanism for determining parallax between digital images
JPH1062140A (ja) * 1996-08-14 1998-03-06 Oki Electric Ind Co Ltd 形状の再構成方法および形状の再構成装置
JP4149037B2 (ja) * 1998-06-04 2008-09-10 オリンパス株式会社 映像システム
JP2000209614A (ja) * 1999-01-14 2000-07-28 Sony Corp 立体映像システム
US7254265B2 (en) * 2000-04-01 2007-08-07 Newsight Corporation Methods and systems for 2D/3D image conversion and optimization
US20030103627A1 (en) * 2001-12-03 2003-06-05 Nierzwick Mark Alan Method and apparatus for providing parental control
JP3673217B2 (ja) * 2001-12-20 2005-07-20 オリンパス株式会社 映像表示装置
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP2004040445A (ja) * 2002-07-03 2004-02-05 Sharp Corp ３ｄ表示機能を備える携帯機器、及び３ｄ変換プログラム
KR100768837B1 (ko) * 2003-04-17 2007-10-19 샤프 가부시키가이샤 3차원 화상 작성 장치, 3차원 화상 재생 장치, 3차원 화상 처리 장치, 3차원 화상 처리 프로그램을 기록한 기록 매체
US7515759B2 (en) * 2004-07-14 2009-04-07 Sharp Laboratories Of America, Inc. 3D video coding using sub-sequences
KR20080076628A (ko) * 2007-02-16 2008-08-20 삼성전자주식회사 영상의 입체감 향상을 위한 입체영상 표시장치 및 그 방법
WO2009020277A1 (en) * 2007-08-06 2009-02-12 Samsung Electronics Co., Ltd. Method and apparatus for reproducing stereoscopic image using depth control
KR20100093638A (ko) * 2009-02-17 2010-08-26 삼성전자주식회사 디스플레이 시스템과, 디스플레이장치 및 그 제어 방법
US8290338B2 (en) * 2009-05-27 2012-10-16 Panasonic Corporation Recording medium, playback device, encoding device, integrated circuit, and playback output device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997007510A1 (fr) 1995-08-21 1997-02-27 Matsushita Electric Industrial Co., Ltd. Disque optique multimedia permettant d'effectuer facilement une reproduction selective dans la section de verrouillage, parental, a l'aide d'une petite quantite d'informations de commande, et dispositif de reproduction a cet effet
JPH0984057A (ja) * 1995-09-20 1997-03-28 Sanyo Electric Co Ltd 立体映像装置
JP2004349736A (ja) * 2003-05-08 2004-12-09 Sharp Corp 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体
JP2006262191A (ja) * 2005-03-17 2006-09-28 Victor Co Of Japan Ltd 複数視点立体映像表示方法及び複数視点立体映像表示装置並びに複数視点立体映像表示プログラム
JP2008182348A (ja) * 2007-01-23 2008-08-07 Sharp Corp 受信装置
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2475181A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012127824A1 (ja) * 2011-03-18 2012-09-27 パナソニック株式会社 眼鏡、立体視映像処理装置、システム
WO2012127837A1 (ja) * 2011-03-18 2012-09-27 パナソニック株式会社 表示装置、３ｄ眼鏡、及び３ｄ映像視聴システム
WO2012165218A1 (ja) * 2011-05-30 2012-12-06 ソニー株式会社 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置

Also Published As

Publication number Publication date
US20110187836A1 (en) 2011-08-04
CA2738975A1 (en) 2011-03-03
CN102172032A (zh) 2011-08-31
EP2475181A4 (en) 2013-02-20
JPWO2011024373A1 (ja) 2013-01-24
EP2475181A1 (en) 2012-07-11
AU2010288010A1 (en) 2011-03-03

Similar Documents

Publication Publication Date Title
US20110050869A1 (en) Stereoscopic display control device, integrated circuit, and stereoscopic display control method
WO2011024373A1 (ja) 立体視制御装置、集積回路、立体視制御方法
JP5756857B2 (ja) マルチビューディスプレイシステム
US20110096155A1 (en) Display apparatus and image display method therein
CN102461180B (zh) 能进行3d模式选择的立体影像再现装置及方法
WO2011135857A1 (ja) 画像変換装置
TW201105105A (en) Method and system for transmitting over a video interface and for compositing 3D video and 3D overlays
JP2010258872A (ja) 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体
WO2011064913A1 (ja) 映像信号処理装置及び映像信号処理方法
WO2012127824A1 (ja) 眼鏡、立体視映像処理装置、システム
JP2008109267A (ja) 立体画像生成装置及び立体画像復号装置
JP2012518322A (ja) 映像処理方法及びその装置
JP2012044308A (ja) ３ｄ画像出力装置及び３ｄ画像表示装置
WO2012147354A1 (ja) 映像処理装置及び映像処理方法
CN102439553B (zh) 用于再现立体图像、提供适于3d图像信号的用户界面的设备和方法
JP5412404B2 (ja) 情報統合装置、情報表示装置、情報記録装置
US20140225987A1 (en) Video processing apparatus and video processing method
JP5066244B2 (ja) 映像再生装置及び映像再生方法
JP2012513146A (ja) 表示パラメータ設定の制御
KR101674688B1 (ko) 입체영상 재생 장치 및 입체영상 재생 방법
WO2011114739A1 (ja) 再生装置
JP5355758B2 (ja) 映像処理装置及び映像処理方法
JP3173458U (ja) 擬似飛び出し映像表示装置
TWM470456U (zh) 三維立體影像字幕***裝置
KR20140079107A (ko) 영상표시장치, 및 그 동작방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080002774.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011513170

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2738975

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2010811432

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13122022

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10811432

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2010288010

Country of ref document: AU

Date of ref document: 20100708

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE