WO2012077238A1 - 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム - Google Patents

立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム Download PDF

Info

Publication number
WO2012077238A1
WO2012077238A1 PCT/JP2010/072281 JP2010072281W WO2012077238A1 WO 2012077238 A1 WO2012077238 A1 WO 2012077238A1 JP 2010072281 W JP2010072281 W JP 2010072281W WO 2012077238 A1 WO2012077238 A1 WO 2012077238A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
moving image
eye
moving
new
Prior art date
Application number
PCT/JP2010/072281
Other languages
English (en)
French (fr)
Inventor
敏郎 大櫃
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2010/072281 priority Critical patent/WO2012077238A1/ja
Priority to CN201080070601XA priority patent/CN103262552A/zh
Priority to KR1020137014799A priority patent/KR101479435B1/ko
Priority to JP2012547665A priority patent/JP5644862B2/ja
Publication of WO2012077238A1 publication Critical patent/WO2012077238A1/ja
Priority to US13/912,589 priority patent/US20130271569A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/264—Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a stereoscopic video image generation device, a stereoscopic video image generation method, and a stereoscopic video image generation program.
  • a stereoscopic image generation device that generates an image that can be stereoscopically viewed using the parallax of images captured by two adjacent cameras. For example, the stereoscopic image generation device generates and displays an image taken by one of two adjacent cameras as an image for the left eye and an image obtained by the other camera as an image for the right eye. , Make viewers feel stereoscopic images.
  • parallax The difference between the position in the left-eye image and the position in the right-eye image with respect to the same object is called parallax. Since two objects existing in the image have different amounts of parallax, it appears that one object exists in front of or behind the other object. The amount of parallax is the magnitude of parallax.
  • FIG. 1 is a diagram showing an example of a stereoscopic image.
  • an image 910 is an image for the left eye
  • an image 920 is an image for the right eye.
  • an object A, an object B, and an object C exist in the image 910 that is an image for the left eye and the image 920 that is an image for the right eye, respectively. Due to the parallax of these objects between the image 910 and the image 920, the person viewing the stereoscopic image in FIG. 1 appears to have the objects A, B, and C from the front.
  • the disclosed stereoscopic video generation apparatus employs the following means in order to solve the above-described problems.
  • a first moving image including a plurality of images each associated with time information, a second moving image including a plurality of images respectively associated with the time information, and a storage unit for storing a predetermined image;
  • the first image of the first moving image and the second image of the second moving image that are associated with the same time information, and the predetermined image are extracted from the storage unit, and the location of the predetermined image in the first image is extracted.
  • the first position is calculated, the second position that is the presence position of the predetermined image in the second image is calculated, and the first difference amount that is the difference between the first position and the second position is calculated.
  • At least one of the first position of the predetermined image in the first image and the second position of the predetermined image in the second image is translated based on the first difference amount, and a new first image and A calculation unit for generating a new second image;
  • a stereoscopic moving image generating apparatus At least one of the first position of the predetermined image in the first image and the second position of the predetermined image in the second image is translated based on the first difference amount, and a new first image and A calculation unit for generating a new second image; A stereoscopic moving image generating apparatus.
  • the disclosed apparatus it is possible to provide a stereoscopic moving image generating apparatus that dynamically adjusts the amount of parallax between the right eye moving image and the left eye moving image.
  • FIG. 1 is a diagram illustrating an example of a stereoscopic image.
  • FIG. 2 is a diagram illustrating parallax in a stereoscopic image.
  • FIG. 3 is a diagram illustrating an example of the structure of MPEG2 data.
  • FIG. 4 is a diagram illustrating the relationship between an I picture, a P picture, and a B picture.
  • FIG. 5 is a diagram illustrating an example of a stereoscopic moving image generating apparatus.
  • FIG. 6 is a diagram illustrating a hardware configuration example of the information processing apparatus.
  • FIG. 7 is a diagram illustrating an example (1) of the operation flow of the stereoscopic moving image generating apparatus.
  • FIG. 8 is a diagram illustrating an example (2) of the operation flow of the stereoscopic moving image generating apparatus.
  • FIG. 9 is a diagram for explaining the processing in step S104.
  • FIG. 10 is a diagram for explaining the processing in step S107.
  • stereoscopic moving images obtained by images taken by two adjacent cameras.
  • stereoscopic moving images are not limited to this, and are generated artificially, for example. It may be based on two moving images.
  • FIG. 2 is a diagram illustrating parallax in a stereoscopic image.
  • an image for the left eye is an image 10 and an image for the right eye is an image 20.
  • the image 10 and the image 20 include the object 1 that is the same target object.
  • the point P ⁇ b> 1 is a point representing the position of the object 1 in the image 10.
  • the point P2 is a point that represents the position of the object 1 in the image 20.
  • the point representing the position of the object 1 may be, for example, the center point of the object 1 or the right and lower end points of the object 1.
  • the points representing the position of the object 1 are not limited to these.
  • the points P1 and P2 are points indicating the same position in the object 1, respectively.
  • the points P1 and P2 are also referred to as the position of the object 1 in the image 10 and the position of the object 1 in the image 20, respectively.
  • the parallax in the stereoscopic image is the difference between the position in the left-eye image and the position in the right-eye image of the same object.
  • the amount of parallax is the magnitude of parallax.
  • the amount of parallax of the object 1 is the difference between the position of the object 1 in the image 10 (point P1) and the position of the object 1 in the image 20 (point P2). That is, assuming that the coordinates of the point P1 in the image 10 are (XL, YL) and the coordinates of the point P2 in the image 20 are (XR, YR), the parallax amount of the object 1 is expressed as follows.
  • ⁇ X represents the amount of parallax in the horizontal direction
  • ⁇ Y represents the amount of parallax in the vertical direction
  • the parallax of the object 1 in the stereoscopic image is eliminated.
  • a moving image includes a plurality of images (still images) having time information. This moving image is reproduced in the order of time information.
  • Each image data in the MPEG2 format is compressed every predetermined number of image data.
  • FIG. 3 is a diagram showing an example of the structure of MPEG2 data.
  • the MPEG2 data in FIG. 3 has a hierarchical structure.
  • the MPEG2 data in FIG. 3 includes an image output frame layer, a GOP (Group of Pictures) layer, a picture layer, a line layer, and an MB (Micro Block) layer.
  • GOP Group of Pictures
  • MB Micro Block
  • the image output frame layer is MPEG2 data corresponding to one video.
  • the image frame layer includes a GOP (Group of Pictures) and an SH (Sequence Header) corresponding to the GOP.
  • the image output frame layer includes a plurality of GOPs and SHs.
  • GOP is a set of frames (pictures) necessary for efficiently managing frames.
  • a frame is the smallest unit that can be edited in moving image data.
  • the SH includes information such as the start point of the GOP image.
  • SH may include time information and a frame rate.
  • the GOP layer uses I (Intra-coded) pictures that can be played back independently, P (Predicted) pictures that are played back using past I pictures or P pictures, and past and future I pictures or P pictures. Includes B (Bi-directional Predicted) pictures to be played.
  • An I picture is a frame that is first encoded. Decoding is started from an I picture.
  • the picture layer includes a plurality of line blocks.
  • the picture layer includes n line blocks.
  • the number of line blocks included in the picture layer depends on the size of the picture.
  • the line layer includes a plurality of macro blocks (MB).
  • the macro block includes luminance information (Y information) and color difference information (Cr information, Cb information).
  • FIG. 4 is a diagram showing the relationship between an I picture, a P picture, and a B picture.
  • the pictures are older (past) pictures in order from the left picture.
  • An I picture can be reproduced independently.
  • the P picture is reproduced by obtaining information from the past I picture or P picture.
  • B pictures are reproduced by obtaining information from past I or P pictures and future P pictures.
  • the information is a region in the picture (for example, a macro block) and a motion prediction (motion vector) of this region.
  • the data of I picture includes data of moving images and non-moving images.
  • a moving image and a non-moving image are distinguished.
  • An image that does not move is a background that does not change even in a picture at the next time of this picture.
  • An image that does not move is an image of an area where the motion vector is a zero vector.
  • the moving image is an image including a moving object or the like in a picture at a time next to this picture.
  • the moving image is an image of a region where the motion vector is not a zero vector.
  • the P picture data includes moving image data and non-moving image data. In the P picture data, a moving image and a non-moving image are distinguished.
  • the B picture data includes moving image data. That is, the B picture data includes an image of an area where the motion vector is not a zero vector.
  • Each picture data includes moving image data. However, when there is no movement in the entire image, the data of each picture does not include the data of the moving image.
  • the moving image includes a plurality of images (still images) having time information. This moving image is reproduced in the order of time information.
  • Each image data in the AVI format is compressed for each image data.
  • Each image data in the AVI format can be reproduced independently like the I picture described above. Further, each image data has no distinction between a moving image and a non-moving image.
  • the difference is taken between the image to be processed and the image immediately before this image, and the area where the difference is 0 is an image which does not move, and the area where the difference is not 0 can be set as the moving area.
  • the entire image can be divided into a moving image and a non-moving image even if the moving image is in the AVI format.
  • the moving image (region) and the non-moving image (region) may be calculated in advance and stored in a storage unit or the like.
  • FIG. 5 is a diagram illustrating an example of a stereoscopic image generation apparatus.
  • the stereoscopic image generation apparatus 100 includes an acquisition unit 110, a calculation unit 120, and a storage unit 130.
  • the acquisition unit 110 acquires a moving image from an external or internal input device.
  • the moving images acquired by the acquiring unit 110 are a left-eye moving image and a right-eye moving image of a stereoscopic moving image.
  • the moving image acquired by the acquisition unit 110 is stored in the storage unit 130.
  • the left-eye moving image and the right-eye moving image are associated with each other and stored in the storage unit 130.
  • the moving image includes, for example, a plurality of continuous images (still images) to which time information is added.
  • Each image included in the moving image has a pixel value for each point in the image.
  • the pixel value is information indicating the color of a point.
  • the pixel value is represented by, for example, an R (Red) value, a G (Green) value, and a B (Blue) value in the RGB color system.
  • R Red
  • G Green
  • B Blue
  • parameters (values) based on other color systems for example, YUV color system
  • a Y (Yellow) value may be used as the luminance value.
  • the calculation unit 120 calculates the amount of parallax for each image included in the moving image acquired by the acquisition unit 110 to generate a stereoscopic image.
  • the stereoscopic image generated by the calculation unit 120 is stored in the storage unit 130.
  • the storage unit 130 stores the moving image acquired by the acquisition unit 110, the stereoscopic image generated by the calculation unit 120, the parallax amount calculated by the calculation unit 120, the reference object, and the like.
  • the display unit 140 displays a moving image or the like stored in the storage unit 130.
  • the receiving unit 150 receives input from the user such as selection of a reference object.
  • FIG. 6 is a diagram illustrating a hardware configuration example of the information processing apparatus 300.
  • the stereoscopic image generation apparatus 100 is realized by, for example, an information processing apparatus 300 as illustrated in FIG.
  • the information processing apparatus 300 includes a CPU (Central Processing Unit) 302, a memory 304, a storage unit 306, an input unit 308, an output unit 310, and a communication unit 312.
  • CPU Central Processing Unit
  • the CPU 302 loads a program stored in the recording unit 306 into the work area of the memory 304 and executes the program, and the peripheral device is controlled through the execution of the program. Can be realized.
  • the CPU 302 performs processing according to a program stored in the storage unit 306.
  • the CPU 302 caches programs and data and develops a work area.
  • the memory 304 includes, for example, a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the storage unit 306 stores various programs and various data in a recording medium in a readable and writable manner.
  • the storage unit 306 includes a solid-state drive device, a hard disk drive device, a CD (Compact Disc) drive device, a DVD (Digital Versatile Disk) drive device, a + R / + RW drive device, and an HD DVD (High-Definition Digital Versatile Disk) drive device.
  • the recording medium includes a silicon disk including a nonvolatile semiconductor memory (flash memory), a hard disk, a CD, a DVD, + R / + RW, an HD DVD, or a BD.
  • CDs include CD-R (Recordable), CD-RW (Rewritable), and CD-ROM.
  • DVDs include DVD-R and DVD-RAM (Random Access Memory).
  • the BD there are a BD-R, a BD-RE (Rewritable), and a BD-ROM.
  • the input unit 308 receives an operation instruction from a user or the like.
  • the input unit 308 is an input device such as a keyboard, a pointing device, a wireless remote controller, a microphone, and a plurality of cameras. Information input from the input unit 308 is notified to the CPU 302.
  • the output unit 310 outputs data processed by the CPU 302 and data stored in the memory 304.
  • the output unit 310 is an output device such as a CRT (Cathode Ray Tube) display, an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an EL (Electroluminescence) panel, a printer, and a speaker.
  • CTR Cathode Ray Tube
  • LCD Liquid Crystal Display
  • PDP Plasma Display Panel
  • EL Electrodeescence
  • the communication unit 312 transmits / receives data to / from an external device.
  • the communication unit 312 is connected to an external device via, for example, a signal line.
  • the communication unit 312 is, for example, a LAN (Local Area Network) interface board or a wireless communication circuit for wireless communication.
  • the information processing apparatus 300 stores an operating system, various programs, and various tables in the storage unit 306.
  • the operating system is software that mediates between software and hardware, manages memory space, manages files, manages processes and tasks, and so on.
  • the operating system includes a communication interface.
  • the communication interface is a program for exchanging data with other external devices connected via the communication unit 312.
  • the information processing apparatus 300 capable of realizing the stereoscopic image generation apparatus 100 loads the program stored in the storage unit 306 into the memory 304 and executes the program as the acquisition unit 110, the calculation unit 120, and the reception unit 150. Realize the function.
  • the storage unit 130 is provided in a storage area such as the memory 304 and the storage unit 306.
  • the display unit 140 is realized by the CPU 302, the output unit 310, and the like.
  • the receiving unit 150 is realized by the CPU 302, the input unit 308, and the like.
  • a left-eye moving image and a right-eye moving image are used, but the left-eye moving image and the right-eye moving image are not superior or inferior and can be interchanged.
  • a left-eye image and a right-eye image are used, but there is no superiority or inferiority between the left-eye image and the right-eye image, and they can be interchanged.
  • FIG. 7 and 8 are diagrams illustrating an example of an operation flow of the stereoscopic moving image generating apparatus 100.
  • FIG. “A” in FIG. 7 is connected to “A” in FIG.
  • the operation flow in FIG. 7 is started, for example, when the stereoscopic visual path image generation device 100 is turned on.
  • the stereoscopic moving image generating apparatus 100 acquires the left eye moving image and the right eye moving image, selects the reference object, and calculates the parallax amount of the reference object of the first image. In addition, the stereoscopic moving image generating apparatus 100 translates the entire image for all images included in the moving image based on the parallax amount (S101 to S104). The moving image includes a plurality of continuous still images (frames, pictures). Further, the stereoscopic video generation device 100 calculates the parallax amount of the reference object for each still image, and translates the reference object based on the parallax amount to adjust the parallax amount of the reference object (S105 to S108). .
  • the stereoscopic image generating apparatus 100 normally reproduces the image for the left eye and the image for the right eye that output the adjusted image as the image of the stereoscopic video image in the order of the time information.
  • the moving image is compressed by, for example, the MPEG2 format.
  • the processing of the stereoscopic video generation device 100 is not limited to such processing.
  • the left-eye moving image and the right-eye moving image are associated with time information for each image (still image) included in each.
  • the left-eye moving image and the right-eye moving image are associated with common time information for each image included therein.
  • the association between the image and the time information is realized by, for example, each image having time information.
  • the association between the image and the time information is realized by, for example, the serial number of the reproduction order assigned to each image, the time information of the top image, and the frame rate (the number of images per unit time).
  • the association between the image and the time information is realized by, for example, the images arranged in the reproduction order, the time information of the head image, and the frame rate (the number of images per unit time). Further, there is no need to have time information of the top image.
  • the acquisition unit 110 acquires a left-eye moving image and a right-eye moving image (S101).
  • the acquisition unit 110 may acquire the left-eye moving image and the right-eye moving image from a camera built in the stereoscopic moving image generation apparatus 100 or an external device.
  • the acquired left-eye moving image and right-eye moving image are stored in the storage unit 130.
  • the left-eye moving image and the right-eye moving image may be stored in the storage unit 130 in advance.
  • the calculation unit 120 specifies an object (reference object) serving as a reference (S102).
  • the calculation unit 120 extracts an image (left-eye image) having the oldest time information from the acquired left-eye moving image. Similarly, the calculation unit 120 extracts an image (right-eye image) having the oldest time in the time information. The times of these oldest time information are the same.
  • the image extracted here is the first image of the moving image.
  • the calculation unit 120 displays the extracted left-eye image and right-eye image on the display unit 140.
  • the calculation unit 120 causes the user to select a range as a reference object from the image displayed on the display unit 140.
  • the user selects a range to be a reference object from the image displayed on the display unit 140 and inputs the range selected by the reception unit 150.
  • the computing unit 120 extracts an image in the selected range and stores it in the storage unit 130 as a reference object.
  • the calculating part 120 can specify a reference
  • An image as a reference object may be stored in the storage unit 130 in advance.
  • the range of the reference object may be selected for each of the left-eye image and the right-eye image.
  • the user selects the same target object as the reference object range in the left-eye image and the right-eye image.
  • the reference object is an example of a predetermined image.
  • the computing unit 120 calculates the amount of parallax between the image for the left eye and the image for the right eye of the reference object identified in step S102 (S103).
  • the computing unit 120 extracts an image (left-eye image) having the oldest time information from the acquired left-eye moving image.
  • the calculation unit 120 extracts an image (right-eye image) having the oldest time in the time information. That is, the calculation unit 120 extracts the first left-eye image and the first right-eye image from the acquired moving image.
  • the calculation unit 120 calculates the amount of parallax for the images of the same time information in the left-eye image and the right-eye image.
  • the image to be processed here is, for example, the image of the first I picture of the moving image file in the MPEG2 format. Also, the image to be processed here is, for example, the first image of the moving image file in the AVI format.
  • the calculation unit 120 obtains the position of the reference object in the left eye image. In addition, the calculation unit 120 obtains the position of the reference object in the right eye image.
  • the position of the reference object in the image is, for example, the coordinates of the center of the reference object.
  • the reference objects for the left-eye image and the right-eye image are specified in step S102.
  • the calculation unit 120 performs, for example, pattern matching between the image of the reference object stored in the storage unit 130 and the image for the left eye (or the image for the right eye), so that the image for the left eye (or the image for the right eye). ) For the reference object.
  • Information on the position of the reference object in the left-eye image (or right-eye image) is stored in the storage unit 130 in association with the time information.
  • the pattern matching is executed as follows, for example.
  • the calculation unit 120 superimposes the image for the left eye and the image of the reference object at a certain position, and obtains a difference between pixel values in the range of the image of the reference object of both images.
  • the computing unit 120 arbitrarily translates the reference object on the left-eye image, and similarly takes a difference at each position.
  • the calculation unit 120 can set the position of the reference object whose difference is 0 or less than a predetermined value as the position of the reference object in the left-eye image. The same applies to the right-eye image.
  • the pattern matching technique is not limited to the above, and other known methods can be applied.
  • the calculation unit 120 calculates the difference between the position of the reference object in the left eye image and the position of the reference object in the right eye image. This obtained difference is the amount of parallax. Among the obtained differences, the difference in the horizontal direction is the parallax amount ⁇ X, and the difference in the vertical direction is the parallax amount ⁇ Y. The arithmetic unit 120 stores the horizontal parallax amount ⁇ X and the vertical parallax amount ⁇ Y in the storage unit 130.
  • the calculation unit 120 superimposes the left-eye image and the right-eye image, so that the range of the reference object specified in step S102 matches the left-eye image and the right-eye image.
  • the amount of parallax may be obtained by translating an image (for example, an image for the right eye).
  • the amount of parallax is the distance (the amount of movement in the X-axis direction and the amount of movement in the Y-axis direction) of the one image (for example, the image for the right eye) translated.
  • the calculation unit 120 stores the parallel distance in the storage unit 130 as the horizontal distance as the parallax amount ⁇ X in the horizontal direction and the vertical distance as the parallax amount ⁇ Y in the vertical direction.
  • the amount of parallax includes positive and negative signs. That is, for example, when translated in the ⁇ X direction, the parallax amount ⁇ X becomes a negative amount.
  • the calculation unit 120 may obtain the amount of parallax as follows.
  • the calculation unit 120 displays the left-eye image and the right-eye image on the display unit 140 in a superimposed manner. While viewing the image displayed on the display unit 140, the user translates one of the images by the receiving unit 150, and the range of the reference object specified in step S102 is the left-eye image and the right-eye image. Try to match.
  • the amount of parallax is the distance that the one image (for example, the image for the right eye) is translated.
  • the computing unit 120 stores the parallel distance in the storage unit 130 as a horizontal distance as a parallax amount ⁇ X and a vertical distance as a vertical parallax amount ⁇ Y.
  • the calculation unit 120 generates a stereoscopic video image (S104).
  • the calculation unit 120 extracts the right-eye moving image from the storage unit 130, for example. Then, the calculation unit 120 sets, as the new right-eye moving image, an image obtained by translating the entire image by the amount of parallax with respect to the images at all times in the right-eye moving image.
  • the amount of parallax the amount of parallax ( ⁇ X and ⁇ Y) stored in the storage unit 130 in step S103 is used.
  • the arithmetic unit 120 stores the left-eye moving image and the new right-eye moving image in the storage unit 130 as a stereoscopic moving image.
  • the left-eye moving image stored here may be referred to as a new left-eye moving image.
  • the stored left-eye moving image and right-eye moving image can be displayed on a stereoscopic display device.
  • the stereoscopic display device is a display device that inputs a left-eye moving image to the left eye and a right-eye moving image to the right eye.
  • the stored left-eye moving image and right-eye moving image may be displayed on the display unit 140.
  • FIG. 9 is a diagram for explaining the processing in step S104.
  • FIG. 9 shows a left-eye image at the first time, a right-eye image before processing at the first time, and a right-eye image after processing at the first time.
  • a triangular object near the center in each image of FIG. 9 is set as a reference object.
  • the position of the reference object in the left eye image is (XL, YL).
  • the position of the reference object before processing in the right-eye image before processing is (XR, YR).
  • the processed right-eye image is obtained.
  • the position of the reference object in the right-eye image after processing is (XL, YL), which is the same as the position of the reference object in the left-eye image.
  • the positional relationship between the reference object and other objects does not change between the right-eye image before processing and the right-eye image after processing. That is, the distance in the horizontal direction and the distance in the vertical direction between the reference object and other objects do not change between the image for the right eye before processing and the image for the right eye after processing.
  • the arithmetic unit 120 translates the entire moving image by a half amount of the parallax amount of the reference object in each moving image (the moving image for the left eye and the moving image for the right eye).
  • the position of the reference object may be the same for the left-eye image and the right-eye image at the first time.
  • the arithmetic unit 120 sets a point for which the X coordinate and the Y coordinate of the left eye image point are translated by ⁇ X / 2 and ⁇ Y / 2, respectively, for the new left eye. Let it be a point of the image.
  • the calculation unit 120 sets a point obtained by translating the X coordinate and the Y coordinate of the point of the right eye image by + ⁇ X / 2 and + ⁇ Y / 2, respectively, as a new point of the right eye image. Further, the calculation unit 120 translates the entire moving image by 1/3 of the parallax amount of the reference object in one moving image, and 2/3 of the parallax amount of the reference object in the other moving image. The entire moving image may be moved in parallel. The ratio with respect to the amount of parallax at the time of this parallel movement can be set freely. However, it is required that the amount of parallel movement between the left-eye moving image and the right-eye moving image matches the parallax amount of the reference object as a whole. At this time, the calculation unit 120 generates a new left-eye moving image and a new right-eye moving image and stores them in the storage unit 130.
  • the calculation unit 120 changes the information on the position of the reference object of the left-eye image and the right-eye image stored in the storage unit 130 in step 103 in consideration of the processing in step S104.
  • step S104 images at all times in the moving image are processed based on the parallax amounts ( ⁇ X and ⁇ Y) obtained in step S103.
  • the left-eye moving image and the right-eye moving image processed in step S104 are used.
  • step S105 the calculation unit 120 determines whether or not the reference object has moved between the image processed immediately before (the image processed in immediately preceding step S103 or immediately preceding step S105) and the image at the next time of the image. Is determined (FIG. 8: S105). That is, the calculation unit 120 determines whether or not the reference object has moved between the image for the left eye processed immediately before and the image for the left eye at the next time of the image. In addition, the calculation unit 120 determines whether the reference object has moved between the right-eye image processed immediately before and the right-eye image at the next time of the image.
  • the calculation unit 120 takes out images (left-eye image and right-eye image) at the next time of the image processed immediately before from the storage unit 130.
  • the extracted left-eye image and right-eye image have already been processed based on the parallax amount calculated in step S103.
  • the calculation unit 120 obtains the position of the reference object in the extracted left eye image.
  • the calculation unit 120 stores the obtained position of the reference object in the left-eye image in the storage unit 130 in association with the time information.
  • the reference object is specified in step S102.
  • the calculation unit 120 obtains the position of the reference object in the image for the left eye by pattern matching the image of the reference object stored in the storage unit 130 and the image for the left eye, similarly to the processing in step S103. be able to.
  • the calculation unit 120 calculates the distance between the position of the reference object obtained here and the position of the reference object of the image for the left eye processed immediately before.
  • the calculation unit 120 performs the same processing on the right-eye image.
  • the calculation unit 120 determines that the reference object is Judge that it has moved.
  • the calculation unit 120 moves the reference object when the distance between the reference object position of both the left-eye image and the right-eye image and the reference object position of the immediately preceding image is 0 or less than a predetermined value. Judge that it is not.
  • the calculation unit 120 determines whether or not the image of the reference object is included in the moving image (region) included in the image data at the next time of the image processed immediately before, thereby determining the reference object. It may be determined whether or not has moved. For this determination, pattern matching may be used.
  • the moving image (region) is an image including a moving object or the like. Therefore, when the image of the reference object is included in the moving image, the calculation unit 120 determines that the reference object is moving.
  • the arithmetic unit 120 determines that the left-eye image and the right eye of the reference object in the left-eye image and the right-eye image extracted in step S105.
  • the amount of parallax with the eye image is calculated (S106).
  • the calculation unit 120 calculates the difference between the position of the reference object of the left-eye image and the position of the reference object of the right-eye image obtained in step S105. This calculated difference is the amount of parallax here.
  • the difference in the horizontal direction is set as the parallax amount ⁇ X1
  • the difference in the vertical direction is set as the parallax amount ⁇ Y1.
  • the calculation unit 130 stores the horizontal parallax amount ⁇ X1 and the vertical parallax amount ⁇ Y1 in the storage unit 130.
  • the initial values of the parallax amount ⁇ X1 and the parallax amount ⁇ Y1 are both 0.
  • step S107 If it is determined that the reference object has not moved (S105; NO), the process proceeds to step S107.
  • step S107 the calculation unit 120 generates a stereoscopic image (S107).
  • the calculation unit 120 sets the reference object in the X-axis (horizontal) direction and the Y-axis (vertical) direction, respectively, and the parallax amount ⁇ X1 stored in the storage unit 130, and An image translated by the amount of parallax ⁇ Y1 is set as a new right eye image.
  • the amount of parallax the amount of parallax ( ⁇ X1 and ⁇ Y1) stored in the storage unit 130 is used.
  • the calculation unit 120 stores the left-eye moving image and the new right-eye moving image as one (one set) of stereoscopic moving images in association with the time information of the image processed in step S105. Stored in 130. The amount of parallax for portions other than the reference object is not changed.
  • the left-eye moving image stored here may be referred to as a new left-eye moving image.
  • FIG. 10 is a diagram for explaining the processing in step S107.
  • FIG. 10 shows an image for the left eye, an image for the right eye before processing, and an image for the right eye after processing.
  • a triangular object near the center in each image of FIG. 10 is set as a reference object.
  • the position of the reference object in the image for the left eye is (XL1, YL1).
  • the position of the reference object before processing in the right-eye image before processing is (XR1, YR1).
  • the processed right-eye image is obtained.
  • the position of the reference object in the right-eye image after processing is (XL1, YL1), which is the same as the position of the reference object in the left-eye image.
  • the position of the object other than the reference object does not change between the right-eye image before processing and the right-eye image after processing. That is, for example, the position of the rectangular or circular object does not change between the right-eye image before processing and the right-eye image after processing.
  • the calculation unit 120 translates the reference object of the image by an amount that is 1 ⁇ 2 of the parallax amount ( ⁇ X1 and ⁇ Y1) of the reference object in each image (the image for the left eye and the image for the right eye).
  • the position of the reference object may be the same between the left-eye image and the right-eye image. That is, when the parallax amounts are ⁇ X1 and ⁇ Y1, the calculation unit 120 newly sets the points obtained by translating the X coordinate and the Y coordinate of the reference object point of the left-eye image by ⁇ X1 / 2 and ⁇ Y1 / 2, respectively.
  • the calculation unit 120 converts a point obtained by translating the X coordinate and the Y coordinate of the reference object point of the right eye image by + ⁇ X1 / 2 and + ⁇ Y1 / 2, respectively, as a new reference object point of the right eye image. To do.
  • the calculation unit 120 translates the reference object by an amount that is 1/3 of the parallax amount of the reference object in one moving image, and the amount that is 2/3 of the parallax amount of the reference object in the other moving image.
  • the reference object may be translated. The ratio with respect to the amount of parallax at the time of this parallel movement can be set freely.
  • the calculation unit 120 generates a new image for the left eye and a new image for the right eye, and sets the time information of the image processed in step S105 as one (one set) of stereoscopic motion images.
  • the data are stored in the storage unit 130 in association with each other.
  • the calculation unit 120 confirms whether there is an image having the time of the time information next to the time information of the image processed in step S105. That is, the calculation unit 120 determines whether or not the image processed in step S105 is the last image (S108). When the image processed in step S105 is the last image (S108; YES), the arithmetic unit 120 ends the process. When the image processed in step S105 is not the last image (S108; NO), the arithmetic unit 120 returns the process to step S105.
  • the position of the reference object in the image for the right eye of the image is set to be the same as the position of the reference object in the image for the left eye at the same time.
  • the position of the reference object in the image for the left eye at the same time as the position of the reference object in the image for the right eye of the image may be maintained in a predetermined range.
  • the position of the reference object in the image for the left eye at the same time as the position of the reference object in the image for the right eye of the image may maintain the parallax amount ( ⁇ X and ⁇ Y) calculated in step S103.
  • the translation does not have to be performed in step S104.
  • the stereoscopic moving image generating apparatus 100 translates the entire image with respect to the first time image of the left eye moving image and the right eye moving image, thereby obtaining the left eye image and the right eye image of the reference object.
  • the amount of parallax during the period is set to be less than a predetermined value or within a predetermined range.
  • the stereoscopic video generation device 1100 moves the reference object in parallel so that the parallax amount of the reference object is less than a predetermined value or within a predetermined range.
  • the stereoscopic moving image generating apparatus 100 sets the reference object between the left-eye moving image and the right-eye moving image after the parallax amount of the reference object is less than a predetermined value or a predetermined range for the image at the first time. Do not change the amount of parallax for parts other than the object.
  • the stereoscopic moving image generating device 100 even when the reference object moves in the depth direction, the left-eye moving image and the right-eye moving image are not changed without changing the stereoscopic effect of the area other than the reference object.
  • the parallax amount of the reference object can be maintained below a predetermined value or within a predetermined range.
  • the stereoscopic moving image generating apparatus 100 can dynamically adjust the amount of parallax between the right eye moving image and the left eye moving image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　それぞれ時刻情報と対応付けられる複数の画像を含む第１動画像、それぞれ前記時刻情報と対応付けられる複数の画像を含む第２動画像、および、所定画像を格納する格納部と、同一の時刻情報と対応付けられる第１動画像の第１画像および第２動画像の第２画像と、前記所定画像とを前記格納部から抽出し、前記第１画像における前記所定画像の存在位置である第１位置を算出し、前記第２画像における前記所定画像の存在位置である第２位置を算出し、前記第１位置と前記第２位置との差分である第１差分量を算出し、前記第１画像における前記所定画像の第１位置および前記第２画像における前記所定画像の第２位置のうち少なくとも一方を、前記第１差分量に基づいて平行移動し、新たな第１画像および新たな第２画像を生成する演算部と、を備える立体視動画像生成装置とする。

Description

立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム
　本発明は、立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラムに関する。
　隣接した２つのカメラで撮影した画像の視差を利用して立体視が可能な画像を生成する立体視画像生成装置がある。立体視画像生成装置は、例えば、隣接した２つのカメラで撮影した画像のうち、一方のカメラによる画像を左眼用画像として、他方のカメラによる画像を右眼用画像として、生成して表示し、視聴者に立体的な画像を感じさせる。
　同一の対象物に対して、左眼用画像における位置と、右眼用画像における位置との差を、視差という。画像内に存在する２つの対象物で、視差量が異なることにより、一方の対象物が他方の対象物に対して手前または奥に存在するように見える。視差量は、視差の大きさである。
　図１は、立体視画像の例を示す図である。図１において、画像９１０が左眼用画像であり、画像９２０が右眼用画像である。ここで、左眼用画像である画像９１０、及び、右眼用画像である画像９２０には、それぞれ、物体Ａ、物体Ｂ、物体Ｃが存在する。画像９１０及び画像９２０との間における、これらの物体の視差により、図１の立体視画像を見る者には、手前から、物体Ａ、物体Ｂ、物体Ｃが存在するように見える。
特開２００８－９２５５５号公報 特開２０００－７８６１１号公報 特開２００４－２０７７７３号公報
　動画像が視聴される際、動きのある対象物が注目されることが多い。隣接した２つのカメラで撮影した動画像の視差を利用した立体視画像（立体視動画像）では、動きのある対象物が左右方向や上下方向に動いてもこの対象物の視差量はほとんど変化しない。この対象物の視差量は、カメラとこの対象物と間の距離に依存するからである。この場合、視聴者の眼は疲れにくい。しかし、この動きのある対象物が、奥行き方向に動くと、この対象物の視差量が変化する。視聴者がこのような動画像を長時間視聴すると、視聴者の眼が疲れやすくなる。
　また、注目される動きのある対象物に対して、一旦、視差量がゼロになるように調整されたとしても、注目される動きのある対象物とカメラとの距離が変化することにより、この対象物の視差量が変化し、視聴者の目が疲れやすくなる。
　よって、立体視動画像において、注目される動きのある対象物の視差量の変化を緩和することが求められる。例えば、立体視動画像において、注目する対象物の視差量を所定値未満に調整することが求められる。
　本件開示の装置は、右眼用動画像と左眼用動画像との間の視差量を動的に調整する立体視動画像生成装置を提供することを課題とする。
　開示の立体視動画像生成装置は、上記課題を解決するために、以下の手段を採用する。
　即ち、開示の一態様は、
　それぞれ時刻情報と対応付けられる複数の画像を含む第１動画像、それぞれ前記時刻情報と対応付けられる複数の画像を含む第２動画像、および、所定画像を格納する格納部と、
　同一の時刻情報と対応付けられる第１動画像の第１画像および第２動画像の第２画像と、前記所定画像とを前記格納部から抽出し、前記第１画像における前記所定画像の存在位置である第１位置を算出し、前記第２画像における前記所定画像の存在位置である第２位置を算出し、前記第１位置と前記第２位置との差分である第１差分量を算出し、前記第１画像における前記所定画像の第１位置および前記第２画像における前記所定画像の第２位置のうち少なくとも一方を、前記第１差分量に基づいて平行移動し、新たな第１画像および新たな第２画像を生成する演算部と、
を備える立体視動画像生成装置とする。
　開示の装置によれば、右眼用動画像と左眼用動画像との間の視差量を動的に調整する立体視動画像生成装置を提供することができる。
図１は、立体視画像の例を示す図である。 図２は、立体視画像における視差を説明する図である。 図３は、ＭＰＥＧ２データの構造の例を示す図である。 図４は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの関係を示す図である。 図５は、立体視動画像生成装置の例を示す図である。 図６は、情報処理装置のハードウェア構成例を示す図である。 図７は、立体視動画像生成装置の動作フローの例（１）を示す図である。 図８は、立体視動画像生成装置の動作フローの例（２）を示す図である。 図９は、ステップＳ１０４の処理を説明する図である。 図１０は、ステップＳ１０７の処理を説明する図である。
　以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、開示の実施形態の構成に限定されない。
　ここでは、主として、隣接する２つのカメラで撮影された画像による立体視動画像を使用して説明しているが、立体視動画像は、これに限定されず、例えば、人工的に生成された２つの動画像によるもの等であってもよい。
　〔実施形態１〕
　（視差）
　図２は、立体視画像における視差を説明する図である。図２において、例えば、同一の対象物に対して、隣接する２つのカメラで撮影された画像のうち、左眼用画像を画像１０、右眼用画像を画像２０とする。図２の例では、画像１０及び画像２０に、同一の対象物である、物体１が含まれている。ここで、点Ｐ１は、画像１０において物体１の位置を代表する点とする。点Ｐ２は、画像２０において、物体１の位置を代表する点とする。物体１の位置を代表する点は、例えば、物体１の中心点としてもよいし、物体１の右端かつ下端の点としてもよい。物体１の位置を代表する点は、これらに限定されない。点Ｐ１及び点Ｐ２は、それぞれ、物体１において同一位置を示す点である。点Ｐ１および点Ｐ２は、それぞれ、画像１０における物体１の位置および画像２０における物体１の位置ともいう。
　立体視画像における視差は、同一の対象物の、左眼用画像における位置と右眼用画像における位置との差である。視差量は、視差の大きさである。
　図２の画像１０及び画像２０において、物体１の視差量は、画像１０における物体１の位置（点Ｐ１）と、画像２０における物体１の位置（点Ｐ２）との差である。即ち、画像１０における点Ｐ１の座標を（ＸＬ，ＹＬ）、画像２０における点Ｐ２の座標を（ＸＲ，ＹＲ）とすると、物体１の視差量は、次のように表される。
Figure JPOXMLDOC01-appb-M000001
　ここで、ΔＸは、横方向の視差量を示し、ΔＹは縦方向の視差量を示す。
　例えば、右眼用画像を、この視差量分、平行移動することにより、立体視画像における物体１の視差がなくなる。
　（データ構造の例）
　〈ＭＰＥＧ２〉
　ここでは、ＭＰＥＧ２フォーマットについて説明する。
　ＭＰＥＧ２フォーマットでは、動画像は、時間情報を有する複数の画像（静止画像）を含む。この動画像は、時間情報の時間順に再生される。ＭＰＥＧ２フォーマットにおける各画像データは、所定の数の画像データ毎に圧縮される。
　図３は、ＭＰＥＧ２データの構造の例を示す図である。図３のＭＰＥＧ２データは、階層構造になっている。図３のＭＰＥＧ２データは、画像出力フレームレイヤ、ＧＯＰ（Group of Pictures）レイヤ、ピクチャレイヤ、ラインレイヤ、ＭＢ（Micro Block）レイヤを含む。
　画像出力フレームレイヤは、１つの映像に対応するＭＰＥＧ２データである。画像フレームレイヤは、ＧＯＰ（Group of Pictures）、及び、これに対応するＳＨ（Sequence Header；シーケンスヘッダ）を含む。画像出力フレームレイヤは、複数のＧＯＰおよびＳＨを含む。
　ＧＯＰは、フレームを効率的に管理するために必要なフレーム（ピクチャ）の集合である。フレームは、動画データにおいて編集可能な最小単位である。ＳＨは、ＧＯＰの画像の開始ポイント等の情報を含む。ＳＨには、時間情報やフレームレートが含まれ得る。
　ＧＯＰレイヤは、単独で再生可能なＩ（Intra-coded）ピクチャ、過去のＩピクチャまたはＰピクチャを用いて再生されるＰ（Predicted）ピクチャ、及び、過去及び未来のＩピクチャまたはＰピクチャを用いて再生されるＢ（Bi-directional Predicted）ピクチャを含む。Ｉピクチャは、最初に符号化されるフレームである。復号は、Ｉピクチャから始められる。
　ピクチャレイヤは、複数のラインブロックを含む。図３の例では、ピクチャレイヤはｎ個のラインブロックを含む。ピクチャレイヤに含まれるラインブロックの数は、ピクチャのサイズに依存する。
　ラインレイヤは、複数のマクロブロック（ＭＢ；Macro Block）を含む。マクロブロックは、輝度情報（Ｙ情報）、色差情報（Ｃｒ情報、Ｃｂ情報）を含む。
　図４は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの関係を示す図である。図４の例では、左のピクチャから順に、時間が古い（過去の）ピクチャである。Ｉピクチャは、単独で再生可能である。Ｐピクチャは、過去のＩピクチャまたはＰピクチャから情報を得て再生される。Ｂピクチャは、過去のＩピクチャまたはＰピクチャ、および、未来のＰピクチャから情報を得て再生される。ここで、情報とは、ピクチャ内の領域（例えば、マクロブロック）、および、この領域の動き予測（動きベクトル）である。
　Ｉピクチャのデータには、移動する画像および移動しない画像のデータが含まれる。Ｉピクチャのデータでは、移動する画像と移動しない画像とが区別される。移動しない画像は、このピクチャの次の時刻のピクチャでも変化しない背景等である。移動しない画像は、動きベクトルがゼロベクトルである領域の画像である。移動する画像は、このピクチャの次の時刻のピクチャにおいて移動する物体等を含む画像である。移動する画像は、動きベクトルがゼロベクトルでない領域の画像である。Ｐピクチャのデータには、移動する画像および移動しない画像のデータが含まれる。Ｐピクチャのデータでは、移動する画像と移動しない画像とが区別される。Ｂピクチャのデータには、移動する画像のデータが含まれる。即ち、Ｂピクチャのデータには、動きベクトルがゼロベクトルでない領域の画像が含まれる。各ピクチャのデータは、移動する画像のデータを含む。ただし、画像全体で動きがない場合は、各ピクチャのデータは、移動する画像のデータを含まない。
　〈ＡＶＩ〉
　ここでは、ＡＶＩフォーマットについて説明する。
　ＡＶＩフォーマットでは、動画像は、時間情報を有する複数の画像（静止画像）を含む。この動画像は、時間情報の時間順に再生される。ＡＶＩフォーマットにおける各画像データは、画像データ毎に圧縮される。ＡＶＩフォーマットにおける各画像データは、先に説明したＩピクチャのように単独で再生可能である。また、各画像データは、移動する画像と移動しない画像との区別を有しない。
　処理しようとする画像とこの画像の直前の時刻の画像とで差分を取り、差分が０である領域が移動しない画像であり、差分が０でない領域が移動する領域とすることができる。あらかじめ、時間的に隣接する画像同士で差分を算出しておくことにより、動画像が、ＡＶＩフォーマットであっても、画像全体を、移動する画像と、移動しない画像とに、分けることができる。移動する画像（領域）と移動しない画像（領域）とは、あらかじめ算出されて、格納部等に格納されてもよい。
　（構成）
　図５は、立体視画像生成装置の例を示す図である。立体視画像生成装置１００は、取得部１１０、演算部１２０、格納部１３０を含む。
　取得部１１０は、外部または内部の入力装置から、動画像を取得する。取得部１１０が取得する動画像は、立体視動画像の、左眼用動画像、及び、右眼用動画像である。取得部１１０が取得した動画像は、格納部１３０に格納される。左眼用動画像及び右眼用動画像は、それぞれ、対応付けられて、格納部１３０に格納される。動画像は、例えば、連続する、複数の、時間情報が付加された画像（静止画像）を含む。動画像に含まれる各画像は、画像内の点毎に画素値を有する。画素値は、点の色などを示す情報である。画素値は、例えば、ＲＧＢ表色系のＲ（Red）値、Ｇ（Green）値、Ｂ（Blue）値で表される。ＲＧＢ表色系の代わりに、他の表色系（例えば、ＹＵＶ表色系）によるパラメータ（値）が使用されてもよい。ＹＵＶ表色系によるパラメータが使用された場合、輝度値として、Ｙ（Yellow）値が使用されてもよい。
　演算部１２０は、取得部１１０が取得した動画像に含まれる１つ１つの画像に対して、視差量の算出を行い、立体視画像を生成する。演算部１２０が生成した立体視画像は、格納部１３０に格納される。
　格納部１３０は、取得部１１０が取得した動画像、及び、演算部１２０が生成した立体視画像、演算部１２０が算出した視差量、基準オブジェクト等を格納する。
　表示部１４０は、格納部１３０に格納される動画像等を表示する。
　受信部１５０は、基準オブジェクトの選択等の、ユーザからの入力を受け付ける。
　図６は、情報処理装置３００のハードウェア構成例を示す図である。立体視画像生成装置１００は、例えば、図６に示すような情報処理装置３００によって、実現される。情報処理装置３００は、ＣＰＵ（Central Processing Unit）３０２、メモリ３０４、記憶部３０６、入力部３０８、出力部３１０、通信部３１２を含む。
　情報処理装置３００は、ＣＰＵ３０２が記録部３０６に記憶されたプログラムをメモリ３０４の作業領域にロードして実行し、プログラムの実行を通じて周辺機器が制御されることによって、所定の目的に合致した機能を実現することができる。
　ＣＰＵ３０２は、記憶部３０６に格納されるプログラムに従って処理を行う。メモリ３０４は、ＣＰＵ３０２がプログラムやデータをキャッシュしたり作業領域を展開したりする。メモリ３０４は、例えば、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を含む。
　記憶部３０６は、各種のプログラム及び各種のデータを読み書き自在に記録媒体に格納する。記憶部３０６としては、ソリッドステートドライブ装置、ハードディスクドライブ装置、ＣＤ（Compact Disc）ドライブ装置、ＤＶＤ（Digital Versatile Disk）ドライブ装置、＋Ｒ／＋ＲＷドライブ装置、ＨＤ　ＤＶＤ（High-Definition Digital Versatile Disk）ドライブ装置、または、ＢＤ（Blu-ray Disk）ドライブ装置がある。また、記録媒体としては、不揮発性半導体メモリ（フラッシュメモリ）を含むシリコンディスク、ハードディスク、ＣＤ、ＤＶＤ、＋Ｒ／＋ＲＷ、ＨＤ　ＤＶＤ、または、ＢＤがある。ＣＤとしては、ＣＤ－Ｒ（Recordable）、ＣＤ－ＲＷ（Rewritable）、ＣＤ－ＲＯＭがある。ＤＶＤとしては、ＤＶＤ－Ｒ、ＤＶＤ－ＲＡＭ（Random Access Memory）がある。ＢＤとしては、ＢＤ－Ｒ、ＢＤ－ＲＥ（Rewritable）、ＢＤ－ＲＯＭがある。
　入力部３０８は、ユーザ等からの操作指示等を受け付ける。入力部３０８は、キーボード、ポインティングデバイス、ワイヤレスリモコン、マイクロフォン、複数のカメラ等の入力デバイスである。入力部３０８から入力された情報は、ＣＰＵ３０２に通知される。
　出力部３１０は、ＣＰＵ３０２で処理されるデータやメモリ３０４に記憶されるデータを出力する。出力部３１０は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electroluminescence）パネル、プリンタ、スピーカ等の出力デバイスである。
　通信部３１２は、外部装置とデータの送受信を行う。通信部３１２は、例えば、信号線を介して、外部装置と接続される。通信部３１２は、例えば、ＬＡＮ（Local Area Network）インタフェースボードや、無線通信のための無線通信回路である。
　情報処理装置３００は、記憶部３０６に、オペレーティングシステム、各種プログラム、各種テーブル、を記憶している。
　オペレーティングシステムは、ソフトウェアとハードウェアとの仲介、メモリ空間の管理、ファイル管理、プロセスやタスクの管理等を行うソフトウェアである。オペレーティングシステムは、通信インタフェースを含む。通信インタフェースは、通信部３１２を介して接続される他の外部装置等とデータのやり取りを行うプログラムである。
　立体視画像生成装置１００を実現できる情報処理装置３００は、ＣＰＵ３０２が記憶部３０６に記憶されているプログラムをメモリ３０４にロードして実行することによって、取得部１１０、演算部１２０、受信部１５０としての機能を実現する。また、格納部１３０は、メモリ３０４、記憶部３０６等の記憶領域に設けられる。表示部１４０は、ＣＰＵ３０２、出力部３１０等によって実現される。受信部１５０は、ＣＰＵ３０２、入力部３０８等によって実現される。
　（動作例）
　立体視動画像生成装置１００の動作例について説明する。以下の説明では、左眼用動画像および右眼用動画像が使用されるが、左眼用動画像と右眼用動画像との間には、優劣はなく、互いに入れ替えることができる。同様に、左眼用画像および右眼用画像が使用されるが、左眼用画像と右眼用画像との間には、優劣はなく、互いに入れ替えることができる。
　図７および図８は、立体視動画像生成装置１００の動作フローの例を示す図である。図７の「Ａ」は、図８の「Ａ」と接続する。図７の動作フローは、例えば、立体視道画像生成装置１００の電源が投入されることを契機に開始される。
　立体視動画像生成装置１００は、左眼用動画像および右眼用動画像を取得し、基準オブジェクトを選択させ、先頭の画像の基準オブジェクトの視差量を算出する。また、立体視動画像生成装置１００は、当該視差量に基づいて、動画像に含まれるすべての画像について、画像全体を平行移動する（Ｓ１０１～Ｓ１０４）。動画像は、連続した複数の静止画像（フレーム、ピクチャ）を含む。さらに、立体視動画像生成装置１００は、静止画像毎に基準オブジェクトの視差量を算出し、当該視差量に基づいて、基準オブジェクトを平行移動し基準オブジェクトの視差量を調整する（Ｓ１０５～Ｓ１０８）。立体視画像生成装置１００は、調整後の画像を立体視動画像の画像として出力する左眼用画像および右眼用画像は、通常、時刻情報の時刻順に再生される。動画像は、例えば、ＭＰＥＧ２フォーマットにより圧縮される。ただし、立体視動画像生成装置１００の処理は、これらのような処理に限定されるものではない。
　左眼用動画像および右眼用動画像は、それぞれに含まれる１つ１つの画像（静止画像）毎に、時刻情報に対応付けられる。左眼用動画像および右眼用動画像は、それぞれに含まれる画像毎に、共通する時間情報に対応付けられる。画像と時間情報との対応付けは、例えば、各画像が時間情報を有することにより実現される。また、画像と時間情報との対応付けは、例えば、各画像に振られる再生順の通し番号と、先頭画像の時間情報と、フレームレート（単位時間あたりの画像数）とにより、実現される。さらに、画像と時間情報との対応付けは、例えば、再生順に並べられた各画像と、先頭画像の時間情報と、フレームレート（単位時間あたりの画像数）とにより、実現される。また、先頭画像の時間情報はなくてもよい。
　図７および図８の動作フローについて、詳細に説明する。
　取得部１１０は、左眼用動画像および右眼用動画像を取得する（Ｓ１０１）。取得部１１０は、左眼用動画像および右眼用動画像を、立体視動画像生成装置１００に内蔵されるカメラから取得してもよいし、外部装置から取得してもよい。取得された左眼用動画像および右眼用動画像は、格納部１３０に格納される。左眼用動画像および右眼用動画像は、あらかじめ、格納部１３０に格納されていてもよい。
　演算部１２０は、基準となるオブジェクト（基準オブジェクト）を特定する（Ｓ１０２）。
　例えば、演算部１２０は、取得した左眼用動画像から、時刻情報の時刻が最も古い、画像（左眼用画像）を取り出す。また、同様に、演算部１２０は、時刻情報の時刻が最も古い、画像（右眼用画像）を取り出す。これらの最も古い時刻情報の時刻は、同じである。ここで取り出される画像は、動画像の先頭の画像である。演算部１２０は、表示部１４０に、取り出した左眼用画像および右眼用画像を表示する。演算部１２０は、ユーザに対し、表示部１４０に表示された画像から、基準オブジェクトとする範囲を選択させる。ユーザは、表示部１４０に表示された画像から、基準オブジェクトとする範囲を選択し、受付部１５０により選択した範囲を入力する。演算部１２０は、選択された範囲の画像を抽出し、基準オブジェクトとして、格納部１３０に格納する。これにより、演算部１２０は、基準オブジェクトを特定できる。また、基準オブジェクトしての画像が、あらかじめ、格納部１３０に格納されていてもよい。左眼用画像と、右眼用画像とで、それぞれ、基準オブジェクトの範囲が選択されてもよい。このとき、ユーザは、左眼用画像と、右眼用画像とで、同一の対象物について、基準オブジェクトの範囲として選択する。基準オブジェクトは、所定画像の一例である。
　演算部１２０は、ステップＳ１０２で特定した基準オブジェクトの、左眼用画像と右眼用画像との間の視差量を算出する（Ｓ１０３）。演算部１２０は、取得した左眼用動画像から、時刻情報の時刻が最も古い、画像（左眼用画像）を取り出す。また、同様に、演算部１２０は、時刻情報の時刻が最も古い、画像（右眼用画像）を取り出す。即ち、演算部１２０は、取得した動画像から、最初の左眼用画像および最初の右眼用画像を取り出す。演算部１２０は、左眼用画像と右眼用画像とで、同一の時刻情報の画像について視差量の算出を行う。ここで処理する画像は、例えば、ＭＰＥＧ２フォーマットでは動画像ファイルの先頭のＩピクチャの画像である。また、ここで処理する画像は、例えば、ＡＶＩフォーマットでは動画像ファイルの先頭の画像である。
　演算部１２０は、左眼用画像における基準オブジェクトの位置を求める。また、演算部１２０は、右眼用画像における基準オブジェクトの位置を求める。画像における基準オブジェクトの位置は、例えば、基準オブジェクトの中心の座標である。左眼用画像および右眼用画像の基準オブジェクトは、ステップＳ１０２で特定されている。
　演算部１２０は、例えば、格納部１３０に格納される基準オブジェクトの画像と、左眼用画像（または右眼用画像）とを、パターンマッチングすることにより、左眼用画像（または右眼用画像）における基準オブジェクトの位置を求めることができる。左眼用画像（または右眼用画像）における基準オブジェクトの位置の情報は、時刻情報と対応付けられて格納部１３０に格納される。
　パターンマッチングは、例えば、次のように実行される。演算部１２０が、左眼用画像と基準オブジェクトの画像とをある位置で重ねあわせ、両画像の基準オブジェクトの画像の範囲における画素値の差分をとる。演算部１２０は、左眼用画像上で基準オブジェクトを任意に平行移動させて、同様に、各位置で差分を取る。演算部１２０は、差分が０または所定値未満である基準オブジェクトの位置を、左眼用画像における基準オブジェクトの位置とすることができる。右眼用画像についても同様である。なお、パターンマッチングの手法として、上記に限定されず他の周知の方法が適用されうる。
　演算部１２０は、左眼用画像における基準オブジェクトの位置と右眼用画像における基準オブジェクトの位置との差を、算出する。この求めた差が、視差量となる。この求めた差のうち、横方向の差が視差量ΔＸ、縦方向の差が視差量ΔＹである。演算部１２０は、この横方向の視差量ΔＸおよび縦方向の視差量ΔＹを、格納部１３０に格納する。
　また、演算部１２０は、左眼用画像と右眼用画像とを重ねあわせ、ステップＳ１０２で特定した基準オブジェクトの範囲が、左眼用画像と右眼用画像とで一致するように、一方の画像（例えば、右眼用画像）を平行移動させて、視差量を求めてもよい。視差量は、当該一方の画像（例えば、右眼用画像）の平行移動した距離（Ｘ軸方向の移動量及びＹ軸方向の移動量）となる。このとき、演算部１２０は、平行移動した距離の、横方向の距離を横方向の視差量ΔＸ、縦方向の距離を縦方向の視差量ΔＹとして、格納部１３０に格納する。視差量は、正負号を含む。即ち、例えば、－Ｘ方向に平行移動した場合は、視差量ΔＸは、負の量になる。
　さらに、演算部１２０は、次のように視差量を求めてもよい。演算部１２０は、左眼用画像と右眼用画像とを重ねあわせて表示部１４０に表示する。ユーザが、表示部１４０に表示された画像を見ながら、受付部１５０により一方の画像を平行移動して、ステップＳ１０２で特定した基準オブジェクトの範囲が、左眼用画像と右眼用画像とで一致するようする。視差量は、当該一方の画像（例えば、右眼用画像）の平行移動した距離となる。演算部１２０は、平行移動した距離の、横方向の距離を横方向の視差量ΔＸ、縦方向の距離を縦方向の視差量ΔＹとして、格納部１３０に格納する。
　演算部１２０は、立体視動画像を生成する（Ｓ１０４）。Ｓ１０４の処理では、演算部１２０は、例えば、格納部１３０から右眼用動画像を取り出す。そして、演算部１２０は、右眼用動画像において、すべての時刻の画像について、画像全体を、視差量分だけ平行移動した画像を、新たな右眼用動画像とする。視差量として、ステップＳ１０３で格納部１３０に格納した視差量（ΔＸおよびΔＹ）が使用される。このように、右眼用動画像の画像全体を、Ｓ１０３の処理で求めた視差量分（ΔＸおよびΔＹ）だけ平行移動すると、画像の最初の時刻の右眼用画像における基準オブジェクトの位置が、同じ時刻の左眼用画像における基準オブジェクトの位置と同一になる。即ち、最初の時刻における左眼用画像と右眼用画像との間の基準オブジェクトの視差が、ほぼなくなる。演算部１２０は、左眼用動画像および新たな右眼用動画像を、立体視動画像として、格納部１３０に格納する。ここで格納される左眼用動画像を、新たな左眼用動画像と称してもよい。　格納された左眼用動画像及び右眼用動画像は、立体視用の表示装置において、表示されうる。立体視用の表示装置は、左眼用動画像を左眼に、右眼用動画像を右眼に入力するような、表示装置である。また、格納された左眼用動画像及び右眼用動画像は、表示部１４０に表示されてもよい。
　図９は、ステップＳ１０４の処理を説明する図である。図９には、最初の時刻における左眼用画像、最初の時刻における処理前の右眼用画像、最初の時刻における処理後の右眼用画像が示されている。ここで、図９の各画像における中心付近の三角形形状のオブジェクトを基準オブジェクトとする。左眼用画像における基準オブジェクトの位置は、（ＸＬ，ＹＬ）である。処理前の右眼用画像における処理前の基準オブジェクトの位置は、（ＸＲ，ＹＲ）である。ここで、横方向の視差量は、ΔＸ＝ＸＬ－ＸＲであり、縦方向の視差量は、ΔＹ＝ＹＬ－ＹＲである。ここで、右眼用画像を視差量だけ平行移動すると、処理後の右眼用画像のようになる。処理後の右眼用画像における基準オブジェクトの位置は、（ＸＬ，ＹＬ）であり、左眼用画像における基準オブジェクトの位置と同一になる。処理前の右眼用画像と処理後の右眼用画像との間で、基準オブジェクトと他のオブジェクト等との位置関係は、変わらない。即ち、処理前の右眼用画像と処理後の右眼用画像との間で、基準オブジェクトと他のオブジェクト等との横方向の距離および縦方向の距離は変わらない。
　また、上記の説明では、一方の画像全体を平行移動して新たな画像としている。ここで、演算部１２０は、それぞれの動画像（左眼用動画像、右眼用動画像）において、基準オブジェクトの視差量の１／２の量で動画像の画像全体を平行移動することにより、基準オブジェクトの位置を最初の時刻の左眼用画像と右眼用画像とで同一にしてもよい。即ち、演算部１２０は、視差量をΔＸ及びΔＹとすると、左眼用画像の点のＸ座標及びＹ座標をそれぞれ－ΔＸ／２及び－ΔＹ／２だけ平行移動した点を新たな左眼用画像の点とする。同様に、演算部１２０は、右眼用画像の点のＸ座標及びＹ座標をそれぞれ＋ΔＸ／２及び＋ΔＹ／２だけ平行移動した点を新たな右眼用画像の点とする。また、演算部１２０は、一方の動画像において基準オブジェクトの視差量の１／３の量で動画像の画像全体を平行移動し、他方の動画像において基準オブジェクトの視差量の２／３の量で動画像の画像全体を平行移動してもよい。この平行移動する際の視差量に対する割合は、自由に設定され得る。ただし、左眼用動画像と右眼用動画像とにおける平行移動の量が、全体として基準オブジェクトの視差量に一致することが求められる。このとき、演算部１２０は、新たな左眼用動画像および新たな右眼用動画像を生成し、格納部１３０に格納することになる。
　演算部１２０は、ステップ１０３で格納部１３０に格納された左眼用画像および右眼用画像の基準オブジェクトの位置の情報を、ステップＳ１０４での処理を加味して、変更する。
　ステップＳ１０４では、動画像におけるすべての時刻の画像が、ステップＳ１０３で求められた視差量（ΔＸおよびΔＹ）に基づいて、処理される。
　以降の処理において、ステップＳ１０４で処理された左眼用動画像、および、右眼用動画像が使用される。
　ステップＳ１０５では、演算部１２０は、直前に処理した画像（直前のステップＳ１０３または直前のステップＳ１０５で処理した画像）と、この画像の次の時刻の画像とで、基準オブジェクトが移動したか否かを判定する（図８：Ｓ１０５）。即ち、演算部１２０は、直前に処理した左眼用画像と、この画像の次の時刻の左眼用画像とで、基準オブジェクトが移動したか否かを判定する。また、演算部１２０は、直前に処理した右眼用画像と、この画像の次の時刻の右眼用画像とで、基準オブジェクトが移動したか否かを判定する。
　演算部１２０は、直前に処理した画像の次の時刻の画像（左眼用画像および右眼用画像）を、格納部１３０から取り出す。取り出された、左眼用画像および右眼用画像は、既に、ステップＳ１０３で算出された視差量に基づいて、処理されている。
　演算部１２０は、取り出された左眼用画像における基準オブジェクトの位置を求める。演算部１２０は、求めた左眼用画像における基準オブジェクトの位置を、時刻情報と対応付けて格納部１３０に格納する。基準オブジェクトは、ステップＳ１０２で特定されている。演算部１２０は、ステップＳ１０３における処理と同様に、格納部１３０に格納される基準オブジェクトの画像と、左眼用画像とを、パターンマッチングすることにより、左眼用画像における基準オブジェクトの位置を求めることができる。演算部１２０は、ここで求められた基準オブジェクトの位置と、直前に処理した左眼用画像の基準オブジェクトの位置との距離を算出する。演算部１２０は、右眼用画像についても同様に処理する。演算部１２０は、左眼用画像および右眼用画像のうち、少なくとも一方の画像の基準オブジェクトの位置と直前の画像の基準オブジェクトの位置との距離が、所定値以上である場合、基準オブジェクトが移動したと判定する。演算部１２０は、左眼用画像および右眼用画像の両方の画像の基準オブジェクトの位置と直前の画像の基準オブジェクトの位置との距離が０または所定値未満である場合、基準オブジェクトが移動していないと判定する。
　また、演算部１２０は、直前に処理した画像の次の時刻の画像のデータに含まれる、移動する画像（領域）に、基準オブジェクトの画像が含まれるか否かを判定することにより、基準オブジェクトが移動したか否かを判定してもよい。この判定には、パターンマッチングが使用されてもよい。移動する画像（領域）は、移動している物体等を含む画像である。よって、移動する画像に基準オブジェクトの画像が含まれる場合、演算部１２０は、基準オブジェクトが移動していると判定する。
　基準オブジェクトが移動していると判断された場合（Ｓ１０５；ＹＥＳ）、演算部１２０は、ステップＳ１０５で取り出された左眼用画像および右眼用画像において、基準オブジェクトの、左眼用画像と右眼用画像との間の視差量を算出する（Ｓ１０６）。演算部１２０は、ステップＳ１０５で求めた、左眼用画像の基準オブジェクトの位置と、右眼用画像の基準オブジェクトの位置との差を算出する。この求めた差が、ここでの視差量となる。この求めた差のうち、横方向の差を視差量ΔＸ１、縦方向の差を視差量ΔＹ１とする。演算部１３０は、この横方向の視差量ΔＸ１および縦方向の視差量ΔＹ１を、格納部１３０に格納する。視差量ΔＸ１および視差量ΔＹ１の初期値は、共に、０である。
　基準オブジェクトが移動していないと判断された場合（Ｓ１０５；ＮＯ）、処理がステップＳ１０７に進む。
　ステップＳ１０７では、演算部１２０は、立体視画像を生成する（Ｓ１０７）。演算部１２０は、取り出された右眼用画像において、基準オブジェクトを、Ｘ軸（横）方向、および、Ｙ軸（縦）方向に、それぞれ、格納部１３０に格納される視差量ΔＸ１、および、視差量ΔＹ１分だけ平行移動した画像を、新たな右眼用画像とする。視差量として、格納部１３０に格納される視差量（ΔＸ１およびΔＹ１）が使用される。右眼用画像の基準オブジェクトを、視差量（ΔＸ１およびΔＹ１）分だけ平行移動すると、右眼用画像における基準オブジェクトの位置が、同じ時刻の左眼用画像における基準オブジェクトの位置と同一になる。即ち、左眼用画像と右眼用画像との間の基準オブジェクトの視差が、ほぼなくなる。演算部１２０は、左眼用動画像および新たな右眼用動画像を、立体視動画像の１つ（１組）の画像として、ステップＳ１０５で処理した画像の時刻情報と対応付けて格納部１３０に格納する。基準オブジェクト以外の部分についての視差量は、変更されない。ここで格納される左眼用動画像を、新たな左眼用動画像と称してもよい。
　図１０は、ステップＳ１０７の処理を説明する図である。図１０には、左眼用画像、処理前の右眼用画像、処理後の右眼用画像が示されている。ここで、図１０の各画像における中心付近の三角形形状のオブジェクトを基準オブジェクトとする。左眼用画像における基準オブジェクトの位置は、（ＸＬ１，ＹＬ１）である。処理前の右眼用画像における処理前の基準オブジェクトの位置は、（ＸＲ１，ＹＲ１）である。基準オブジェクトの横方向の視差量は、ΔＸ１＝ＸＬ１－ＸＲ１であり、縦方向の視差量は、ΔＹ１＝ＹＬ１－ＹＲ１である。ここで、右眼用画像における基準オブジェクトを視差量（横方向にΔＸ１、横方向にΔＹ１）だけ平行移動すると、処理後の右眼用画像のようになる。処理後の右眼用画像における基準オブジェクトの位置は、（ＸＬ１，ＹＬ１）であり、左眼用画像における基準オブジェクトの位置と同一になる。処理前の右眼用画像と処理後の右眼用画像との間で、基準オブジェクト以外のオブジェクト等の位置は、変わらない。即ち、例えば、処理前の右眼用画像と処理後の右眼用画像との間で、四角形形状や円形形状のオブジェクトの位置は、変わらない。
　また、上記の説明では、一方の画像の基準オブジェクトを平行移動して新たな画像としている。ここで、演算部１２０は、それぞれの画像（左眼用画像、右眼用画像）において、基準オブジェクトの視差量（ΔＸ１およびΔＹ１）の１／２の量で画像の基準オブジェクトを平行移動することにより、基準オブジェクトの位置を左眼用画像と右眼用画像とで同一にしてもよい。即ち、演算部１２０は、視差量をΔＸ１及びΔＹ１とすると、左眼用画像の基準オブジェクトの点のＸ座標及びＹ座標をそれぞれ－ΔＸ１／２及び－ΔＹ１／２だけ平行移動した点を新たな左眼用画像の基準オブジェクトの点とする。同様に、演算部１２０は、右眼用画像の基準オブジェクトの点のＸ座標及びＹ座標をそれぞれ＋ΔＸ１／２及び＋ΔＹ１／２だけ平行移動した点を新たな右眼用画像の基準オブジェクトの点とする。また、演算部１２０は、一方の動画像において基準オブジェクトの視差量の１／３の量で当該基準オブジェクトを平行移動し、他方の動画像において基準オブジェクトの視差量の２／３の量で当該基準オブジェクトを平行移動してもよい。この平行移動する際の視差量に対する割合は、自由に設定され得る。ただし、左眼用動画像と右眼用動画像とにおける平行移動の量が、全体として基準オブジェクトの視差量に一致することが求められる。全体として基準オブジェクトの視差量に一致しないと、基準オブジェクトの位置が左眼用画像と右眼用画像とで同一にならないからである。このとき、演算部１２０は、新たな左眼用画像および新たな右眼用画像を生成し、立体視動画像の１つ（１組）の画像として、ステップＳ１０５で処理した画像の時刻情報と対応付けて格納部１３０に格納することになる。
　演算部１２０は、ステップＳ１０５で処理した画像の時刻情報の時刻の次の時刻情報の時刻を有する画像が存在するかを確認する。即ち、演算部１２０は、ステップＳ１０５で処理した画像が、最後の画像であるか否かを判断する（Ｓ１０８）。ステップＳ１０５で処理した画像が最後の画像である場合（Ｓ１０８；ＹＥＳ）、演算部１２０は、処理を終了する。ステップＳ１０５で処理した画像が最後の画像でない場合（Ｓ１０８；ＮＯ）、演算部１２０は、処理をステップＳ１０５に戻す。
　上記の例では、画像の右眼用画像における基準オブジェクトの位置が、同じ時刻の左眼用画像における基準オブジェクトの位置と同一となるようにしている。ここで、画像の右眼用画像における基準オブジェクトの位置と同じ時刻の左眼用画像における基準オブジェクトの位置とが、所定の位置関係を所定の範囲に維持するようにしてもよい。例えば、画像の右眼用画像における基準オブジェクトの位置と同じ時刻の左眼用画像における基準オブジェクトの位置とが、ステップＳ１０３で算出した視差量（ΔＸおよびΔＹ）を維持するようにしてもよい。ステップＳ１０３で算出した視差量（ΔＸおよびΔＹ）を維持する場合、ステップＳ１０４で平行移動をしなくてもよい。
　（実施形態の作用効果）
　立体視動画像生成装置１００は、左眼用動画像および右眼用動画像の最初の時刻の画像について、画像全体を平行移動することにより、基準オブジェクトの左眼用画像と右眼用画像との間の視差量を所定値未満又は所定の範囲にするようにする。立体視動画像生成装置１１００は、基準オブジェクトが移動した場合、基準オブジェクトを平行移動することにより、基準オブジェクトの視差量が所定値未満又は所定の範囲になるようにする。
　立体視動画像生成装置１００は、最初の時刻の画像について基準オブジェクトの視差量を所定値未満又は所定の範囲にした後は、左眼用動画像と右眼用動画像との間で、基準オブジェクの以外の部分についての視差量を変更しない。
　立体視動画像生成装置１００によれば、基準オブジェクトが奥行方向に動いた場合でも、基準オブジェクト以外の領域の立体感を変えることなく、左眼用動画像と右眼用動画像との間における基準オブジェクトの視差量を所定値未満又は所定の範囲に維持することができる。立体視動画像生成装置１００は、右眼用動画像と左眼用動画像との間の視差量を動的に調整することができる。
　　　　　１００　　　　　立体視動画像生成装置
　　　　　１１０　　　　　　取得部
　　　　　１２０　　　　　　演算部
　　　　　１３０　　　　　　格納部
　　　　　１４０　　　　　　表示部
　　　　　１５０　　　　　　受信部
　　　　　３００　　　　　情報処理装置
　　　　　３０２　　　　　　ＣＰＵ
　　　　　３０４　　　　　　メモリ
　　　　　３０６　　　　　　記憶部
　　　　　３０８　　　　　　入力部
　　　　　３１０　　　　　　出力部
　　　　　３１２　　　　　　通信部

Claims (6)

  1. 　それぞれ時刻情報と対応付けられる複数の画像を含む第１動画像、それぞれ前記時刻情報と対応付けられる複数の画像を含む第２動画像、および、所定画像を格納する格納部と、
    　同一の時刻情報と対応付けられる第１動画像の第１画像および第２動画像の第２画像と、前記所定画像とを前記格納部から抽出し、前記第１画像における前記所定画像の存在位置である第１位置を算出し、前記第２画像における前記所定画像の存在位置である第２位置を算出し、前記第１位置と前記第２位置との差分である第１差分量を算出し、前記第１画像における前記所定画像の第１位置および前記第２画像における前記所定画像の第２位置のうち少なくとも一方を、前記第１差分量に基づいて平行移動し、新たな第１画像および新たな第２画像を生成する演算部と、
    を備える立体視動画像生成装置。
  2. 　前記演算部は、前記新たな第１画像および前記新たな第２画像を生成する前に、時刻情報の時刻が先頭の時刻である前記第１動画像の第３画像、時刻情報の時刻が先頭の時刻である前記第２動画像の第４画像を前記格納部から抽出し、前記第３画像における前記所定画像の存在位置である第３位置を算出し、前記第４画像における前記所定画像の存在位置である第４位置を算出し、前記第３位置と前記第４位置との差分である第２差分量を算出し、前記第１動画像に含まれるすべての画像および前記第２動画像に含まれるすべての画像のうち少なくとも一方について、それぞれの画像全体を前記第２差分量に基づいて平行移動し、新たな第１動画像および新たな第２動画像とし、当該新たな第１動画像を前記第１動画像とし、当該新たな第２動画像を前記第２動画像として前記格納部に格納する、
    請求項１に記載の立体視動画像生成装置。
  3. 　コンピュータが、
    　それぞれ時刻情報と対応付けられる複数の画像を含む第１動画像、それぞれ前記時刻情報と対応付けられる複数の画像を含む第２動画像、および、所定画像を格納する記憶装置から、同一の時刻情報と対応付けられる第１動画像の第１画像および第２動画像の第２画像と、前記所定画像とを抽出し、
    　前記第１画像における前記所定画像の存在位置である第１位置を算出し、前記第２画像における前記所定画像の存在位置である第２位置を算出し、前記第１位置と前記第２位置との差分である第１差分量を算出し、前記第１画像における前記所定画像の第１位置および前記第２画像における前記所定画像の第２位置のうち少なくとも一方を、前記第１差分量に基づいて平行移動し、新たな第１画像および新たな第２画像を生成することを実行する立体視動画像生成方法。
  4. 　コンピュータが、さらに、
    　前記新たな第１画像および前記新たな第２画像を生成する前に、時刻情報の時刻が先頭の時刻である前記第１動画像の第３画像、時刻情報の時刻が先頭の時刻である前記第２動画像の第４画像を前記記憶装置から抽出し、
    　前記第３画像における前記所定画像の存在位置である第３位置を算出し、前記第４画像における前記所定画像の存在位置である第４位置を算出し、前記第３位置と前記第４位置との差分である第２差分量を算出し、前記第１動画像に含まれるすべての画像および前記第２動画像に含まれるすべての画像のうち少なくとも一方について、それぞれの画像全体を前記第２差分量に基づいて平行移動し、新たな第１動画像および新たな第２動画像とし、当該新たな第１動画像を前記第１動画像とし、当該新たな第２動画像を前記第２動画像として前記記憶装置に格納することを実行する請求項３に記載の立体視動画像生成方法。
  5. 　コンピュータが、
    　それぞれ時刻情報と対応付けられる複数の画像を含む第１動画像、それぞれ前記時刻情報と対応付けられる複数の画像を含む第２動画像、および、所定画像を格納する記憶装置から、同一の時刻情報と対応付けられる第１動画像の第１画像および第２動画像の第２画像と、前記所定画像とを抽出し、
    　前記第１画像における前記所定画像の存在位置である第１位置を算出し、前記第２画像における前記所定画像の存在位置である第２位置を算出し、前記第１位置と前記第２位置との差分である第１差分量を算出し、前記第１画像における前記所定画像の第１位置および前記第２画像における前記所定画像の第２位置のうち少なくとも一方を、前記第１差分量に基づいて平行移動し、新たな第１画像および新たな第２画像を生成することを実行するための立体視動画像生成プログラム。
  6. 　コンピュータが、さらに、
    　前記新たな第１画像および前記新たな第２画像を生成する前に、時刻情報の時刻が先頭の時刻である前記第１動画像の第３画像、時刻情報の時刻が先頭の時刻である前記第２動画像の第４画像を前記記憶装置から抽出し、
    　前記第３画像における前記所定画像の存在位置である第３位置を算出し、前記第４画像における前記所定画像の存在位置である第４位置を算出し、前記第３位置と前記第４位置との差分である第２差分量を算出し、前記第１動画像に含まれるすべての画像および前記第２動画像に含まれるすべての画像のうち少なくとも一方について、それぞれの画像全体を前記第２差分量に基づいて平行移動し、新たな第１動画像および新たな第２動画像とし、当該新たな第１動画像を前記第１動画像とし、当該新たな第２動画像を前記第２動画像として前記記憶装置に格納することを実行するための請求項５に記載の立体視動画像生成プログラム。
PCT/JP2010/072281 2010-12-10 2010-12-10 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム WO2012077238A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2010/072281 WO2012077238A1 (ja) 2010-12-10 2010-12-10 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム
CN201080070601XA CN103262552A (zh) 2010-12-10 2010-12-10 立体动态图像生成装置、立体动态图像生成方法以及立体动态图像生成程序
KR1020137014799A KR101479435B1 (ko) 2010-12-10 2010-12-10 입체시 동화상 생성 장치, 입체시 동화상 생성 방법
JP2012547665A JP5644862B2 (ja) 2010-12-10 2010-12-10 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム
US13/912,589 US20130271569A1 (en) 2010-12-10 2013-06-07 Stereoscopic moving picture generating apparatus and stereoscopic moving picture generating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/072281 WO2012077238A1 (ja) 2010-12-10 2010-12-10 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/912,589 Continuation US20130271569A1 (en) 2010-12-10 2013-06-07 Stereoscopic moving picture generating apparatus and stereoscopic moving picture generating method

Publications (1)

Publication Number Publication Date
WO2012077238A1 true WO2012077238A1 (ja) 2012-06-14

Family

ID=46206757

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/072281 WO2012077238A1 (ja) 2010-12-10 2010-12-10 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム

Country Status (5)

Country Link
US (1) US20130271569A1 (ja)
JP (1) JP5644862B2 (ja)
KR (1) KR101479435B1 (ja)
CN (1) CN103262552A (ja)
WO (1) WO2012077238A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022255147A1 (ja) * 2021-06-03 2022-12-08 ソニーセミコンダクタソリューションズ株式会社 表示装置、表示システム、および表示駆動方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3685587B1 (en) * 2017-09-22 2021-07-28 Dolby Laboratories Licensing Corporation Backward compatible display management metadata compression

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164328A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 立体映像表示装置
JP2000209614A (ja) * 1999-01-14 2000-07-28 Sony Corp 立体映像システム
JP2010213084A (ja) * 2009-03-11 2010-09-24 Fujifilm Corp 撮像装置、画像補正方法および画像補正プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322199A (ja) * 1996-05-29 1997-12-12 Olympus Optical Co Ltd 立体映像ディスプレイ装置
JP3802630B2 (ja) * 1996-12-28 2006-07-26 オリンパス株式会社 立体画像生成装置および立体画像生成方法
JP3997501B2 (ja) * 1998-09-03 2007-10-24 ソニー株式会社 被写体認識装置、被写体認識方法、自動追尾装置及び自動追尾方法
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP4148811B2 (ja) * 2003-03-24 2008-09-10 三洋電機株式会社 立体画像表示装置
JP4284644B2 (ja) * 2003-05-23 2009-06-24 財団法人生産技術研究奨励会 ３次元モデル構築システム及び３次元モデル構築プログラム
JP4027268B2 (ja) * 2003-05-29 2007-12-26 株式会社ソフィア 遊技機
CN101237590B (zh) * 2007-02-01 2010-05-19 广达电脑股份有限公司 立体影像显示方法
JP2009055380A (ja) * 2007-08-28 2009-03-12 Mitsubishi Electric Corp 画像信号処理装置および画像信号処理方法
US8301013B2 (en) * 2008-11-18 2012-10-30 Panasonic Corporation Reproduction device, reproduction method, and program for stereoscopic reproduction
JP2010152521A (ja) * 2008-12-24 2010-07-08 Toshiba Corp 画像立体化処理装置及び方法
JP2010278878A (ja) * 2009-05-29 2010-12-09 Fujifilm Corp 立体画像表示装置及びその表示画像切替方法
JP5185202B2 (ja) * 2009-06-03 2013-04-17 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
JP5491786B2 (ja) * 2009-07-21 2014-05-14 富士フイルム株式会社 画像再生装置及び方法
JP4482657B1 (ja) * 2009-09-25 2010-06-16 学校法人 文教大学学園 ３次元コンテンツを立体コンテンツに自動変換するステレオビューア
CN101729918A (zh) * 2009-10-30 2010-06-09 无锡景象数字技术有限公司 一种实现双目立体图像校正和显示优化的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164328A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 立体映像表示装置
JP2000209614A (ja) * 1999-01-14 2000-07-28 Sony Corp 立体映像システム
JP2010213084A (ja) * 2009-03-11 2010-09-24 Fujifilm Corp 撮像装置、画像補正方法および画像補正プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022255147A1 (ja) * 2021-06-03 2022-12-08 ソニーセミコンダクタソリューションズ株式会社 表示装置、表示システム、および表示駆動方法

Also Published As

Publication number Publication date
US20130271569A1 (en) 2013-10-17
KR101479435B1 (ko) 2015-01-05
CN103262552A (zh) 2013-08-21
KR20130083929A (ko) 2013-07-23
JP5644862B2 (ja) 2014-12-24
JPWO2012077238A1 (ja) 2014-05-19

Similar Documents

Publication Publication Date Title
JP5406269B2 (ja) 奥行き検知装置及び方法
US8488869B2 (en) Image processing method and apparatus
JP5638974B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US8514275B2 (en) Three-dimensional (3D) display method and system
JP2007295559A (ja) ビデオ処理および表示
JP2011176541A (ja) 立体映像処理装置および方法、並びにプログラム
JP5644862B2 (ja) 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム
JP5127973B1 (ja) 映像処理装置、映像処理方法および映像表示装置
WO2012120880A1 (ja) 立体画像出力装置及び立体画像出力方法
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
JP5655862B2 (ja) 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム
JP5765418B2 (ja) 立体視画像生成装置、立体視画像生成方法、立体視画像生成プログラム
JP6021063B2 (ja) 動画編集装置、動画編集方法、プログラムおよび集積回路
WO2011114745A1 (ja) 映像再生装置
JP5459231B2 (ja) 擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置
US9621870B2 (en) Temporal cadence perturbation for time-division stereoscopic displays
US9247229B2 (en) Temporal cadence perturbation for time-division stereoscopic displays
JP2011142410A (ja) 画像処理装置
US9219903B2 (en) Temporal cadence perturbation for time-division stereoscopic displays
KR20110091377A (ko) 최적시차 3ｄ 영상물 제작방법, 그리고, 기록매체
JP6056459B2 (ja) 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム
TW201310967A (zh) 立體影像處理裝置與方法
JP2013090170A (ja) 立体視映像再生装置
JP2011146830A (ja) 映像処理装置、映像識別方法、映像表示装置及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10860452

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012547665

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20137014799

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10860452

Country of ref document: EP

Kind code of ref document: A1