WO2011096252A1 - 画像処理システム、画像処理方法、およびプログラム - Google Patents

画像処理システム、画像処理方法、およびプログラム Download PDF

Info

Publication number
WO2011096252A1
WO2011096252A1 PCT/JP2011/050320 JP2011050320W WO2011096252A1 WO 2011096252 A1 WO2011096252 A1 WO 2011096252A1 JP 2011050320 W JP2011050320 W JP 2011050320W WO 2011096252 A1 WO2011096252 A1 WO 2011096252A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
virtual viewpoint
region
photographing
Prior art date
Application number
PCT/JP2011/050320
Other languages
English (en)
French (fr)
Inventor
墨友　博則
Original Assignee
コニカミノルタホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタホールディングス株式会社 filed Critical コニカミノルタホールディングス株式会社
Priority to EP11739601.0A priority Critical patent/EP2533191B1/en
Priority to JP2011552722A priority patent/JP5327339B2/ja
Priority to US13/574,962 priority patent/US9013559B2/en
Publication of WO2011096252A1 publication Critical patent/WO2011096252A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/264—Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Definitions

  • the present invention relates to an image processing technique.
  • an image that captures the same subject from a virtual viewpoint that is different from the viewpoint related to the captured image is generated in a pseudo manner from one captured image, it is adopted in the so-called 3D television technology or the like.
  • An image group capable of stereoscopic viewing can be generated.
  • an area corresponding to a part of the subject that is not captured in the original captured image becomes an area (occlusion area) whose pixel value is unknown.
  • depth estimation data is generated from an image (non-stereoscopic image) that is not given depth information explicitly or implicitly like a stereo image, and the depth estimation is performed.
  • a pseudo stereoscopic image is generated from the data and the non-stereo image.
  • the pixel value related to the occlusion area is estimated based on the pixel value related to the area (photographing area) captured in the original captured image. For this reason, the pixel value to be compensated is false information, and the image in which the pixel value is compensated may be visually uncomfortable.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of generating a virtual viewpoint image that is visually uncomfortable.
  • an image processing system includes a first image obtained by photographing from a first viewpoint at a first photographing time, and a second photographing time different from the first photographing time.
  • An acquisition unit that acquires a second image obtained by shooting in the first virtual image, and a first virtual that can be acquired by shooting from a first virtual viewpoint that is pseudo-generated based on the first image and is different from the first viewpoint
  • a compensation unit that assigns a pixel value based on the second image to each pixel in a non-photographing region corresponding to a portion of the subject not captured in the first image in the viewpoint image.
  • An image processing system is the image processing system according to the first aspect, and is based on the first image and distance information related to a distance from the first viewpoint to each part of the subject. And a generator for generating the first virtual viewpoint image.
  • the image processing system according to the third aspect is the image processing system according to the second aspect, and further includes a distance measuring unit that measures the distance from the first viewpoint to each part of the subject.
  • An image processing system is the image processing system according to any one of the first to third aspects, wherein the compensation unit corresponds to the first image of the second images.
  • a recognition unit that recognizes a non-corresponding non-corresponding region, and assigns a pixel value to each pixel in the non-photographing region based on a pixel value related to the non-corresponding region.
  • An image processing system is the image processing system according to the fourth aspect, wherein the recognition unit includes two frame images in which the first and second images constitute a moving image file in MPEG format. In some cases, the non-corresponding region is recognized based on motion vector information included in the MPEG moving image file.
  • An image processing system is the image processing system according to the fourth or fifth aspect, wherein the compensation unit is included in a corresponding region corresponding to the first image of the second image.
  • a setting unit for setting a reference point to be processed, and position information of a virtual reference point corresponding to the reference point in the first virtual viewpoint image, and processing included in the reference point and the non-corresponding region in the second image Based on the relative positional relationship with the target point, the compensated point corresponding to the processing target point in the first virtual viewpoint image is specified, and the compensated point is determined according to the pixel value related to the processing target point. Is assigned a pixel value.
  • the image processing system according to a seventh aspect is the image processing system according to the sixth aspect, wherein the setting unit uses a point located in the vicinity of the processing corresponding point in the corresponding region as the reference point. Set.
  • An image processing system is the image processing system according to the sixth aspect, wherein the setting unit is located in the vicinity of the processing corresponding point in the corresponding region, and the second image A point at which the distance from the second viewpoint to the subject in the shooting is substantially the same as the processing target point is set as the reference point.
  • An image processing system is the image processing system according to any one of the first to third aspects, wherein the compensation unit is generated in a pseudo manner based on the second image, and Of the second virtual viewpoint images that can be acquired by shooting from the second virtual viewpoint having the same positional relationship as the first virtual viewpoint with respect to the first viewpoint with respect to the second viewpoint in the shooting of the second image, the first A pixel value related to the same coordinate as each pixel of the non-photographing area in one virtual viewpoint image is assigned to each pixel of the non-photographing area.
  • An image processing system is the image processing system according to the third aspect, wherein a first object region where a specific type of object is captured is detected from the first image, and the second image is detected. A second object region where the specific type of object is captured is detected, and three-dimensional information relating to each pixel included in the first and second object regions is calculated based on a measurement result by the distance measuring unit.
  • An image processing system is the image processing system according to any one of the first to eighth aspects, wherein the compensation unit is generated in a pseudo manner from the second image.
  • the viewpoint image Based on the viewpoint image, a pixel value is assigned to each pixel of the non-photographing region, the second image is an image acquired by photographing from a second viewpoint, and the second virtual viewpoint image is a second image. It is an image that can be acquired by shooting from a virtual viewpoint, and the relative positional relationship between the second viewpoint and the second virtual viewpoint is the relative positional relationship between the first viewpoint and the first virtual viewpoint.
  • An image processing system is the image processing system according to any one of the first to eighth aspects, wherein the first image is obtained by photographing with a first camera, and the second image Is obtained by photographing with a second camera different from the first camera.
  • An image processing system is the image processing system according to any one of the first to eighth aspects, wherein the first image is obtained by photographing with a first camera, and the acquisition unit includes , Obtaining a third image obtained by photographing with a second camera different from the first camera at the first photographing time, and the compensation unit performs the non-processing based on the second image and the third image.
  • a pixel value is assigned to each pixel in the imaging region.
  • An image processing system is the image processing system according to any one of the first to fifth aspects, wherein a first object region in which a specific type of object is captured from the first image, and the The first posture of the object of the specific type captured in the first object region is detected, and is obtained by photographing at a plurality of photographing times different from the first photographing time and obtained by the obtaining unit.
  • a first detection unit that detects a plurality of object regions in which the specific type of object is captured from a plurality of images and a posture of the specific type of object captured in the plurality of object regions, respectively,
  • the compensation unit obtains information on the first virtual posture of the specific type of object captured in the first virtual viewpoint image from the first posture, and uses the first virtual posture as a reference from the plurality of object regions.
  • a second detection unit that detects an object region in which an object having a posture included in the allowable error is captured, and each pixel in the non-photographing region is a pixel based on the object region detected by the second detection unit; Assign a value.
  • An image processing system is the image processing system according to the fourteenth aspect, wherein when the compensation unit detects two or more object regions by the second detection unit, the two or more A pixel value is assigned to each pixel in the non-photographing area based on the object area included in the image having the photographing time closest to the first photographing time.
  • An image processing system is the image processing system according to the fourteenth aspect, wherein when the compensation unit detects two or more object regions by the second detection unit, the two or more A pixel value is assigned to each pixel in the non-photographing area based on one object area having a pixel value pattern closest to the pixel value pattern in the first object area.
  • An image processing method includes a first image obtained by photographing from a first viewpoint at a first photographing time, and a second image obtained by photographing at a second photographing time different from the first photographing time.
  • the first virtual viewpoint image that can be acquired by photographing from a first virtual viewpoint that is pseudo-generated based on the first image and is different from the first viewpoint.
  • the program according to the eighteenth aspect is executed by a control unit included in the information processing system, thereby causing the information processing system to function as an image processing system according to any one of the first to sixteenth aspects.
  • the pixel values related to the pixels in the non-photographing region in the virtual viewpoint image generated from the first image are different in the photographing time from the first image. Since it is compensated based on the two images, it is possible to generate a virtual viewpoint image that is visually uncomfortable.
  • the pixel values related to the pixels in the non-photographing area can be easily obtained, so that a virtual viewpoint image that is visually uncomfortable can be generated in a short time. It becomes possible.
  • the image processing system since the amount of calculation for specifying the pixel value related to each pixel in the non-photographing area is reduced, the generation of a virtual viewpoint image that is visually uncomfortable is further shortened. It can be executed in time.
  • any of the image processing systems since the pixel value related to each pixel in the non-photographing area is obtained with high accuracy, it is possible to more reliably generate a virtual viewpoint image that is visually uncomfortable. It becomes possible.
  • the processing speed can be increased by reducing the amount of calculation.
  • the pixel value relating to each pixel in the non-photographing area can be obtained more reliably.
  • the amount of calculation required to compensate for pixel values related to each pixel in the non-photographing area can be reduced.
  • the image processing system of the thirteenth aspect it is possible to generate a virtual viewpoint image that is visually uncomfortable regardless of changes in the shooting environment.
  • the pixel value associated with each pixel in the non-photographing region in the virtual viewpoint image generated from the first image is different from the first image. Since compensation is performed based on the second images having different shooting times, it is possible to generate a virtual viewpoint image that is visually uncomfortable.
  • FIG. 1 is a diagram illustrating a schematic configuration of an information processing system according to an embodiment.
  • FIG. 2 is a diagram illustrating a functional configuration of the information processing apparatus according to the embodiment.
  • FIG. 3 is an image diagram illustrating a T1 image.
  • FIG. 4 is a schematic view illustrating the shooting conditions for the T1 image.
  • FIG. 5 is an image diagram illustrating a T2 image.
  • FIG. 6 is a schematic view illustrating the imaging conditions for the T2 image.
  • FIG. 7 is a schematic view illustrating virtual shooting conditions related to the T1 virtual viewpoint image.
  • FIG. 8 is a diagram for explaining a method of generating a T1 virtual viewpoint image.
  • FIG. 9 is a diagram illustrating a T1 virtual viewpoint image including an occlusion area.
  • FIG. 10 is a diagram for explaining the first compensation method.
  • FIG. 11 is a diagram for explaining the first compensation method.
  • FIG. 12 is an image diagram showing a T1 virtual viewpoint image in which pixel values are compensated.
  • FIG. 13 is a flowchart showing an operation flow of the image processing system.
  • FIG. 14 is an image diagram illustrating a T2 image.
  • FIG. 15 is a schematic diagram illustrating the T2 image capturing condition.
  • FIG. 16 is an image diagram showing a T1 virtual viewpoint image in which pixel values are compensated.
  • FIG. 17 is an image diagram illustrating a T2 image.
  • FIG. 18 is a schematic diagram illustrating the T2 image shooting conditions.
  • FIG. 19 is an image diagram showing a T1 virtual viewpoint image in which pixel values are compensated.
  • FIG. 20 is a diagram illustrating a functional configuration of an information processing apparatus according to a modification.
  • FIG. 21 is a diagram for explaining an occlusion area filling method according to a modification.
  • FIG. 22 is a diagram illustrating a schematic configuration of an information processing system according to a modification.
  • FIG. 23 is a diagram illustrating a functional configuration of an information processing apparatus according to a modification.
  • FIG. 24 is a diagram illustrating a schematic configuration of an information processing system according to a modification.
  • FIG. 25 is a diagram illustrating a functional configuration of an information processing apparatus according to a modification.
  • FIG. 26 is a diagram illustrating a functional configuration of the information processing apparatus according to the first modification.
  • FIG. 27 is a diagram for explaining the compensation processing according to the first modification.
  • FIG. 28 is a schematic view illustrating imaging conditions according to the first modification.
  • FIG. 29 is a diagram for explaining the compensation processing according to the second modification.
  • FIG. 30 is a diagram for explaining a compensation process according to the third modification.
  • FIG. 31 is a diagram illustrating a functional configuration of the information processing apparatus according to the fourth modification.
  • FIG. 32 is a diagram for explaining a compensation process according to the fourth modification.
  • FIG. 33 is a flowchart illustrating an operation flow of the image processing apparatus according to the fourth modification.
  • FIG. 1 is a diagram showing a schematic configuration of an information processing system 1 according to an embodiment of the present invention.
  • the information processing system 1 includes a camera 2, a distance measuring device 3, and an information processing device 4 connected to the camera 2 and the distance measuring device 3 so as to be able to transmit and receive data.
  • the camera 2 is constituted by a digital camera having an image sensor such as a CCD, for example.
  • the camera 2 receives light from the subject and performs photographing to acquire a luminance information distribution related to the subject as image data related to the subject by photoelectric conversion. And the camera 2 acquires several image data by imaging
  • image data hereinafter referred to as “T1 image data”
  • image data hereinafter referred to as “T2 image data”
  • T1 image data image data
  • T2 image data image data
  • Each image data obtained by the camera 2 is transmitted to the information processing device 4 via the data line CB.
  • image data and images displayed based on the image data are collectively referred to as “images”.
  • images image data and images displayed based on the image data
  • T1 image data is referred to as “T1 image”
  • T2 image data is referred to as “T2 image”.
  • the distance measuring device 3 is a device that is provided together with the camera 2 so that the positional relationship and posture with respect to the camera 2 are maintained, and measures, for example, a distance to a subject as a photographing target using a laser.
  • the distance measuring device 3 measures the distance from the camera 2 (specifically, the image sensor) to each part of the subject, thereby measuring the distance from the viewpoint at the time of each photographing to each part of the subject.
  • T1 distance information information indicating the distance from the camera 2 (specifically, the viewpoint, hereinafter also referred to as “T1 viewpoint”) to each part of the subject at the time T1 is obtained.
  • T2 distance information information indicating the distance from the camera 2 (specifically, the viewpoint, hereinafter also referred to as “T2 viewpoint”) to each part of the subject at the time T2 is obtained.
  • the information processing apparatus 4 is configured by, for example, a personal computer (personal computer), an operation unit 41 including a mouse and a keyboard, a display unit 42 including a liquid crystal display, the camera 2 and the distance measuring device 3. And an interface (I / F) unit 43 for receiving data.
  • the information processing apparatus 4 includes a storage unit 44, an input / output unit 45, and a control unit 46.
  • the storage unit 44 is configured with, for example, a hard disk and stores each image obtained by the camera 2.
  • the storage unit 44 stores a program PG for performing a virtual viewpoint image generation operation described later.
  • the input / output unit 45 includes, for example, a disk drive, receives the storage medium 9 such as an optical disk, and exchanges data with the control unit 46.
  • the control unit 46 includes a CPU 46a that functions as a processor and a memory 46b that temporarily stores information, and comprehensively controls each unit of the information processing apparatus 4.
  • the control unit 46 reads and executes the program PG in the storage unit 44, thereby realizing various functions and various information processing.
  • the information processing system 1 functions as an image processing system that performs a virtual viewpoint image generation operation.
  • the program data stored in the storage medium 9 can be stored in the memory 46b via the input / output unit 45.
  • control unit 46 calculates an image predicted to be obtained by photographing with the virtual camera 2 when the camera 2 is virtually set at a position shifted from the camera 2 by a predetermined distance based on the T1 image. Then, a virtual viewpoint image generation operation to be generated in a pseudo manner is performed.
  • T1 virtual viewpoint image generation operation based on the T1 image, an image (which is assumed to be acquired if the camera 2 takes a picture from a virtual viewpoint different from the T1 viewpoint (hereinafter also referred to as “T1 virtual viewpoint”) ( (Hereinafter also referred to as “T1 virtual viewpoint image”).
  • the shooting direction of the camera 2 related to the T1 viewpoint (for example, the optical axis of the shooting lens) and the virtual shooting direction of the camera 2 related to the T1 virtual viewpoint (for example, the optical axis of the shooting lens) are approximately. Parallel (preferably completely parallel). Further, the T1 viewpoint and the T1 virtual viewpoint have a positional relationship that is shifted by a certain distance in a direction perpendicular to the shooting direction in a plane horizontal to the ground.
  • the “certain distance” is set to, for example, a general interval between human eyes.
  • T1 non-photographing area there is an area (hereinafter also referred to as “T1 non-photographing area”) corresponding to a portion of the subject that is not captured in the T1 image. For this reason, when the T1 virtual viewpoint image is simply generated from the T1 image, no pixel value is given to the T1 non-photographing region. Therefore, in the virtual viewpoint image generation operation, the pixel value of each pixel included in the T1 non-photographing region is compensated based on the T2 image. As a result, it is possible to generate a virtual viewpoint image that is visually uncomfortable.
  • control unit 46 generates a so-called stereoscopic image (3D image) from the T1 image and the T1 virtual viewpoint image.
  • the display unit 42 visually outputs the 3D image generated by the control unit 46.
  • 3D image stereoscopic image
  • the viewpoints of a large number of images obtained by the camera 2 at three or more timings are virtually different from each other.
  • a displayed image virtual viewpoint image
  • a 3D image in the form of a moving image is generated, and the 3D image is visually output by the display unit 42.
  • the T1 image and the two images are images capturing the same object and images capturing the same background. It is sufficient to satisfy at least one of the two conditions.
  • FIG. 2 is a diagram illustrating a functional configuration related to the virtual viewpoint image generation operation of the information processing apparatus 4.
  • the functional configuration of the control unit 46 is described as being realized by execution of a program, but may be realized by a dedicated hardware configuration.
  • control unit 46 includes an image acquisition unit 461, a distance information acquisition unit 462, a virtual viewpoint image generation unit 463, an occlusion compensation unit 464, and a stereoscopic image generation unit 465 as functional configurations. Have.
  • the units 461 to 465 will be described sequentially.
  • the image acquisition unit 461 acquires from the camera 2 a T1 image and a T2 image obtained sequentially by the camera 2.
  • the T1 image and the T2 image may be acquired by the image acquisition unit 461 after being temporarily stored in the storage unit 44 from the camera 2.
  • the position and orientation of the camera 2 that is, the shooting direction
  • the T1 viewpoint and the T2 viewpoint are the same.
  • FIG. 3 is an image diagram illustrating the T1 image G1
  • FIG. 4 is a schematic diagram illustrating the photographing conditions of the T1 image G1.
  • T1 object area an area (hereinafter referred to as “T1 object area”) A11 and a background 2WA that capture a person's head 2HU as an object in the foreground are captured.
  • T1 background region An image formed by a region (hereinafter referred to as “T1 background region”) A12 is illustrated. That is, the subject is composed of the head 2HU and the background 2WA.
  • T1 image G1 the horizontal position (specifically, address) is indicated by the X coordinate, and the vertical position (specifically, address) is indicated by the Y coordinate, with the upper left pixel as the origin. Shall.
  • FIG. 4 and subsequent drawings will be described by exemplifying those having the same configuration.
  • FIG. 4 shows a schematic view of the arrangement relationship of the camera 2, the person 2HU, and the background 2WA as viewed from above.
  • the outer edge of a space area that can be photographed by the camera 2 (hereinafter also referred to as “photographable area”) is indicated by a thick dashed line, and the optical path of light that enters the camera 2 from the head 2 ⁇ / b> HU as a foreground
  • the outer edge (hereinafter also referred to as “near view optical path”) is indicated by a thin one-dot chain line.
  • the T1 image G1 is obtained by photographing with the camera 2 from the front side of the head 2HU.
  • FIG. 5 is an image diagram illustrating the T2 image G2
  • FIG. 6 is a schematic diagram illustrating the photographing conditions of the T2 image G2.
  • FIG. 6 as in FIG. 4, a schematic view of the arrangement relationship of the camera 2, the person 2 ⁇ / b> HU, and the background 2 ⁇ / b> WA is shown from above, and the outer edge of the shootable area of the camera 2 is indicated by a thick dashed line.
  • the outer edge of the foreground optical path relating to the head 2HU is indicated by a thin one-dot chain line.
  • the position of the head 2HU and the outer edge of the foreground optical path related to the head 2HU at the time of photographing the T1 image G1 are indicated by thin broken lines.
  • the head 2HU has moved slightly to the left when viewed from the camera 2 and rotated clockwise by a slight angle (for example, about 20 degrees) as viewed from above, as compared to when the T1 image G1 was captured.
  • a T2 image G2 is obtained by photographing in a later state.
  • the head 2HU only moves in a horizontal plane and rotates around a vertical axis.
  • the T2 image G2 is obtained by photographing with the camera 2 from an oblique front of the head 2HU, and is an area (hereinafter also referred to as “T2 object area”) A21 that captures the head 2HU. , And an area (hereinafter also referred to as “T2 background area”) A22 that captures the background 2WA.
  • T2 object area an area that captures the head 2HU.
  • T2 background area an area that captures the background 2WA.
  • the distance information acquisition unit 462 acquires T1 distance information and T2 distance information sequentially obtained by the distance measuring device 3 from the distance measuring device 3.
  • the T1 distance information and the T2 distance information may be acquired by the distance information acquisition unit 462 after being temporarily stored in the storage unit 44 from the camera 2.
  • the virtual viewpoint image generation unit 463 generates a T1 virtual viewpoint image in a pseudo manner based on the T1 image G1 and T1 distance information indicating the distance from the T1 viewpoint to each part of the subject.
  • the T1 virtual viewpoint image is an image that can be acquired by shooting related to the T1 virtual viewpoint different from the T1 viewpoint related to shooting of the T1 image G1.
  • a T1 virtual viewpoint image is generated by shifting the position of each pixel (coordinates related to each pixel value) of the T1 image G1.
  • FIG. 7 is a schematic diagram illustrating a virtual photographing condition related to the T1 virtual viewpoint image.
  • FIG. 8 illustrates a method for generating a T1 virtual viewpoint image from the T1 image G1 based on the principle of triangulation.
  • FIG. 7 also shows the photographing conditions for the T1 image G1 shown in FIG.
  • the distance from the camera 2 (that is, the viewpoint) to the subject 20B is D
  • the separation distance between the T1 viewpoint and the T1 temporary viewpoint is B
  • the focal distance of the lens of the camera 2 is f
  • the T1 image G1 and the T1 virtual viewpoint image The relationship of the following formula (1) is established, where ⁇ d is the amount of pixel shift (parallax) that captures the same portion between the two.
  • the separation distance B is uniquely determined by virtually setting the position of the T1 virtual viewpoint with respect to the position of the T1 viewpoint.
  • the focal length f is determined by the design of the camera 2.
  • the distance D is given by the T1 distance information.
  • the parallax ⁇ d is obtained for each pixel of the T1 image G1. Therefore, a T1 virtual viewpoint image is generated by shifting each pixel of the T1 image G1 according to the parallax ⁇ d. That is, the parallax ⁇ d is the shift amount of each pixel when the T1 virtual viewpoint image is generated from the T1 image G1.
  • FIG. 9 is an image diagram illustrating the T1 virtual viewpoint image G11.
  • the T1 virtual viewpoint image G11 includes an area A111 that captures the head 2HU (hereinafter also referred to as “T1 virtual object area”) and an area that captures the background 2WA (hereinafter “T1 virtual background area”). A112).
  • This occlusion area is a T1 non-photographing area corresponding to a portion of the subject not captured in the T1 image.
  • the causes of this occlusion area are (I) a change in the angular relationship between the shooting direction and the direction in which the foreground object exists, (II) a background shift hidden by the foreground object, and (III) a camera. There are three reasons for the shift of the photographic range due to the angle of view of 2.
  • Three types of occlusion areas are generated: an occlusion area Ao112 near the object area A111, and (iii) an occlusion area Ao113 near the right end of the T1 virtual background area A112 due to cause (III).
  • the portions OP111 to OP113 corresponding to the three occlusion areas Ao111 to Ao113 are indicated by thick lines.
  • the occlusion area Ao113 is recognized so as to be uniquely distinguishable from the relationship between the separation distance B and the angle of view.
  • the occlusion compensation unit 464 compensates the pixel value related to the occlusion area corresponding to the portion of the subject not captured in the T1 image G1 in the T1 virtual viewpoint image based on the T2 image G2 (hereinafter referred to as “pixel value compensation”). Process ").
  • pixel value compensation the method for realizing pixel value compensation processing (pixel value compensation method).
  • the first and second compensation methods will be sequentially described as specific examples.
  • First filling method> 10 to 12 are diagrams for explaining the first compensation method.
  • a point P11 in the T1 object region A11 (here, a point indicating the rightmost pixel in the T1 object region A11) and a point P12 in the T1 background region A12 (
  • a diagram in which a point P11 in the T1 background area A12 and a point indicating an adjacent pixel) are attached for convenience is shown.
  • FIG. 11 with respect to the T2 image G2 (FIG. 5), a point P21 indicating a pixel in which the same part as the subject captured by the pixel at the point P11 in the T1 image G1 is captured, and the T1 image G1
  • the figure to which the point P22 which shows the pixel from which the part same as the part of the to-be-photographed object caught by the pixel of the point P12 was attached for convenience is shown.
  • the head 2HU moves to the left as viewed from the camera 2, and the orientation of the head 2HU changes.
  • a portion of the head 2HU hereinafter also referred to as “object appearance portion”
  • a portion of the background 2WA hereinafter also referred to as “background appearance portion”
  • the object appearance portion OA21 and the background appearance portion BA22 are indicated by thick lines.
  • T2 object appearance region an area where the object appearance portion OA21 is captured (hereinafter also referred to as “T2 object appearance region”) N21 is hatched, and a region where the background appearance portion BA22 is captured (hereinafter also referred to as “T2 background appearance region”). N22 is indicated by hatching.
  • pixel values relating to the pixels of the T2 object appearance region N21 and the T2 background appearance region N22 are assigned to the pixels of the occlusion regions Ao111 and Ao112 of the T1 virtual viewpoint image G11 (FIG. 9). .
  • the recognition unit that is functionally realized in the occlusion compensation unit 464 performs pixel association between the T1 image G1 and the T2 image G2, and thus the T1 image G1 of the T2 images G2.
  • An area that does not correspond to (hereinafter also referred to as “non-corresponding area”) is recognized.
  • the “pixel association” referred to here is, for example, a process of searching for a pixel capturing the same subject from the T2 image G2 for each pixel included in the T1 image G1, and is a so-called SAD (SumSof Absolute Difference) method. And an existing method called POC (Phase-only Correlation) method.
  • the non-corresponding area recognized here includes a T2 object appearance area N21 and a T2 background appearance area N22. Then, by focusing on the difference between the distance from the camera 2 to the head 2HU and the distance from the camera 2 to the background 2WA, the T2 object appearance area N21 and the T2 background appearance area N22 are distinguished based on the T2 distance information. Recognized as possible. The correspondence between the point P11 in the T1 object area A11 and the point P21 in the T2 object area A21, that is, the shift amount of the object from time T1 to time T2 is also obtained.
  • a process of associating the pixel of the T2 object appearance area N21 with the pixel of the occlusion area Ao111 (hereinafter also referred to as “object association process”), and the pixel of the T2 background appearance area N22 and the occlusion area
  • object association process a process of associating the pixel of the T2 object appearance area N21 with the pixel of the occlusion area Ao111
  • background association process a process of associating the Ao 112 pixel
  • the parallax shift from the T2 distance information and the above equation (1) is performed.
  • (Quantity) ⁇ d is calculated, and pixels are associated according to the shift amount ⁇ d.
  • the object association processing if the case is a simplified case in which there is no shift amount between the points P11 and P21 (that is, the shift amount according to the passage of time), the same processing as the background association processing is performed.
  • the X coordinate of each arbitrary pixel is set to x
  • the Y coordinate is set to y
  • the coordinate related to each pixel is in the format of (x, y, T).
  • the pixel value associated with each pixel is represented in the form of I (x, y, T).
  • the distance D f is the above formula ( When is substituted for D 1), Motomari shift amount [Delta] d f of each pixel of the T2 object appearance region N21, the distance D h is substituted by D in the above equation (1), the T2 background appearance region N22 A shift amount ⁇ d h related to each pixel is obtained.
  • the coordinates in the occlusion area Ao111 are (x N21 ⁇ d f , y N21 , T1). Is associated with the pixel.
  • the coordinates of an arbitrary pixel in the T2 background appearance area N22 are (x N22 , y N22 , T2)
  • the coordinates of the pixel in the occlusion area Ao112 are (x N22 ⁇ d h , y N22 , T1). Corresponding to a certain pixel. Such pixel association is performed for each pixel in the occlusion areas Ao111 and Ao112.
  • the coordinates in the T2 object appearance area N21 are (x N21 ) with respect to the pixels whose coordinates in the occlusion area Ao111 are (x N21 - ⁇ d f , y N21 , T1).
  • Y N21 , T2) is assigned a pixel value I (x N21 , y N21 , T2) related to the pixel.
  • a pixel whose coordinates in the occlusion area Ao112 are (x N22 - ⁇ d h , y N22 , T1)
  • a pixel whose coordinates in the T2 background appearance area N22 are (x N22 , y N22 , T2).
  • Such a pixel value I (x N22 , y N22 , T2) is given.
  • the pixel value compensation process is completed by applying such pixel values to each pixel in the occlusion areas Ao111 and Ao112.
  • FIG. 12 shows a T1 virtual viewpoint image G11r generated by performing pixel value compensation processing on the T1 virtual viewpoint image G11.
  • the T1 virtual viewpoint image G11r is based on the T1 virtual viewpoint image G11 shown in FIG. 9 with respect to the occlusion area Ao111 and the area No111 to which the pixel value related to the T2 object appearance area N21 is assigned, and the occlusion area Ao112.
  • the region No112 to which the pixel value related to the T2 background appearance region N22 is added is added.
  • the areas No111 and No112 are hatched.
  • FIG. 12 a T1 virtual viewpoint image G11r in which the occlusion area Ao113 remains is illustrated. For this reason, for example, an image having a rectangular outer edge of a size that does not include the occlusion area Ao113 is generated from the T1 virtual viewpoint image G11r, and the rectangular shape of the same size is generated from the T1 image G1 in accordance with this size. An image having the outer edge may be generated. Further, a configuration in which the same pixel value as the pixel value related to the neighboring pixel is given to the occlusion region Ao113 is also conceivable.
  • the object association process is preferably a process in which the shift amount is added.
  • object association processing for example, if the shift amount between the point P11 and the point P21 is ⁇ d fT , a pixel whose coordinates in the T2 object appearance region N21 are (x N21 , y N21 , T2) is , The coordinates in the occlusion area Ao111 are associated with a pixel whose coordinates are (x N21 - ⁇ d f - ⁇ d fT , y N21 , T1).
  • the pixel at the point P21 is preferably a pixel in the vicinity of the T2 object appearance region N21, for example, adjacent to the T2 object appearance region N21. It may be a pixel, or may be a pixel within a predetermined number of ranges from the T2 object appearance region N21. The predetermined number may be several, for example, and may be set from the relationship between the distance from the T2 viewpoint to the subject and the resolution.
  • each pixel in the area to which the pixel value is not given by the pixel value compensation process is given a pixel value by an interpolation process using a pixel value of a neighboring pixel. May be.
  • FIG. 13 is a flowchart illustrating an operation flow of pixel value compensation processing realized in the information processing system 1.
  • a T1 image G1 is acquired by the image acquisition unit 461 according to the shooting operation by the camera 2 (step ST1), and the distance according to the distance measurement operation by the distance measuring device 3
  • the information acquisition unit 462 obtains T1 distance information (step ST2).
  • the T2 image G2 is acquired by the image acquisition unit 461 according to the photographing operation by the camera 2 (step ST3), and the distance information acquisition unit 462 performs the T2 distance according to the distance measurement operation by the distance measuring device 3.
  • Information is obtained (step ST4).
  • the virtual viewpoint image generation unit 463 generates a T1 virtual viewpoint image based on the T1 image G1 and the T1 distance information (step ST5).
  • pixel values are assigned to the pixels of the occlusion areas Ao111 and Ao112 by the occlusion compensation unit 464 (step ST6).
  • an image (virtual viewpoint image) in which viewpoints are virtually different may be obtained for a large number of images obtained by the camera 2 at three or more timings.
  • a pixel value may be given to each pixel of the occlusion area Ao112 related to the background 2WA.
  • FIG. 14 is an image diagram illustrating a T2 image G2a obtained by shooting in a state after the head 2HU has moved slightly to the left when viewed from the camera 2 from time T1 to time T2.
  • FIG. 15 is a schematic view illustrating the imaging conditions for the T2 image G2a.
  • FIG. 15 is a schematic diagram showing the arrangement relationship of the camera 2, the person 2 HU, and the background 2 WA as viewed from above, as in FIGS. 4 and 6.
  • the outer edge of the foreground optical path related to the head 2HU is indicated by a thin one-dot chain line. Further, the position of the head 2HU at time T1 and the outer edge of the foreground optical path related to the head 2HU are indicated by thin broken lines.
  • the T2 image G2a includes a T2 object region A21a that captures the head 2HU and a T2 background region A22a that captures the background 2WA.
  • a T2 background appearance area N22a is generated.
  • a thick line is attached to the portion BA22a corresponding to the T2 background appearance area N22a.
  • a pixel value is assigned to each pixel of the occlusion area Ao112 based on the pixel value of the T2 background appearance area N22a.
  • the pixel value corresponding to the occlusion area Ao111 cannot be obtained from the T2 image G2a.
  • FIG. 16 is a diagram illustrating the T1 virtual viewpoint image G11ra after the pixel value compensation processing has been performed.
  • the T1 virtual viewpoint image G11ra is based on the T1 virtual viewpoint image G11 shown in FIG. 9 and is obtained by adding an area No112a to which the pixel value related to the T2 background appearance area N22a is added to the occlusion area Ao112. .
  • hatched hatching is added to the region No 112 a.
  • a pixel value may be given to each pixel of the occlusion area Ao111 related to the head 2HU.
  • FIG. 17 exemplifies a T2 image G2b obtained by shooting in a state after the head 2HU is rotated by a slight angle (for example, about 20 degrees) clockwise as viewed from above from time T1 to time T2. It is an image figure.
  • FIG. 18 is a schematic view illustrating the imaging conditions for the T2 image G2b.
  • FIG. 18 a schematic view of the arrangement relationship of the camera 2, the person 2 ⁇ / b> HU, and the background 2 ⁇ / b> WA from the top is shown. Is indicated by a thick alternate long and short dash line, and the outer edge of the foreground optical path related to the head 2HU is indicated by a thin alternate long and short dash line.
  • the position of the head 2HU at time T1 is indicated by a thin broken line, and the outer edge of the foreground optical path related to the head 2HU at time T1 is substantially the same as the outer edge of the foreground optical path related to the head 2HU at time T2. Become.
  • the T2 image G2b includes a T2 object region A21b that captures the head 2HU and a T2 background region A22b that captures the background 2WA.
  • a T2 object appearance region N21b is generated.
  • a thick line is attached to the portion OA21b corresponding to the T2 background appearance area N21a.
  • a pixel value is assigned to each pixel of the occlusion area Ao111 based on the pixel value of the T2 object appearance area N21b.
  • the pixel value corresponding to the occlusion area Ao112 cannot be obtained from the T2 image G2b.
  • FIG. 19 is a diagram illustrating the T1 virtual viewpoint image G11rb after the pixel value compensation processing is performed.
  • the T1 virtual viewpoint image G11rb is based on the T1 virtual viewpoint image G11 shown in FIG. 9 and is obtained by adding a region No 111b to which a pixel value related to the T2 object appearance region N21b is added to the occlusion region Ao111. .
  • hatched hatching is added to the area No. 111b.
  • the pixel values associated with each pixel in the T1 non-photographing region in the T1 virtual viewpoint image G11 are supplemented based on the T2 image G2 having different photographing times. For this reason, a T1 virtual viewpoint image after pixel value compensation processing (hereinafter also referred to as “compensated T1 virtual viewpoint image”) that is visually uncomfortable is generated.
  • Second compensation method In the second compensation method, the object association process and the background association process are performed more accurately than in the first compensation method.
  • the second compensation method is the same as the first compensation method except for the object association process and the background association process.
  • an object association process and a background association process different from those of the first compensation method will be described, and redundant description of the same parts as those of the first compensation method will be omitted.
  • association processing In the second compensation method, the object association processing and the background association processing are performed by the same method. Therefore, hereinafter, the object association processing and the background association processing are collectively referred to as “association processing”. .
  • the coordinates of an arbitrary pixel in the T2 object appearance region N21 and the T2 background appearance region N22 are (x N2 , y N2 , T2).
  • a region corresponding to the T1 image G1 in the T2 image G2, that is, a region where the same portion as the subject captured in the T1 image G1 is captured is referred to as a “corresponding region”.
  • an area in which the same part of the subject captured in the T1 object area A11 in the T2 object area A21 is captured is referred to as an “object corresponding area”, and the T1 background area A12 in the T2 background area A22.
  • An area where the same part as the captured subject part is captured is referred to as a “background corresponding area”.
  • the “object corresponding area” and the “background corresponding area” are collectively referred to as “corresponding area”.
  • a pixel in which a portion of a subject that satisfies the following three conditions (specifically, conditions 1 to 3) is captured is determined in the associating process. It is set as a reference point.
  • T2 processing target pixel Located in the vicinity of a pixel (hereinafter also referred to as “T2 processing target pixel”) whose coordinates to be subjected to the association processing are (x N2 , y N2 , T2) in the T2 image G2.
  • T2 processing target pixel whose coordinates to be subjected to the association processing are (x N2 , y N2 , T2) in the T2 image G2.
  • the part of the subject captured by the pixels (neighboring pixels).
  • T2 processing target point The portion of the subject captured by the T2 processing target pixel (hereinafter also referred to as “T2 processing target point”) and the portion of the subject whose separation distance from the camera 2 is substantially the same.
  • a portion that functions as a setting unit of the occlusion compensation unit 464 causes a pixel that satisfies the above three conditions (specifically, conditions 1 to 3) in the corresponding region to be a T2 reference pixel (hereinafter referred to as “T2 reference point”).
  • T2 reference point a T2 reference pixel
  • the coordinates of the T2 reference point are (x 2 , y 2 , T2).
  • the “neighboring pixel” in the above condition 2 may be a pixel that is estimated as a pixel that captures the same object (or the same background) as the pixel of the T2 processing target point.
  • the neighboring pixel may be a pixel in the object corresponding area.
  • the neighboring pixel is a pixel having a shorter separation distance from the T2 processing target point and in the vicinity of the T2 object appearance region N21. Therefore, the neighboring pixel may be a pixel adjacent to the T2 object appearance region N21 or may be a pixel within a predetermined number of ranges from the T2 object appearance region N21. The predetermined number may be several, for example, and may be set based on the relationship between the distance to the subject and the resolution.
  • the neighboring pixels may be pixels in the background corresponding area.
  • the neighboring pixel is preferably a pixel that has a shorter separation distance from the T2 processing target point and is near the T2 background appearance area N22. Therefore, the neighboring pixel may be a pixel adjacent to the T2 background appearance area N22, or may be a pixel within a predetermined number of ranges from the T2 background appearance area N22. The predetermined number may be several, for example, and may be set based on the relationship between the distance to the subject and the resolution.
  • the allowable range as the substantially same range is different depending on the accuracy of distance measurement. It includes a separation distance within a certain range with respect to the separation distance to the captured subject portion. This “a certain range” may be set to a predetermined ratio range (for example, about several to 10%) with respect to the distance from the camera 2 to the portion of the subject captured by the pixel of the T2 processing target point. From the viewpoint of improving the accuracy of the association processing, the narrower the better.
  • T1 reference point a T1 reference pixel
  • the coordinates of the T1 reference point are (x 1 , y 1 , T1).
  • the T2 reference point is included in the T2 object region A21
  • the point P11 (FIG. 10) included in the T1 object region A11 is set as the T1 reference point
  • the T2 reference point is included in the T2 background region A22.
  • a point P12 (FIG. 10) included in the T1 background area A12 is set as the T1 reference point.
  • T1 The distance from the T1 viewpoint to the portion of the subject captured by the pixel at the T1 reference point is D 1 (T1)
  • D 2 The distance from the T2 viewpoint to the portion of the subject captured by the pixel at the T2 reference point is D 2 ( T2)
  • D N2 D N2 (T2).
  • T1 compensated point the pixel to which the pixel value of the T2 processing target point is given is defined as a T1 compensated pixel (hereinafter also referred to as “T1 compensated point”)
  • T1 compensated point the coordinates of the T1 compensated point Is (x o11 , y o11 , T1).
  • the distance D 1 (T1) is obtained from the T1 distance information
  • the distance D 2 (T2) and the distance D N2 (T2) are obtained from the T2 distance information.
  • a pixel in which the same subject portion as the T1 reference point is captured on the T1 virtual viewpoint image G11 is defined as a T1 virtual reference pixel (hereinafter also referred to as “T1 virtual reference point”), and the coordinates of the T1 reference point in the T1 image G1
  • T1 virtual reference point a pixel in which the same subject portion as the T1 reference point is captured on the T1 virtual viewpoint image G11
  • T1 virtual reference point the coordinates of the T1 reference point in the T1 image G1
  • T1 parallax the difference from the coordinates of the T1 virtual reference point in the T1 virtual viewpoint image G11
  • the distance D 1 (T1) of the T1 parallax ⁇ d T1 is expressed by the above equation (1). It is calculated by being substituted.
  • the T1 virtual reference point is the point P111 (FIG. 9)
  • the T1 virtual reference point is It becomes a point P112 (FIG. 9).
  • T2 parallax the parallax obtained by substituting the distance D 2 (T2) into the above equation (1) is denoted by ⁇ d T2 .
  • T2 virtual viewpoint image T2 distance information indicating the distance from the T2 viewpoint to each part of the subject
  • the T2 parallax ⁇ d T2 is between the point where the same part as the T2 reference point in the T2 virtual viewpoint image (hereinafter also referred to as “T2 virtual reference point”) and the T2 reference point in the T2 image G2. It corresponds to the amount of deviation of coordinates.
  • T1 virtual processing target point a pixel in which the same subject portion as the T2 processing target point is captured is defined as a T1 virtual processing target pixel (hereinafter also referred to as “T1 virtual processing target point”).
  • T1 virtual processing target point corresponds to a T1 compensated point.
  • the coordinates of the T1 compensated point are obtained by a process according to the following calculation formula.
  • the X coordinate of the T1 compensated point has the relationship of the following formula (2).
  • x o11 ⁇ x 1 ⁇ d T1 ⁇ + (x N2 ⁇ x 2 ) + ⁇ d T1 ⁇ d T2 ⁇ (2).
  • the first term on the right side of the above equation (2) indicates the X coordinate of a pixel that does not belong to the occlusion area in the T1 virtual viewpoint image G11, and specifically, the T1 virtual reference in the T1 virtual viewpoint image G11. Indicates the position information of the point. Specifically, this corresponds to the X coordinate of the T1 virtual reference point corresponding to the T1 reference point in the T1 virtual viewpoint image G11.
  • the second term on the right side of the above equation (2) indicates a coordinate difference (hereinafter referred to as “T2 deviation amount”) between the T2 reference point and the T2 processing target point on the T2 image G2. That is, it shows the relative positional relationship between the T2 reference point and the T2 processing target point in the T2 image G2.
  • T2 deviation amount a coordinate difference between the T2 reference point and the T2 processing target point on the T2 image G2.
  • T1 virtual deviation amount a coordinate difference between the T2 reference point and the T2 processing target point on the T2 image G2.
  • the third term on the right side of the above equation (2) indicates the difference ( ⁇ d T1 ⁇ d T2 ) between the T1 parallax ⁇ d T1 and the T2 parallax ⁇ d T2 . If the T1 parallax ⁇ d T1 and the T2 parallax ⁇ d T2 are different, the amount of deviation (T2 deviation amount) between the T2 reference point and the T2 processing point on the T2 image G2 and the T1 virtual reference on the T1 virtual viewpoint image G11 There is a difference between the amount of deviation between the point and the T1 virtual processing target point (T1 virtual amount of deviation). Therefore, the third term on the right side has a role of correcting the difference between the T2 deviation amount and the T1 virtual deviation amount.
  • the association process including the object association process and the background association process is realized. That is, the association processing is performed on each pixel of the occlusion areas Ao111 and Ao112, that is, on the T2 processing point of the coordinates (x N2 , y N2 , T2) for the T1 compensated point of the coordinates (x o11 , yo 11 , T1). Points are associated.
  • the positional information of the T1 virtual reference point in the T1 virtual viewpoint image G11 and the relative positional relationship between the T2 reference point and the T2 processing target point in the T2 image is specified in the T1 virtual viewpoint image G11. Then, the pixel value related to the T2 processing target point is given to the T1 compensated point. For this reason, the pixel value concerning each pixel of the T1 non-photographing region is obtained with high accuracy. As a result, a compensated T1 virtual viewpoint image that is visually uncomfortable is generated more reliably.
  • T1 viewpoint and the T1 virtual viewpoint have a positional relationship that is shifted by a certain distance in the direction perpendicular to the shooting direction in a plane perpendicular to the ground
  • a similar mathematical formula may be set to obtain the value of the Y coordinate of the T1 compensation point.
  • the above equation (2) is obtained for both the X coordinate and the Y coordinate.
  • a similar mathematical expression may be set to obtain the X and Y coordinate values of the T1 compensation point.
  • the T2 reference point is set so as to satisfy three conditions (specifically, conditions 1 to 3).
  • the T2 reference point may be set so as to satisfy two conditions (specifically, conditions 1 and 2).
  • the stereoscopic image generation unit 465 generates a 3D image capable of so-called stereoscopic vision from the T1 image and the T1 virtual viewpoint image.
  • a virtual viewpoint image in which the viewpoint is virtually different is obtained for each of a large number of images obtained by the camera 2 at three or more timings, each of the image at the same shooting time and each of the virtual viewpoint images is displayed.
  • a 3D image in the form of a moving image is generated based on the paired images.
  • the 3D image generated by the stereoscopic image generation unit 465 is stored in either the storage unit 44 or the storage medium 9. Then, the 3D image may be output visually on the display unit 42 in a timely manner.
  • the pixel value related to each pixel of the occlusion area in the T1 virtual viewpoint image G11 is changed to the T2 image G2 having different shooting times. Compensated based on. For this reason, it is possible to generate a compensated T1 virtual viewpoint image without visually uncomfortable feeling. As a result, it is possible to generate a stereoscopically viewable 3D image that is visually uncomfortable.
  • the T2 object appearance region N21 and the T2 background appearance region N22 are recognized by the pixel correspondence between the T1 image G1 and the T2 image G2. As a result, since the pixel value related to each pixel in the occlusion area is easily obtained, the generation of the compensated T1 virtual viewpoint image that is visually uncomfortable is executed in a short time.
  • the T2 processing target in the T1 virtual viewpoint image G11 A T1 compensated point corresponding to the point is identified. For this reason, the pixel value which concerns on each pixel of an occlusion area
  • information indicating a two-dimensional position on the image is mainly used to identify the T1 compensated point corresponding to the T2 processing target point.
  • the present invention is not limited to this.
  • information indicating a three-dimensional position may be used to specify a T1 compensated point corresponding to the T2 processing target point.
  • a specific example will be described.
  • FIG. 20 is a diagram illustrating a functional configuration related to the virtual viewpoint image generation operation of the information processing apparatus 4 according to the modification.
  • the functional configuration of the control unit 46 is realized by executing the program PGA stored in the storage unit 44 by the control unit 46
  • the hardware configuration may be realized.
  • the control unit 46 includes an image acquisition unit 461, a distance information acquisition unit 462, a virtual viewpoint image generation unit 463, an occlusion compensation unit 464A, a stereoscopic image generation unit 465, an object, as a functional configuration.
  • An estimation unit 466 and an information update unit 467 are included. Note that the image acquisition unit 461, the distance information acquisition unit 462, the virtual viewpoint image generation unit 463, and the stereoscopic image generation unit 465 have the same functions as those of the above-described embodiment, and thus are described with the same reference numerals. Omitted.
  • the object estimation unit 466 detects the T1 object region A11 in which a specific type of object (here, the head) is captured from the T1 image G1, and the specific type of object (here, the head) is detected from the T2 image G2.
  • the captured T2 object area A21 is detected.
  • the T1 object region A11 can be detected from the T1 image G1 by pattern matching using a general shape of the head or face, a pixel value pattern, and the like, and the T2 object region A21 can be detected from the T2 image G2. It is possible to detect.
  • the object estimation unit 466 as a calculation unit determines the position in the three-dimensional space for the portion of the subject captured by each pixel constituting the T1 object region A11 based on the T1 distance information obtained from the distance information acquisition unit 462.
  • the indicated information (three-dimensional information) is calculated.
  • the object estimation unit 466 is based on the T2 distance information obtained from the distance information acquisition unit 462, and information indicating the position of the subject captured by each pixel constituting the T2 object region A21 in the three-dimensional space ( 3D information) is calculated.
  • the coordinates (Xo, Yo, Zo) in the three-dimensional space of each part are calculated by the following equations (3) to (5).
  • Xo, Yo, and Zo indicate coordinates concerning three axes of X, Y, and Z that are orthogonal to each other.
  • the direction from the camera 2 toward the subject portion corresponds to the direction in which the Z axis extends
  • the direction from the T1 viewpoint to the T2 viewpoint corresponds to the direction in which the X axis extends
  • the direction perpendicular to the ground corresponds to the direction in which the Y axis extends.
  • the information update unit 467 associates the three-dimensional information and the pixel value of each pixel constituting the T1 object region A11 and stores the information as object information 441 in the storage unit 44. That is, the object information 441 includes information regarding the three-dimensional shape of a specific type of object (here, the head).
  • the information update unit 467 associates the three-dimensional information with the pixel value for each pixel that does not capture the same part as each pixel constituting the T1 object region A11 in the T2 object region A21, It is added to the object information 441.
  • the object information 4421 that is, each pixel in the non-corresponding region
  • the three-dimensional information and the pixel value are associated with each other and added to the object information 441. That is, each time new three-dimensional information of a specific type of object is obtained, the object information 441 is updated, and information relating to the specific type of object (here, the head) is enriched.
  • the association of recognizing pixels in which the same subject portion is captured is performed between the T1 object region A11 and the T2 object region A21, so that the subject that is not captured in the T1 object region A11 is detected.
  • a pixel whose portion is captured (that is, a pixel related to the T2 object appearance region N21) is recognized from the T2 object region A21. If the T1 image G1 is as shown in FIG. 3 and the T2 image G2 is as shown in FIG. 5, the information on the left part of the head is added to the object information 441.
  • the information related to the three-dimensional shape is updated, the information is already included in the object information 441 so that the three-dimensional shape related to the portion captured by the T1 image G1 and the T2 image G2 is matched. Information related to a new three-dimensional shape is added to the information related to the three-dimensional shape.
  • the occlusion compensation unit 464A refers to the object information 441, and based on the object information 441, for each pixel of the non-imaging area (specifically, the occlusion area Ao111) in the T1 virtual viewpoint image G11.
  • a pixel value is assigned.
  • a point that is not included in the occlusion area Ao111 in the T1 virtual object area A111 (for example, a point where the apex of the nose is captured) is set as a reference feature point, and the occlusion area is based on the object information 441.
  • the coordinates in the three-dimensional space corresponding to Ao111 and the pixel values thereof are obtained.
  • the association process for associating the pixels of the T2 image G2 with the pixels of the occlusion areas Ao111 and Ao112 is performed.
  • the pixels It is possible to dramatically improve the processing speed related to the value compensation processing.
  • the following compensation method can be considered.
  • FIG. 21 is a diagram for explaining an occlusion area filling method according to a modification.
  • the compensation method in the processing of the occlusion compensation unit 464 is simplified as compared with the above-described embodiment.
  • the T2 virtual viewpoint image G21 is artificially generated based on the T2 image G2 and the T2 distance information by the same method as the virtual viewpoint image generation operation according to the embodiment.
  • the pixel value relating to the pixel having the same coordinate as the pixel in the non-photographing region in the T1 virtual viewpoint image G11 in the T2 virtual viewpoint image G21 is obtained by the occlusion compensation unit 464. It is given to the pixels in the area. Such pixel value assignment is performed as much as possible on each pixel in the non-photographing area.
  • Such a simple pixel value compensation method is applicable to a case where, for example, an object moves and a T2 background appearance region N22 is generated in the T2 image G2.
  • the pixel value of each pixel in the T2 background appearance area N22 is given to each pixel in the occlusion area Ao112.
  • each pixel of a plurality of virtual viewpoint images respectively generated from a plurality of images taken at a plurality of different times related to at least one of the past and the future with respect to time T1 is used.
  • Pixel values may be assigned to pixels having the same coordinates in the non-photographing area. This makes it possible to compensate pixel values for a wider area of the occlusion area.
  • the processing speed can be increased by reducing the amount of calculation.
  • the distance measuring device 3 obtains the T1 distance information and the T2 distance information.
  • T1 distance information and T2 distance information may be obtained without using the distance measuring device 3.
  • the following configuration can be considered.
  • FIG. 22 is a diagram showing a schematic configuration of an information processing system 1B according to a modification.
  • the information processing system 1B according to one modification is a program for removing the distance measuring device 3 and reading it into the control unit 46 to realize various functions and the like.
  • the PG is changed to the program PGB for realizing various functions and the like, the other configurations have the same configuration.
  • FIG. 23 is a diagram illustrating a functional configuration of the information processing apparatus 4 according to a modification.
  • the functional configuration of the control unit 46 is realized by executing the program PGB stored in the storage unit 44 by the control unit 46 will be described.
  • the hardware configuration may be realized.
  • the control unit 46 includes an image acquisition unit 461, a virtual viewpoint image generation unit 463, an occlusion compensation unit 464B, a stereoscopic image generation unit 465, and a distance information estimation unit 468 as functional configurations.
  • the image acquisition unit 461, the virtual viewpoint image generation unit 463, and the stereoscopic image generation unit 465 have the same functions as those of the above-described embodiment, and thus the same reference numerals are given and description thereof is omitted.
  • the distance information estimation unit 468 estimates the distance (that is, T1 distance information) between the object captured in the T1 image G1 and the camera 2 (that is, the T1 viewpoint).
  • the T1 object region A11 may be detected from the T1 image G1 by pattern matching using a general shape of a specific type of object (here, head or face), a pixel value pattern, or the like. Is possible. If general shape information or depth information of the specific type of object is stored in the storage unit 44, then T1 distance information is estimated based on the general shape information or depth information or the like. .
  • the virtual viewpoint image generation unit 463 generates a T1 virtual viewpoint image G11 based on the estimated T1 distance information and the T1 image G1.
  • occlusion compensation unit 464B first, by performing a process of associating pixels between the T1 image G1 and the T2 image G2, a non-corresponding region that does not correspond to the T1 image G1 in the T2 image G2. Is recognized. Next, pixel values are compensated by pasting the pixel pattern of the non-corresponding region to the occlusion region of the T1 virtual viewpoint image G11.
  • the pixel pattern of the non-corresponding area may be pasted on the occlusion area after being enlarged or reduced.
  • the pixel pattern of the non-corresponding region is expanded to cover the entire area of the occlusion region, and the pixel pattern of the non-corresponding region is pasted on the occlusion region. Also good. At this time, it is preferable that the pixel pattern protruding from the occlusion area is not pasted.
  • the pixel value compensation processing can be speeded up.
  • the present invention is not limited to this.
  • a configuration in which a T1 image G1, a T2 image G2, and a T1 virtual viewpoint image G11 already generated in an external device or the like are acquired and an occlusion area compensation process is performed is also conceivable.
  • the pixel values relating to the pixels of the occlusion areas Ao111 and Ao112 of the T1 virtual viewpoint image G11 are compensated based on the T2 image G2 obtained by shooting at the time T2 after the time T1.
  • Time T2 may be earlier in time than time T1. That is, the pixel values related to the respective pixels of the occlusion areas Ao111 and Ao112 of the T1 virtual viewpoint image G11 may be supplemented based on the T2 image G2 related to the shooting time T2 prior to the shooting time T1 of the T1 image G1.
  • pixel values may be compensated for the T1 virtual viewpoint image G11 generated from the T1 image G1 related to the subsequent shooting time T1.
  • Such a configuration is suitable for a case where a time lag related to display is not caused by image processing, for example, a case where a moving image related to live broadcasting is handled.
  • pixel values are compensated for the T1 virtual viewpoint image G11 based on any of the past and future T2 images G2 based on the T1 image G1. It may be broken. Also, pixel values may be compensated based on both past and future images based on time T1. Further, a plurality of images obtained by a plurality of times of photographing in at least one of the past and the future with respect to the time T1 are used, and an average value of pixel values and a most frequent value of pixel values in the plurality of images are obtained. The used pixel value may be compensated.
  • the present invention is not limited to this.
  • the pixel value compensation processing according to the second compensation method of the one embodiment can be applied to a case where the position and orientation of the camera 2 change.
  • non-corresponding areas including the T2 object appearance area N21 and the T2 background appearance area N22 are recognized by performing pixel association between the T1 image G1 and the T2 image G2.
  • the T2 object appearance region N21 is based on the motion vector information included in the MPEG moving image file.
  • the non-corresponding area including the T2 background appearance area N22 may be recognized. According to such a configuration, the amount of calculation for specifying the pixel value relating to each pixel in the non-imaging area corresponding to the occlusion areas Ao111 and Ao112 is reduced. For this reason, it is possible to generate a compensated T1 virtual viewpoint image that is visually uncomfortable in a shorter time.
  • the distance measuring method in the distance measuring device 3 uses a laser.
  • the present invention is not limited to this.
  • other methods such as a distance measuring method using a radar and a method of measuring distance by projecting light (light cutting method) may be employed.
  • T1 distance information and T2 distance information may be obtained from the plurality of images.
  • FIG. 24 is a diagram showing a schematic configuration of an information processing system 1C that can obtain T1 distance information and T2 distance information using two cameras 21C and 22C.
  • the information processing system 1C according to the present modified example is a stereo in which the distance measuring device 3 is removed and one camera 2 includes two cameras 21C and 22C.
  • the program PG is changed to a camera and read into the control unit 46 to realize various functions and the like, but is changed to a program PGC to realize different functions and the like, but the other configurations are the same. .
  • the two cameras 21C and 22C have a positional relationship in which their optical axes are substantially parallel and shifted in a direction perpendicular to the optical axes.
  • the direction of deviation between the two cameras 21C and 22C may be any of horizontal, vertical, and diagonal directions with respect to the ground.
  • FIG. 25 is a diagram illustrating a functional configuration of the information processing apparatus 4 according to the present modification.
  • the functional configuration of the control unit 46 is realized by executing the program PGC stored in the storage unit 44 by the control unit 46
  • the functional configuration is dedicated.
  • the hardware configuration may be realized.
  • the control unit 46 includes an image acquisition unit 461C, a distance information acquisition unit 462C, a virtual viewpoint image generation unit 463, an occlusion compensation unit 464, and a stereoscopic image generation unit 465 as functional configurations.
  • the virtual viewpoint image generation unit 463, the occlusion compensation unit 464, and the stereoscopic image generation unit 465 have the same functions as those of the above-described embodiment, and thus the same reference numerals are given and description thereof is omitted.
  • the image acquisition unit 461C acquires images obtained by photographing with the two cameras 21C and 22C at time T1 and time T2, respectively.
  • an image related to the shooting time T1 obtained by the camera 21C is a T1 image G1
  • an image related to the shooting time T2 obtained by the camera 21C is a T2 image G2.
  • the image related to the shooting time T1 obtained by the camera 22C is set as the T1 distance measurement image
  • the image related to the shooting time T2 obtained by the camera 22C is set as the T2 distance measurement image.
  • the distance information acquisition unit 462C acquires T1 distance information based on the T1 image G1 and the T1 distance measurement image, and acquires T2 distance information based on the T2 image G2 and the T2 distance measurement image.
  • T1 distance information and T2 distance information are obtained by using the relationship of the above equation (1).
  • the correspondence relationship between the pixels that capture the same portion between the T1 image G1 and the T1 distance measurement image (that is, the amount of displacement of the pixels that capture the same portion), and the T2 images G2 and T2 A correspondence relationship between pixels that captures the same portion with the distance measurement image (that is, a pixel shift amount where the same portion is captured) is recognized.
  • the focal lengths of the two cameras 21C and 22C are substituted as the value of the focal length f
  • the optical axes of the two cameras 21C and 22C are substituted as the value of the viewpoint separation distance B.
  • T1 distance information and T2 distance information relating to each pixel of the T1 image G1 and the T2 image G2 are obtained.
  • the T1 distance information and the T2 distance information are used in the virtual viewpoint image generation unit 463 and the occlusion compensation unit 464.
  • one T1 virtual viewpoint image G11 is generated from one T1 image G1 and pixel values are compensated.
  • the present invention is not limited to this.
  • an image (virtual viewpoint image) related to two different virtual viewpoints (virtual viewpoints) may be generated from one T1 image G1. That is, a plurality of T1 virtual viewpoint images may be generated from one T1 image G1.
  • the pixel association is performed on a pixel basis, but the present invention is not limited to this.
  • the points may be associated with each other in units of subpixels smaller than the unit of pixels.
  • a pixel value is not simply given to each pixel in the non-photographing region of the T1 virtual viewpoint image G11 in the T2 image G2, and for example, pixel values obtained by various interpolation operations such as interpolation are used.
  • a mode in which the pixel is assigned to each pixel in the T1 non-photographing region of the T1 virtual viewpoint image G11 is conceivable.
  • the pixel value of the T2 image G2 is given to each pixel of the T1 non-photographing area (occlusion area) of the T1 virtual viewpoint image G11 related to the time T1, but the present invention is not limited to this.
  • various modifications may be employed in which pixel values of other various images obtained by photographing at a time different from time T1 are given to each pixel in the T1 non-photographing region.
  • the various modifications for example, the following first to fourth modifications can be adopted.
  • each pixel in the non-photographing area of the virtual viewpoint image generated based on an image (also referred to as a reference image) obtained by photographing with one of the stereo cameras is used for the other.
  • Pixel values of an image (also referred to as a reference image) obtained by photographing at the same time by the camera are given.
  • the pixel value of the virtual viewpoint image related to another time different from the certain time is given to each pixel of the non-photographing region of the virtual viewpoint image related to the certain time.
  • each pixel in the non-photographing region of the virtual viewpoint image generated based on the reference image obtained by photographing with one camera of the stereo cameras has a different time by the other camera.
  • a pixel value of a reference image obtained by photographing is given.
  • each pixel in the non-photographing area of the object area included in the virtual viewpoint image at a certain time has a similar posture included in an image obtained by photographing at a time different from the certain time.
  • a pixel value related to the object is given.
  • FIG. 26 is a diagram illustrating a functional configuration of the information processing apparatus 4 according to the first modification.
  • the functional configuration of the control unit 46 is realized by executing the program PGD stored in the storage unit 44 by the control unit 46 will be described.
  • the hardware configuration may be realized.
  • the control unit 46 according to the first modification is based on the functional configuration of the control unit 46 according to the modification shown in FIG.
  • the occlusion compensation unit 464 is replaced with an image acquisition unit 461D, and the occlusion compensation unit 464D is replaced with an occlusion compensation unit 464D.
  • the camera 21C and the camera 22C perform time-sequential shooting at the same timing multiple times. Thereby, a plurality of so-called stereo images are obtained.
  • Each stereo image is a set of images including an image (reference image) obtained by photographing with the camera 21C and an image (reference image) obtained by photographing with the camera 22C, and the same subject at the same time from different viewpoints. Is a set of images captured.
  • the image acquisition unit 461D acquires a plurality of stereo images obtained by the camera 21C and the camera 22C. Thereby, for example, n + 1 sets of stereo images obtained by photographing with the camera 21C and the camera 22C at time T0, time T1, time T2,..., Time Tn (n is a natural number) are acquired by the image acquisition unit 461D.
  • the Note that the image acquisition unit 461D may acquire a plurality of stereo images directly from the camera 21C and the camera 22C, or may acquire a plurality of stereo images once stored in the storage unit 44 or the like.
  • FIG. 27 is a diagram for explaining a process of performing pixel value compensation (also referred to as compensation process) according to the first modification.
  • time T0, time T1, time T2,..., N + 1 sets of stereo images obtained by photographing with the camera 21C and camera 22C at time Tn, and n + 1 T0 to Tn reference images GL T0 to Illustrated are T0 to Tn virtual viewpoint images GR T0 to GR Tn respectively corresponding to GL Tn .
  • T0 to Tn reference images GL T0 to GL Tn are shown in the left vertical column
  • T0 to Tn reference images GS T0 to GS Tn are shown in the central vertical column
  • T0 to Tn are shown in the right vertical column.
  • Virtual viewpoint images GR T0 to GR Tn are shown.
  • Each T0 to Tn virtual viewpoint image GR T0 to GR Tn is converted by the virtual viewpoint image generation unit 463 from the T0 to Tn reference images GL T0 to GL Tn and the T0 to Tn distance information corresponding to the reference image and distance information at the corresponding time.
  • each image is shown so that the lower the position is, the later the shooting time is.
  • a plurality of images are shown in which a person's face is moving to the left as viewed from the camera 21C, 22C side as time passes.
  • FIG. 28 is a schematic diagram illustrating a stereo image shooting condition and a virtual shooting condition related to a virtual viewpoint image at time T1.
  • two cameras 21C and 22C at time T1 are indicated by solid lines, and a camera (also referred to as a virtual camera) 21vD that is virtually set to a virtual viewpoint (also referred to as a T1 virtual viewpoint) at time T1 is thin. It is indicated by a broken line.
  • the position of the camera 21C at time T1 is the T1 reference viewpoint
  • the positional relationship between the T1 reference viewpoint and the T1 virtual viewpoint corresponds to the standard positional relationship between the left eye and the right eye of the person
  • the T1 reference viewpoint and the T1 virtual viewpoint is B.
  • the outer edge of the space area (shootable area) that can be shot by the camera 21C is indicated by a thick dashed line. Further, the outer edge of the space area (shootable area) that can be shot by the camera 22C is indicated by a thick two-dot chain line. Further, the outer edge of the space area (shootable area) that can be shot by the virtual camera 21vD is indicated by a thick broken line.
  • the area hidden behind the head 2HU is different between the camera 21C and the virtual camera 21vD.
  • the background portion OP112 that is not captured in the T1 reference image GL T1 related to the time T1 is captured.
  • the T1 virtual viewpoint image GR T1 includes an area (also referred to as a T1 non-photographing area) corresponding to a portion of the subject that is not captured in the T1 reference image GL T1 .
  • a part Bd1 of the background part OP112 is captured by the T1 reference image GS T1 obtained by photographing by the camera 22C at time T1, and the remaining part Bd2 of the background part OP112 excluding the part Bd1 is T1. It is not captured even in the reference image GS T1 .
  • the occlusion compensation unit 464d to each pixel of a partial region Ad1 T1 of the T1 non-shooting region corresponding to the background portion OP112 of T1 virtual viewpoint image GR T1 is a portion at T1 reference image GS T1 Bd1
  • the pixel value of the region ASd T1 in which is captured is given.
  • a Tn reference image obtained by photographing with the camera 21C at the time Tn.
  • pixel value of the region ALD Tn the remaining portion Bd2 is captured is given in GL Tn.
  • the same method as in the above-described embodiment may be employed.
  • the first or the first embodiment of the above embodiment is used as a compensation method in which the pixel value of the region ASd T1 of the T1 reference image GS T1 is given to each pixel of the partial region Ad1 T1 of the T1 non-photographing region.
  • a method similar to the two-compensation method can be employed.
  • the compensation method can be realized by sequentially performing the following steps (A1) to (A4).
  • (A1) Pixel association is performed between the T1 standard image GL T1 and the T1 reference image GS T1 .
  • This pixel association can be realized by an existing method such as the so-called SAD method and POC method, as in the above-described embodiment. Thereby, an area (also referred to as a T1 non-corresponding area) that does not correspond to the T1 standard image GL T1 in the T1 reference image GS T1 is recognized.
  • the T1 distance information includes information indicating the distance from the position of the camera 21C (also referred to as a T1 reference viewpoint) to each part of the subject (also referred to as T1 reference distance information) and the position of the camera 22C (also referred to as a T1 reference viewpoint). And information indicating the distance from the subject to each part of the subject (also referred to as T1 reference distance information).
  • the T1 distance information may be obtained by measurement using a distance meter provided separately.
  • T1 object appearance region where a part of an object (for example, the head 2HU) that is not captured in the T1 standard image GL T1 is captured
  • T1 standard An area (T1 background appearance area) where a part of the background 2WA not captured in the image GL T1 is captured is recognized based on the T1 reference distance information.
  • (A3) Processing for associating pixels between the T1 background appearance region of the T1 reference image GS T1 and the occlusion region related to the background of the T1 virtual viewpoint image GR T1 based on the T1 distance information (background association processing) Is done.
  • the process similar to the background matching process in the 1st or 2nd compensation method of the said one embodiment should just be employ
  • the T2 background appearance region N22 and the occlusion region Ao112 in the background association processing of the first or second compensation method of the one embodiment described above are the T1 background appearance region of the T1 reference image GS T1. What is necessary is just to substitute each with the occlusion area
  • each pixel in the occlusion area related to the background of the T1 virtual viewpoint image GR T1 corresponds to a pixel in the T1 background appearance area of the T1 reference image GS T1 Is applied.
  • the example in which the background association process is performed has been described, but based on the T1 distance information, the object appearance area of the T1 reference image GS T1 and the occlusion area related to the object of the T1 virtual viewpoint image GR T1 are described.
  • a process (object association process) in which pixels are associated with each other may be performed.
  • the pixel value related to the corresponding pixel in the T1 object appearance region is assigned to each pixel of the occlusion region related to the object of the T1 virtual viewpoint image GR T1 .
  • the background association processing based on the first compensation method of the above-described embodiment executed in the step (A3) for example, the coordinates (x N22 , y N22 , T1 in the T1 background appearance region of the T1 reference image GS T1 are used.
  • the pixel at T1) is associated with the pixel at coordinates (x N22 - ⁇ d h - ⁇ d hT , y N22 , T1) in the occlusion area related to the background of the T1 virtual viewpoint image GR T1 .
  • ⁇ d h is a parallax according to the separation distance between the position of the camera 21C (T1 reference viewpoint) and the position of the virtual camera 21vD (T1 virtual viewpoint) at time T1, and the relationship of the above equation (1): It is obtained from the separation distance, the focal length f of the camera 21C, and the T1 reference distance information.
  • ⁇ d hT is a pixel in the vicinity of the T1 background appearance area (also referred to as a reference background vicinity point) in the area capturing the background of the T1 reference image GS T1 and an area capturing the background of the T1 reference image GL T1 This is the amount of shift of coordinates with respect to a pixel corresponding to a reference background neighboring point (also referred to as a reference background corresponding point).
  • a pixel in which a portion of a subject that satisfies the following three conditions (specifically, conditions 1d to 3d) in the T1 reference image GS T1 is used as a reference in the associating process.
  • three conditions specifically, conditions 1d to 3d
  • a pixel in the coordinates (X N1S , y N1S , T1) in the T1 reference image GS T1 that is the target of the association processing also referred to as a T1 processing target pixel or a T1 processing target point
  • the portion of the subject captured by pixels (neighboring pixels) located in the vicinity of.
  • pixels satisfying these conditions 1d to 3d are set as T1 reference standard pixels (also referred to as T1 reference standard points) that serve as a standard in the background association processing.
  • T1 reference standard pixels also referred to as T1 reference standard points
  • the coordinates of the T1 reference reference point are (x 1S , y 1S , T1).
  • the coordinates of a pixel (also referred to as a T1 reference reference point) in which the same subject portion as the T1 reference reference point in the T1 reference image GL T1 is (x 1L , y 1L , T1). Further, the distance from the T1 reference viewpoint to the portion of the subject captured by the pixel of the T1 reference reference point is D 1L (T1), and the distance from the T1 reference viewpoint to the portion of the subject captured by the pixel of the T1 reference reference point The distance is D 1S (T1).
  • the coordinates of the pixel (T1 compensated point) to which a pixel value is assigned in the occlusion area related to the background of the T1 virtual viewpoint image GR T1 are (x o11 , y o11 , T1).
  • the distance D 1L (T1) is obtained from the T1 reference distance information
  • the distance D 1S (T1) is obtained from the T1 reference distance information.
  • the difference between the coordinates of the T1 reference reference point and the coordinates of the pixel (also referred to as the T1 reference virtual reference point) in which the same subject portion as the T1 reference reference point is captured in the T1 virtual viewpoint image GR T1 also referred to as T1 reference parallax.
  • T1 reference parallax ⁇ d T1L is obtained by substituting the distance D 1L (T1) or the like into the above equation (1).
  • T1 reference parallax ⁇ d T1S is obtained by substituting the distance D 1S (T1) into the above equation (1) or the like.
  • the coordinates of the T1 compensation point to which the pixel value of the T1 processing target point is given are obtained by calculation according to the following equation (6).
  • the T1 reference viewpoint, the T1 reference viewpoint, and the T1 virtual viewpoint have a positional relationship that is shifted by a certain distance in the direction perpendicular to the shooting direction in a plane horizontal to the ground.
  • the X coordinate value x o11 of the point has the relationship of the following equation (6)
  • the Y coordinate value y o11 of the T1 compensated point is y N1S .
  • x o11 ⁇ x 1L ⁇ d T1L ⁇ + (x N1S ⁇ x 1S ) + ⁇ d T1L ⁇ d T1S ⁇ (6)
  • the second modification can be realized in the information processing system 1 shown in FIG.
  • the functional configuration shown in FIG. 2 is realized by executing the program PGE stored in the storage unit 44 by the control unit 46 will be described. It may be realized by a dedicated hardware configuration.
  • control unit 46 according to the second modification is based on the functional configuration of the control unit 46 according to the embodiment shown in FIG. 2, and the occlusion compensation unit 464. Has a functional configuration replaced by the occlusion compensation unit 464E.
  • FIG. 29 is a diagram for explaining the compensation processing according to the second modification.
  • the T0 to Tn virtual viewpoint images GR T0 to GR Tn respectively corresponding to GL T0 to GL Tn are illustrated.
  • the left vertical column shows T0 to Tn images GL T0 to GL Tn
  • the right vertical column shows T0 to Tn virtual viewpoint images GR T0 to GR Tn .
  • Each T0 to Tn virtual viewpoint image GR T0 to GR Tn is converted into an image at the corresponding time and distance information among the T0 to Tn images GL T0 to GL Tn and T0 to Tn distance information by the virtual viewpoint image generation unit 463. Based on each. Also, in FIG. 29, each image is shown so that the lower the position is, the later the shooting time is.
  • a plurality of images are shown in which a person's face is rotated in a direction facing left as viewed from the camera 2 side as time passes.
  • the relative positional relationship between the position of the camera 2 at time T1 (T1 viewpoint) and the position of the virtual camera 2v from which the T1 virtual viewpoint image GR T1 can be acquired (T1 virtual viewpoint) is expressed as time T0. It is assumed that the relative positional relationship between the position of the camera 2 (also referred to as T0 viewpoint) and the position of the virtual camera 2v (also referred to as T0 virtual viewpoint) from which the T0 virtual viewpoint image GR T0 can be acquired is equal.
  • the relative positional relationship between the position of the camera 2 at time T2 (T2 viewpoint) and the position of the virtual camera 2v from which the T2 virtual viewpoint image GR T2 can be acquired (T2 virtual viewpoint) is the T1 viewpoint and the T1 virtual position. It shall be equal to the relative positional relationship with the viewpoint.
  • the relative positional relationship between the position of the camera 2 at time Tn (also referred to as Tn viewpoint) and the position of the virtual camera 2v from which the Tn virtual viewpoint image GR Tn can be acquired (also referred to as Tn virtual viewpoint) is T1. Assume that the relative positional relationship between the viewpoint and the T1 virtual viewpoint is equal.
  • a non-photographing region eg, T1 non-photographing region
  • a virtual viewpoint image eg, T1 virtual viewpoint image GR T1
  • a certain time eg, time T1
  • a pixel value of a virtual viewpoint image for example, T0 virtual viewpoint image GR T0 ) relating to another different time (for example, time T0) is given.
  • a T0 virtual viewpoint image is applied to each pixel in a partial area Ae T1 of the T1 non-imaging area (occlusion area) Aoe T1 related to the object in the T1 virtual viewpoint image GR T1.
  • Pixel values of a partial area ARe T0 in GR T0 are given.
  • it is used that the change in the image area capturing the subject is small between the T0 virtual viewpoint image GR T0 and the T1 virtual viewpoint image GR T1 related to a very close photographing time.
  • the pixel values of the partial area ALe Tn of the Tn image GL Tn obtained by photographing at the time Tn in the compensation process of the above-described embodiment are given to the respective pixels of the partial area Ae T1. Rather than processing, the time required for processing is reduced. Accordingly, it is possible to reduce the amount of calculation required to give pixel values to each pixel in the non-photographing area (occlusion area).
  • the pixel values of the partial area ARe T0 are given to the pixels of the partial area Ae T1 will be described.
  • the present invention is not limited to this example, and is different from the times T0 and T1, for example.
  • a pixel value of a virtual viewpoint image related to time may be given.
  • the first or second compensation method of the above-described embodiment is based.
  • the compensated method may be adopted.
  • the compensation method can be realized by sequentially performing the following steps (B1) to (B4).
  • (B1) Pixel association is performed between the T1 image GL T1 and the T0 virtual viewpoint image GR T0 .
  • This pixel association can be realized by an existing method such as the so-called SAD method and POC method, as in the above-described embodiment. Thereby, a region (also referred to as a T0 virtual non-corresponding region) that does not correspond to the T1 image GL T1 in the T0 virtual viewpoint image GR T0 is recognized.
  • T0 object non-corresponding region where a part of an object (for example, the head 2HU) not captured in the T1 image GL T1 is captured;
  • An area in which a part of the background 2WA not captured in the T1 image GL T1 is captured (T0 background non-corresponding area) is recognized in a distinguishable manner based on the T0 distance information.
  • the T0 distance information can be acquired by the distance measuring device 3 at the time T0.
  • (B3) Processing is performed in which pixels are associated between the T0 object non-corresponding region of the T0 virtual viewpoint image GR T0 and the occlusion region related to the object of the T1 virtual viewpoint image GR T1 .
  • object association processing processing similar to the object association processing in the first or second compensation method of the above-described embodiment may be employed.
  • the T2 background appearance region N22 and the occlusion region Ao112 in the background association processing of the first or second compensation method of the one embodiment described above are not compatible with the T0 object of the T0 virtual viewpoint image GR T0.
  • T0 virtual viewpoint image GR T0 since T0 image GL T0 is already generated is shifted according to the parallax [Delta] d f, in the object association process is arithmetic duplicate according to this shift is appropriately omitted .
  • Parallax [Delta] d f is a parallax corresponding to the separation distance of the position of the camera 2 and (T0 viewpoint) and the position of the virtual camera 2v (T0 virtual viewpoint) at time T0, the relation of the equation (1), said distance And the focal length f of the camera 2 and the T0 distance information. Details of the process (B3) will be described later.
  • each pixel in the occlusion area related to the background of the T1 virtual viewpoint image GR T1 is associated with the pixel in the T0 object non-corresponding area of the T0 virtual viewpoint image GR T0
  • a pixel value related to the pixel to be applied is given.
  • the pixel between the T0 background non-corresponding region of the T0 virtual viewpoint image GR T0 and the occlusion region related to the background of the T1 virtual viewpoint image GR T1 is described. May be performed (background association processing). At this time, based on the result of the background association processing, the pixel value related to the corresponding pixel in the T0 background non-corresponding region is given to each pixel of the occlusion region related to the background of the T1 virtual viewpoint image GR T1 .
  • a pixel value that is not given a pixel value (also referred to as a blank pixel) in the filling method of the second modification in the occlusion area may be given a pixel value by the filling method of the above-described embodiment, for example. Further, if the number of blank pixels is equal to or less than a predetermined number, the pixel value of the blank pixel may be given by an interpolation process using the pixel values of pixels located around the blank pixel.
  • the compensation method according to the above-described embodiment is performed without executing the compensation method according to the second modification. May be executed.
  • examples of the predetermined virtual viewpoint image include virtual viewpoint images for each predetermined number of frames.
  • the coordinates (x N21 , y in the T0 object non-corresponding region of the T0 virtual viewpoint image GR T0 are used.
  • the pixel of N21 , T0) is associated with the pixel of coordinates (x N21 - ⁇ d fT , y N21 , T1) in the occlusion area related to the object of the T1 virtual viewpoint image GR T1 .
  • ⁇ d fT is a pixel in the vicinity of the T0 object non-corresponding region (also referred to as a T0 virtual object vicinity point) in the region where the object of the T0 virtual viewpoint image GR T0 is captured, and the T1 virtual viewpoint image GR T1 .
  • This is a coordinate shift amount with respect to a pixel (also referred to as a T1 virtual object corresponding point) corresponding to a T0 object neighboring point in a region where an object is captured.
  • This shift amount ⁇ d fT is generated as a result of pixel association between the T1 image GL T1 and the T0 virtual viewpoint image GR T0 in the step (B1), and the T1 virtual viewpoint image GR T1 is generated from the T1 image GL T1. It is obtained based on the shift amount of the pixel at the time.
  • the object association processing based on the second compensation method of the above-described embodiment executed in the step (B3) is, for example, that arbitrary coordinates in the region where the object of the T0 virtual viewpoint image GR T0 is captured are If (x NOR , y NOR , T0), it can be realized by the following processing.
  • a pixel (the T0 processing target pixel or the T0 processing target point) whose coordinates that are the target of the association processing are (x NOR , y NOR , T0) ) Is a portion of the subject captured by a pixel (neighboring pixel) located in the vicinity of.
  • pixels that satisfy these conditions 1e to 3e are set as T0 virtual reference pixels (also referred to as T0 virtual reference points) that serve as a reference in the association processing.
  • T0 virtual reference pixels also referred to as T0 virtual reference points
  • the coordinates of the T0 virtual reference point are (x 0R , y 0R , T0).
  • the coordinates of a pixel (also referred to as a T1 reference point) in which the same subject portion as the T0 virtual reference point in the T1 image GL T1 is taken as (x 1L , y 1L , T1). Further, the distance from the T1 viewpoint to the portion of the subject captured by the pixel of the T1 reference point is D 1L (T1), and the distance from the T0 virtual viewpoint to the portion of the subject captured by the pixel of the T0 virtual reference point is D OR (T0).
  • the coordinates of the pixel (T1 compensated point) to which a pixel value is assigned in the occlusion area related to the object of the T1 virtual viewpoint image GR T1 are (x o11 , y o11 , T1).
  • the distance D 1L (T1) is obtained from the T1 distance information
  • the distance D OR (T0) is obtained from the T0 distance information.
  • the difference (also referred to as T1 parallax) between the coordinates of the T1 reference point and the coordinates of a pixel (also referred to as a T1 virtual reference point) where the same subject portion as the T1 reference point is captured in the T1 virtual viewpoint image GR T1 is ⁇ d.
  • T1 The T1 parallax ⁇ d T1 is obtained by substituting the distance D 1L (T1) or the like into the above equation (1).
  • T0 parallax the difference between the coordinates of a pixel (also referred to as a T0 reference point) where the same subject portion as the T0 virtual reference point in the T0 image GL T0 is captured and the coordinates of the T0 virtual reference point is ⁇ d T0. It is said.
  • the T0 parallax ⁇ d T0 is obtained by substituting the distance D OR (T0) or the like into the above equation (1).
  • the coordinates of the T1 compensated point to which the pixel value of the T0 processing target point is given are obtained by calculation according to the following equation (7). Specifically, the positions of the set of the T0 viewpoint and the T0 virtual viewpoint and the set of the T1 viewpoint and the T1 virtual viewpoint are shifted by a certain distance in a direction perpendicular to the shooting direction in a plane horizontal to the ground. Since there is a relationship, the X coordinate value x o11 of the T1 compensated point has the relationship of the following equation (7), and the Y coordinate value y o11 of the T1 compensated point is y NOR .
  • x o11 ⁇ x 1L ⁇ d T1 ⁇ + (x NOR ⁇ x 0R ) + ⁇ d T1 ⁇ d T0 ⁇ (7).
  • the T1 compensated point at the coordinates (x o11 , yo 11 , T1) is associated with the T0 processing target point at the coordinates (x NOR , y NOR , T0).
  • each pixel in the T1 non-photographing area of the T1 virtual viewpoint image GR T1 generated based on the T1 reference image GL T1 of the stereo image obtained by photographing at a certain time T1 is different from the certain time T1.
  • a pixel value of a reference image included in a stereo image obtained by shooting at another time is given. As a result, the time required for the compensation process can be reduced.
  • the third modification can be realized in the information processing system 1C shown in FIG.
  • the functional configuration shown in FIG. 26 is realized by executing the program PGF stored in the storage unit 44 by the control unit 46 will be described. It may be realized by a dedicated hardware configuration.
  • control unit 46 according to the third modification is based on the functional configuration of the control unit 46 according to the first modification, and the occlusion compensation unit 464D is replaced with the occlusion compensation unit 464F.
  • the functional configuration is replaced with.
  • FIG. 30 is a diagram for explaining a compensation process according to the third modification.
  • time T0, time T1, time T2,..., N + 1 sets of stereo images obtained by photographing with the camera 21C and the camera 22C at time Tn, and n + 1 T0 to T0.
  • Tn the reference image GL T0 ⁇ GL corresponding respectively to Tn T0 ⁇ Tn virtual viewpoint image GR T0 ⁇ GR Tn is illustrated.
  • FIG. 30 similarly to FIG. 27, the T0 to Tn reference images GL T0 to GL Tn are shown in the left vertical column, the T0 to Tn reference images GS T0 to GS Tn are shown in the central vertical row, and the right side In the vertical line, T0 to Tn virtual viewpoint images GR T0 to GR Tn are shown.
  • Each T0 to Tn virtual viewpoint image GR T0 to GR Tn is converted by the virtual viewpoint image generation unit 463 from the T0 to Tn reference images GL T0 to GL Tn and the T0 to Tn distance information corresponding to the reference image and distance information at the corresponding time.
  • each image is shown so that the lower the position is, the later the shooting time is.
  • FIG. 30 shows an example in which the face of a person rotates in the direction facing left as viewed from the camera 21C, 22C side as time passes.
  • each pixel of the T1 non-imaging area Aof T1 in the T1 virtual viewpoint image GR T1 generated based on the T1 reference image GL T1 obtained by photographing at the time T1 is different from the time T1.
  • Pixel values of a partial area (for example, a partial area ASf T2 ) of a reference image (for example, a T2 reference image GS T2 ) obtained by shooting at another time are given.
  • the pixel value of the partial area ALf Tn of the Tn image GL Tn obtained by photographing at the time Tn is applied to the compensation process rather than being given to each pixel of the T1 non-photographing area Aof T1.
  • the time required can be reduced. Accordingly, it is possible to reduce the amount of calculation required for pixel value compensation for each pixel in the non-photographing area (occlusion area).
  • the filling method of the pixel values of the reference image obtained by imaging at different other time is granted from the time T1
  • a filling method similar to the first or second filling method of the above-described embodiment may be employed.
  • the T1 virtual viewpoint image G11 is replaced with the T1 virtual viewpoint image GR T1 .
  • padding processing T2 image G2 is substituted with T2 reference image GS T2 may be employed.
  • the T0 to Tn distance information at each time T0 to Tn includes each parallax ⁇ d as a result of pixel association processing in the stereo image obtained by photographing at each time T0 to Tn, and the camera 21C and the camera 22C.
  • the separation distance and the focal length f of the camera 21C and the camera 22C can be acquired by substituting them into the above equation (1).
  • the T0 to Tn distance information includes information indicating the distance from the position of the camera 21C (T0 to Tn reference viewpoint) to each part of the subject (T0 to Tn reference distance information) and the position of the camera 22C (see T0 to Tn).
  • Information (T0 to Tn reference distance information) indicating the distance from the viewpoint to each part of the subject.
  • the T0 to Tn distance information may be obtained by measurement using a distance meter provided separately.
  • (C1) Pixel association is performed between the T1 reference image GL T1 related to time T1 and the T2 reference image GS T2 related to time T2.
  • This pixel association can be realized by an existing method such as the so-called SAD method and POC method, as in the above-described embodiment. Thereby, a region (also referred to as a T2 non-corresponding region) that does not correspond to the T1 reference image GL T1 in the T2 reference image GS T2 is recognized.
  • C2 A region (T2 object appearance region) where a part of an object (for example, head 2HU) not captured in the T1 standard image GL T1 is captured from the T2 non-corresponding region of the T2 reference image GS T2 and the T1 standard
  • An area (T2 background appearance area) in which a part of the background 2WA not captured in the image GL T1 is captured is recognized in a distinguishable manner based on the T2 distance information related to the time T2.
  • (C3) Processing for associating pixels between the T2 object appearance region of the T2 reference image GS T2 and the occlusion region related to the object of the T1 virtual viewpoint image GR T1 based on the T2 distance information (object association processing) Is done.
  • object association processing the process similar to the object matching process in the 1st or 2nd filling method of the said one embodiment should just be employ
  • the T2 background appearance region N22 and the occlusion region Ao112 in the background association processing of the first or second compensation method of the one embodiment described above are the T2 object appearance region of the T2 reference image GS T2. Any process may be used as long as it is replaced with the occlusion area related to the object of the T1 virtual viewpoint image GR T1 . Details of the process (C3) will be described later.
  • each pixel of the occlusion area related to the object of the T1 virtual viewpoint image GR T1 is assigned to the corresponding pixel in the object appearance area of the T2 reference image GS T2. Such a pixel value is given.
  • the occlusion related to the T2 background appearance region of the T2 reference image GS T2 and the background of the T1 virtual viewpoint image GR T1 based on the T2 distance information may be performed.
  • the pixel value related to the corresponding pixel in the background appearance area of the T2 reference image GS T2 is assigned to each pixel of the occlusion area related to the background of the T1 virtual viewpoint image GR T1. Is done.
  • [Delta] d f is a parallax corresponding to the separation distance of the position of the camera 21C and (T1 reference viewpoint) and the position of the virtual camera 21VD (T1 virtual viewpoint) at time T1, and the relationship of the equation (1), It is obtained from the separation distance, the focal length f of the camera 21C, and the T1 reference distance information.
  • ⁇ d fT is a pixel (reference object vicinity point) in the vicinity of the T2 object appearance area in the area where the object of the T2 reference image GS T2 is captured, and the area within the area where the object of the T1 reference image GL T1 is captured. This is the amount of shift of coordinates with the pixel corresponding to the reference object neighboring point (reference object corresponding point).
  • a pixel whose coordinates to be subjected to the association processing are (x N2S , y N2S , T2) (also referred to as a T2 processing target pixel or a T2 processing target point)
  • the portion of the subject captured by pixels (neighboring pixels) located in the vicinity of.
  • pixels satisfying these conditions 1f to 3f are set as T2 reference standard pixels (also referred to as T2 reference standard points) that serve as a standard in the association process.
  • T2 reference standard pixels also referred to as T2 reference standard points
  • the coordinates of the T2 reference reference point are (x 2S , y 2S , T2).
  • the coordinates of a pixel (also referred to as a T1 reference reference point) in which the same subject portion as the T2 reference reference point in the T1 reference image GL T1 is taken as (x 1L , y 1L , T1). Further, the distance from the T1 reference viewpoint to the portion of the subject captured by the pixel of the T1 reference reference point is D 1L (T1), and the distance from the T2 reference viewpoint to the portion of the subject captured by the pixel of the T2 reference reference point The distance is D 2S (T2).
  • the coordinates of the pixel (T1 compensated point) to which a pixel value is assigned in the occlusion area related to the background of the T1 virtual viewpoint image GR T1 are (x o11 , y o11 , T1).
  • the distance D 1L (T1) is obtained from the T1 reference distance information
  • the distance D 2S (T2) is obtained from the T2 reference distance information.
  • the difference between the coordinates of the T1 reference reference point and the coordinates of the pixel (also referred to as the T1 reference virtual reference point) in which the same subject portion as the T1 reference reference point is captured in the T1 virtual viewpoint image GR T1 also referred to as T1 reference parallax.
  • T1 reference parallax ⁇ d T1L is obtained by substituting the distance D 1L (T1) or the like into the above equation (1).
  • the T2 reference parallax ⁇ d T2S is obtained by substituting the distance D 2S (T2) or the like into the above equation (1).
  • the coordinates of the T1 compensated point to which the pixel value of the T2 processing target point is given are obtained by calculation according to the following equation (8).
  • the pair of the T1 reference viewpoint and the T1 virtual viewpoint and the pair of the T2 reference viewpoint and the T2 virtual viewpoint are shifted by a certain distance in a direction perpendicular to the shooting direction in a plane horizontal to the ground. Therefore , the X coordinate value x o11 of the T1 compensated point has the relationship of the following equation (8), and the Y coordinate value y o11 of the T1 compensated point is y N2S .
  • x o11 ⁇ x 1L ⁇ d T1L ⁇ + (x N2S ⁇ x 2S ) + ⁇ d T1L ⁇ d T2S ⁇ (8)
  • the T1 compensated point of coordinates (x o11 , y o11 , T1) is associated with the T2 processing target point of coordinates (x N2S , y N2S , T2).
  • (D1) Pixel association is performed between the T1 reference image GL T1 at time T1 and the T2 reference image GS T2 at time T2.
  • This pixel association can be realized by an existing method such as a so-called SAD method or POC method, as in the above-described embodiment.
  • SAD method so-called SAD method or POC method
  • (D2) T2 in the remaining region surrounding the T2 unsupported region of the reference image GS T2, (also referred to as border neighboring point) a plurality of points located in the vicinity of the boundary between T2 incompatible area is set.
  • the plurality of boundary neighboring points may be, for example, two points on the left and right across the T2 non-corresponding region.
  • the T2 non-corresponding region is enlarged or reduced as necessary so that the relative positional relationship of the plurality of boundary neighboring points matches the relative positional relationship of the plurality of boundary neighboring corresponding points. Above, it is pasted on the occlusion area of the T1 virtual viewpoint image GR T1 . Thereby, a pixel value related to a corresponding pixel in the T2 non-corresponding region is given to each pixel in the occlusion region.
  • the pixel pattern of the T2 non-corresponding region is expanded to the extent that the pixel pattern of the T2 non-corresponding region covers the occlusion region, and then the pixel pattern of the T2 non-corresponding region is It may be affixed to the area. However, it is preferable that the pixel pattern protruding from the occlusion area is not pasted.
  • the present invention is not limited to this.
  • pixel values relating to pixels in the non-corresponding area included in at least one reference image of the T0, T3 to Tn reference images GS T0 and GS T3 to GS Tn May be given.
  • the operation of the operation unit 41 by the user It may be determined according to the above, or may be determined based on the result of pixel association in the step (D1).
  • this determination method for example, a method of determining based on the size and shape similarity between the T1 non-imaging region Aof T1 and the non-corresponding region can be considered.
  • the ratio of the size of the regions can be considered, and the closer the value obtained by dividing the area of the T1 non-photographing area Aof T1 by the area of the non-corresponding area, the closer the similarity is. Can do.
  • the T2 reference image GS T2 includes all pixels corresponding to the T1 non-photographing area Aof T1 of the T1 virtual viewpoint image GR T1 or a number of pixels close to all pixels. There may be cases.
  • each pixel in the non-photographing area of the object area included in the virtual viewpoint image at a certain time includes a pixel related to the object in the same posture included in the image obtained at a time different from the certain time. A value is given. Thereby, an unnatural change of the pixel value in the image region where a certain object is captured is reduced.
  • the fourth modification can be realized in the information processing system 1 shown in FIG.
  • the functional configuration of the control unit 46 shown in FIG. 31 is realized by executing the program PGG stored in the storage unit 44 by the control unit 46 will be described.
  • a typical configuration may be realized by a dedicated hardware configuration.
  • control unit 46 according to the fourth modification is based on the functional configuration of the control unit 46 according to the embodiment shown in FIG. 2, and the image region detection unit 466G. Is added, and the occlusion compensation unit 464 is replaced with the occlusion compensation unit 464G.
  • the image region detection unit 466G detects a region (object region) where a specific type of object (for example, a human face or body) is captured from each image obtained by the image acquisition unit 461.
  • a region where a specific type of object (for example, a human face or body) is captured from each image obtained by the image acquisition unit 461.
  • the object region is obtained by pattern matching using the pixel value pattern. Can be detected.
  • the image region detection unit 466G if a pattern of pixel values corresponding to the posture (orientation etc.) of the object is prepared, the object region corresponding to the posture (orientation etc.) of the object can be detected. That is, the image area detection unit 466G can acquire position information of an object area where a specific type of object is captured and information related to the attitude (also referred to as attitude information). As an example of the posture information, there is information related to the face orientation. The face orientation can be detected, for example, by pattern matching using a pixel value pattern for each predetermined angle (for example, 5 °).
  • an image area (also referred to as a face area) that captures a face may be detected based on a predetermined color (for example, skin color), and the orientation of the face may be detected based on the position of the area that captures the nose that occupies the face area.
  • a predetermined color for example, skin color
  • the image region detection unit 466G detects three or more object regions in which a specific type of object is captured from the three or more images. Can be done.
  • Information relating to the object area detected here is stored in the storage unit 44 as object information 441G.
  • the information related to the object area includes, for example, information indicating the position (for example, address) of the object area, information indicating the photographing time of the image that is the detection source of the object area, and the object area.
  • Object posture information is stored in the storage unit 44 indicating the position (for example, address) of the object area.
  • FIG. 32 shows time T0, time T1, time T2,..., N + 1 T0 to Tn images GL T0 to GL Tn obtained by photographing with the camera 2 at time Tn , and n + 1 T0 to Tn images GL.
  • the T0 to Tn virtual viewpoint images GR T0 to GR Tn respectively corresponding to T0 to GL Tn are illustrated.
  • T0 to Tn images GL T0 to GL Tn are shown in the left vertical column, and T0 to Tn virtual viewpoint images GR T0 to GR Tn are shown in the right vertical column.
  • Each T0 to Tn virtual viewpoint image GR T0 to GR Tn is converted into an image at the corresponding time and distance information among the T0 to Tn images GL T0 to GL Tn and T0 to Tn distance information by the virtual viewpoint image generation unit 463. Based on each. Further, in FIG. 32, each image is shown so that the lower the position is, the later the shooting time is.
  • FIG. 32 shows, as an example, a plurality of images in which a person's face is rotated in a direction facing left as viewed from the camera 2 with the passage of time.
  • a virtual viewpoint image for example, T1 virtual viewpoint image GR T1
  • a certain time for example, time T1
  • the images for example, Tn image GL Tn
  • Pixel values of some areas for example, some areas ALf Tn ) are given.
  • the object information 441G in the storage unit 44 is referred to, and the posture information related to the object region of the image (for example, T1 image GL T1 ) obtained by photographing at a certain time (for example, time T1) is determined at a certain time.
  • Information also referred to as virtual posture information
  • the posture also referred to as virtual posture
  • the virtual viewpoint image is generated from the image
  • the virtual posture information related to the object region of the virtual viewpoint image can be obtained from the pixel shift amount or the like.
  • the region detection unit captures an object having a posture included in the tolerance based on the virtual posture obtained in step (E1) from the plurality of object regions detected by the image region detection unit 466G.
  • An object region also referred to as a compensation object region
  • the allowable error referred to here is a value range (for example, a range of ⁇ 1 °) based on the rotation angle related to the virtual posture. Including the meaning. That is, the allowable error has a meaning of a value range including the reference value for the value indicating the posture. It is more preferable that a compensation object region in which an object having a posture that matches the virtual posture obtained in the step (E1) is detected from a plurality of object regions detected by the image region detection unit 466G.
  • an occlusion region (for example, T1 non-existing) in the object region (also referred to as a virtual object region) of the virtual viewpoint image (for example, T1 virtual viewpoint image GR T1 )
  • a pixel value is assigned to each pixel in the imaging region Aof T1 ).
  • the compensation object region is enlarged or reduced so that the size of the compensation object region detected in the step (E2) matches the size of the virtual object region. .
  • the pixel correspondence is such that the relative position occupied by each pixel in the occlusion area in the virtual object area coincides with the relative position occupied by each pixel in the compensation object area.
  • the attachment is done.
  • the pixel value of the corresponding pixel in the compensation object region is given to each pixel in the occlusion region.
  • FIG. 33 is a flowchart illustrating an operation flow according to a fourth modification realized in the information processing system 1.
  • T0 to Tn images GL T0 to GL Tn obtained by photographing at times T0 to Tn are obtained by the image obtaining unit 461 (step SP1) and obtained by the distance measuring device 3.
  • T0 to Tn distance information at times T0 to Tn is obtained (step SP2).
  • the virtual viewpoint image generation unit 463 generates T0 to Tn virtual viewpoint images GR T0 to GR Tn based on the T0 to Tn images GL T0 to GL Tn and the T0 to Tn distance information (step SP3).
  • the image area detection unit 466G obtains position information and posture information of the object area related to a predetermined type of object in each of the T0 to Tn images GL T0 to GL Tn and the T0 to Tn virtual viewpoint images GR T0 to GR Tn. It is detected (step SP4). Then, the pixel value is assigned to each pixel in the occlusion area Aof T1 based on the detection result in step SP4 by the occlusion compensation unit 464G (step SP5).
  • distance information may be obtained based on a stereo image obtained by a stereo camera instead of the distance measuring device 3.
  • image acquisition unit 461 an object area where each object is captured depending on a position where each object is captured in the image May be identified, and information regarding each object region may be stored in the object information 441G so as to be distinguishable.
  • information related to each object region may include information related to a three-dimensional position including distance information.
  • each pixel of the occlusion area of the virtual viewpoint image at a certain time may be given a pixel value of the virtual viewpoint image at a time different from the certain time, or when a stereo image is obtained, A pixel value of a reference image relating to a time different from a certain time may be given.
  • an object having a posture included in an allowable error based on the virtual posture obtained in the step (E1) is captured from a plurality of object regions detected by the image region detection unit 466G.
  • the two or more object areas may be narrowed down to one object area according to a predetermined rule.
  • a predetermined rule for example, when a pixel value is given to each pixel of the occlusion area of the T1 virtual viewpoint image GR T1 related to the time T1, an image whose shooting time is closest to the time T1 among two or more object areas
  • a rule in which an object region included in is automatically selected.
  • a pixel value pattern closest to the pixel value pattern in the object region of the T1 image GL T1 obtained by photographing at the time T1 among two or more object regions that is, the distribution of at least one of luminance and color.
  • the closest pixel value pattern includes, for example, a state in which the sum of differences between pixel value patterns is the smallest.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　視覚的に違和感のない仮想視点画像を生成することが可能な技術を提供することを図る。この目的を達成するために、第１撮影時刻における第１視点からの撮影によって得られる第１画像と、第１撮影時刻とは異なる第２撮影時刻における撮影によって得られる第２画像とが取得される。そして、第１画像に基づいて擬似的に生成され且つ第１視点とは異なる第１仮想視点からの撮影によって取得され得る第１仮想視点画像のうちの、第１画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、第２画像に基づいて画素値が付与される。

Description

画像処理システム、画像処理方法、およびプログラム
　本発明は、画像処理技術に関する。
　１つの撮影画像から該撮影画像に係る視点とは異なる仮想的な視点から同一の被写体をとらえた画像（仮想視点画像）が擬似的に生成されれば、いわゆる３Ｄテレビの技術等で採用される立体視が可能な画像群の生成が可能となる。
　ところが、上記仮想視点画像では、元の撮影画像では捉えられていない被写体の部分に対応する領域が、画素値が不明な領域（オクルージョン領域）となってしまう。
　この問題に対し、いわゆる領域競合法によって分割された画像のテクスチャに係る統計量に基づいてオクルージョン領域に係る画素値が補填される技術が提案されている（例えば、特許文献１等）。
　そして、特許文献１の技術では、奥行き情報が明示的にも与えられず、且つステレオ画像のように暗示的にも与えられない画像（非立体画像）から奥行き推定データが作成され、該奥行き推定データと非立体画像とから擬似的な立体画像が生成される。
特開２００５－１５１５３４号公報
　しかしながら、上記特許文献１の技術では、オクルージョン領域に係る画素値が、元の撮影画像で捉えられている領域（撮影領域）に係る画素値に基づいて推定される。このため、補填される画素値は偽の情報であり、画素値が補填された画像は視覚的に違和感のあるものとなってしまう虞がある。
　本発明は、上記課題に鑑みてなされたものであり、視覚的に違和感のない仮想視点画像を生成することが可能な技術を提供することを目的とする。
　上記課題を解決するために、第１の態様に係る画像処理システムは、第１撮影時刻における第１視点からの撮影によって得られる第１画像と、前記第１撮影時刻とは異なる第２撮影時刻における撮影によって得られる第２画像とを取得する取得部と、前記第１画像に基づいて擬似的に生成され且つ前記第１視点とは異なる第１仮想視点からの撮影によって取得され得る第１仮想視点画像のうちの、前記第１画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第２画像に基づいて画素値を付与する補填部と、を備える。
　第２の態様に係る画像処理システムは、第１の態様に係る画像処理システムであって、前記第１画像と、前記第１視点から前記被写体の各部分までの距離に係る距離情報とに基づいて、前記第１仮想視点画像を生成する生成部、を更に備える。
　第３の態様に係る画像処理システムは、第２の態様に係る画像処理システムであって、前記第１視点から前記被写体の各部分までの距離を測定する距離測定部、を更に備える。
　第４の態様に係る画像処理システムは、第１から第３の何れか１つの態様に係る画像処理システムであって、前記補填部が、前記第２画像のうちの前記第１画像とは対応していない非対応領域を認識する認識部を有するとともに、前記非対応領域に係る画素値に基づいて、前記非撮影領域の各画素に対して画素値を付与する。
　第５の態様に係る画像処理システムは、第４の態様に係る画像処理システムであって、前記認識部が、前記第１および第２画像がＭＰＥＧ形式の動画ファイルを構成する２つのフレーム画像である場合、前記ＭＰＥＧ形式の動画ファイルに含まれる動きベクトルの情報に基づいて、前記非対応領域を認識する。
　第６の態様に係る画像処理システムは、第４または第５の態様に係る画像処理システムであって、前記補填部が、前記第２画像のうちの前記第１画像と対応する対応領域に含まれる基準点を設定する設定部を有し、前記第１仮想視点画像における前記基準点に対応する仮想基準点の位置情報と、前記第２画像における前記基準点と前記非対応領域に含まれる処理対象点との相対的な位置関係とに基づいて、前記第１仮想視点画像において前記処理対象点に対応する被補填点を特定するとともに、前記処理対象点に係る画素値に従って、前記被補填点に対して画素値を付与する。
　第７の態様に係る画像処理システムは、第６の態様に係る画像処理システムであって、前記設定部が、前記対応領域のうちの前記処理対応点の近傍に位置する点を前記基準点として設定する。
　第８の態様に係る画像処理システムは、第６の態様に係る画像処理システムであって、前記設定部が、前記対応領域のうちの前記処理対応点の近傍に位置し、且つ前記第２画像の撮影における第２視点から被写体までの離隔距離が前記処理対象点と略同一である点を前記基準点として設定する。
　第９の態様に係る画像処理システムは、第１から第３の何れか１つの態様に係る画像処理システムであって、前記補填部が、前記第２画像に基づいて擬似的に生成され且つ前記第２画像の撮影における第２視点に対して前記第１視点に対する前記第１仮想視点と同じ位置関係を有する第２仮想視点からの撮影によって取得され得る第２仮想視点画像のうちの、前記第１仮想視点画像における前記非撮影領域の各画素と同一座標に係る画素値を、該非撮影領域の各画素に対して付与する。
　第１０の態様に係る画像処理システムは、第３の態様に係る画像処理システムであって、前記第１画像から特定種類の物体が捉えられた第１物体領域を検出するとともに、前記第２画像から前記特定種類の物体が捉えられた第２物体領域を検出し、前記測距部による測定結果に基づいて、前記第１および第２物体領域に含まれる各画素に係る３次元情報を算出する演算部と、前記演算部による前記第１物体領域に係る算出結果に基づいて、前記第１物体領域に含まれる各画素に対し、３次元情報と画素値とを関連付けた物体情報を記憶する記憶部と、前記演算部による前記第２物体領域に係る算出結果に基づいて、前記第２物体領域のうちの前記第１物体領域に対応していない各画素に対し、３次元情報と画素値とを関連付けた情報を前記物体情報に追加する更新部と、を更に備え、前記補填部が、前記物体情報に基づいて、前記非撮影領域の各画素に対して画素値を付与する。
　第１１の態様に係る画像処理システムは、第１から第８の何れか１つの態様に係る画像処理システムであって、前記補填部が、前記第２画像から擬似的に生成される第２仮想視点画像に基づいて、前記非撮影領域の各画素に画素値を付与し、前記第２画像が、第２視点からの撮影によって取得される画像であり、前記第２仮想視点画像が、第２仮想視点からの撮影によって取得され得る画像であり、前記第２視点と前記第２仮想視点との相対的な位置関係が、前記第１視点と前記第１仮想視点との相対的な位置関係と同一である。
　第１２の態様に係る画像処理システムは、第１から第８の何れか１つの態様に係る画像処理システムであって、前記第１画像が、第１カメラによる撮影によって得られ、前記第２画像が、前記第１カメラとは異なる第２カメラによる撮影によって得られる。
　第１３の態様に係る画像処理システムは、第１から第８の何れか１つの態様に係る画像処理システムであって、前記第１画像が、第１カメラによる撮影によって得られ、前記取得部が、前記第１撮影時刻に前記第１カメラとは異なる第２カメラによる撮影によって得られる第３画像を取得し、前記補填部が、前記第２画像と前記第３画像とに基づいて、前記非撮影領域の各画素に画素値を付与する。
　第１４の態様に係る画像処理システムは、第１から第５の何れか１つの態様に係る画像処理システムであって、前記第１画像から特定種類の物体が捉えられた第１物体領域と該第１物体領域で捉えられている前記特定種類の物体の第１姿勢とを検出するとともに、前記第１撮影時刻とは異なる複数の撮影時刻における撮影によって得られ且つ前記取得部によって取得される前記複数の画像から前記特定種類の物体が捉えられた複数の物体領域と該複数の物体領域で捉えられている前記特定種類の物体の姿勢とをそれぞれ検出する第１検出部、を更に備え、前記補填部が、前記第１姿勢から前記第１仮想視点画像で捉えられた前記特定種類の物体の第１仮想姿勢の情報を得るとともに、前記複数の物体領域から、前記第１仮想姿勢を基準とした許容誤差内に含まれる姿勢の物体が捉えられた物体領域を検出する第２検出部を有し、該第２検出部によって検出された物体領域に基づいて、前記非撮影領域の各画素に画素値を付与する。
　第１５の態様に係る画像処理システムは、第１４の態様に係る画像処理システムであって、前記補填部が、前記第２検出部によって２以上の物体領域が検出された場合、前記２以上の物体領域のうち、撮影時刻が前記第１撮影時刻に最も近い画像に含まれる物体領域に基づいて、前記非撮影領域の各画素に画素値を付与する。
　第１６の態様に係る画像処理システムは、第１４の態様に係る画像処理システムであって、前記補填部が、前記第２検出部によって２以上の物体領域が検出された場合、前記２以上の物体領域のうち、画素値のパターンが前記第１物体領域の画素値のパターンに最も近い一つの物体領域に基づいて前記非撮影領域の各画素に画素値を付与する。
　第１７の態様に係る画像処理方法は、第１撮影時刻における第１視点からの撮影によって得られる第１画像と、前記第１撮影時刻とは異なる第２撮影時刻における撮影によって得られる第２画像とを取得する取得ステップと、前記第１画像に基づいて擬似的に生成され且つ前記第１視点とは異なる第１仮想視点からの撮影によって取得され得る第１仮想視点画像のうちの、前記第１画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第２画像に基づいて画素値を付与する補填ステップと、を備える。
　第１８の態様に係るプログラムは、情報処理システムに含まれる制御部において実行されることにより、前記情報処理システムを、第１から第１６の何れか１つの態様に係る画像処理システムとして機能させる。
　第１から第１６の何れの態様に係る画像処理システムによっても、第１画像から生成される仮想視点画像における非撮影領域の各画素に係る画素値が、第１画像とは撮影時刻が異なる第２画像に基づいて補填されるため、視覚的に違和感のない仮想視点画像の生成が可能となる。
　第４から第８の何れの態様に係る画像処理システムによっても、非撮影領域の各画素に係る画素値が容易に求められるため、視覚的に違和感のない仮想視点画像の生成が短時間で実行可能となる。
　第５の態様に係る画像処理システムによれば、非撮影領域の各画素に係る画素値を特定するための演算量が低減されるため、視覚的に違和感のない仮想視点画像の生成が更に短時間で実行可能となる。
　第６から第８の何れの態様に係る画像処理システムによっても、非撮影領域の各画素に係る画素値が高精度で求められるため、視覚的に違和感のない仮想視点画像の生成がより確実に可能となる。
　第９の態様に係る画像処理システムによれば、演算量の低減による処理の高速化が図られる。
　第１０の態様に係る画像処理システムによれば、非撮影領域の各画素に係る画素値がより確実に求められる。
　第１１および第１２の何れの態様に係る画像処理システムによっても、非撮影領域の各画素に係る画素値の補填に要する演算量が低減され得る。
　第１３の態様に係る画像処理システムによれば、撮影環境の変化の大小に拘わらず、視覚的に違和感のない仮想視点画像の生成が可能となる。
　第１４から第１６の何れの態様に係る画像処理システムによっても、ある物体を捉えた画像領域内における画素値の不自然な変化が低減され得る。
　第１５および第１６の何れの態様に係る画像処理システムによっても、ある物体を捉えた画像領域と、その周囲の画像領域との間における不整合が低減され得る。
　第１７の態様に係る画像処理方法および第１８の態様に係るプログラムの何れによっても、第１画像から生成される仮想視点画像における非撮影領域の各画素に係る画素値が、第１画像とは撮影時刻が異なる第２画像に基づいて補填されるため、視覚的に違和感のない仮想視点画像の生成が可能となる。
図１は、一実施形態に係る情報処理システムの概略構成を示す図である。 図２は、一実施形態に係る情報処理装置の機能的な構成を示す図である。 図３は、Ｔ１画像を例示するイメージ図である。 図４は、Ｔ１画像の撮影条件を例示する模式図である。 図５は、Ｔ２画像を例示するイメージ図である。 図６は、Ｔ２画像の撮影条件を例示する模式図である。 図７は、Ｔ１仮想視点画像に係る仮想的な撮影条件を例示する模式図である。 図８は、Ｔ１仮想視点画像の生成方法を説明するための図である。 図９は、オクルージョン領域を含むＴ１仮想視点画像を例示する図である。 図１０は、第１補填方法を説明するための図である。 図１１は、第１補填方法を説明するための図である。 図１２は、画素値が補填されたＴ１仮想視点画像を示すイメージ図である。 図１３は、画像処理システムの動作フローを示すフローチャートである。 図１４は、Ｔ２画像を例示するイメージ図である。 図１５は、Ｔ２画像の撮影条件を例示する模式図である。 図１６は、画素値が補填されたＴ１仮想視点画像を示すイメージ図である。 図１７は、Ｔ２画像を例示するイメージ図である。 図１８は、Ｔ２画像の撮影条件を例示する模式図である。 図１９は、画素値が補填されたＴ１仮想視点画像を示すイメージ図である。 図２０は、一変形例に係る情報処理装置の機能的な構成を示す図である。 図２１は、一変形例に係るオクルージョン領域の補填方法を説明するための図である。 図２２は、一変形例に係る情報処理システムの概略構成を示す図である。 図２３は、一変形例に係る情報処理装置の機能的な構成を示す図である。 図２４は、一変形例に係る情報処理システムの概略構成を示す図である。 図２５は、一変形例に係る情報処理装置の機能的な構成を示す図である。 図２６は、第１変形例に係る情報処理装置の機能的な構成を示す図である。 図２７は、第１変形例に係る補填処理を説明するための図である。 図２８は、第１変形例に係る撮影条件を例示する模式図である。 図２９は、第２変形例に係る補填処理を説明するための図である。 図３０は、第３変形例に係る補填処理を説明するための図である。 図３１は、第４変形例に係る情報処理装置の機能的な構成を示す図である。 図３２は、第４変形例に係る補填処理を説明するための図である。 図３３は、第４変形例に係る画像処理装置の動作フローを示すフローチャートである。
　以下、本発明の一実施形態を図面に基づいて説明する。
　＜(１)情報処理システムの構成＞
　図１は、本発明の一実施形態に係る情報処理システム１の概略構成を示す図である。
　情報処理システム１は、カメラ２と、測距機３と、カメラ２と測距機３とに対してデータの送受信が可能に接続される情報処理装置４とを備える。
　カメラ２は、例えば、ＣＣＤ等の撮像素子を有するデジタルカメラによって構成される。カメラ２では、被写体からの光が受光され、光電変換によって被写体に係る輝度情報の分布を該被写体に係る画像データとして取得する撮影が行われる。そして、カメラ２は、所定のタイミングで複数回の撮影を行うことで、複数の画像データを取得する。例えば、時刻Ｔ１の撮影によって画像データ（以下「Ｔ１画像データ」と称する）が得られ、時刻Ｔ２の撮影によって画像データ（以下「Ｔ２画像データ」と称する）が得られる。カメラ２で得られる各画像データは、データ線ＣＢを介して情報処理装置４に送信される。
　なお、以下では、画像データと、該画像データに基づいて表示される画像とをまとめて「画像」と総称する。例えば、「Ｔ１画像データ」を「Ｔ１画像」と称し、「Ｔ２画像データ」を「Ｔ２画像」と称する。
　測距機３は、カメラ２に対する位置関係および姿勢が保持されるように該カメラ２とともに併設され、例えば、レーザーを用いて撮影対象としての被写体までの距離を計測する機器である。そして、測距機３によって、カメラ２（具体的には、撮像素子）から被写体の各部分までの距離が測定されることで、各撮影時の視点から被写体の各部分までの距離が測定される。
　例えば、時刻Ｔ１の撮影時におけるカメラ２（具体的には、視点、以下「Ｔ１視点」とも称する）から被写体の各部までの距離を示す情報（以下「Ｔ１距離情報」とも称する）が得られる。また、時刻Ｔ２の撮影時におけるカメラ２（具体的には、視点、以下「Ｔ２視点」とも称する）から被写体の各部までの距離を示す情報（以下「Ｔ２距離情報」とも称する）が得られる。測距機３で得られる各距離情報は、データ線ＣＢを介して情報処理装置４に送信される。
　情報処理装置４は、例えばパーソナルコンピュータ（パソコン）で構成され、マウスやキーボード等を含む操作部４１と、液晶ディスプレイ等を備えて構成される表示部４２と、カメラ２および測距機３からのデータを受信するインターフェース(Ｉ／Ｆ)部４３とを備える。また、情報処理装置４は、記憶部４４と入出力部４５と制御部４６とを有する。
　記憶部４４は、例えばハードディスク等で構成され、カメラ２によって得られる各画像を記憶する。また、記憶部４４には、後述する仮想視点画像生成動作を行うためのプログラムＰＧ等が格納される。
　入出力部４５は、例えばディスクドライブを備えて構成され、光ディスク等の記憶媒体９を受け付け、制御部４６との間でデータの授受を行う。
　制御部４６は、プロセッサーとして働くＣＰＵ４６ａと、情報を一時的に記憶するメモリ４６ｂとを有し、情報処理装置４の各部を統括的に制御する。また、制御部４６では、記憶部４４内のプログラムＰＧが読み込まれて実行されることで、各種機能や各種情報処理等が実現される。例えば、制御部４６の制御により、情報処理システム１が、仮想視点画像生成動作を行う画像処理システムとして働く。なお、記憶媒体９に記憶されているプログラムデータを入出力部４５を介してメモリ４６ｂに格納させることが可能である。
　また、制御部４６は、カメラ２から所定距離ずれた位置にカメラ２が仮想的に設定された場合に該仮想的なカメラ２の撮影によって得られるものと予測される画像を、Ｔ１画像に基づいて、擬似的に生成する仮想視点画像生成動作を行う。
　仮想視点画像生成動作では、Ｔ１画像に基づいて、Ｔ１視点とは異なる仮想的な視点（以下「Ｔ１仮想視点」とも称する）からカメラ２で撮影したとすれば取得され得ると推測される画像（以下「Ｔ１仮想視点画像」とも称する）が生成される。
　なお、ここでは、Ｔ１視点に係るカメラ２の撮影方向（例えば、撮影レンズの光軸）と、Ｔ１仮想視点に係るカメラ２の仮想的な撮影方向（例えば、撮影レンズの光軸）とが略平行（好ましくは完全に平行）である。更に、Ｔ１視点とＴ１仮想視点とが、地面に対して水平な面内において撮影方向と垂直な方向に或る距離ずらされた位置関係を有する。ここで「或る距離」とは、例えば、一般的な人間の両目の間隔等に設定される。
　しかしながら、Ｔ１仮想視点画像には、Ｔ１画像では捉えられていない被写体の部分に相当する領域（以下「Ｔ１非撮影領域」とも称する）が存在する。このため、単純にＴ１画像からＴ１仮想視点画像が生成された時点では、Ｔ１非撮影領域には画素値が与えられていない。そこで、仮想視点画像生成動作では、Ｔ２画像に基づいて、Ｔ１非撮影領域に含まれる各画素の画素値が補填される。これにより、視覚的に違和感のない仮想視点画像の生成が可能となる。
　また、制御部４６は、Ｔ１画像とＴ１仮想視点画像とから、いわゆる立体視が可能な画像（３Ｄ画像）を生成する。そして、表示部４２では、制御部４６で生成された３Ｄ画像が可視的に出力される。なお、以下では、１つのＴ１画像から１つのＴ１仮想視点画像が生成される例を挙げて説明するが、カメラ２によって３以上のタイミングで得られる多数の画像について、それぞれ視点を仮想的に異ならせた画像（仮想視点画像）が生成されても良い。このような構成では、動画の態様の３Ｄ画像が生成され、該３Ｄ画像が表示部４２によって可視的に出力される。
　＜(２)仮想視点画像生成動作に係る機能的な構成＞
　本実施形態では、Ｔ１画像およびＴ２画像において、それぞれ同一の物体が捉えられ、同一の背景が含まれる例を挙げて説明する。但し、本実施形態に係る仮想視点画像生成動作が実現されるためには、Ｔ１画像と２画像とが、同一の物体を捉えた画像であること、および同一の背景を捉えた画像であることといった２つの条件のうちの少なくとも一方の条件を満たせば良い。
　図２は、情報処理装置４の仮想視点画像生成動作に係る機能的な構成を示す図である。なお、ここでは、制御部４６の機能的な構成が、プログラムの実行によって実現されるものとして説明しているが、専用のハードウエア構成によって実現されても良い。
　図２で示されるように、制御部４６は、機能的な構成として、画像取得部４６１、距離情報取得部４６２、仮想視点画像生成部４６３、オクルージョン補填部４６４、および立体視画像生成部４６５を有する。以下、各部４６１～４６５について順次に説明する。
　　＜(２－１)画像取得部＞
　画像取得部４６１は、カメラ２で順次に得られるＴ１画像およびＴ２画像を、該カメラ２から取得する。Ｔ１画像およびＴ２画像は、カメラ２から記憶部４４に一旦記憶された後に、画像取得部４６１によって取得されても良い。ここでは、カメラ２の位置および姿勢（すなわち撮影方向）が固定されており、Ｔ１視点とＴ２視点とが同一である例を挙げて説明する。
　図３は、Ｔ１画像Ｇ１を例示するイメージ図であり、図４は、Ｔ１画像Ｇ１の撮影条件を例示する模式図である。
　図３では、図の複雑化を避けるために、Ｔ１画像Ｇ１として、近景である物体としての人物の頭部２ＨＵを捉えた領域（以下「Ｔ１物体領域」と称する）Ａ１１と背景２ＷＡを捉えた領域（以下「Ｔ１背景領域」と称する）Ａ１２とによって構成されている画像が例示されている。つまり、被写体が、頭部２ＨＵと背景２ＷＡとで構成される。また、Ｔ１画像Ｇ１では、左上端の画素を原点として、横方向の位置（具体的にはアドレス）がＸ座標で示され、縦方向の位置（具体的にはアドレス）がＹ座標で示されるものとする。以下、図４以降で示されるその他の各画像についても、同様な構成を有するものを例示しつつ説明する。
　図４では、カメラ２、人物２ＨＵ、および背景２ＷＡの配置関係を上方から見た模式図が示されている。また、図４では、カメラ２によって撮影可能な空間の領域（以下「撮影可能領域」とも称する）の外縁が太い一点鎖線で示され、近景としての頭部２ＨＵからカメラ２に入射する光の光路（以下「近景光路」とも称する）の外縁が細い一点鎖線で示されている。
　図３および図４で示されるように、Ｔ１画像Ｇ１は、頭部２ＨＵの正面側からのカメラ２による撮影によって得られる。
　図５は、Ｔ２画像Ｇ２を例示するイメージ図であり、図６は、Ｔ２画像Ｇ２の撮影条件を例示する模式図である。
　図６では、図４と同様に、カメラ２、人物２ＨＵ、および背景２ＷＡの配置関係を上方から見た模式図が示されており、カメラ２の撮影可能領域の外縁が太い一点鎖線で示され、頭部２ＨＵに係る近景光路の外縁が細い一点鎖線で示されている。また、Ｔ１画像Ｇ１の撮影時における頭部２ＨＵの位置および該頭部２ＨＵに係る近景光路の外縁が細い破線で示されている。
　図６で示されるように、Ｔ１画像Ｇ１の撮影時よりも頭部２ＨＵがカメラ２から見て左方に若干移動し且つ上方から見て時計回りに若干の角度（例えば２０度程度）回転した後の状態における撮影によって、Ｔ２画像Ｇ２が得られる。ここでは、説明の複雑化を防ぐために、頭部２ＨＵが水平面内での移動および垂直な軸を中心とした回転のみを行う例を挙げて説明する。
　図５および図６で示されるように、Ｔ２画像Ｇ２は、頭部２ＨＵの斜め前方からカメラ２による撮影によって得られ、頭部２ＨＵを捉えた領域（以下「Ｔ２物体領域」とも称する）Ａ２１と、背景２ＷＡを捉えた領域（以下「Ｔ２背景領域」とも称する）Ａ２２とによって構成される。
　　＜(２－２)距離情報取得部＞
　距離情報取得部４６２は、測距機３で順次に得られるＴ１距離情報とＴ２距離情報とを測距機３から取得する。Ｔ１距離情報およびＴ２距離情報は、カメラ２から記憶部４４に一旦記憶された後に、距離情報取得部４６２によって取得されても良い。
　　＜(２－３)仮想視点画像生成部＞
　仮想視点画像生成部４６３は、Ｔ１画像Ｇ１と、Ｔ１視点から被写体の各部分までの距離を示すＴ１距離情報とに基づいて、Ｔ１仮想視点画像を擬似的に生成する。上述したように、Ｔ１仮想視点画像は、Ｔ１画像Ｇ１の撮影に係るＴ１視点とは異なるＴ１仮想視点に係る撮影によって取得され得る画像である。
　ここでは、三角測量の原理に基づいて、Ｔ１画像Ｇ１の各画素の位置（各画素値に係る座標）をシフトさせることで、Ｔ１仮想視点画像が生成される。
　 図７は、Ｔ１仮想視点画像に係る仮想的な撮影条件を例示する模式図であり、図８は、三角測量の原理に基づいて、Ｔ１画像Ｇ１からＴ１仮想視点画像を生成する方法を説明するための図である。
　図７では、Ｔ１仮想視点に仮想的に設定されるカメラ（以下「仮想カメラ」とも称する）２ｖが細い破線で示されるとともに、該仮想カメラ２ｖについて、撮影可能範囲の外縁が太い破線で示され且つ頭部２ＨＵに係る近景光路の外縁が細い破線で示されている。なお、図７には、図４で示されたＴ１画像Ｇ１の撮影条件についても併せて示されている。
　ここで、カメラ２（すなわち視点）から被写体２０Ｂまでの距離をＤ、Ｔ１視点とＴ１仮視点との離隔距離をＢ、カメラ２のレンズの焦点距離をｆ、Ｔ１画像Ｇ１とＴ１仮想視点画像との間における同じ部分を捉えた画素のズレ量（視差）をΔｄとすると、下式(１)の関係が成立する。
　　Ｄ＝ｆ×Ｂ／Δｄ　・・・(１)。
　上式(１)のうち、離隔距離Ｂについては、Ｔ１視点の位置に対するＴ１仮想視点の位置が仮想的に設定されることで一義的に決まる。焦点距離ｆは、カメラ２の設計によって決まる。また、距離Ｄについては、Ｔ１距離情報によって与えられる。このため、Ｔ１画像Ｇ１の各画素について視差Δｄが求まる。そこで、視差Δｄに従って、Ｔ１画像Ｇ１の各画素をシフトさせることで、Ｔ１仮想視点画像が生成される。つまり、視差Δｄが、Ｔ１画像Ｇ１からＴ１仮想視点画像が生成される際における各画素のシフト量となる。
　図９は、Ｔ１仮想視点画像Ｇ１１を例示するイメージ図である。
　図９で示されるように、Ｔ１仮想視点画像Ｇ１１は、頭部２ＨＵを捉えた領域（以下「Ｔ１仮想物体領域」とも称する）Ａ１１１と、背景２ＷＡを捉えた領域（以下「Ｔ１仮想背景領域」とも称する）Ａ１１２とを有する。
　但し、Ｔ１仮想視点画像Ｇ１１では、画素の移動に伴って、画素が抜け落ちて画素値が不明の領域（すなわちオクルージョン領域）が生じる。このオクルージョン領域は、Ｔ１画像では捉えられていない被写体の部分に相当するＴ１非撮影領域である。
　このオクルージョン領域が生じる原因としては、(Ｉ)撮影方向と近景の物体が存在する方向との間の角度関係の変化、(II)近景の物体によって隠れている背景のシフト、および(III)カメラ２の画角による撮影可能範囲のシフト、の３つの原因が挙げられる。
　例えば、図９で示されるＴ１仮想視点画像Ｇ１１では、(ｉ)原因(Ｉ)によるＴ１仮想物体領域Ａ１１１のオクルージョン領域Ａｏ１１１、(ii)原因(II)によるＴ１仮想背景領域Ａ１１２のうちのＴ１仮想物体領域Ａ１１１の近傍のオクルージョン領域Ａｏ１１２、および(iii)原因(III)によるＴ１仮想背景領域Ａ１１２の右端近傍のオクルージョン領域Ａｏ１１３、の３種類のオクルージョン領域が発生している。
　なお、図７では、３つのオクルージョン領域Ａｏ１１１～Ａｏ１１３に対応する部分ＯＰ１１１～ＯＰ１１３に太線が付されている。オクルージョン領域Ａｏ１１１～Ａｏ１１３のうち、オクルージョン領域Ａｏ１１３は、離隔距離Ｂと画角との関係から一義的に区別可能に認識される。
　　＜(２－４)オクルージョン補填部＞
　オクルージョン補填部４６４は、Ｔ１仮想視点画像のうち、Ｔ１画像Ｇ１では捉えられていない被写体の部分に相当するオクルージョン領域に係る画素値を、Ｔ２画像Ｇ２に基づいて補填する処理（以下「画素値補填処理」とも称する）を行う。画素値補填処理を実現する方法（画素値の補填方法）については、種々のバリエーションが存在する。ここで、具体例として第１および第２補填方法について順次に説明する。
　　　＜(２－４－１)第１補填方法＞
　図１０から図１２は、第１補填方法を説明するための図である。
　図１０では、Ｔ１画像Ｇ１（図３）に対して、Ｔ１物体領域Ａ１１内の点Ｐ１１（ここではＴ１物体領域Ａ１１内の右端の画素を示す点）と、Ｔ１背景領域Ａ１２内の点Ｐ１２（ここではＴ１背景領域Ａ１２内の点Ｐ１１と隣接する画素を示す点）とが便宜的に付された図が示されている。
　図１１では、Ｔ２画像Ｇ２（図５）に対して、Ｔ１画像Ｇ１の点Ｐ１１の画素で捉えられていた被写体の部分と同一の部分が捉えられた画素を示す点Ｐ２１と、Ｔ１画像Ｇ１の点Ｐ１２の画素で捉えられていた被写体の部分と同一の部分が捉えられた画素を示す点Ｐ２２とが便宜的に付された図が示されている。
　ここでは、図６で示されるように、時刻Ｔ１から時刻Ｔ２にかけて、カメラ２から見て頭部２ＨＵが左方に移動するとともに該頭部２ＨＵの向きが変化する。このとき、Ｔ２画像Ｇ２では、Ｔ１画像Ｇ１で捉えられていない頭部２ＨＵの一部分（以下「物体出現部分」とも称する）ＯＡ２１と背景２ＷＡの一部分（以下「背景出現部分」とも称する）ＢＡ２２とが捉えられている。なお、図６では、物体出現部分ＯＡ２１および背景出現部分ＢＡ２２に太線が付されている。
　図１１では、物体出現部分ＯＡ２１を捉えた領域（以下「Ｔ２物体出現領域」とも称する）Ｎ２１に斜線ハッチングが付され、背景出現部分ＢＡ２２を捉えた領域（以下「Ｔ２背景出現領域」とも称する）Ｎ２２に斜線ハッチングが付されて示されている。
　第１補填方法では、Ｔ２物体出現領域Ｎ２１およびＴ２背景出現領域Ｎ２２の各画素に係る画素値が、Ｔ１仮想視点画像Ｇ１１（図９）のオクルージョン領域Ａｏ１１１，Ａｏ１１２の各画素に対して付与される。
　具体的には、オクルージョン補填部４６４において機能的に実現される認識部によって、Ｔ１画像Ｇ１とＴ２画像Ｇ２との間で画素の対応付けが行われることで、Ｔ２画像Ｇ２のうちのＴ１画像Ｇ１とは対応していない領域（以下「非対応領域」とも称する）が認識される。ここで言う「画素の対応付け」は、例えば、Ｔ１画像Ｇ１に含まれる各画素について、Ｔ２画像Ｇ２から同一の被写体を捉えた画素を探索する処理であり、いわゆるＳＡＤ(Sum of Absolute Difference)法やＰＯＣ(Phase-only Correlation)法等と称される既存の方法によって実現可能である。
　ここで認識される非対応領域には、Ｔ２物体出現領域Ｎ２１とＴ２背景出現領域Ｎ２２とが含まれる。そして、カメラ２から頭部２ＨＵまでの距離とカメラ２から背景２ＷＡまでの距離との違いに着目することで、Ｔ２距離情報に基づいて、Ｔ２物体出現領域Ｎ２１とＴ２背景出現領域Ｎ２２とが区別可能に認識される。なお、Ｔ１物体領域Ａ１１における点Ｐ１１とＴ２物体領域Ａ２１における点Ｐ２１との対応関係、すなわち時刻Ｔ１から時刻Ｔ２にかけての物体のシフト量も求まる。
　次に、Ｔ２距離情報に基づいて、Ｔ２物体出現領域Ｎ２１の画素とオクルージョン領域Ａｏ１１１の画素とを対応付ける処理（以下「物体対応付け処理」とも称する）、およびＴ２背景出現領域Ｎ２２の画素とオクルージョン領域Ａｏ１１２の画素とを対応付ける処理（以下「背景対応付け処理」とも称する）が行われる。
　ここでは、カメラ２が固定されている条件下にあるため、背景対応付け処理では、例えば、Ｔ２背景出現領域Ｎ２２の各画素に対して、Ｔ２距離情報と上式(１)とから視差（シフト量）Δｄが算出され、該シフト量Δｄに従った画素の対応付けが行われる。また、物体対応付け処理では、点Ｐ１１と点Ｐ２１とのズレ量（すなわち時間経過に応じたシフト量）がない簡略化されたケースであれば、背景対応付け処理と同様な処理が行われる。
　詳細には、まず、時刻Ｔの撮影によって得られた画像について、任意の各画素のＸ座標がｘ、Ｙ座標がｙとされ、その各画素に係る座標が（ｘ，ｙ，Ｔ）の形式で表され、更に、その各画素に係る画素値がＩ（ｘ，ｙ，Ｔ）の形式で表されるものとする。このとき、Ｔ２距離情報に含まれるＴ２視点から物体出現部分ＯＡ２１の各部までの距離をＤf、Ｔ２視点から背景出現部分ＢＡ２２の各部までの距離をＤhとすると、距離Ｄfが上式(１)のＤに代入されると、Ｔ２物体出現領域Ｎ２１の各画素に係るシフト量Δｄfが求まり、距離Ｄhが上式(１)のＤに代入されると、Ｔ２背景出現領域Ｎ２２の各画素に係るシフト量Δｄhが求まる。
　ここで、Ｔ２物体出現領域Ｎ２１内の任意の画素の座標を（ｘN21，ｙN21，Ｔ２）とすると、該画素が、オクルージョン領域Ａｏ１１１における座標が（ｘN21－Δｄf，ｙN21，Ｔ１）である画素に対応付けられる。また、Ｔ２背景出現領域Ｎ２２内の任意の画素の座標を（ｘN22，ｙN22，Ｔ２）とすると、該画素が、オクルージョン領域Ａｏ１１２における座標が（ｘN22－Δｄh，ｙN22，Ｔ１）である画素に対応付けられる。このような画素の対応付けがオクルージョン領域Ａｏ１１１，Ａｏ１１２の各画素に対して行われる。
　そして、上記画素の対応付け結果に基づいて、オクルージョン領域Ａｏ１１１内の座標が（ｘN21－Δｄf，ｙN21，Ｔ１）である画素に対して、Ｔ２物体出現領域Ｎ２１内の座標が（ｘN21，ｙN21，Ｔ２）である画素に係る画素値Ｉ（ｘN21，ｙN21，Ｔ２）が付与される。また、オクルージョン領域Ａｏ１１２内の座標が（ｘN22－Δｄh，ｙN22，Ｔ１）である画素に対して、Ｔ２背景出現領域Ｎ２２内の座標が（ｘN22，ｙN22，Ｔ２）である画素に係る画素値Ｉ（ｘN22，ｙN22，Ｔ２）が付与される。
　このような画素値の付与がオクルージョン領域Ａｏ１１１，Ａｏ１１２の各画素に対して行われることで、画素値補填処理が完了する。
　図１２では、Ｔ１仮想視点画像Ｇ１１に対して画素値補填処理が施されることで生成されるＴ１仮想視点画像Ｇ１１ｒが示されている。Ｔ１仮想視点画像Ｇ１１ｒは、図９で示されたＴ１仮想視点画像Ｇ１１をベースとして、オクルージョン領域Ａｏ１１１に対してＴ２物体出現領域Ｎ２１に係る画素値が付与された領域Ｎｏ１１１と、オクルージョン領域Ａｏ１１２に対してＴ２背景出現領域Ｎ２２に係る画素値が付与された領域Ｎｏ１１２とが加えられたものである。図１２では、領域Ｎｏ１１１，Ｎｏ１１２にはそれぞれ斜線のハッチングが付されている。
　なお、図１２では、オクルージョン領域Ａｏ１１３が残存しているＴ１仮想視点画像Ｇ１１ｒが例示されている。このため、例えば、Ｔ１仮想視点画像Ｇ１１ｒからオクルージョン領域Ａｏ１１３が含まれないようなサイズの矩形状の外縁を有する画像が生成されるとともに、このサイズに合わせて、Ｔ１画像Ｇ１から同一サイズの矩形状の外縁を有する画像が生成されても良い。また、オクルージョン領域Ａｏ１１３に対して、近傍の画素に係る画素値と同一の画素値が付与される構成も考えられる。
　ところで、点Ｐ１１と点Ｐ２１とのズレ量（すなわち時間経過に応じたシフト量）があれば、物体対応付け処理は、該シフト量が加味された処理であることが好ましい。このような物体対応付け処理では、例えば、点Ｐ１１と点Ｐ２１との間におけるシフト量をΔｄfTとすれば、Ｔ２物体出現領域Ｎ２１内の座標が（ｘN21，ｙN21，Ｔ２）の画素が、オクルージョン領域Ａｏ１１１内の座標が（ｘN21－Δｄf－ΔｄfT，ｙN21，Ｔ１）である画素に対応付けられる。
　このような構成では、物体対応付け処理の精度を向上させる観点から言えば、点Ｐ２１の画素は、Ｔ２物体出現領域Ｎ２１の近傍の画素であることが好ましく、例えば、Ｔ２物体出現領域Ｎ２１の隣接画素であっても良いし、Ｔ２物体出現領域Ｎ２１から所定数の範囲内の画素であっても良い。該所定数としては、例えば、数個等が考えられ、Ｔ２視点から被写体までの距離と解像度との関係から設定されても良い。
　また、オクルージョン領域Ａｏ１１１，Ａｏ１１２のうち、上記画素値補填処理によっての画素値が付与されていない領域の各画素に対して、その近傍の画素の画素値を用いた補間処理によって画素値が付与されても良い。
　図１３は、情報処理システム１において実現される画素値補填処理の動作フローを例示するフローチャートである。
　図１３で示されるように、まず、時刻Ｔ１において、カメラ２による撮影動作に応じて画像取得部４６１によってＴ１画像Ｇ１が取得され（ステップＳＴ１）、測距機３による測距動作に応じて距離情報取得部４６２によってＴ１距離情報が得られる（ステップＳＴ２）。次に、時刻Ｔ２において、カメラ２による撮影動作に応じて画像取得部４６１によってＴ２画像Ｇ２が取得され（ステップＳＴ３）、測距機３による測距動作に応じて距離情報取得部４６２によってＴ２距離情報が得られる（ステップＳＴ４）。その次に、仮想視点画像生成部４６３によってＴ１画像Ｇ１とＴ１距離情報とに基づいてＴ１仮想視点画像が生成される（ステップＳＴ５）。そして、オクルージョン補填部４６４によってオクルージョン領域Ａｏ１１１，Ａｏ１１２の各画素に対する画素値の付与が行われる（ステップＳＴ６）。
　なお、カメラ２によって３以上のタイミングで得られる多数の画像について、それぞれ視点を仮想的に異ならせた画像（仮想視点画像）が得られても良い。
　また、オクルージョン領域Ａｏ１１１，Ａｏ１１２のうちの少なくとも一方の領域の各画素に対して画素値が付与されるような構成も考えられる。
　例えば、頭部２ＨＵが回転せず、Ｔ２物体出現領域Ｎ２１が生じないケースでは、背景２ＷＡに係るオクルージョン領域Ａｏ１１２の各画素に対して画素値が付与されれば良い。
　図１４は、時刻Ｔ１から時刻Ｔ２にかけて頭部２ＨＵがカメラ２から見て左方に若干移動した後の状態において撮影が行われることで得られるＴ２画像Ｇ２ａを例示するイメージ図である。図１５は、Ｔ２画像Ｇ２ａの撮影条件を例示する模式図である。
　図１５では、図４および図６と同様に、カメラ２、人物２ＨＵ、および背景２ＷＡの配置関係を上方から見た模式図が示されており、カメラ２の撮影可能領域の外縁が太い一点鎖線で示され、頭部２ＨＵに係る近景光路の外縁が細い一点鎖線で示されている。また、時刻Ｔ１における頭部２ＨＵの位置および該頭部２ＨＵに係る近景光路の外縁が細い破線で示されている。
　図１４および図１５で示されるように、Ｔ２画像Ｇ２ａは、頭部２ＨＵを捉えたＴ２物体領域Ａ２１ａと、背景２ＷＡを捉えたＴ２背景領域Ａ２２ａとによって構成される。そして、Ｔ２画像Ｇ２ａでは、Ｔ２背景出現領域Ｎ２２ａが生じている。図１５では、Ｔ２背景出現領域Ｎ２２ａに対応する部分ＢＡ２２ａに太線が付されている。このようなケースでは、Ｔ２背景出現領域Ｎ２２ａの画素値に基づいて、オクルージョン領域Ａｏ１１２の各画素に対して画素値が付与される。但し、Ｔ２画像Ｇ２ａからは、オクルージョン領域Ａｏ１１１に対応する画素値が得られない。
　図１６は、画素値補填処理が施された後のＴ１仮想視点画像Ｇ１１ｒａを例示する図である。Ｔ１仮想視点画像Ｇ１１ｒａは、図９で示されたＴ１仮想視点画像Ｇ１１をベースとして、オクルージョン領域Ａｏ１１２に対してＴ２背景出現領域Ｎ２２ａに係る画素値が付与された領域Ｎｏ１１２ａが加えられたものである。図１６では、領域Ｎｏ１１２ａに斜線のハッチングが付されている。
　また、例えば、頭部２ＨＵの動きによって、Ｔ２背景出現領域Ｎ２２が生じないケースでは、頭部２ＨＵに係るオクルージョン領域Ａｏ１１１の各画素に対して画素値が付与されれば良い。
　図１７は、時刻Ｔ１から時刻Ｔ２にかけて頭部２ＨＵが上方から見て時計回りに若干の角度（例えば２０度程度）回転した後の状態において撮影が行われることで得られるＴ２画像Ｇ２ｂを例示するイメージ図である。図１８は、Ｔ２画像Ｇ２ｂの撮影条件を例示する模式図である。
　図１８では、図４、図６、および図１５と同様に、カメラ２、人物２ＨＵ、および背景２ＷＡの配置関係を上方から見た模式図が示されており、カメラ２の撮影可能領域の外縁が太い一点鎖線で示され、頭部２ＨＵに係る近景光路の外縁が細い一点鎖線で示されている。ここでは、時刻Ｔ１における頭部２ＨＵの位置が細い破線で示されており、時刻Ｔ１における頭部２ＨＵに係る近景光路の外縁は、時刻Ｔ２における頭部２ＨＵに係る近景光路の外縁と略同一となる。
　図１７および図１８で示されるように、Ｔ２画像Ｇ２ｂは、頭部２ＨＵを捉えたＴ２物体領域Ａ２１ｂと、背景２ＷＡを捉えたＴ２背景領域Ａ２２ｂとによって構成される。そして、Ｔ２画像Ｇ２ｂでは、Ｔ２物体出現領域Ｎ２１ｂが生じている。図１８では、Ｔ２背景出現領域Ｎ２１ａに対応する部分ＯＡ２１ｂに太線が付されている。このようなケースでは、Ｔ２物体出現領域Ｎ２１ｂの画素値に基づいて、オクルージョン領域Ａｏ１１１の各画素に対して画素値が付与される。但し、Ｔ２画像Ｇ２ｂからは、オクルージョン領域Ａｏ１１２に対応する画素値が得られない。
　図１９は、画素値補填処理が施された後のＴ１仮想視点画像Ｇ１１ｒｂを例示する図である。Ｔ１仮想視点画像Ｇ１１ｒｂは、図９で示されたＴ１仮想視点画像Ｇ１１をベースとして、オクルージョン領域Ａｏ１１１に対してＴ２物体出現領域Ｎ２１ｂに係る画素値が付与された領域Ｎｏ１１１ｂが加えられたものである。図１９では、領域Ｎｏ１１１ｂに斜線のハッチングが付されている。
　以上のように、第１補填方法に係る画素値補填処理では、Ｔ１仮想視点画像Ｇ１１におけるＴ１非撮影領域の各画素に係る画素値が、撮影時刻が異なるＴ２画像Ｇ２に基づいて補填される。このため、視覚的に違和感のない画素値補填処理後のＴ１仮想視点画像（以下「補填済みＴ１仮想視点画像」とも称する）が生成される。
　　　＜(２－４－２)第２補填方法＞
　第２補填方法では、上記第１補填方法と比較して、物体対応付け処理および背景対応付け処理がより正確に行われる。なお、第２補填方法は、物体対応付け処理および背景対応付け処理以外は、上記第１補填方法と同様となる。以下、第２補填方法について、上記第１補填方法と異なる物体対応付け処理および背景対応付け処理について説明し、上記第１補填方法と同様な部分については、重複説明を省略する。
　第２補填方法では、物体対応付け処理および背景対応付け処理が、同様な方法によって行われるため、以下では、物体対応付け処理と背景対応付け処理とを、まとめて「対応付け処理」と総称する。
　ここでは、Ｔ２物体出現領域Ｎ２１およびＴ２背景出現領域Ｎ２２内の任意の画素の座標を（ｘN2，ｙN2，Ｔ２）とする。また、Ｔ２画像Ｇ２のうちのＴ１画像Ｇ１と対応する領域、すなわちＴ１画像Ｇ１で捉えられた被写体の部分と同一の部分が捉えられた領域を「対応領域」と称するものとする。更に、Ｔ２物体領域Ａ２１のうちのＴ１物体領域Ａ１１で捉えられた被写体の部分と同一の部分が捉えられた領域を「物体対応領域」と称し、Ｔ２背景領域Ａ２２のうちのＴ１背景領域Ａ１２で捉えられた被写体の部分と同一の部分が捉えられた領域を「背景対応領域」と称する。なお、「物体対応領域」と「背景対応領域」とを「対応領域」と総称する。
　第２補填方法に係る対応付け処理では、まず、第１ステップとして、次の３つの条件(具体的には、条件１～３)を満たす被写体の部分が捉えられた画素が、対応付け処理において基準となる点として設定される。
　(条件１)Ｔ１画像Ｇ１で捉えられている被写体の部分であること。
　(条件２)Ｔ２画像Ｇ２のうちの、対応付け処理の対象となっている座標が（ｘN2，ｙN2，Ｔ２）である画素（以下「Ｔ２処理対象画素」とも称する）の近傍に位置する画素（近傍画素）で捉えられている被写体の部分であること。
　(条件３)Ｔ２処理対象画素（以下「Ｔ２処理対象点」とも称する）で捉えられている被写体の部分と、カメラ２からの離隔距離が略同一である被写体の部分であること。
　具体的には、オクルージョン補填部４６４の設定部として働く部分によって、対応領域のうちの上記３つの条件（具体的には、条件１～３）を満たす画素がＴ２基準画素（以下「Ｔ２基準点」とも称する）として設定される。ここでは、Ｔ２基準点の座標を（ｘ2，ｙ2，Ｔ２）とする。例えば、Ｔ２処理対象点がＴ２物体出現領域Ｎ２１に含まれる場合は、点Ｐ２１（図１１）等がＴ２基準点として設定され、Ｔ２処理対象点がＴ２背景出現領域Ｎ２２に含まれる場合は、点Ｐ２２（図１１）等がＴ２基準点として設定される。
　なお、上記条件２の「近傍画素」としては、Ｔ２処理対象点の画素と同一の物体（または同一の背景）を捉えた画素と推定される画素であれば良い。
　例えば、Ｔ２処理対象点がＴ２物体出現領域Ｎ２１に含まれる場合には、近傍画素は、物体対応領域内の画素であれば良い。そして、物体対応付け処理の精度を向上させる観点から言えば、該近傍画素は、Ｔ２処理対象点からの離隔距離がより短く且つＴ２物体出現領域Ｎ２１の近傍の画素であることが好ましい。従って、該近傍画素は、Ｔ２物体出現領域Ｎ２１の隣接画素であっても良いし、Ｔ２物体出現領域Ｎ２１から所定数の範囲内の画素であっても良い。該所定数としては、例えば、数個等が考えられ、被写体までの距離と解像度との関係から設定されても良い。
　また、Ｔ２処理対象点がＴ２背景出現領域Ｎ２２に含まれる場合には、近傍画素は、背景対応領域内の画素であれば良い。そして、背景対応付け処理の精度を向上させる観点から言えば、該近傍画素は、Ｔ２処理対象点からの離隔距離がより短く且つＴ２背景出現領域Ｎ２２の近傍の画素であることが好ましい。従って、該近傍画素は、Ｔ２背景出現領域Ｎ２２の隣接画素であっても良いし、Ｔ２背景出現領域Ｎ２２から所定数の範囲内の画素であっても良い。該所定数としては、例えば、数個等が考えられ、被写体までの距離と解像度との関係から設定されても良い。
　また、上記条件３の「カメラ２からの離隔距離が略同一」については、測距の精度によって略同一の範囲として許容される範囲は異なるが、例えば、カメラ２からＴ２処理対象点の画素で捉えられた被写体の部分までの離隔距離に対してある程度の範囲内の離隔距離を含む。この「ある程度の範囲」は、カメラ２からＴ２処理対象点の画素で捉えられた被写体の部分までの離隔距離に対する所定割合の範囲（例えば、数％～１０％程度等）に設定されても良く、対応付け処理の精度を向上させる観点から言えば、狭ければ狭いほど好ましい。
　ここで、第１画像Ｇ１のうちのＴ２基準点と同じ被写体の部分が捉えられた画素をＴ１基準画素（以下「Ｔ１基準点」とも称する）とし、Ｔ１基準点の座標を（ｘ1，ｙ1，Ｔ１）とする。例えば、Ｔ２基準点がＴ２物体領域Ａ２１に含まれる場合には、Ｔ１物体領域Ａ１１に含まれる点Ｐ１１（図１０）等がＴ１基準点として設定され、Ｔ２基準点がＴ２背景領域Ａ２２に含まれる場合には、Ｔ１背景領域Ａ１２に含まれる点Ｐ１２（図１０）等がＴ１基準点として設定される。
　また、Ｔ１視点からＴ１基準点の画素で捉えられた被写体の部分までの距離をＤ1(Ｔ１)とし、Ｔ２視点からＴ２基準点の画素で捉えられた被写体の部分までの距離をＤ2(Ｔ２)とし、Ｔ２視点からＴ２処理対象点の画素で捉えられた被写体の部分までの距離をＤN2(Ｔ２)とする。更に、オクルージョン領域Ａｏ１１１，Ａｏ１１２のうち、Ｔ２処理対象点の画素値が付与される対象となる画素をＴ１被補填画素（以下「Ｔ１被補填点」とも称する）とし、該Ｔ１被補填点の座標を（ｘo11，ｙo11，Ｔ１）とする。
　距離Ｄ1(Ｔ１)は、Ｔ１距離情報から得られ、距離Ｄ2(Ｔ２)および距離をＤN2(Ｔ２)は、Ｔ２距離情報から得られる。また、Ｔ１仮想視点画像Ｇ１１上でＴ１基準点と同じ被写体の部分が捉えられた画素をＴ１仮想基準画素（以下「Ｔ１仮想基準点」とも称する）とし、Ｔ１画像Ｇ１におけるＴ１基準点の座標と、Ｔ１仮想視点画像Ｇ１１におけるＴ１仮想基準点の座標との差（以下「Ｔ１視差」とも称する）をΔｄT1とすると、Ｔ１視差ΔｄT1は、距離Ｄ1(Ｔ１)が上式(１)に代入されることで求められる。そして、Ｔ１仮想視点画像Ｇ１１におけるＴ１仮想基準点の座標は（ｘ1－ΔｄT1，ｙ1，Ｔ１）と表される。
　なお、例えば、Ｔ１基準点が点Ｐ１１（図１０）であれば、Ｔ１仮想基準点が点Ｐ１１１（図９）となり、Ｔ１基準点が点Ｐ１２（図１０）であれば、Ｔ１仮想基準点が点Ｐ１１２（図９）となる。
　また、Ｔ２基準点の座標について、距離Ｄ2(Ｔ２)が上式(１)に代入されることで求められる視差（以下「Ｔ２視差」とも称する）をΔｄT2とする。ここでは、仮に、Ｔ２画像Ｇ２と、Ｔ２視点から被写体の各部分までの距離を示すＴ２距離情報とに基づいて、Ｔ２仮想視点からの撮影によって取得され得る画像（以下「Ｔ２仮想視点画像」）が生成された場合を想定する。なお、Ｔ１視点とＴ１仮想視点との位置関係と、Ｔ２視点とＴ２仮想視点との位置関係とは同一である。この場合、Ｔ２視差ΔｄT2は、Ｔ２仮想視点画像におけるＴ２基準点と同一の部分が捉えられた点（以下「Ｔ２仮想基準点」とも称する）と、Ｔ２画像Ｇ２におけるＴ２基準点との間における座標のズレ量に相当する。
　更に、Ｔ１仮想視点画像Ｇ１１において、Ｔ２処理対象点と同一の被写体の部分が捉えられた画素をＴ１仮想処理対象画素（以下「Ｔ１仮想処理対象点」とも称する）とする。このＴ１仮想処理対象点が、Ｔ１被補填点に相当する。
　次に、対応付け処理の第２ステップとして、下記計算式に従った処理によって、Ｔ１被補填点の座標が求められる。
　具体的には、Ｔ１視点とＴ１仮想視点とが、地面に対して水平な面内において撮影方向と垂直な方向に或る距離ずらされた位置関係を有するため、Ｔ１被補填点のＸ座標の値ｘo11は、下式(２)の関係を有する。
　　ｘo11＝{ｘ1－ΔｄT1}＋(ｘN2－ｘ2)＋{ΔｄT1－ΔｄT2}　・・・(２)。
　ここで、上式(２)の右辺の第１項は、Ｔ１仮想視点画像Ｇ１１のうちのオクルージョン領域に属しない画素のＸ座標を示し、具体的には、Ｔ１仮想視点画像Ｇ１１におけるＴ１仮想基準点の位置情報を示す。詳細には、Ｔ１仮想視点画像Ｇ１１のうちのＴ１基準点に対応するＴ１仮想基準点のＸ座標に相当する。
　上式(２)の右辺の第２項は、Ｔ２画像Ｇ２上におけるＴ２基準点とＴ２処理対象点との間における座標の差（以下「Ｔ２ズレ量」と称する）を示す。すなわち、Ｔ２画像Ｇ２におけるＴ２基準点とＴ２処理対象点との相対的な位置関係を示す。なお、ここでは、Ｔ２視点からＴ２基準点で捉えられた被写体の部分までの距離と、Ｔ２視点からＴ２処理対象点で捉えられた被写体の部分までの距離とが同一である場合には、Ｔ１仮想視点画像Ｇ１１のおけるＴ１仮想基準点とＴ１仮想処理対象点との間における座標の差（以下「Ｔ１仮想ズレ量」とも称する）は、Ｔ２ズレ量と同一となる。
　上式(２)の右辺の第３項は、Ｔ１視差ΔｄT1とＴ２視差ΔｄT2との違い（ΔｄT1－ΔｄT2）を示す。仮に、Ｔ１視差ΔｄT1とＴ２視差ΔｄT2とが異なれば、Ｔ２画像Ｇ２上におけるＴ２基準点とＴ２処理対象点とのズレ量（Ｔ２ズレ量）と、Ｔ１仮想視点画像Ｇ１１上におけるＴ１仮想基準点とＴ１仮想処理対象点とのズレ量（Ｔ１仮想ズレ量）との間に差が生じる。そこで、右辺の第３項は、Ｔ２ズレ量とＴ１仮想ズレ量との間の差を補正する役割を有する。
　このような上式(２)に従った演算により、物体対応付け処理と背景対応付け処理とを含む対応付け処理が実現される。つまり、対応付け処理が、オクルージョン領域Ａｏ１１１，Ａｏ１１２の各画素、すなわち座標（ｘo11，ｙo11，Ｔ１）のＴ１被補填点に対して、座標（ｘN2，ｙN2，Ｔ２）のＴ２処理対象点が対応付けられる。
　なお、このような対応付け処理の結果に応じて、座標（ｘN2，ｙN2，Ｔ２）のＴ２処理対象点の画素値Ｉ（ｘN2，ｙN2，Ｔ２）が、座標（ｘo11，ｙo11，Ｔ１）のＴ１被補填点の画素値として付与される。つまり、Ｉ（ｘo11，ｙo11，Ｔ１）＝Ｉ（ｘN2，ｙN2，Ｔ２）の関係が成立する。
　以上のように、第２補填方法に係る画素値補填処理では、Ｔ１仮想視点画像Ｇ１１におけるＴ１仮想基準点の位置情報と、Ｔ２画像におけるＴ２基準点とＴ２処理対象点との相対的な位置関係とに基づき、Ｔ１仮想視点画像Ｇ１１においてＴ２処理対象点に対応するＴ１被補填点が特定される。そして、該Ｔ１被補填点に対してＴ２処理対象点に係る画素値が付与される。このため、Ｔ１非撮影領域の各画素に係る画素値が高精度で求められる。その結果、視覚的に違和感のない補填済みＴ１仮想視点画像がより確実に生成される。
　なお、Ｔ１視点とＴ１仮想視点とが、地面に対して垂直な面内において撮影方向と垂直な方向に或る距離ずらされた位置関係を有する場合には、Ｙ座標について上式(２)と同様な数式を設定し、Ｔ１被補填点のＹ座標の値を求めれば良い。更に、Ｔ１視点とＴ１仮想視点とが、地面に対して水平な方向にも垂直な方向にもずらされた位置関係を有する場合には、Ｘ座標およびＹ座標の双方について上式(２)と同様な数式を設定し、Ｔ１被補填点のＸ座標およびＹ座標の値を求めれば良い。
　ところで、第２補填法に係る対応付け処理の第１ステップでは、３つの条件（具体的には、条件１～３）を満たすようにＴ２基準点が設定されたが、例えば、条件３を除く２つの条件（具体的には、条件１，２）を満たすようにＴ２基準点が設定されても良い。但し、上式(２)における右辺の第３項による補正の効果を高めて、対応付け処理の精度を向上させる観点から言えば、条件３も満たすようにＴ２基準点が設定される方が好ましい。
　　＜(２－５)立体視画像生成部＞
　立体視画像生成部４６５は、Ｔ１画像とＴ１仮想視点画像とから、いわゆる立体視が可能な３Ｄ画像を生成する。なお、カメラ２によって３以上のタイミングで得られる多数の画像について、それぞれ視点を仮想的に異ならせた仮想視点画像が得られる場合には、同一撮影時刻に係る画像とその仮想視点画像との各ペアの画像に基づいて、動画の態様の３Ｄ画像が生成される。立体視画像生成部４６５で生成される３Ｄ画像については、例えば、記憶部４４および記憶媒体９の何れかに記憶される。そして、該３Ｄ画像は、表示部４２において適時可視的に出力されても良い。
　＜(３)本実施形態のまとめ＞
　以上のように、一実施形態に係る情報処理システム１で実現される画像処理システムによれば、Ｔ１仮想視点画像Ｇ１１におけるオクルージョン領域の各画素に係る画素値が、撮影時刻が異なるＴ２画像Ｇ２に基づいて補填される。このため、視覚的に違和感のない補填済みＴ１仮想視点画像の生成が可能となる。その結果、視覚的に違和感のない立体視可能な３Ｄ画像の生成が可能となる。
　また、Ｔ１画像Ｇ１とＴ２画像Ｇ２との間における画素の対応付けによって、Ｔ２物体出現領域Ｎ２１とＴ２背景出現領域Ｎ２２とが認識される。その結果、オクルージョン領域の各画素に係る画素値が容易に求められるため、視覚的に違和感のない補填済みＴ１仮想視点画像の生成が短時間で実行される。
　更に、Ｔ１仮想視点画像Ｇ１１におけるＴ１仮想基準点の位置情報と、Ｔ２画像Ｇ２におけるＴ２基準点とＴ２処理対象点との相対的な位置関係とに基づいて、Ｔ１仮想視点画像Ｇ１１においてＴ２処理対象点に対応するＴ１被補填点が特定される。このため、オクルージョン領域の各画素に係る画素値が高精度で求められる。その結果、視覚的に違和感のない補填済みＴ１仮想視点画像がより確実に生成される。
　＜(４)変形例＞
　なお、本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。
　　＜(４－１)一実施形態をベースとした変形例＞
　◎例えば、上記一実施形態では、画像上における２次元の位置を示す情報が主に用いられて、Ｔ２処理対象点に対応するＴ１被補填点が特定されたが、これに限られない。例えば、３次元の位置を示す情報が用いられて、Ｔ２処理対象点に対応するＴ１被補填点が特定されても良い。以下、具体例を示して説明する。
　図２０は、一変形例に係る情報処理装置４の仮想視点画像生成動作に係る機能的な構成を示す図である。ここでは、記憶部４４に格納されたプログラムＰＧＡが制御部４６で実行されることで、制御部４６の機能的な構成が実現される例を挙げて説明するが、該機能的な構成が専用のハードウエア構成によって実現されても良い。
　図２０で示されるように、制御部４６は、機能的な構成として、画像取得部４６１、距離情報取得部４６２、仮想視点画像生成部４６３、オクルージョン補填部４６４Ａ、立体視画像生成部４６５、物体推定部４６６、および情報更新部４６７を有する。なお、画像取得部４６１、距離情報取得部４６２、仮想視点画像生成部４６３、および立体視画像生成部４６５については、上記一実施形態と同様な機能を有するため、同じ符号を付して説明を省略する。
　物体推定部４６６は、Ｔ１画像Ｇ１から特定種類の物体（ここでは、頭部）が捉えられたＴ１物体領域Ａ１１を検出するとともに、Ｔ２画像Ｇ２から特定種類の物体（ここでは、頭部）が捉えられたＴ２物体領域Ａ２１を検出する。例えば、頭部や顔の一般的な形状や画素値のパターン等を用いたパターンマッチングによって、Ｔ１画像Ｇ１からＴ１物体領域Ａ１１を検出することが可能であり、Ｔ２画像Ｇ２からＴ２物体領域Ａ２１を検出することが可能である。
　また、演算部としての物体推定部４６６は、距離情報取得部４６２から得られるＴ１距離情報に基づき、Ｔ１物体領域Ａ１１を構成する各画素で捉えられている被写体の部分について３次元空間における位置を示す情報（３次元情報）を算出する。また、該物体推定部４６６は、距離情報取得部４６２から得られるＴ２距離情報に基づき、Ｔ２物体領域Ａ２１を構成する各画素で捉えられている被写体の部分について３次元空間における位置を示す情報（３次元情報）を算出する。
　例えば、上式(１)の関係を利用すると、各部分の３次元空間における座標（Ｘｏ，Ｙｏ，Ｚｏ）は、下式(３)～(５)によって算出される。ここで、Ｘｏ、Ｙｏ、およびＺｏは、相互に直交するＸ、Ｙ、およびＺの３軸に係る座標を示す。そして、カメラ２から被写体の部分に向けた方向がＺ軸が伸びる方向に相当し、Ｔ１視点からＴ２視点に向けた方向がＸ軸が伸びる方向に相当し、Ｘ軸およびＺ軸に対して直交し且つ地面に対して垂直な方向がＹ軸が伸びる方向に相当する。
　　Ｘｏ＝ｘＤ／ｆ　・・・(３)
　　Ｙｏ＝ｙＤ／ｆ　・・・(４)
　　Ｚｏ＝Ｄ　・・・(５)。
　情報更新部４６７は、Ｔ１物体領域Ａ１１を構成する各画素について、その３次元情報とその画素値とを関連付けて、物体情報４４１として記憶部４４に記憶する。つまり、上記物体情報４４１は、特定種類の物体（ここでは、頭部）の３次元形状に関する情報を含む。
　また、情報更新部４６７は、Ｔ２物体領域Ａ２１のうちのＴ１物体領域Ａ１１を構成する各画素とは同一の部分を捉えていない各画素について、その３次元情報とその画素値とを関連付けて、物体情報４４１に追加する。換言すれば、物体推定部４６６によるＴ２物体領域Ａ２１に係る算出結果に基づいて、Ｔ２物体領域Ａ２１のうちのＴ１物体領域Ａ１１に対応していない各画素（つまり非対応領域の各画素）に対して、その３次元情報とその画素値とが関連付けられて、物体情報４４１に追加される。すなわち、特定種類の物体の新たな３次元情報が得られる度に、物体情報４４１が更新され、特定種類の物体（ここでは、頭部）に係る情報が充実化される。
　ここでは、Ｔ１物体領域Ａ１１とＴ２物体領域Ａ２１との間で、同一の被写体の部分が捉えられている画素を認識する対応付けが行われることにより、Ｔ１物体領域Ａ１１では捉えられていない被写体の部分が捉えられている画素（すなわちＴ２物体出現領域Ｎ２１に係る画素）がＴ２物体領域Ａ２１から認識される。そして、Ｔ１画像Ｇ１が図３で示されるようなものであり、Ｔ２画像Ｇ２が図５で示されるようなものであれば、物体情報４４１に頭部の左側の部分の情報が追加される。
　なお、３次元形状に係る情報が更新される際には、Ｔ１画像Ｇ１とＴ２画像Ｇ２とによって重複して捉えられている部分に係る３次元形状が整合するように、物体情報４４１に既に含まれている３次元形状に係る情報に対して、新たな３次元形状に係る情報が追加される。
　オクルージョン補填部４６４Ａは、物体情報４４１を参照することで、該物体情報４４１に基づいて、Ｔ１仮想視点画像Ｇ１１のうちの非撮影領域（具体的には、オクルージョン領域Ａｏ１１１）の各画素に対して画素値を付与する。ここでは、Ｔ１仮想物体領域Ａ１１１のうちのオクルージョン領域Ａｏ１１１に含まれない点（例えば、鼻の頂点が捉えられている点）が基準となる特徴点とされて、物体情報４４１に基づき、オクルージョン領域Ａｏ１１１に対応する３次元空間における座標およびその画素値が求められる。
　このような構成によっても、上記一実施形態と同様に、視覚的に違和感のない補填済みＴ１仮想視点画像の生成が可能となる。そして、非撮影領域の各画素に係る画素値がより確実に求められる。
　◎また、上記一実施形態では、Ｔ２画像Ｇ２の画素と、オクルージョン領域Ａｏ１１１，Ａｏ１１２の画素との対応付けを行う対応付け処理が行われたが、この対応付け処理を簡略化することで、画素値補填処理に係る処理速度を飛躍的に向上させることが可能である。具体例としては、例えば、次の補填方法が考えられる。
　図２１は、一変形例に係るオクルージョン領域の補填方法を説明するための図である。本変形例では、上記一実施形態と比較して、オクルージョン補填部４６４の処理における補填方法が簡略化されたものとなっている。
　ここでは、まず、Ｔ２視点についても、Ｔ１視点に対するＴ１仮想視点の位置関係と同一の位置関係を有するＴ２仮想視点が仮定される。そして、上記一実施形態に係る仮想視点画像生成動作と同様な方法で、Ｔ２画像Ｇ２とＴ２距離情報とに基づき、Ｔ２仮想視点画像Ｇ２１が擬似的に生成される。次に、図２１で示されるように、オクルージョン補填部４６４によって、Ｔ２仮想視点画像Ｇ２１のうちの、Ｔ１仮想視点画像Ｇ１１における非撮影領域の画素と同一座標の画素に係る画素値が、該非撮影領域の画素に対して付与される。そして、このような画素値の付与が非撮影領域の各画素に対して可能な限り行われる。
　このような単純な態様の画素値の補填方法は、例えば、物体が移動してＴ２画像Ｇ２においてＴ２背景出現領域Ｎ２２が生じるようなケースに適用可能である。そして、このようなケースでは、例えば、Ｔ２背景出現領域Ｎ２２の各画素の画素値が、オクルージョン領域Ａｏ１１２の各画素に対して付与される。
　なお、このような補填方法では、時刻Ｔ１を基準とした過去および未来のうちの少なくとも一方に係る複数の異なる時刻に撮影された複数の画像からそれぞれ生成される複数の仮想視点画像の各画素の画素値が、非撮影領域の同一座標の画素に対してそれぞれ付与されても良い。これにより、オクルージョン領域のより広い領域についての画素値の補填が可能となる。
　そして、このような一変形例によれば、演算量の低減による処理の高速化が図られる。
　◎また、上記一実施形態では、測距機３によってＴ１距離情報およびＴ２距離情報が得られたが、これに限られない。例えば、測距機３によらずにＴ１距離情報およびＴ２距離情報を得ても良い。具体例としては、次のような構成が考えられる。
　図２２は、一変形例に係る情報処理システム１Ｂの概略構成を示す図である。一変形例に係る情報処理システム１Ｂは、上記一実施形態に係る情報処理システム１と比較して、測距機３が取り除かれ、制御部４６に読み込まれて各種機能等を実現させるためのプログラムＰＧが異なる各種機能等を実現させるためのプログラムＰＧＢに変更されているが、その他の構成については、同様な構成を備える。
　図２３は、一変形例に係る情報処理装置４の機能的な構成を示す図である。ここでは、記憶部４４に格納されたプログラムＰＧＢが制御部４６で実行されることで、制御部４６の機能的な構成が実現される例を挙げて説明するが、該機能的な構成が専用のハードウエア構成によって実現されても良い。
　図２３で示されるように、制御部４６は、機能的な構成として、画像取得部４６１、仮想視点画像生成部４６３、オクルージョン補填部４６４Ｂ、立体視画像生成部４６５、および距離情報推定部４６８を有する。なお、画像取得部４６１、仮想視点画像生成部４６３、および立体視画像生成部４６５については、上記一実施形態と同様な機能を有するため、同じ符号を付して説明を省略する。
　距離情報推定部４６８は、Ｔ１画像Ｇ１で捉えられている物体とカメラ２（つまりＴ１視点）との距離（すなわちＴ１距離情報）を推定する。
　ここでは、例えば、まず、特定種類の物体（ここでは頭部や顔）の一般的な形状や画素値のパターン等を用いたパターンマッチングによって、Ｔ１画像Ｇ１からＴ１物体領域Ａ１１を検出することが可能である。その特定種類の物体の一般的な形状情報または奥行き情報等が記憶部４４に記憶されていれば、次に、該一般的な形状情報または奥行き情報等に基づいて、Ｔ１距離情報が推定される。仮想視点画像生成部４６３では、推定されたＴ１距離情報とＴ１画像Ｇ１とに基づいて、Ｔ１仮想視点画像Ｇ１１が生成される。
　オクルージョン補填部４６４Ｂでは、まず、Ｔ１画像Ｇ１とＴ２画像Ｇ２との間で画素の対応付けを行う処理が行われることで、Ｔ２画像Ｇ２のうちのＴ１画像Ｇ１とは対応していない非対応領域が認識される。次に、非対応領域の画素パターンが、Ｔ１仮想視点画像Ｇ１１のオクルージョン領域に貼り付けられることで、画素値の補填が行われる。
　なお、非対応領域とオクルージョン領域とのサイズが若干異なる場合には、非対応領域の画素パターンが拡大または縮小された後にオクルージョン領域に貼り付けられれば良い。また、非対応領域とオクルージョン領域との形状が若干異なる場合には、非対応領域の画素パターンがオクルージョン領域の全域を覆う程度拡張されて、非対応領域の画素パターンがオクルージョン領域に貼り付けられても良い。なお、このとき、オクルージョン領域からはみ出る画素パターンについては、貼り付けないことが好ましい。
　このような構成が採用されれば、画素値補填処理の高速化が図られる。
　なお、本変形例では、推定されたＴ１距離情報とＴ１画像Ｇ１とに基づいて、Ｔ１仮想視点画像Ｇ１１が生成される例が示されたが、これに限られない。例えば、Ｔ１画像Ｇ１と、Ｔ２画像Ｇ２と、外部の装置等において既に生成されたＴ１仮想視点画像Ｇ１１とが取得されて、オクルージョン領域の補填処理が行われるような構成も考えられる。
　◎また、上記一実施形態では、時刻Ｔ１よりも後の時刻Ｔ２における撮影で得られるＴ２画像Ｇ２に基づいて、Ｔ１仮想視点画像Ｇ１１のオクルージョン領域Ａｏ１１１，Ａｏ１１２の各画素に係る画素値が補填されたが、これに限られない。時刻Ｔ１よりも時刻Ｔ２の方が時間的に前の時刻であっても良い。つまり、Ｔ１画像Ｇ１の撮影時刻Ｔ１よりも前の撮影時刻Ｔ２に係るＴ２画像Ｇ２に基づいて、Ｔ１仮想視点画像Ｇ１１のオクルージョン領域Ａｏ１１１，Ａｏ１１２の各画素に係る画素値が補填されても良い。すなわち、過去のＴ２画像Ｇ２に基づいて、その後の撮影時刻Ｔ１に係るＴ１画像Ｇ１から生成されるＴ１仮想視点画像Ｇ１１に対して画素値の補填が行われても良い。このような構成は、画像処理によって表示に係るタイムラグを生じさせたくないケース、例えば生放送に係る動画像が扱われるケース等に適している。
　一方、既に取得が終了している動画像等が扱われる場合には、Ｔ１画像Ｇ１を基準とした過去および未来の何れのＴ２画像Ｇ２に基づいてＴ１仮想視点画像Ｇ１１に対する画素値の補填が行われても良い。また、時刻Ｔ１を基準とした過去および未来の画像の双方に基づいた画素値の補填が行われても良い。更に、時刻Ｔ１を基準とした過去および未来のうちの少なくとも一方における複数回の撮影によって得られる複数の画像が用いられて、該複数の画像における画素値の平均値や画素値の最頻出値が利用された画素値の補填が行われても良い。
　◎また、上記一実施形態では、カメラ２の位置および姿勢が固定されているケースについて説明したが、これに限られない。上記一実施形態の第２補填方法に係る画素値補填処理については、カメラ２の位置および姿勢が変化するケースにも適用可能である。
　◎また、上記一実施形態では、Ｔ１画像Ｇ１とＴ２画像Ｇ２との間における画素の対応付けが行われることで、Ｔ２物体出現領域Ｎ２１とＴ２背景出現領域Ｎ２２とを含む非対応領域が認識されたが、これに限られない。例えば、Ｔ１画像Ｇ１およびＴ２画像Ｇ２がＭＰＥＧ形式の動画ファイルを構成する２つのフレーム画像である場合には、該ＭＰＥＧ形式の動画ファイルに含まれる動きベクトルの情報に基づいて、Ｔ２物体出現領域Ｎ２１とＴ２背景出現領域Ｎ２２と含む非対応領域が認識されても良い。このような構成によれば、オクルージョン領域Ａｏ１１１，Ａｏ１１２に相当する非撮影領域の各画素に係る画素値を特定するための演算量が低減される。このため、視覚的に違和感のない補填済みＴ１仮想視点画像の生成が更に短時間で実行可能となる。
　◎また、上記一実施形態では、測距機３における測距方法がレーザーを用いたものであったが、これに限られない。測距機３における測距方法については、例えば、レーダーによる測距方法や、光を投影して測距を行う方法（光切断法）等のその他の方法が採用されても良い。
　また、測距機３が用いられてＴ１距離情報とＴ２距離情報とが得られる代わりに、時刻Ｔ１および時刻Ｔ２において、複数台のカメラによる撮影によって異なる視点からの複数の画像がそれぞれ取得された上で、該複数の画像からＴ１距離情報およびＴ２距離情報が得られても良い。
　図２４は、２台のカメラ２１Ｃ，２２Ｃを用いてＴ１距離情報とＴ２距離情報とが得られる情報処理システム１Ｃの概略構成を示す図である。本変形例に係る情報処理システム１Ｃは、上記一実施形態に係る情報処理システム１と比較して、測距機３が取り除かれ、１台のカメラ２が２台のカメラ２１Ｃ，２２Ｃから成るステレオカメラに変更され、制御部４６に読み込まれて各種機能等を実現させるためのプログラムＰＧが異なる各種機能等を実現させるためのプログラムＰＧＣに変更されているが、その他の構成については、同様である。
　なお、２台のカメラ２１Ｃ，２２Ｃについては、それらの光軸が略平行であり、該光軸に対して垂直な方向にシフトされた位置関係を有する。この２台のカメラ２１Ｃ，２２Ｃのズレの方向については、地面に対して水平、垂直、斜めの何れの方向であっても良い。
　図２５は、本変形例に係る情報処理装置４の機能的な構成を示す図である。ここでは、記憶部４４に格納されたプログラムＰＧＣが制御部４６で実行されることで、制御部４６の機能的な構成が実現される例を挙げて説明するが、該機能的な構成が専用のハードウエア構成によって実現されても良い。
　図２５で示されるように、制御部４６は、機能的な構成として、画像取得部４６１Ｃ、距離情報取得部４６２Ｃ、仮想視点画像生成部４６３、オクルージョン補填部４６４、および立体視画像生成部４６５を有する。なお、仮想視点画像生成部４６３、オクルージョン補填部４６４、立体視画像生成部４６５については、上記一実施形態と同様な機能を有するため、同じ符号を付して説明を省略する。
　画像取得部４６１Ｃは、時刻Ｔ１および時刻Ｔ２において２台のカメラ２１Ｃ，２２Ｃによる撮影によって得られる画像をそれぞれ取得する。例えば、カメラ２１Ｃによって得られる撮影時刻Ｔ１に係る画像がＴ１画像Ｇ１とされ、カメラ２１Ｃによって得られる撮影時刻Ｔ２に係る画像がＴ２画像Ｇ２とされる。なお、ここでは、カメラ２２Ｃによって得られる撮影時刻Ｔ１に係る画像がＴ１測距用画像とされ、カメラ２２Ｃによって得られる撮影時刻Ｔ２に係る画像がＴ２測距用画像とされる。
　距離情報取得部４６２Ｃは、Ｔ１画像Ｇ１とＴ１測距用画像とに基づいてＴ１距離情報を取得し、Ｔ２画像Ｇ２とＴ２測距用画像とに基づいてＴ２距離情報を取得する。ここでは、上式(１)の関係が利用されることで、Ｔ１距離情報とＴ２距離情報とが得られる。
　具体的には、まず、Ｔ１画像Ｇ１とＴ１測距用画像との間において同一の部分を捉えた画素の対応関係（すなわち同じ部分が捉えられた画素のズレ量）、およびＴ２画像Ｇ２とＴ２測距用画像との間において同一の部分を捉えた画素の対応関係（すなわち同じ部分が捉えられた画素のズレ量）が認識される。次に、上式(１)のうち、焦点距離ｆの値として２台のカメラ２１Ｃ，２２Ｃの焦点距離が代入され、視点の離隔距離Ｂの値として２台のカメラ２１Ｃ，２２Ｃの光軸のズレ量（視点の離隔距離）Ｂが代入され、視差Δｄの値として同じ部分が捉えられた画素のズレ量が代入されると、距離Ｄが求められる。
　このようにして、Ｔ１画像Ｇ１およびＴ２画像Ｇ２の各画素に係るＴ１距離情報およびＴ２距離情報が得られる。そして、このＴ１距離情報およびＴ２距離情報が、仮想視点画像生成部４６３、およびオクルージョン補填部４６４において使用される。
　◎また、上記一実施形態では、１枚のＴ１画像Ｇ１から１枚のＴ１仮想視点画像Ｇ１１が生成されて、画素値の補填が行われたが、これに限られない。例えば、１枚のＴ１画像Ｇ１から２つの異なる仮想的な視点（仮想視点）に係る画像（仮想視点画像）が生成されても良い。すなわち、１つのＴ１画像Ｇ１から複数のＴ１仮想視点画像が生成されても良い。
　◎また、上記一実施形態では、画素の対応付けが画素単位で行われたが、これに限られない。画素単位よりも細かいサブピクセル単位での点どうしの対応付けが行われても良い。このような構成では、Ｔ２画像Ｇ２に画素値が、Ｔ１仮想視点画像Ｇ１１の非撮影領域の各画素に対して単純に付与されず、例えば、内挿などの種々の補間演算によって求まる画素値が、Ｔ１仮想視点画像Ｇ１１のＴ１非撮影領域の各画素に対して付与されるような態様が考えられる。
　　＜(４－２)その他の変形例＞
　◎また、上記一実施形態では、時刻Ｔ１に係るＴ１仮想視点画像Ｇ１１のＴ１非撮影領域（オクルージョン領域）の各画素に、Ｔ２画像Ｇ２の画素値が付与されたが、これに限られない。例えば、時刻Ｔ１とは異なる時刻の撮影によって得られるその他の各種画像の画素値が、Ｔ１非撮影領域の各画素に付与される各種変形例が採用されても良い。この各種変形例としては、例えば、次の第１～４変形例が採用され得る。
　［１］第１変形例では、ステレオカメラのうちの一方のカメラによる撮影で得られた画像（基準画像とも言う）に基づいて生成される仮想視点画像の非撮影領域の各画素に、他方のカメラによる同一時刻の撮影で得られた画像（参照画像とも言う）の画素値が付与される。
　［２］第２変形例では、ある時刻に係る仮想視点画像の非撮影領域の各画素に、ある時刻とは異なる他の時刻に係る仮想視点画像の画素値が付与される。
　［３］第３変形例では、ステレオカメラのうちの一方のカメラによる撮影で得られた基準画像に基づいて生成される仮想視点画像の非撮影領域の各画素に、他方のカメラによる異なる時刻の撮影で得られた参照画像の画素値が付与される。
　［４］第４変形例では、ある時刻に係る仮想視点画像に含まれる物体領域の非撮影領域の各画素に、ある時刻とは異なる時刻の撮影で得られた画像に含まれる同様な姿勢の物体に係る画素値が付与される。
　以下、これらの第１～４変形例について順に説明する。
　　　＜(４－２－１)第１変形例＞
　　　　＜(４－２－１－１)第１変形例の概要＞
　第１変形例は、図２４で示された情報処理システム１Ｃにおいて実現され得る。
　図２６は、第１変形例に係る情報処理装置４の機能的な構成を示す図である。ここでは、記憶部４４に格納されたプログラムＰＧＤが制御部４６で実行されることで、制御部４６の機能的な構成が実現される例を挙げて説明するが、該機能的な構成は専用のハードウエア構成によって実現されても良い。
　図２６で示されるように、第１変形例に係る制御部４６は、図２５で示された一変形例に係る制御部４６が有する機能的な構成がベースとされて、画像取得部４６１Ｃが画像取得部４６１Ｄに置換され、オクルージョン補填部４６４がオクルージョン補填部４６４Ｄに置換された機能的な構成を有する。また、第１変形例では、カメラ２１Ｃとカメラ２２Ｃとが複数回の同じタイミングで時間順次に撮影を行う。これにより、複数のいわゆるステレオ画像が得られる。各ステレオ画像は、カメラ２１Ｃによる撮影で得られる画像（基準画像）とカメラ２２Ｃによる撮影で得られる画像（参照画像）とを含む画像の組であり、相互に異なる視点から同一時刻に同一の被写体が捉えられた画像の組である。
　画像取得部４６１Ｄは、カメラ２１Ｃとカメラ２２Ｃとによって得られる複数のステレオ画像を取得する。これにより、例えば、時刻Ｔ０、時刻Ｔ１、時刻Ｔ２、・・・、時刻Ｔｎ（ｎは自然数）におけるカメラ２１Ｃおよびカメラ２２Ｃの撮影によって得られたｎ＋１組のステレオ画像が画像取得部４６１Ｄによって取得される。なお、画像取得部４６１Ｄは、複数のステレオ画像をカメラ２１Ｃとカメラ２２Ｃとから直接取得しても良いし、記憶部４４等に一旦記憶された複数のステレオ画像を取得しても良い。
　図２７は、第１変形例に係る画素値の補填を行う処理（補填処理とも言う）を説明するための図である。図２７には、時刻Ｔ０、時刻Ｔ１、時刻Ｔ２、・・・、時刻Ｔｎにおけるカメラ２１Ｃおよびカメラ２２Ｃによる撮影によって得られたｎ＋１組のステレオ画像、ならびにｎ＋１枚のＴ０～Ｔｎ基準画像ＧＬT0～ＧＬTnにそれぞれ対応するＴ０～Ｔｎ仮想視点画像ＧＲT0～ＧＲTnが例示されている。
　図２７では、左側の縦一列にＴ０～Ｔｎ基準画像ＧＬT0～ＧＬTnが示され、中央の縦一列にＴ０～Ｔｎ参照画像ＧＳT0～ＧＳTnが示され、右側の縦一列にＴ０～Ｔｎ仮想視点画像ＧＲT0～ＧＲTnが示されている。各Ｔ０～Ｔｎ仮想視点画像ＧＲT0～ＧＲTnは、仮想視点画像生成部４６３において、Ｔ０～Ｔｎ基準画像ＧＬT0～ＧＬTnおよびＴ０～Ｔｎ距離情報のうちの対応する時刻の基準画像と距離情報とに基づいてそれぞれ生成される。また、図２７では、下になれば下になるほど、撮影時刻が後となるように各画像が示されている。そして、図２７では、一例として時間の経過とともに人物の顔がカメラ２１Ｃ，２２Ｃ側から見て左方に移動している様子が捉えられた複数の画像が示されている。
　図２８は、時刻Ｔ１におけるステレオ画像の撮影条件および仮想視点画像に係る仮想的な撮影条件を例示する模式図である。
　図２８では、時刻Ｔ１における２つのカメラ２１Ｃ，２２Ｃが実線で示されるとともに、時刻Ｔ１に係る仮想視点（Ｔ１仮想視点とも称する）に仮想的に設定されるカメラ（仮想カメラとも言う）２１ｖＤが細い破線で示されている。なお、時刻Ｔ１におけるカメラ２１Ｃの位置がＴ１基準視点とされ、Ｔ１基準視点とＴ１仮想視点との位置関係が標準的な人の左目と右目の位置関係とに対応し、Ｔ１基準視点とＴ１仮想視点との離隔距離がＢとされている。
　そして、図２８では、カメラ２１Ｃによって撮影可能な空間の領域（撮影可能領域）の外縁が太い一点鎖線で示されている。また、カメラ２２Ｃによって撮影可能な空間の領域（撮影可能領域）の外縁が太い二点鎖線で示されている。更に、仮想カメラ２１ｖＤによって撮影可能な空間の領域（撮影可能領域）の外縁が太い破線で示されている。
　図２８で示されるように、背景２ＷＡのうち、カメラ２１Ｃと仮想カメラ２１ｖＤとの間では、頭部２ＨＵの後に隠れている領域が異なる。具体的には、時刻Ｔ１に係るＴ１仮想視点画像ＧＲT1では、時刻Ｔ１に係るＴ１基準画像ＧＬT1では捉えられていない背景部分ＯＰ１１２が捉えられる。換言すれば、Ｔ１仮想視点画像ＧＲT1には、Ｔ１基準画像ＧＬT1では捉えられていない被写体の部分に相当する領域（Ｔ１非撮影領域とも言う）が存在する。
　但し、背景部分ＯＰ１１２のうちの一部分Ｂｄ１は、時刻Ｔ１におけるカメラ２２Ｃの撮影で得られるＴ１参照画像ＧＳT1で捉えられており、背景部分ＯＰ１１２のうちの一部分Ｂｄ１を除く残余の部分Ｂｄ２は、Ｔ１参照画像ＧＳT1でも捉えられていない。
　そこで、オクルージョン補填部４６４Ｄでは、Ｔ１仮想視点画像ＧＲT1のうちの背景部分ＯＰ１１２に対応するＴ１非撮影領域のうちの一部の領域Ａｄ１T1の各画素には、Ｔ１参照画像ＧＳT1で一部分Ｂｄ１が捉えられた領域ＡＳｄT1の画素値が付与される。また、Ｔ１仮想視点画像ＧＲT1のうちのＴ１非撮影領域のうちの一部の領域Ａｄ１T1を除く残余の領域Ａｄ２T1の各画素には、時刻Ｔｎにおけるカメラ２１Ｃの撮影で得られるＴｎ基準画像ＧＬTnにおいて残余の部分Ｂｄ２が捉えられた領域ＡＬｄTnの画素値が付与される。残余の領域Ａｄ２T1の各画素に領域ＡＬｄTnの画素値が付与される方法としては、上記一実施形態と同様な方法が採用され得る。
　ここで、Ｔ１非撮影領域のうちの一部の領域Ａｄ１T1の各画素にＴ１参照画像ＧＳT1の領域ＡＳｄT1の画素値が付与される補填方法としては、上記一実施形態の第１または第２補填方法と同様な方法が採用され得る。例えば、該補填方法は、次の工程(A1)～(A4)が順に行われることで実現され得る。
　(A1)Ｔ１基準画像ＧＬT1とＴ１参照画像ＧＳT1との間で画素の対応付けが行われる。この画素の対応付けは、上記一実施形態と同様に、いわゆるＳＡＤ法およびＰＯＣ法等の既存の方法で実現され得る。これにより、Ｔ１参照画像ＧＳT1のうちのＴ１基準画像ＧＬT1とは対応していない領域（Ｔ１非対応領域とも言う）が認識される。このとき、上式(１)に、Ｔ１基準画像ＧＬT1とＴ１参照画像ＧＳT1との間における画素の対応付けの結果から導出される各視差Δｄと、カメラ２１Ｃとカメラ２２Ｃとの離隔距離と、カメラ２１Ｃとカメラ２２Ｃの焦点距離ｆとが代入されることで、時刻Ｔ１におけるＴ１距離情報が取得され得る。このＴ１距離情報には、カメラ２１Ｃの位置（Ｔ１基準視点とも言う）から被写体の各部分までの距離を示す情報（Ｔ１基準距離情報とも言う）と、カメラ２２Ｃの位置（Ｔ１参照視点とも言う）から被写体の各部分までの距離を示す情報（Ｔ１参照距離情報とも言う）とが含まれる。なお、Ｔ１距離情報は、別に設けられた測距機による測定によって得られても良い。
　(A2)Ｔ１参照画像ＧＳT1のＴ１非対応領域から、Ｔ１基準画像ＧＬT1で捉えられていない物体（例えば、頭部２ＨＵ）の一部分が捉えられた領域（Ｔ１物体出現領域）と、Ｔ１基準画像ＧＬT1で捉えられていない背景２ＷＡの一部分が捉えられた領域（Ｔ１背景出現領域）とが、Ｔ１参照距離情報に基づいて区別可能に認識される。
　(A3)Ｔ１距離情報に基づいて、Ｔ１参照画像ＧＳT1のＴ１背景出現領域と、Ｔ１仮想視点画像ＧＲT1の背景に係るオクルージョン領域との間で画素が対応付けられる処理（背景対応付け処理）が行われる。この背景対応付け処理については、上記一実施形態の第１または第２補填方法における背景対応付け処理と同様な処理が採用されれば良い。この背景対応付け処理では、例えば、上記一実施形態の第１または第２補填方法の背景対応付け処理におけるＴ２背景出現領域Ｎ２２とオクルージョン領域Ａｏ１１２とが、Ｔ１参照画像ＧＳT1のＴ１背景出現領域とＴ１仮想視点画像ＧＲT1の背景に係るオクルージョン領域とにそれぞれ置換されれば良い。工程(A3)の処理内容については更に後述する。
　(A4)工程(A3)における背景対応付け処理の結果に基づいて、Ｔ１仮想視点画像ＧＲT1の背景に係るオクルージョン領域の各画素に、Ｔ１参照画像ＧＳT1のＴ１背景出現領域内の対応する画素に係る画素値が付与される。
　なお、ここでは、背景対応付け処理が行われる例を挙げて説明したが、Ｔ１距離情報に基づいて、Ｔ１参照画像ＧＳT1の物体出現領域と、Ｔ１仮想視点画像ＧＲT1の物体に係るオクルージョン領域との間で画素が対応付けられる処理（物体対応付け処理）が行われても良い。このとき、物体対応付け処理の結果に基づいて、Ｔ１仮想視点画像ＧＲT1の物体に係るオクルージョン領域の各画素に、Ｔ１物体出現領域内の対応する画素に係る画素値が付与される。
　　　　＜(４－２－１－２)第１補填方法がベースとされた背景対応付け処理＞
　工程(A3)において実行される上記一実施形態の第１補填方法がベースとされた背景対応付け処理では、例えば、Ｔ１参照画像ＧＳT1のＴ１背景出現領域内における座標（ｘN22，ｙN22，Ｔ１）の画素が、Ｔ１仮想視点画像ＧＲT1の背景に係るオクルージョン領域内における座標（ｘN22－Δｄh－ΔｄhT，ｙN22，Ｔ１）の画素に対応付けられる。ここで、Δｄhは、時刻Ｔ１におけるカメラ２１Ｃの位置（Ｔ１基準視点）と仮想カメラ２１ｖＤの位置（Ｔ１仮想視点）との離隔距離に応じた視差であり、上式(１)の関係と、該離隔距離と、カメラ２１Ｃの焦点距離ｆと、Ｔ１基準距離情報とから求められる。また、ΔｄhTは、Ｔ１参照画像ＧＳT1の背景を捉えた領域内のうちのＴ１背景出現領域の近傍の画素（参照背景近傍点とも言う）と、Ｔ１基準画像ＧＬT1の背景を捉えた領域内のうちの参照背景近傍点に対応する画素（基準背景対応点とも言う）との間における座標のシフト量である。
　　　　＜(４－２－１－３)第２補填方法がベースとされた背景対応付け処理＞
　一方、工程(A3)において実行される上記一実施形態の第２補填方法がベースとされた背景対応付け処理は、例えば、Ｔ１参照画像ＧＳT1の背景を捉えた領域内の任意の座標が（ｘN1S，ｙN1S，Ｔ１）とされれば、次の処理によって実現され得る。
　まず、第１ステップとして、Ｔ１参照画像ＧＳT1のうち、次の３つの条件(具体的には、条件１ｄ～３ｄ)を満たす被写体の部分が捉えられた画素が、対応付け処理において基準となる点として設定される。
　(条件１ｄ)Ｔ１基準画像ＧＬT1で捉えられている被写体の部分であること。
　(条件２ｄ)Ｔ１参照画像ＧＳT1のうちの、対応付け処理の対象となっている座標が（ｘN1S，ｙN1S，Ｔ１）である画素（Ｔ１処理対象画素とも、Ｔ１処理対象点とも言う）の近傍に位置する画素（近傍画素）で捉えられている被写体の部分であること。
　(条件３ｄ)Ｔ１処理対象点で捉えられている被写体の部分と、カメラ２２Ｃからの離隔距離が略同一である被写体の部分であること。
　具体的には、これらの条件１ｄ～３ｄを満たす画素が背景対応付け処理において基準となるＴ１参照基準画素（Ｔ１参照基準点とも言う）として設定される。ここでは、Ｔ１参照基準点の座標が（ｘ1S，ｙ1S，Ｔ１）とされる。
　ここで、Ｔ１基準画像ＧＬT1のうちのＴ１参照基準点と同じ被写体の部分が捉えられた画素（Ｔ１基準基準点とも言う）の座標が（ｘ1L，ｙ1L，Ｔ１）とされる。また、Ｔ１基準視点からＴ１基準基準点の画素で捉えられた被写体の部分までの距離がＤ1L(Ｔ１)とされ、Ｔ１参照視点からＴ１参照基準点の画素で捉えられた被写体の部分までの距離がＤ1S(Ｔ１)とされる。また、Ｔ１仮想視点画像ＧＲT1の背景に係るオクルージョン領域において画素値が付与される対象である画素（Ｔ１被補填点）の座標が（ｘo11，ｙo11，Ｔ１）とされる。
　距離Ｄ1L(Ｔ１)は、Ｔ１基準距離情報から得られ、距離Ｄ1S(Ｔ１)は、Ｔ１参照距離情報から得られる。また、Ｔ１基準基準点の座標と、Ｔ１仮想視点画像ＧＲT1においてＴ１基準基準点と同じ被写体の部分が捉えられた画素（Ｔ１基準仮想基準点とも言う）の座標との差（Ｔ１基準視差とも言う）がΔｄT1Lとされる。Ｔ１基準視差ΔｄT1Lは、距離Ｄ1L(Ｔ１)等が上式(１)に代入されることで求められる。また、Ｔ１参照基準点の座標と、Ｔ１仮想視点画像ＧＲT1においてＴ１参照基準点と同じ被写体の部分が捉えられた画素（Ｔ１参照仮想基準点とも言う）の座標との差（Ｔ１参照視差とも言う）がΔｄT1Sとされる。Ｔ１参照視差ΔｄT1Sは、距離Ｄ1S(Ｔ１)が上式(１)等に代入されることで求められる。
　次に、第２ステップとして、下式(６)に従った演算によって、Ｔ１処理対象点の画素値が付与されるＴ１被補填点の座標が求められる。具体的には、Ｔ１基準視点とＴ１参照視点とＴ１仮想視点とが、地面に対して水平な面内において撮影方向と垂直な方向に或る距離ずらされた位置関係を有するため、Ｔ１被補填点のＸ座標の値ｘo11は、下式(６)の関係を有し、Ｔ１被補填点のＹ座標の値ｙo11は、ｙN1Sとなる。
　　ｘo11＝{ｘ1L－ΔｄT1L}＋(ｘN1S－ｘ1S)＋{ΔｄT1L－ΔｄT1S}　・・・(６)。
　このようにして、座標（ｘN1S，ｙN1S，Ｔ１）のＴ１処理対象点に対して、座標（ｘo11，ｙo11，Ｔ１）のＴ１被補填点が対応付けられる。
　　　　＜(４－２－１－４)第１変形例のまとめ＞
　以上のように、第１変形例によれば、ある時刻とは異なる時刻に撮影された画像だけでなく、ある時刻と同じ時刻に撮影された画像も用いられて、ある時刻に係るオクルージョン領域の各画素に画素値が付与される。これにより、例えば、時間の経過とともに被写体の明るさおよび形状等が変化するような場合であっても、これらの変化による仮想視点画像に対する影響が抑制され得る。換言すれば、撮影環境の変化の大小に拘わらず、視覚的に違和感のない仮想視点画像の生成が可能となる。
　　　＜(４－２－２)第２変形例＞
　　　　＜(４－２－２－１)第２変形例の概要＞
　第２変形例では、ある撮影時刻Ｔ１に係るＴ１仮想視点画像ＧＲT1のＴ１非撮影領域の各画素に、ある撮影時刻Ｔ１とは異なる他の撮影時刻に係る仮想視点画像の画素値が付与される。これにより、Ｔ１仮想視点画像ＧＲT1のオクルージョン領域の各画素に画素値が付与される補填処理に要する時間が削減される得る。
　第２変形例は、図１で示された情報処理システム１において実現され得る。ここでは、記憶部４４に格納されたプログラムＰＧＥが制御部４６で実行されることで、図２で示される機能的な構成が実現される例を挙げて説明するが、該機能的な構成が専用のハードウエア構成によって実現されても良い。
　図２で示されるように、第２変形例に係る制御部４６は、図２で示された上記一実施形態に係る制御部４６が有する機能的な構成がベースとされて、オクルージョン補填部４６４がオクルージョン補填部４６４Ｅに置換された機能的な構成を有する。
　図２９は、第２変形例に係る補填処理を説明するための図である。図２９には、時刻Ｔ０、時刻Ｔ１、時刻Ｔ２、・・・、時刻Ｔｎにおけるカメラ２による撮影によって得られたｎ＋１枚のＴ０～Ｔｎ画像ＧＬT0～ＧＬTn、ならびにｎ＋１枚のＴ０～Ｔｎ画像ＧＬT0～ＧＬTnにそれぞれ対応するＴ０～Ｔｎ仮想視点画像ＧＲT0～ＧＲTnが例示されている。
　図２９には、左側の縦一列にＴ０～Ｔｎ画像ＧＬT0～ＧＬTnが示され、右側の縦一列にＴ０～Ｔｎ仮想視点画像ＧＲT0～ＧＲTnが示されている。各Ｔ０～Ｔｎ仮想視点画像ＧＲT0～ＧＲTnは、仮想視点画像生成部４６３において、Ｔ０～Ｔｎ画像ＧＬT0～ＧＬTnおよびＴ０～Ｔｎ距離情報のうちの対応する時刻の画像と距離情報とに基づいてそれぞれ生成される。また、図２９では、下になれば下になるほど、撮影時刻が後となるように各画像が示されている。そして、図２９では、一例として時間の経過とともに人物の顔がカメラ２側から見て左を向く方向に回転している様子が捉えられた複数の画像が示されている。
　なお、ここでは、時刻Ｔ１におけるカメラ２の位置（Ｔ１視点）とＴ１仮想視点画像ＧＲT1が取得され得る仮想カメラ２ｖの位置（Ｔ１仮想視点）との間における相対的な位置関係が、時刻Ｔ０におけるカメラ２の位置（Ｔ０視点とも言う）とＴ０仮想視点画像ＧＲT0が取得され得る仮想カメラ２ｖの位置（Ｔ０仮想視点とも言う）との間における相対的な位置関係と等しいものとする。
　また、時刻Ｔ２におけるカメラ２の位置（Ｔ２視点）とＴ２仮想視点画像ＧＲT2が取得され得る仮想カメラ２ｖの位置（Ｔ２仮想視点）との間における相対的な位置関係が、Ｔ１視点とＴ１仮想視点との相対的な位置関係と等しいものとする。更に、時刻Ｔｎにおけるカメラ２の位置（Ｔｎ視点とも言う）とＴｎ仮想視点画像ＧＲTnが取得され得る仮想カメラ２ｖの位置（Ｔｎ仮想視点とも言う）との間における相対的な位置関係が、Ｔ１視点とＴ１仮想視点との相対的な位置関係と等しいものとする。
　オクルージョン補填部４６４Ｅでは、ある時刻（例えば、時刻Ｔ１）に係る仮想視点画像（例えば、Ｔ１仮想視点画像ＧＲT1）の非撮影領域（例えば、Ｔ１非撮影領域）の各画素に、ある時刻とは異なる他の時刻（例えば、時刻Ｔ０）に係る仮想視点画像（例えば、Ｔ０仮想視点画像ＧＲT0）の画素値が付与される。
　例えば、図２９で示されるように、Ｔ１仮想視点画像ＧＲT1のうちの物体に係るＴ１非撮影領域（オクルージョン領域）ＡｏｅT1のうちの一部の領域ＡｅT1の各画素に、Ｔ０仮想視点画像ＧＲT0のうちの一部の領域ＡＲｅT0の画素値が付与される。ここでは、ごく近い撮影時刻に係るＴ０仮想視点画像ＧＲT0とＴ１仮想視点画像ＧＲT1との間では、被写体を捉えた画像領域の変化が小さなことが利用されている。このような補填処理により、上記一実施形態の補填処理において時刻Ｔｎの撮影で得られたＴｎ画像ＧＬTnの一部の領域ＡＬｅTnの画素値が一部の領域ＡｅT1の各画素に付与されるよりも、処理に要する時間が削減される。従って、非撮影領域（オクルージョン領域）の各画素に対する画素値の付与に要する演算量が削減され得る。なお、ここでは、一部の領域ＡｅT1の各画素に、一部の領域ＡＲｅT0の画素値が付与される例を挙げて説明するが、これに限られず、例えば、時刻Ｔ０，Ｔ１とも異なる時刻に係る仮想視点画像の画素値が付与されても良い。
　ここで、Ｔ１仮想視点画像ＧＲT1におけるオクルージョン領域の各画素に、Ｔ０仮想視点画像ＧＲT0の画素値が付与される補填方法としては、上記一実施形態の第１または第２補填方法がベースとされた補填方法が採用され得る。例えば、該補填方法は、次の工程(B1)～(B4)が順に行われることで実現され得る。
　(B1)Ｔ１画像ＧＬT1とＴ０仮想視点画像ＧＲT0との間で画素の対応付けが行われる。この画素の対応付けは、上記一実施形態と同様に、いわゆるＳＡＤ法およびＰＯＣ法等の既存の方法で実現され得る。これにより、Ｔ０仮想視点画像ＧＲT0のうちのＴ１画像ＧＬT1とは対応していない領域（Ｔ０仮想非対応領域とも言う）が認識される。
　(B2)Ｔ０仮想視点画像ＧＲT0のＴ０仮想非対応領域から、Ｔ１画像ＧＬT1で捉えられていない物体（例えば、頭部２ＨＵ）の一部分が捉えられた領域（Ｔ０物体非対応領域）と、Ｔ１画像ＧＬT1で捉えられていない背景２ＷＡの一部分が捉えられた領域（Ｔ０背景非対応領域）とが、Ｔ０距離情報に基づいて区別可能に認識される。なお、Ｔ０距離情報は時刻Ｔ０において測距機３によって取得され得る。
　(B3)Ｔ０仮想視点画像ＧＲT0のＴ０物体非対応領域と、Ｔ１仮想視点画像ＧＲT1の物体に係るオクルージョン領域との間で画素が対応付けられる処理（物体対応付け処理）が行われる。この物体対応付け処理については、上記一実施形態の第１または第２補填方法における物体対応付け処理と同様な処理が採用され得る。この物体対応付け処理は、例えば、上記一実施形態の第１または第２補填方法の背景対応付け処理におけるＴ２背景出現領域Ｎ２２とオクルージョン領域Ａｏ１１２とが、Ｔ０仮想視点画像ＧＲT0のＴ０物体非対応領域とＴ１仮想視点画像ＧＲT1の物体に係るオクルージョン領域とに置換された処理であれば良い。但し、Ｔ０仮想視点画像ＧＲT0は、Ｔ０画像ＧＬT0が既に視差Δｄfに応じてシフトされて生成されるため、この物体対応付け処理では、このシフトに係る重複する演算が適宜に省略される。視差Δｄfは、時刻Ｔ０におけるカメラ２の位置（Ｔ０視点）と仮想カメラ２ｖの位置（Ｔ０仮想視点）との離隔距離に応じた視差であり、上式(１)の関係と、該離隔距離と、カメラ２の焦点距離ｆと、Ｔ０距離情報とから求められ得る。工程(B3)の処理内容については更に後述する。
　(B4)工程(B3)における物体対応付け処理の結果に基づいて、Ｔ１仮想視点画像ＧＲT1の背景に係るオクルージョン領域の各画素に、Ｔ０仮想視点画像ＧＲT0のＴ０物体非対応領域内の対応する画素に係る画素値が付与される。
　なお、ここでは、物体対応付け処理が行われる例を挙げて説明したが、Ｔ０仮想視点画像ＧＲT0のＴ０背景非対応領域とＴ１仮想視点画像ＧＲT1の背景に係るオクルージョン領域との間で画素が対応付けられる処理（背景対応付け処理）が行われても良い。このとき、背景対応付け処理の結果に基づいて、Ｔ１仮想視点画像ＧＲT1の背景に係るオクルージョン領域の各画素に、Ｔ０背景非対応領域内の対応する画素に係る画素値が付与される。
　また、オクルージョン領域のうちの第２変形例の補填方法では画素値が付与されない画素（空白画素とも言う）には、例えば、上記一実施形態の補填方法によって画素値が付与されても良い。更に、空白画素の数が所定数以下であれば、空白画素の画素値が、該空白画素の周辺に位置する画素の画素値が用いられた補間処理によって付与されても良い。
　また、ｎ＋１枚のＴ０～Ｔｎ仮想視点画像ＧＲT0～ＧＲTnのうちの所定の仮想視点画像については、第２変形例に係る補填方法が実行されずに、上記一実施形態に係る補填方法が実行されても良い。ここで、所定の仮想視点画像としては、所定数のフレーム毎の仮想視点画像等が挙げられる。これにより、オクルージョン領域に含まれる画素のうち、画素値が付与されていない画素が削減され、演算量の低減が図られつつ、出来るだけ視覚的に違和感のない仮想視点画像の生成が可能となる。
　　　　＜(４－２－２－２)第１補填方法がベースとされた物体対応付け処理＞
　工程(B3)において実行される上記一実施形態の第１補填方法がベースとされた物体対応付け処理では、例えば、Ｔ０仮想視点画像ＧＲT0のＴ０物体非対応領域内における座標（ｘN21，ｙN21，Ｔ０）の画素が、Ｔ１仮想視点画像ＧＲT1の物体に係るオクルージョン領域内における座標（ｘN21－ΔｄfT，ｙN21，Ｔ１）の画素に対応付けられる。ここで、ΔｄfTは、Ｔ０仮想視点画像ＧＲT0の物体を捉えた領域内のうちのＴ０物体非対応領域の近傍の画素（Ｔ０仮想物体近傍点とも言う）と、Ｔ１仮想視点画像ＧＲT1の物体を捉えた領域内のうちのＴ０物体近傍点に対応する画素（Ｔ１仮想物体対応点とも言う）との間における座標のシフト量である。このシフト量ΔｄfTは、工程(B1)におけるＴ１画像ＧＬT1とＴ０仮想視点画像ＧＲT0との間での画素の対応付けの結果と、Ｔ１画像ＧＬT1からＴ１仮想視点画像ＧＲT1が生成される際の画素のシフト量とに基づいて求められる。
　　　　＜(４－２－２－３)第２補填方法がベースとされた物体対応付け処理＞
　一方、工程(B3)において実行される上記一実施形態の第２補填方法がベースとされた物体対応付け処理は、例えば、Ｔ０仮想視点画像ＧＲT0の物体を捉えた領域内の任意の座標が（ｘNOR，ｙNOR，Ｔ０）とされれば、次の処理によって実現され得る。
　まず、第１ステップとして、Ｔ０仮想視点画像ＧＲT0のうち、次の３つの条件(具体的には、条件１ｅ～３ｅ)を満たす被写体の部分が捉えられた画素が、対応付け処理において基準となる点として設定される。
　(条件１ｅ)Ｔ１画像ＧＳL1で捉えられている被写体の部分であること。
　(条件２ｅ)Ｔ０仮想視点画像ＧＲT0のうちの、対応付け処理の対象となっている座標が（ｘNOR，ｙNOR，Ｔ０）である画素（Ｔ０処理対象画素とも、Ｔ０処理対象点とも言う）の近傍に位置する画素（近傍画素）で捉えられている被写体の部分であること。
　(条件３ｅ)Ｔ０処理対象点で捉えられている被写体の部分と、カメラ２からの離隔距離が略同一である被写体の部分であること。
　具体的には、これらの条件１ｅ～３ｅを満たす画素が対応付け処理において基準となるＴ０仮想基準画素（Ｔ０仮想基準点とも言う）として設定される。ここでは、Ｔ０仮想基準点の座標が（ｘ0R，ｙ0R，Ｔ０）とされる。
　ここで、Ｔ１画像ＧＬT1のうちのＴ０仮想基準点と同じ被写体の部分が捉えられた画素（Ｔ１基準点とも言う）の座標が（ｘ1L，ｙ1L，Ｔ１）とされる。また、Ｔ１視点からＴ１基準点の画素で捉えられた被写体の部分までの距離がＤ1L(Ｔ１)とされ、Ｔ０仮想視点からＴ０仮想基準点の画素で捉えられた被写体の部分までの距離がＤOR(Ｔ０)とされる。また、Ｔ１仮想視点画像ＧＲT1の物体に係るオクルージョン領域において画素値が付与される対象である画素（Ｔ１被補填点）の座標が（ｘo11，ｙo11，Ｔ１）とされる。
　距離Ｄ1L(Ｔ１)は、Ｔ１距離情報から得られ、距離ＤOR(Ｔ０)は、Ｔ０距離情報から得られる。また、Ｔ１基準点の座標と、Ｔ１仮想視点画像ＧＲT1においてＴ１基準点と同じ被写体の部分が捉えられた画素（Ｔ１仮想基準点とも言う）の座標との差（Ｔ１視差とも言う）がΔｄT1とされる。Ｔ１視差ΔｄT1は、距離Ｄ1L(Ｔ１)等が上式(１)に代入されることで求められる。また、Ｔ０画像ＧＬT0においてＴ０仮想基準点と同じ被写体の部分が捉えられた画素（Ｔ０基準点とも言う）の座標と、Ｔ０仮想基準点の座標との差（Ｔ０視差とも言う）がΔｄT0とされる。Ｔ０視差ΔｄT0は、距離ＤOR(Ｔ０)等が上式(１)に代入されることで求められる。
　次に、第２ステップとして、下式(７)に従った演算によって、Ｔ０処理対象点の画素値が付与されるＴ１被補填点の座標が求められる。具体的には、Ｔ０視点とＴ０仮想視点との組ならびにＴ１視点とＴ１仮想視点との組が、それぞれ地面に対して水平な面内において撮影方向と垂直な方向に或る距離ずらされた位置関係を有するため、Ｔ１被補填点のＸ座標の値ｘo11は、下式(７)の関係を有し、Ｔ１被補填点のＹ座標の値ｙo11は、ｙNORとなる。
　　ｘo11＝{ｘ1L－ΔｄT1}＋(ｘNOR－ｘ0R)＋{ΔｄT1－ΔｄT0}　・・・(７)。
　このようにして、座標（ｘNOR，ｙNOR，Ｔ０）のＴ０処理対象点に対して、座標（ｘo11，ｙo11，Ｔ１）のＴ１被補填点が対応付けられる。
　　　＜(４－２－３)第３変形例＞
　　　　＜(４－２－３－１)第３変形例の概要＞
　第３変形例では、ある時刻Ｔ１の撮影で得られるステレオ画像のＴ１基準画像ＧＬT1に基づいて生成されるＴ１仮想視点画像ＧＲT1のＴ１非撮影領域の各画素に、ある時刻Ｔ１とは異なる他の時刻の撮影で得られるステレオ画像に含まれた参照画像の画素値が付与される。これにより、補填処理に要する時間が削減され得る。
　第３変形例は、図２４で示された情報処理システム１Ｃにおいて実現され得る。ここでは、記憶部４４に格納されたプログラムＰＧＦが制御部４６で実行されることで、図２６で示される機能的な構成が実現される例を挙げて説明するが、該機能的な構成が専用のハードウエア構成によって実現されても良い。
　図２６で示されるように、第３変形例に係る制御部４６は、上記第１変形例に係る制御部４６が有する機能的な構成がベースとされて、オクルージョン補填部４６４Ｄがオクルージョン補填部４６４Ｆに置換された機能的な構成を有する。
　図３０は、第３変形例に係る補填処理を説明するための図である。図３０には、図２７と同様に、時刻Ｔ０、時刻Ｔ１、時刻Ｔ２、・・・、時刻Ｔｎにおけるカメラ２１Ｃおよびカメラ２２Ｃによる撮影によって得られたｎ＋１組のステレオ画像、ならびにｎ＋１枚のＴ０～Ｔｎ基準画像ＧＬT0～ＧＬTnにそれぞれ対応するＴ０～Ｔｎ仮想視点画像ＧＲT0～ＧＲTnが例示されている。
　図３０では、図２７と同様に、左側の縦一列にＴ０～Ｔｎ基準画像ＧＬT0～ＧＬTnが示され、中央の縦一列にＴ０～Ｔｎ参照画像ＧＳT0～ＧＳTnが示され、右側の縦一列にＴ０～Ｔｎ仮想視点画像ＧＲT0～ＧＲTnが示されている。各Ｔ０～Ｔｎ仮想視点画像ＧＲT0～ＧＲTnは、仮想視点画像生成部４６３において、Ｔ０～Ｔｎ基準画像ＧＬT0～ＧＬTnおよびＴ０～Ｔｎ距離情報のうちの対応する時刻の基準画像と距離情報とに基づいてそれぞれ生成される。また、図３０では、下になれば下になるほど、撮影時刻が後となるように各画像が示されている。そして、図３０では、一例として時間の経過とともに人物の顔がカメラ２１Ｃ，２２Ｃ側から見て左を向く方向に回転している様子が示されている。
　オクルージョン補填部４６４Ｆでは、時刻Ｔ１の撮影で得られたＴ１基準画像ＧＬT1に基づいて生成されるＴ１仮想視点画像ＧＲT1のうちのＴ１非撮影領域ＡｏｆT1の各画素に、時刻Ｔ１とは異なる他の時刻の撮影で得られた参照画像（例えば、Ｔ２参照画像ＧＳT2）のうちの一部の領域（例えば、一部の領域ＡＳｆT2）の画素値が付与される。これにより、上記一実施形態において時刻Ｔｎの撮影で得られたＴｎ画像ＧＬTnの一部の領域ＡＬｆTnの画素値がＴ１非撮影領域ＡｏｆT1の各画素に付与されるよりも、補填処理に要する時間が削減され得る。従って、非撮影領域（オクルージョン領域）の各画素に対する画素値の補填に要する演算量が低減され得る。
　ここで、時刻Ｔ１に係るＴ１仮想視点画像ＧＲT1におけるオクルージョン領域ＡｏｆT1の各画素に、時刻Ｔ１とは異なる他の時刻における撮影で得られた参照画像の画素値が付与される補填方法としては、上記一実施形態の第１または第２補填方法と同様な補填方法が採用され得る。例えば、上記一実施形態におけるＴ１仮想視点画像Ｇ１１のオクルージョン領域の各画素にＴ２画像Ｇ２の画素値が付与される補填処理がベースとされ、Ｔ１仮想視点画像Ｇ１１がＴ１仮想視点画像ＧＲT1に置換され、Ｔ２画像Ｇ２がＴ２参照画像ＧＳT2に置換された補填処理が採用され得る。この補填処理の具体例について以下に説明する。なお、以下では、オクルージョン領域ＡｏｆT1の各画素に、Ｔ２参照画像ＧＳT2の画素値が付与される一例を挙げて説明するが、これに限られず、例えば、時刻Ｔ１，Ｔ２とも異なる時刻に係る参照画像の画素値が付与されても良い。
　　　　＜(４－２－３－２)距離情報が用いられる補填方法＞
　まず、時刻Ｔ２の撮影時におけるカメラ２２ＣとＴ２参照画像ＧＳT2の各画素で捉えられた被写体の各部までの距離を示すＴ２距離情報が用いられる補填方法について説明する。この補填方法は、例えば、以下の工程(C1)～(C4)が順に行われることで実現され得る。
　なお、各時刻Ｔ０～ＴｎにおけるＴ０～Ｔｎ距離情報は、各時刻Ｔ０～Ｔｎの撮影で得られたステレオ画像における画素の対応付けの処理結果としての各視差Δｄと、カメラ２１Ｃとカメラ２２Ｃとの離隔距離と、カメラ２１Ｃとカメラ２２Ｃの焦点距離ｆとが上式(１)に代入されることで取得され得る。各Ｔ０～Ｔｎ距離情報には、カメラ２１Ｃの位置（Ｔ０～Ｔｎ基準視点）から被写体の各部分までの距離を示す情報（Ｔ０～Ｔｎ基準距離情報）と、カメラ２２Ｃの位置（Ｔ０～Ｔｎ参照視点）から被写体の各部分までの距離を示す情報（Ｔ０～Ｔｎ参照距離情報）とが含まれる。なお、Ｔ０～Ｔｎ距離情報は、別に設けられた測距機による測定によって得られても良い。
　(C1)時刻Ｔ１に係るＴ１基準画像ＧＬT1と時刻Ｔ２に係るＴ２参照画像ＧＳT2との間で画素の対応付けが行われる。この画素の対応付けは、上記一実施形態と同様に、いわゆるＳＡＤ法およびＰＯＣ法等の既存の方法で実現され得る。これにより、Ｔ２参照画像ＧＳT2のうちのＴ１基準画像ＧＬT1とは対応していない領域（Ｔ２非対応領域とも言う）が認識される。
　(C2)Ｔ２参照画像ＧＳT2のＴ２非対応領域から、Ｔ１基準画像ＧＬT1で捉えられていない物体（例えば、頭部２ＨＵ）の一部分が捉えられた領域（Ｔ２物体出現領域）と、Ｔ１基準画像ＧＬT1で捉えられていない背景２ＷＡの一部分が捉えられた領域（Ｔ２背景出現領域）とが、時刻Ｔ２に係るＴ２距離情報に基づいて区別可能に認識される。
　(C3)Ｔ２距離情報に基づいて、Ｔ２参照画像ＧＳT2のＴ２物体出現領域と、Ｔ１仮想視点画像ＧＲT1の物体に係るオクルージョン領域との間で画素が対応付けられる処理（物体対応付け処理）が行われる。この物体対応付け処理については、上記一実施形態の第１または第２補填方法における物体対応付け処理と同様な処理が採用されれば良い。この物体対応付け処理は、例えば、上記一実施形態の第１または第２補填方法の背景対応付け処理におけるＴ２背景出現領域Ｎ２２とオクルージョン領域Ａｏ１１２とが、Ｔ２参照画像ＧＳT2のＴ２物体出現領域とＴ１仮想視点画像ＧＲT1の物体に係るオクルージョン領域とにそれぞれ置換された処理であれば良い。工程(C3)の処理内容については更に後述する。
　(C4)工程(C3)における物体対応付け処理の結果に基づいて、Ｔ１仮想視点画像ＧＲT1の物体に係るオクルージョン領域の各画素に、Ｔ２参照画像ＧＳT2の物体出現領域内の対応する画素に係る画素値が付与される。
　なお、ここでは、物体対応付け処理が行われる例を挙げて説明したが、Ｔ２距離情報に基づいて、Ｔ２参照画像ＧＳT2のＴ２背景出現領域と、Ｔ１仮想視点画像ＧＲT1の背景に係るオクルージョン領域との間で画素が対応付けられる処理（背景対応付け処理）が行われても良い。このとき、背景対応付け処理の結果に基づいて、Ｔ１仮想視点画像ＧＲT1の背景に係るオクルージョン領域の各画素に、Ｔ２参照画像ＧＳT2の背景出現領域内の対応する画素に係る画素値が付与される。
　　　　　＜(４－２－３－２－１)第１補填方法がベースとされた物体対応付け処理＞
　工程(C3)において実行される上記一実施形態の第１補填方法がベースとされた物体対応付け処理では、例えば、Ｔ２参照画像ＧＳT2のＴ２物体出現領域内における座標（ｘN21，ｙN21，Ｔ２）の画素が、Ｔ１仮想視点画像ＧＲT1の物体に係るオクルージョン領域内における座標（ｘN21－Δｄf－ΔｄfT，ｙN21，Ｔ１）の画素に対応付けられる。ここで、Δｄfは、時刻Ｔ１におけるカメラ２１Ｃの位置（Ｔ１基準視点）と仮想カメラ２１ｖＤの位置（Ｔ１仮想視点）との離隔距離に応じた視差であり、上式(１)の関係と、該離隔距離と、カメラ２１Ｃの焦点距離ｆと、Ｔ１基準距離情報とから求められる。また、ΔｄfTは、Ｔ２参照画像ＧＳT2の物体を捉えた領域内のうちのＴ２物体出現領域の近傍の画素（参照物体近傍点）と、Ｔ１基準画像ＧＬT1の物体を捉えた領域内のうちの参照物体近傍点に対応する画素（基準物体対応点）との間における座標のシフト量である。
　　　　＜(４－２－３－２－２)第２補填方法がベースとされた物体対応付け処理＞
　一方、工程(C3)において実行される上記一実施形態の第２補填方法がベースとされた物体対応付け処理は、例えば、Ｔ２参照画像ＧＳT2の物体を捉えた領域内の任意の座標が（ｘN2S，ｙN2S，Ｔ２）とされれば、次の処理によって実現され得る。
　まず、第１ステップとして、Ｔ２参照画像ＧＳT2のうち、次の３つの条件(具体的には、条件１ｆ～３ｆ)を満たす被写体の部分が捉えられた画素が、対応付け処理において基準となる点として設定される。
　(条件１ｆ)Ｔ１基準画像ＧＬT1で捉えられている被写体の部分であること。
　(条件２ｆ)Ｔ２参照画像ＧＳT2のうちの、対応付け処理の対象となっている座標が（ｘN2S，ｙN2S，Ｔ２）である画素（Ｔ２処理対象画素とも、Ｔ２処理対象点とも言う）の近傍に位置する画素（近傍画素）で捉えられている被写体の部分であること。
　(条件３ｆ)Ｔ２処理対象点で捉えられている被写体の部分と、カメラ２２Ｃからの離隔距離が略同一である被写体の部分であること。
　具体的には、これらの条件１ｆ～３ｆを満たす画素が対応付け処理において基準となるＴ２参照基準画素（Ｔ２参照基準点とも言う）として設定される。ここでは、Ｔ２参照基準点の座標が（ｘ2S，ｙ2S，Ｔ２）とされる。
　ここで、Ｔ１基準画像ＧＬT1のうちのＴ２参照基準点と同じ被写体の部分が捉えられた画素（Ｔ１基準基準点とも言う）の座標が（ｘ1L，ｙ1L，Ｔ１）とされる。また、Ｔ１基準視点からＴ１基準基準点の画素で捉えられた被写体の部分までの距離がＤ1L(Ｔ１)とされ、Ｔ２参照視点からＴ２参照基準点の画素で捉えられた被写体の部分までの距離がＤ2S(Ｔ２)とされる。また、Ｔ１仮想視点画像ＧＲT1の背景に係るオクルージョン領域において画素値が付与される対象である画素（Ｔ１被補填点）の座標が（ｘo11，ｙo11，Ｔ１）とされる。
　距離Ｄ1L(Ｔ１)は、Ｔ１基準距離情報から得られ、距離Ｄ2S(Ｔ２)は、Ｔ２参照距離情報から得られる。また、Ｔ１基準基準点の座標と、Ｔ１仮想視点画像ＧＲT1においてＴ１基準基準点と同じ被写体の部分が捉えられた画素（Ｔ１基準仮想基準点とも言う）の座標との差（Ｔ１基準視差とも言う）がΔｄT1Lとされる。Ｔ１基準視差ΔｄT1Lは、距離Ｄ1L(Ｔ１)等が上式(１)に代入されることで求められる。また、Ｔ２参照基準点の座標と、Ｔ２仮想視点画像ＧＲT2においてＴ２参照基準点と同じ被写体の部分が捉えられた画素（Ｔ２参照仮想基準点とも言う）の座標との差（Ｔ２参照視差とも言う）がΔｄT2Sとされる。Ｔ２参照視差ΔｄT2Sは、距離Ｄ2S(Ｔ２)等が上式(１)に代入されることで求められる。
　次に、第２ステップとして、下式(８)に従った演算によって、Ｔ２処理対象点の画素値が付与されるＴ１被補填点の座標が求められる。具体的には、Ｔ１基準視点とＴ１仮想視点との組ならびにＴ２参照視点とＴ２仮想視点との組が、それぞれ地面に対して水平な面内において撮影方向と垂直な方向に或る距離ずらされた位置関係を有するため、Ｔ１被補填点のＸ座標の値ｘo11は、下式(８)の関係を有し、Ｔ１被補填点のＹ座標の値ｙo11は、ｙN2Sとなる。
　　ｘo11＝{ｘ1L－ΔｄT1L}＋(ｘN2S－ｘ2S)＋{ΔｄT1L－ΔｄT2S}　・・・(８)。
　このようにして、座標（ｘN2S，ｙN2S，Ｔ２）のＴ２処理対象点に対して、座標（ｘo11，ｙo11，Ｔ１）のＴ１被補填点が対応付けられる。
　　　　＜(４－２－３－３)距離情報が用いられない補填方法＞
　次に、カメラ２１Ｃ，２２Ｃと被写体の各部までの距離を示す距離情報が用いられない補填方法について説明する。この補填方法は、例えば、次の工程(D1)～(D4)が順に行われることで実現され得る。
　(D1)時刻Ｔ１のＴ１基準画像ＧＬT1と時刻Ｔ２のＴ２参照画像ＧＳT2との間で画素の対応付けが行われる。この画素の対応付けは、上記一実施形態と同様に、いわゆるＳＡＤ法やＰＯＣ法等の既存の方法で実現され得る。これにより、Ｔ２参照画像ＧＳT2のうちのＴ１基準画像ＧＬT1とは対応していない領域（Ｔ２非対応領域とも言う）が認識される。
　(D2)Ｔ２参照画像ＧＳT2のうちのＴ２非対応領域の周囲の残余の領域において、Ｔ２非対応領域との境界近傍に位置する複数の点（境界近傍点とも言う）が設定される。複数の境界近傍点は、例えば、Ｔ２非対応領域を挟む左右の２点等であれば良い。
　(D3)上記工程(D1)における画素の対応付けの結果に基づき、Ｔ１仮想視点画像ＧＲT1のうち、各境界近傍点にそれぞれ対応する点（境界近傍対応点とも言う）が認識される。
　(D4)複数の境界近傍対応点の相対的な位置関係に対して、複数の境界近傍点の相対的な位置関係が合致するように、必要に応じてＴ２非対応領域が拡大または縮小された上で、Ｔ１仮想視点画像ＧＲT1のオクルージョン領域に貼り付けられる。これにより、オクルージョン領域の各画素に、Ｔ２非対応領域内の対応する画素に係る画素値が付与される。なお、Ｔ２非対応領域とオクルージョン領域との形状が若干異なる場合には、Ｔ２非対応領域の画素のパターンがオクルージョン領域を覆う程度に拡張された上で、Ｔ２非対応領域の画素のパターンがオクルージョン領域に貼り付けられても良い。但し、オクルージョン領域からはみ出る画素パターンは、貼り付けられないことが好ましい。
　なお、ここでは、Ｔ１仮想視点画像ＧＲT1のオクルージョン領域の各画素に、Ｔ２非対応領域内の画素に係る画素値が付与されたが、これに限られない。例えば、Ｔ１仮想視点画像ＧＲT1のオクルージョン領域の各画素に、Ｔ０，Ｔ３～Ｔｎ参照画像ＧＳT0，ＧＳT3～ＧＳTnの少なくとも１つの参照画像に含まれる非対応領域内の画素に係る画素値が付与されても良い。このとき、Ｔ０，Ｔ３～Ｔｎ参照画像ＧＳT0，ＧＳT3～ＧＳTnのうちの何れの参照画像に含まれる非対応領域の画素値が用いられるのかについては、例えば、ユーザーによる操作部４１の操作に応じて決定されても良いし、上記工程(D1)における画素の対応付けの結果に基づいて決定されても良い。この決定方法としては、例えば、Ｔ１非撮影領域ＡｏｆT1と非対応領域との間における大きさおよび形状の類似度に基づいて決定される方法等が考えられる。類似度としては、領域の大きさの比等が考えられ、Ｔ１非撮影領域ＡｏｆT1の面積を非対応領域の面積で除した値が１に近ければ近いほど、類似しているものとすることができる。
　以上のように、第３変形例によれば、例えば、図２８で示されるように、時刻Ｔ１におけるカメラ２１Ｃの位置（Ｔ１基準視点）よりも、時刻Ｔ２におけるカメラ２２Ｃの位置（Ｔ２参照視点）の方が、時刻Ｔ１における仮想カメラ２１ｖＤの位置（Ｔ１仮想視点）に近ければ、Ｔ１仮想視点画像ＧＲT1の非撮影領域の各画素への画素値の補填に要する演算量が低減され得る。従って、補填処理に要する時間が削減され得る。このような効果が顕著に得られる場合としては、例えば、Ｔ２参照画像ＧＳT2にＴ１仮想視点画像ＧＲT1のＴ１非撮影領域ＡｏｆT1に対応する全画素若しくは全画素に近い数の画素が含まれる場合などがあり得る。
　　　＜(４－２－４)第４変形例＞
　第４変形例では、ある時刻に係る仮想視点画像に含まれる物体領域の非撮影領域の各画素に、ある時刻とは異なる時刻の撮影で得られた画像に含まれる同一姿勢の物体に係る画素値が付与される。これにより、ある物体を捉えた画像領域内における画素値の不自然な変化が低減される。
　第４変形例は、図１で示された情報処理システム１において実現され得る。ここでは、記憶部４４に格納されたプログラムＰＧＧが制御部４６で実行されることで、図３１で示される制御部４６の機能的な構成が実現される例を挙げて説明するが、該機能的な構成が専用のハードウエア構成によって実現されても良い。
　図３１で示されるように、第４変形例に係る制御部４６は、図２で示された一実施形態に係る制御部４６が有する機能的な構成がベースとされて、画像領域検出部４６６Ｇが追加されるとともに、オクルージョン補填部４６４がオクルージョン補填部４６４Ｇに置換されたものである。
　画像領域検出部４６６Ｇは、画像取得部４６１で得られる各画像から特定種類の物体（例えば、人物の顔や体等）が捉えられた領域（物体領域）を検出する。ここでは、特定種類の物体に係る標準的な画素値（輝度および色等）の分布を示す画素値のパターンが用意されていれば、その画素値のパターンが用いられたパターンマッチングによって物体領域が検出され得る。
　ここで、画像領域検出部４６６Ｇでは、物体の姿勢（向き等）に応じた画素値のパターンが準備されていれば、物体の姿勢（向き等）に応じた物体領域が検出され得る。すなわち、画像領域検出部４６６Ｇでは、特定種類の物体が捉えられた物体領域の位置情報と、その姿勢に係る情報（姿勢情報とも言う）とが取得され得る。この姿勢情報の一例としては、顔の向きに係る情報が挙げられる。顔の向きは、例えば、所定角度（例えば、５°）毎の画素値のパターンを用いたパターンマッチングによって検出され得る。また、顔を捉えた画像領域（顔領域とも言う）が所定色（例えば肌色等）を基準として検出され、該顔領域を占める鼻を捉えた領域の位置によって顔の向きが検出されても良い。
　画像取得部４６１で得られる画像の数が３以上の複数である場合、画像領域検出部４６６Ｇでは、３以上の複数の画像から特定種類の物体が捉えられた３以上の複数の物体領域が検出され得る。ここで検出される物体領域に係る情報は、記憶部４４に物体情報４４１Ｇとして記憶される。そして、この物体領域に係る情報には、例えば、該物体領域の位置（例えば、アドレス）を示す情報、該物体領域の検出元である画像の撮影時刻を示す情報、および該物体領域で捉えられた物体の姿勢情報とが含まれる。
　図３２は、時刻Ｔ０、時刻Ｔ１、時刻Ｔ２、・・・、時刻Ｔｎにおけるカメラ２による撮影によって得られたｎ＋１枚のＴ０～Ｔｎ画像ＧＬT0～ＧＬTn、ならびにｎ＋１枚のＴ０～Ｔｎ画像ＧＬT0～ＧＬTnにそれぞれ対応するＴ０～Ｔｎ仮想視点画像ＧＲT0～ＧＲTnが例示されている。
　図３２では、左側の縦一列にＴ０～Ｔｎ画像ＧＬT0～ＧＬTnが示され、右側の縦一列にＴ０～Ｔｎ仮想視点画像ＧＲT0～ＧＲTnが示されている。各Ｔ０～Ｔｎ仮想視点画像ＧＲT0～ＧＲTnは、仮想視点画像生成部４６３において、Ｔ０～Ｔｎ画像ＧＬT0～ＧＬTnおよびＴ０～Ｔｎ距離情報のうちの対応する時刻の画像と距離情報とに基づいてそれぞれ生成される。また、図３２では、下になれば下になるほど、撮影時刻が後となるように各画像が示されている。そして、図３２では、一例として時間の経過とともに人物の顔がカメラ２側から見て左を向く方向に回転している様子が捉えられた複数の画像が示されている。
　オクルージョン補填部４６４Ｇでは、次の工程(E1)～(E3)が順に行われることで、ある時刻（例えば、時刻Ｔ１）の撮影で得られた仮想視点画像（例えば、Ｔ１仮想視点画像ＧＲT1）のうちの非撮影領域（例えば、Ｔ１非撮影領域ＡｏｆT1）の各画素に、ある時刻とは異なる時刻（例えば、時刻Ｔｎ）の撮影で得られた画像（例えば、Ｔｎ画像ＧＬTn）のうちの一部の領域（例えば、一部の領域ＡＬｆTn）の画素値が付与される。
　(E1)記憶部４４内の物体情報４４１Ｇが参照され、ある時刻（例えば、時刻Ｔ１）の撮影で得られた画像（例えば、Ｔ１画像ＧＬT1）の物体領域に係る姿勢情報から、ある時刻に係る仮想視点画像（例えば、Ｔ１仮想視点画像ＧＲT1）の物体領域に係る姿勢（仮想姿勢とも言う）を示す情報（仮想姿勢情報とも言う）が得られる。ここでは、画像から仮想視点画像が生成される際に、画素のシフト量等から該仮想視点画像の物体領域に係る仮想姿勢情報が得られ得る。
　(E2)領域検出部によって、画像領域検出部４６６Ｇで検出された複数の物体領域から、工程(E1)で得られた仮想姿勢を基準とした許容誤差内に含まれる姿勢の物体が捉えられた物体領域（補填用物体領域とも言う）が検出される。ここで言う許容誤差は、例えば、姿勢が或る向きを基準とした物体の回転角度で示される場合には、仮想姿勢に係る回転角度を基準とした値域範囲（例えば、±１°の範囲）との意味を含む。すなわち、許容誤差は、姿勢を示す値について基準値を含む値域範囲との意味を有する。なお、画像領域検出部４６６Ｇで検出された複数の物体領域から、工程(E1)で得られた仮想姿勢と一致する姿勢の物体が捉えられた補填用物体領域が検出されることがより好ましい。
　(E3)工程(E2)において検出された補填用物体領域に基づいて、仮想視点画像（例えば、Ｔ１仮想視点画像ＧＲT1）の物体領域（仮想物体領域とも言う）におけるオクルージョン領域（例えば、Ｔ１非撮影領域ＡｏｆT1）の各画素に画素値が付与される。具体的には、例えば、まず、必要であれば、工程(E2)において検出された補填用物体領域のサイズが、仮想物体領域のサイズに合うように、補填用物体領域が拡大または縮小される。次に、オクルージョン領域の各画素について、仮想物体領域においてオクルージョン領域の各画素が占める相対的な位置と、補填用物体領域において各画素が占める相対的な位置とが一致するように、画素の対応付けが行われる。そして、オクルージョン領域の各画素に、補填用物体領域の対応する画素の画素値が付与される。
　ここで、第４変形例に係る画素値補填処理の動作フローについて説明する。図３３は、情報処理システム１において実現される第４変形例に係る動作フローを例示するフローチャートである。
　図３３で示されるように、まず、画像取得部４６１によって、時刻Ｔ０～Ｔｎの撮影で得られたＴ０～Ｔｎ画像ＧＬT0～ＧＬTnが取得され（ステップＳＰ１）、測距機３で得られた時刻Ｔ０～ＴｎにおけるＴ０～Ｔｎ距離情報が得られる（ステップＳＰ２）。次に、仮想視点画像生成部４６３によってＴ０～Ｔｎ画像ＧＬT0～ＧＬTnとＴ０～Ｔｎ距離情報とに基づいてＴ０～Ｔｎ仮想視点画像ＧＲT0～ＧＲTnが生成される（ステップＳＰ３）。その次に、画像領域検出部４６６Ｇによって、各Ｔ０～Ｔｎ画像ＧＬT0～ＧＬTnとＴ０～Ｔｎ仮想視点画像ＧＲT0～ＧＲTnとにおける所定種類の物体に係る物体領域の位置情報および姿勢情報が検出される（ステップＳＰ４）。そして、オクルージョン補填部４６４Ｇによって、ステップＳＰ４の検出結果に基づきオクルージョン領域ＡｏｆT1の各画素に対する画素値の付与が行われる（ステップＳＰ５）。
　なお、図３１では、測距機３によって距離情報が得られる例が示されているが、測距機３の代わりに、ステレオカメラで得られたステレオ画像に基づき距離情報が得られても良い。また、画像取得部４６１で得られる複数の画像に同一種類の物体が複数個含まれている場合には、画像において各物体が捉えられている位置等によって、各物体が捉えられている物体領域が識別され、各物体領域に係る情報が物体情報４４１Ｇにおいて区別可能に記憶されても良い。
　また、各物体領域に係る情報に、距離情報を含む３次元位置に係る情報が含まれても良い。また、例えば、ある時刻に係る仮想視点画像のオクルージョン領域の各画素に、ある時刻とは異なる時刻に係る仮想視点画像の画素値が付与されても良いし、ステレオ画像が得られる場合には、ある時刻とは異なる時刻に係る参照画像の画素値が付与されても良い。
　また、上記工程(E2)において、画像領域検出部４６６Ｇで検出された複数の物体領域から、工程(E1)で得られた仮想姿勢を基準とした許容誤差内に含まれる姿勢の物体が捉えられた２以上の物体領域が検出される場合には、所定のルールに従って、２以上の物体領域が１つの物体領域に絞り込まれても良い。所定のルールとしては、例えば、時刻Ｔ１に係るＴ１仮想視点画像ＧＲT1のオクルージョン領域の各画素に画素値が付与される場合、２以上の物体領域のうち、撮影時刻が時刻Ｔ１に最も近い画像に含まれる物体領域が自動的に選択されるルールが挙げられる。また、例えば、２以上の物体領域のうち、輝度および色の少なくとも一方の分布、すなわち時刻Ｔ１の撮影で得られたＴ１画像ＧＬT1の物体領域における画素値のパターンに最も近い画素値のパターンを有する一つの物体領域が自動的に選択されるルールも挙げられる。なお、画素値のパターンが最も近いとは、例えば、画素値のパターンどうしの差分の総和が最も小さいような状態が含まれる。
　これにより、仮想視点画像において、ある物体を捉えた画像領域と、その周囲の画像領域との間における不整合が低減され得る。従って、ある物体を捉えた画像領域内における画素値の不自然な変化が低減され得る。
　◎なお、上記一実施形態および各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。
　１，１Ｂ，１Ｃ　情報処理システム
　２，２１Ｃ，２２Ｃ　カメラ
　２ｖ，２１ｖＤ　仮想カメラ
　３　測距機
　４　情報処理装置
　４４　記憶部
　４６　制御部
　４４１，４４１Ｇ　物体情報
　４６１，４６１Ｃ，４６１Ｄ　画像取得部
　４６２，４６２Ｃ　距離情報取得部
　４６３　仮想視点画像生成部
　４６４，４６４Ａ，４６４Ｂ，４６４Ｄ～４６４Ｇ　オクルージョン補填部
　４６６　物体推定部
　４６６Ｇ　画像領域検出部
　４６７　情報更新部
　４６８　距離情報推定部

Claims (18)

  1. 　第１撮影時刻における第１視点からの撮影によって得られる第１画像と、前記第１撮影時刻とは異なる第２撮影時刻における撮影によって得られる第２画像とを取得する取得部と、
    　前記第１画像に基づいて擬似的に生成され且つ前記第１視点とは異なる第１仮想視点からの撮影によって取得され得る第１仮想視点画像のうちの、前記第１画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第２画像に基づいて画素値を付与する補填部と、
    を備えることを特徴とする画像処理システム。
  2. 　請求項１に記載の画像処理システムであって、
    　前記第１画像と、前記第１視点から前記被写体の各部分までの距離に係る距離情報とに基づいて、前記第１仮想視点画像を生成する生成部、
    を更に備えることを特徴とする画像処理システム。
  3. 　請求項２に記載の画像処理システムであって、
    　前記第１視点から前記被写体の各部分までの距離を測定する距離測定部、
    を更に備えることを特徴とする画像処理システム。
  4. 　請求項１から請求項３の何れか１つの請求項に記載の画像処理システムであって、
    　前記補填部が、
    　前記第２画像のうちの前記第１画像とは対応していない非対応領域を認識する認識部を有するとともに、前記非対応領域に係る画素値に基づいて、前記非撮影領域の各画素に対して画素値を付与することを特徴とする画像処理システム。
  5. 　請求項４に記載の画像処理システムであって、
    　前記認識部が、
    　前記第１および第２画像がＭＰＥＧ形式の動画ファイルを構成する２つのフレーム画像である場合、前記ＭＰＥＧ形式の動画ファイルに含まれる動きベクトルの情報に基づいて、前記非対応領域を認識することを特徴とする画像処理システム。
  6. 　請求項４または請求項５に記載の画像処理システムであって、
    　前記補填部が、
    　前記第２画像のうちの前記第１画像と対応する対応領域に含まれる基準点を設定する設定部を有し、前記第１仮想視点画像における前記基準点に対応する仮想基準点の位置情報と、前記第２画像における前記基準点と前記非対応領域に含まれる処理対象点との相対的な位置関係とに基づいて、前記第１仮想視点画像において前記処理対象点に対応する被補填点を特定するとともに、前記処理対象点に係る画素値に従って、前記被補填点に対して画素値を付与することを特徴とする画像処理システム。
  7. 　請求項６に記載の画像処理システムであって、
    　前記設定部が、
    　前記対応領域のうちの前記処理対応点の近傍に位置する点を前記基準点として設定することを特徴とする画像処理システム。
  8. 　請求項６に記載の画像処理システムであって、
    　前記設定部が、
    　前記対応領域のうちの前記処理対応点の近傍に位置し、且つ前記第２画像の撮影における第２視点から被写体までの離隔距離が前記処理対象点と略同一である点を前記基準点として設定することを特徴とする画像処理システム。
  9. 　請求項１から請求項３の何れか１つの請求項に記載の画像処理システムであって、
    　前記補填部が、
    　前記第２画像に基づいて擬似的に生成され且つ前記第２画像の撮影における第２視点に対して前記第１視点に対する前記第１仮想視点と同じ位置関係を有する第２仮想視点からの撮影によって取得され得る第２仮想視点画像のうちの、前記第１仮想視点画像における前記非撮影領域の各画素と同一座標に係る画素値を、該非撮影領域の各画素に対して付与することを特徴とする画像処理システム。
  10. 　請求項３に記載の画像処理システムであって、
    　前記第１画像から特定種類の物体が捉えられた第１物体領域を検出するとともに、前記第２画像から前記特定種類の物体が捉えられた第２物体領域を検出し、前記測距部による測定結果に基づいて、前記第１および第２物体領域に含まれる各画素に係る３次元情報を算出する演算部と、
    　前記演算部による前記第１物体領域に係る算出結果に基づいて、前記第１物体領域に含まれる各画素に対し、３次元情報と画素値とを関連付けた物体情報を記憶する記憶部と、
    　前記演算部による前記第２物体領域に係る算出結果に基づいて、前記第２物体領域のうちの前記第１物体領域に対応していない各画素に対し、３次元情報と画素値とを関連付けた情報を前記物体情報に追加する更新部と、
    を更に備え、
    　前記補填部が、
    　前記物体情報に基づいて、前記非撮影領域の各画素に対して画素値を付与することを特徴とする画像処理システム。
  11. 　請求項１から請求項８の何れか１つの請求項に記載の画像処理システムであって、
    　前記補填部が、
    　前記第２画像から擬似的に生成される第２仮想視点画像に基づいて、前記非撮影領域の各画素に画素値を付与し、
    　前記第２画像が、
    　第２視点からの撮影によって取得される画像であり、
    　前記第２仮想視点画像が、
    　第２仮想視点からの撮影によって取得され得る画像であり、
    　前記第２視点と前記第２仮想視点との相対的な位置関係が、前記第１視点と前記第１仮想視点との相対的な位置関係と同一であることを特徴とする画像処理システム。
  12. 　請求項１から請求項８の何れか１つの請求項に記載の画像処理システムであって、
    　前記第１画像が、
    　第１カメラによる撮影によって得られ、
    　前記第２画像が、
    　前記第１カメラとは異なる第２カメラによる撮影によって得られることを特徴とする画像処理システム。
  13. 　請求項１から請求項８の何れか１つの請求項に記載の画像処理システムであって、
    　前記第１画像が、
    　第１カメラによる撮影によって得られ、
    　前記取得部が、
    　前記第１撮影時刻に前記第１カメラとは異なる第２カメラによる撮影によって得られる第３画像を取得し、
    　前記補填部が、
    　前記第２画像と前記第３画像とに基づいて、前記非撮影領域の各画素に画素値を付与することを特徴とする画像処理システム。
  14. 　請求項１から請求項５の何れか１つの請求項に記載の画像処理システムであって、
    　前記第１画像から特定種類の物体が捉えられた第１物体領域と該第１物体領域で捉えられている前記特定種類の物体の第１姿勢とを検出するとともに、前記第１撮影時刻とは異なる複数の撮影時刻における撮影によって得られ且つ前記取得部によって取得される前記複数の画像から前記特定種類の物体が捉えられた複数の物体領域と該複数の物体領域で捉えられている前記特定種類の物体の姿勢とをそれぞれ検出する第１検出部、
    を更に備え、
    　前記補填部が、
    　前記第１姿勢から前記第１仮想視点画像で捉えられた前記特定種類の物体の第１仮想姿勢の情報を得るとともに、前記複数の物体領域から、前記第１仮想姿勢を基準とした許容誤差内に含まれる姿勢の物体が捉えられた物体領域を検出する第２検出部を有し、該第２検出部によって検出された物体領域に基づいて、前記非撮影領域の各画素に画素値を付与することを特徴とする画像処理システム。
  15. 　請求項１４に記載の画像処理システムであって、
    　前記補填部が、
    　前記第２検出部によって２以上の物体領域が検出された場合、前記２以上の物体領域のうち、撮影時刻が前記第１撮影時刻に最も近い画像に含まれる物体領域に基づいて、前記非撮影領域の各画素に画素値を付与することを特徴とする画像処理システム。
  16. 　請求項１４に記載の画像処理システムであって、
    　前記補填部が、
    　前記第２検出部によって２以上の物体領域が検出された場合、前記２以上の物体領域のうち、画素値のパターンが前記第１物体領域の画素値のパターンに最も近い一つの物体領域に基づいて前記非撮影領域の各画素に画素値を付与することを特徴とする画像処理システム。
  17. 　第１撮影時刻における第１視点からの撮影によって得られる第１画像と、前記第１撮影時刻とは異なる第２撮影時刻における撮影によって得られる第２画像とを取得する取得ステップと、
    　前記第１画像に基づいて擬似的に生成され且つ前記第１視点とは異なる第１仮想視点からの撮影によって取得され得る第１仮想視点画像のうちの、前記第１画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第２画像に基づいて画素値を付与する補填ステップと、
    を備えることを特徴とする画像処理方法。
  18. 　情報処理システムに含まれる制御部において実行されることにより、前記情報処理システムを、請求項１から請求項１６の何れか１つの請求項に記載の画像処理システムとして機能させるプログラム。
PCT/JP2011/050320 2010-02-02 2011-01-12 画像処理システム、画像処理方法、およびプログラム WO2011096252A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP11739601.0A EP2533191B1 (en) 2010-02-02 2011-01-12 Image processing system, image processing method, and program
JP2011552722A JP5327339B2 (ja) 2010-02-02 2011-01-12 画像処理システム、画像処理方法、およびプログラム
US13/574,962 US9013559B2 (en) 2010-02-02 2011-01-12 System, method and program for capturing images from a virtual viewpoint

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010021138 2010-02-02
JP2010-021138 2010-02-02
JP2010246573 2010-11-02
JP2010-246573 2010-11-02

Publications (1)

Publication Number Publication Date
WO2011096252A1 true WO2011096252A1 (ja) 2011-08-11

Family

ID=44355262

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/050320 WO2011096252A1 (ja) 2010-02-02 2011-01-12 画像処理システム、画像処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US9013559B2 (ja)
EP (1) EP2533191B1 (ja)
JP (1) JP5327339B2 (ja)
WO (1) WO2011096252A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2494707A (en) * 2011-09-19 2013-03-20 Sony Comp Entertainment Europe Processing and displaying stereoscopic image in which left and right images have different effective temporal positions
JP2014014034A (ja) * 2012-07-05 2014-01-23 Toshiba Corp 視差画像生成装置及び視差画像生成方法
JP2014515197A (ja) * 2011-01-13 2014-06-26 サムスン エレクトロニクス カンパニー リミテッド 背景ピクセル拡張及び背景優先パッチマッチングを用いるマルチビューレンダリング装置及び方法
US9582928B2 (en) 2011-01-13 2017-02-28 Samsung Electronics Co., Ltd. Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
JP2018036956A (ja) * 2016-09-01 2018-03-08 キヤノン株式会社 表示制御装置、表示制御方法及びプログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6062955B2 (ja) * 2012-11-16 2017-01-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ カメラ、カメラシステム、及び自己診断方法
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2014230251A (ja) * 2013-05-27 2014-12-08 ソニー株式会社 画像処理装置、および画像処理方法
JP6395423B2 (ja) * 2014-04-04 2018-09-26 キヤノン株式会社 画像処理装置、制御方法及びプログラム
CN104333747B (zh) * 2014-11-28 2017-01-18 广东欧珀移动通信有限公司 一种立体拍照方法和立体拍照设备
US10633095B2 (en) * 2016-04-04 2020-04-28 Panasonic Intellectual Property Management Co., Ltd. Imaging system, video processing system, and video processing method
DE102017203721A1 (de) * 2017-03-07 2018-09-13 Bitmanagement Software GmbH Vorrichtung und Verfahren zur Darstellung eines Raumbilds von einem Objekt in einer virtuellen Umgebung
BR112019019060B1 (pt) * 2017-03-17 2021-01-19 Unity IPR ApS método e sistema para colisão de câmera automatizada e preservação de composição
JP2019125303A (ja) * 2018-01-19 2019-07-25 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020098412A (ja) * 2018-12-17 2020-06-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2020250620A1 (ja) * 2019-06-14 2020-12-17 富士フイルム株式会社 点群データ処理装置、点群データ処理方法及びプログラム
EP4075789A4 (en) * 2020-01-23 2023-05-03 Sony Group Corporation IMAGING DEVICE, IMAGING PROCEDURE AND PROGRAM

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000253422A (ja) * 1999-03-03 2000-09-14 Toshiba Corp ２次元映像からの立体映像生成方法
JP2005151534A (ja) 2003-09-24 2005-06-09 Victor Co Of Japan Ltd 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69823116D1 (de) * 1997-08-05 2004-05-19 Canon Kk Bildverarbeitungsverfahren und -gerät
AU5481500A (en) * 1999-06-11 2001-01-02 Emile Hendriks Acquisition of 3-d scenes with a single hand held camera
US7200261B2 (en) * 2000-08-25 2007-04-03 Fujifilm Corporation Parallax image capturing apparatus and parallax image processing apparatus
US8682097B2 (en) * 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US7659923B1 (en) * 2005-06-24 2010-02-09 David Alan Johnson Elimination of blink-related closed eyes in portrait photography
US7605817B2 (en) * 2005-11-09 2009-10-20 3M Innovative Properties Company Determining camera motion
US8325268B2 (en) * 2007-12-28 2012-12-04 Sanyo Electric Co., Ltd. Image processing apparatus and photographing apparatus
JP5428210B2 (ja) * 2008-06-11 2014-02-26 ソニー株式会社 情報処理装置、撮像システム、録画制御方法及びプログラム
JP4513905B2 (ja) * 2008-06-27 2010-07-28 ソニー株式会社 信号処理装置、信号処理方法、プログラム及び記録媒体
JP5413002B2 (ja) * 2008-09-08 2014-02-12 ソニー株式会社 撮像装置および方法、並びにプログラム
CN102239506B (zh) * 2008-10-02 2014-07-09 弗兰霍菲尔运输应用研究公司 中间视合成和多视点数据信号的提取

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000253422A (ja) * 1999-03-03 2000-09-14 Toshiba Corp ２次元映像からの立体映像生成方法
JP2005151534A (ja) 2003-09-24 2005-06-09 Victor Co Of Japan Ltd 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2533191A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014515197A (ja) * 2011-01-13 2014-06-26 サムスン エレクトロニクス カンパニー リミテッド 背景ピクセル拡張及び背景優先パッチマッチングを用いるマルチビューレンダリング装置及び方法
US9582928B2 (en) 2011-01-13 2017-02-28 Samsung Electronics Co., Ltd. Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
GB2494707A (en) * 2011-09-19 2013-03-20 Sony Comp Entertainment Europe Processing and displaying stereoscopic image in which left and right images have different effective temporal positions
GB2494707B (en) * 2011-09-19 2014-10-08 Sony Comp Entertainment Europe Generation and display of stereoscopic images
US8953018B2 (en) 2011-09-19 2015-02-10 Sony Computer Entertainment Europe Limited Generation and display of stereoscopic images
JP2014014034A (ja) * 2012-07-05 2014-01-23 Toshiba Corp 視差画像生成装置及び視差画像生成方法
JP2018036956A (ja) * 2016-09-01 2018-03-08 キヤノン株式会社 表示制御装置、表示制御方法及びプログラム
US11132807B2 (en) 2016-09-01 2021-09-28 Canon Kabushiki Kaisha Display control apparatus and display control method for receiving a virtual viewpoint by a user operation and generating and displaying a virtual viewpoint image

Also Published As

Publication number Publication date
JPWO2011096252A1 (ja) 2013-06-10
JP5327339B2 (ja) 2013-10-30
EP2533191A1 (en) 2012-12-12
EP2533191A4 (en) 2013-07-31
US9013559B2 (en) 2015-04-21
US20120293693A1 (en) 2012-11-22
EP2533191B1 (en) 2017-06-14

Similar Documents

Publication Publication Date Title
JP5327339B2 (ja) 画像処理システム、画像処理方法、およびプログラム
US10540773B2 (en) System and method for infinite smoothing of image sequences
EP3163535B1 (en) Wide-area image acquisition method and device
US10176592B2 (en) Multi-directional structured image array capture on a 2D graph
JP5153940B2 (ja) 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法
JP3745117B2 (ja) 画像処理装置及び画像処理方法
WO2018068719A1 (zh) 一种图像拼接方法及装置
US10027949B2 (en) Image processing apparatus, image processing method, and recording medium
US10841555B2 (en) Image processing apparatus, image processing method, and storage medium
WO2017076106A1 (zh) 图像的拼接方法和装置
US9378583B2 (en) Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume
KR20180136445A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
JP7123736B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4238586B2 (ja) キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム
EP2350973A1 (en) Stereoscopic image processing device, method, recording medium and stereoscopic imaging apparatus
TWI820246B (zh) 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品
JP2009212728A (ja) 立体映像処理装置及び立体映像処理方法
JP2016218729A (ja) 画像処理装置、画像処理方法およびプログラム
KR20220121533A (ko) 어레이 카메라를 통해 획득된 영상을 복원하는 영상 복원 방법 및 영상 복원 장치
JP6732440B2 (ja) 画像処理装置、画像処理方法、及びそのプログラム
JP2020028114A (ja) 立体画像生成装置及びそのプログラム
WO2021049281A1 (ja) 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法
KR20110025020A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
JP2021149513A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6645949B2 (ja) 情報処理装置、情報処理システム、および情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11739601

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011552722

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13574962

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2011739601

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011739601

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE