WO2013073369A1 - 画像処理装置、画像処理方法、画像処理プログラム、画像表示装置、および画像表示方法 - Google Patents

画像処理装置、画像処理方法、画像処理プログラム、画像表示装置、および画像表示方法 Download PDF

Info

Publication number
WO2013073369A1
WO2013073369A1 PCT/JP2012/078157 JP2012078157W WO2013073369A1 WO 2013073369 A1 WO2013073369 A1 WO 2013073369A1 JP 2012078157 W JP2012078157 W JP 2012078157W WO 2013073369 A1 WO2013073369 A1 WO 2013073369A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vector
integrated
viewpoint
time
Prior art date
Application number
PCT/JP2012/078157
Other languages
English (en)
French (fr)
Inventor
俊明 久保
督 那須
直之 藤山
良樹 小野
知篤 堀部
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2013544205A priority Critical patent/JP5627798B2/ja
Publication of WO2013073369A1 publication Critical patent/WO2013073369A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to an image processing device, an image processing method, an image processing program, an image display device, and an image display method.
  • a stereoscopic image display technique using binocular parallax as an image display technique for an observer to obtain a pseudo depth feeling.
  • an image is viewed by the observer by dividing the image viewed with the left eye and the image viewed with the right eye into a left eye and a right eye of the observer in a three-dimensional space. I feel a solid.
  • the left-eye image and the right-eye image are switched alternately in time and displayed on the display, and at the same time, the left and right images are synchronized with the timing of the image switching.
  • Left and right eyes by using a method to separate the left and right fields of view temporally using glasses that control the amount of light transmitted through the lens, and a barrier or lens that limits the display angle of the image on the front of the display.
  • the observer focuses on the display surface while adjusting the convergence angle of the eyes to the position of the protruding object.
  • This inconsistency has a problem that it induces eye fatigue in the observer when the pop-out amount is too large.
  • the depth sensation that induces eye fatigue varies depending on the distance between the viewer and the display surface of the display and the characteristics of the viewer.
  • the convergence angle represents the angle formed by the left eye line of sight and the right eye line of sight
  • the sense of depth represents the amount of protrusion or retraction of the object expressed by binocular parallax.
  • a hold-type display such as a liquid crystal display
  • the same image continues to be displayed for one frame period, and when an object in the image moves, human eyes follow the moving object continuously, Since the movement of the object is a discontinuous movement in units of one frame, there is a problem that the edge portion looks blurred.
  • Patent Document 1 discloses a technique for generating an intermediate image corresponding to an arbitrary viewpoint between two images from two images having different viewpoints.
  • an interpolated frame is generated from the previous frame of the video signal and the current frame, the interpolated frame is interpolated between the previous frame and the current frame, and the frame rate of the video signal is calculated.
  • a technique for converting is disclosed.
  • An object of the present invention is to provide an image processing device, an image processing method, an image processing program, an image display device, and an image display method capable of generating an image of an arbitrary viewpoint at an arbitrary time from a plurality of input images.
  • An image processing apparatus includes: Receiving the image P (T1, V1) of the first viewpoint V1 at the first time T1 and the image P (T2, V1) of the viewpoint V1 at the second time T2 different from the first time T1; A motion estimation unit for calculating a first motion vector from the image P (T1, V1) to the image P (T2, V1); The image P (T1, V1) and the image P (T1, V2) of the second viewpoint V2 different from the first viewpoint V1 at the time T1 are received, and the image P (T1, V1) is received from the image P (T1, V1).
  • a parallax estimation unit that calculates a first parallax vector to P (T1, V2);
  • An integration unit that calculates an integrated vector in which the first motion vector and the first disparity vector are integrated from the first motion vector and the first disparity vector;
  • an image display device includes: The above image processing apparatus; An image display unit for displaying the image P (t, v) generated by the image generation unit of the image processing device; It is characterized by providing.
  • the image processing method includes: Receiving the image P (T1, V1) of the first viewpoint V1 at the first time T1 and the image P (T2, V1) of the viewpoint V1 at the second time T2 different from the first time T1; A motion estimation step of calculating a first motion vector from the image P (T1, V1) to the image P (T2, V1); The image P (T1, V1) and the image P (T1, V2) of the second viewpoint V2 different from the first viewpoint V1 at the time T1 are received, and the image P (T1, V1) is received from the image P (T1, V1).
  • the image display method includes: The above image processing method; An image display step for displaying the image P (t, v) generated by the image generation step of the image processing method; It is characterized by having.
  • An image processing program is Receiving the image P (T1, V1) of the first viewpoint V1 at the first time T1 and the image P (T2, V1) of the viewpoint V1 at the second time T2 different from the first time T1; A motion estimation step of calculating a first motion vector from the image P (T1, V1) to the image P (T2, V1); The image P (T1, V1) and the image P (T1, V2) of the second viewpoint V2 different from the first viewpoint V1 at the time T1 are received, and the image P (T1, V1) is received from the image P (T1, V1).
  • an image at an arbitrary viewpoint at an arbitrary time can be generated from a plurality of input images.
  • FIG. 1 It is a figure which shows the structure of the image display apparatus which concerns on embodiment. It is a figure for demonstrating operation
  • (A) And (b) is a figure for demonstrating the operation
  • FIG. 1 is a diagram showing a configuration of an image display apparatus 100 according to an embodiment of the present invention.
  • the image display device 100 includes an image processing unit 10 and an image display unit 20.
  • the image processing unit 10 generates an image of an arbitrary viewpoint at an arbitrary time from a plurality of input images, and the image display unit 20 displays the image generated by the image processing unit 10.
  • the image processing unit 10 includes a motion estimation unit 11, a parallax estimation unit 12, a parallax / motion integration unit (hereinafter referred to as “integration unit”) 13, and an image generation unit 14.
  • the image processing unit 10 includes, as input images, an image P (T1, V1) of the first viewpoint V1 at the first time T1 and a first viewpoint V1 at a second time T2 different from the first time T1.
  • Image P (T2, V1) and an image P (T1, V2) of the second viewpoint V2 different from the first viewpoint V1 at the first time T1 are input.
  • the image P (T1, V1) of the viewpoint V1 at the time T1 is, for example, an image captured from the viewpoint V1 at the time T1.
  • the motion estimation unit 11 receives the image P (T1, V1) of the viewpoint V1 at the time T1 and the image P (T2, V1) of the viewpoint V1 at the time T2, and the image P (T2) from the image P (T1, V1). , V1) is calculated as the first motion vector MV1. Specifically, the motion estimation unit 11 refers to the image P (T1, V1) and the image P (T2, V1), and for each pixel, the image P (T1, V1) to the image P (T2, V1). The first motion vector MV1 is calculated and output to the integration unit 13.
  • the parallax estimation unit 12 receives the image P (T1, V1) of the viewpoint V1 at the time T1 and the image P (T1, V2) of the viewpoint V2 at the time T1, and the image P (T1) from the image P (T1, V1). , V2) is calculated as the first parallax vector DV1. Specifically, the parallax estimation unit 12 refers to the image P (T1, V1) and the image P (T1, V2), and the image P (T1, V1) to the image P (T1, V2) for each pixel. The first parallax vector DV1 is calculated and output to the integration unit 13.
  • the integration unit 13 uses the first motion vector MV1 calculated by the motion estimation unit 11 and the first disparity vector DV1 calculated by the disparity estimation unit 12, and the first motion vector MV1 and the first disparity vector. An integrated vector obtained by integrating DV1 is calculated.
  • the image generation unit 14 includes at least one of the image P (T1, V1), the image P (T2, V1), and the image P (T1, V2), and the integration vector calculated by the integration unit 13.
  • An image P (t, v) at an arbitrary viewpoint v at an arbitrary time t is generated.
  • the time t and the viewpoint v are specified by, for example, an external module or apparatus of the image processing unit 10 or a user.
  • the range of the time t is, for example, T1 ⁇ t ⁇ T2, but is not limited to this range.
  • the range of the viewpoint v is, for example, V1 ⁇ v ⁇ V2, but is not limited to this range.
  • the integration unit 13 uses the first motion vector MV1 and the first parallax vector DV1 as the integration vector to generate a second signal from the image P (T2, V1) to the image P (t, v).
  • An integrated vector TV2 and a third integrated vector TV3 from the image P (T1, V2) to the image P (t, v) are calculated.
  • the image generation unit 14 generates an image P (t, v) from the image P (T2, V1), the image P (T1, V2), the second integrated vector TV2, and the third integrated vector TV3. .
  • the integration unit 13 includes a motion conversion unit 15, a parallax conversion unit 16, a vector addition unit 17, a first vector subtraction unit 18, and a second vector subtraction unit 19. Prepare.
  • the motion conversion unit 15 converts the first motion vector MV1 for each pixel from the image P (T1, V1) to the second motion vector MV2 to the position (or image) of the viewpoint V1 at an arbitrary time t, The result is output to the vector adder 17.
  • the disparity conversion unit 16 converts the first disparity vector DV1 from the image P (T1, V1) to the second disparity vector DV2 from the image P (T1, V1) to the position (or image) at an arbitrary viewpoint v for each pixel, The result is output to the vector adder 17.
  • the vector addition unit 17 adds the second motion vector MV2 obtained by the motion conversion unit 15 and the second parallax vector DV2 obtained by the parallax conversion unit 16 for each pixel, and performs first integration.
  • the vector TV1 is calculated and output to the first vector subtracting unit 18 and the second vector subtracting unit 19.
  • the second motion vector MV2 is a vector from the image P (T1, V1) of the viewpoint V1 at the time T1 to the position of the viewpoint V1 at the time t
  • the second disparity vector DV2 is the image P (of the viewpoint V1 at the time T1.
  • the first integrated vector TV1 is the position of the viewpoint v at time t from the image P (T1, V1) of the viewpoint V1 at time T1 (or Corresponds to a vector to (image).
  • the first vector subtracting unit 18 subtracts the first motion vector MV1 from the first integrated vector TV1 obtained by the vector adding unit 17 for each pixel to calculate a second integrated vector TV2 to obtain an image.
  • the first motion vector MV1 is a vector from the image P (T1, V1) of the viewpoint V1 at the time T1 to the image P (T2, V1) of the viewpoint V1 at the time T2, and the first integrated vector TV1 is at the time T1. Since it is a vector from the image P (T1, V1) of the viewpoint V1 to the position of the viewpoint v at time t, the second integrated vector TV2 is from the image P (T2, V1) of the viewpoint V1 at time t2 at time t2. This corresponds to a vector to the position (or image) of the viewpoint v.
  • the second vector subtraction unit 19 subtracts the first parallax vector DV1 from the first integrated vector TV1 obtained by the vector addition unit 17 for each pixel to calculate a third integrated vector TV3, and the image Output to the generation unit 14.
  • the first disparity vector DV1 is a vector from the image P (T1, V1) of the viewpoint V1 at time T1 to the image P (T1, V2) of the viewpoint V2 at time T1, and the first integrated vector TV1 is at time T1. Since it is a vector from the image P (T1, V1) of the viewpoint V1 to the position of the viewpoint v at the time t, the third integrated vector TV3 is from the image P (T1, V2) of the viewpoint V2 at the time t1 at the time t. This corresponds to a vector to the position (or image) of the viewpoint v.
  • the image generation unit 14 includes an image P (T2, V1), an image P (T1, V2), a second integrated vector TV2 calculated by the first vector subtraction unit 18, and a second vector subtraction unit 19 From the third integrated vector TV3 calculated by the above, an output image P (t, v) of the viewpoint v at time t is generated and output to the image display unit 20.
  • the image display unit 20 displays the output image P (t, v) of the viewpoint v at the time t generated by the image generation unit 14.
  • FIG. 2 is a diagram for explaining the operation of the motion estimation unit 11.
  • the motion estimation unit 11 obtains the first motion vector MV1 from the image P (T1, V1) of the viewpoint V1 at the time T1 to the image P (T2, V1) of the viewpoint V1 at the time T2. calculate.
  • the motion estimation unit 11 obtains the first motion vector MV1 by, for example, a block matching method. Specifically, the motion estimation unit 11 extracts a target image block including the target pixel from the image P (T1, V1), and estimates to which region of the image P (T2, V1) the target image block has moved. Then, the relative position of the estimated region with respect to the target image block is detected as the first motion vector MV1 for the target pixel.
  • FIG. 3 is a block diagram illustrating a configuration example of the motion estimation unit 11.
  • the motion estimation unit 11 includes an attention image block cutout unit 11a, a search image block cutout unit 11b, and a motion vector determination unit 11c.
  • the target image block cutout unit 11a when obtaining the first motion vector MV1 for the target pixel at the position p (i, j) of the image P (T1, V1), the target image block cutout unit 11a A peripheral region of the target pixel is cut out as a block from the image P (T1, V1).
  • the target image block cutout unit 11a has a rectangular region (block) D2B centered on the target pixel and having a width (horizontal size) of (2 ⁇ BM + 1) and a height (vertical size) of (2 ⁇ BN + 1). Cut out (i, j).
  • i represents a horizontal position in the image
  • j represents a vertical position in the image.
  • the search image block cutout unit 11b has a plurality of the same size as the rectangular region D2B (i, j) centered on each position included in the search range of the motion vector corresponding to the target pixel from the image P (T2, V1). Cut out rectangular areas (blocks).
  • the search range is a set S (i, j) of coordinates represented by the following formula (1).
  • S (i, j) ⁇ (i + k, j + l) ⁇ (1)
  • k ⁇ SH,..., ⁇ 1, 0, +1,..., SH (SH is a predetermined integer of 1 or more)
  • l ⁇ SV,. ,..., SV (SV is a predetermined integer of 1 or more).
  • the search range defined in this way is a rectangular area having a horizontal size of 2SH + 1 and a vertical size of 2SV + 1.
  • the search image block cutout unit 11b has the same size as the rectangular area D2B (i, j) centered on each position (i + k, j + l) included in the coordinate set S (i, j) (2 ⁇ SH + 1) ⁇ (2 ⁇ SV + 1) rectangular regions D1B (i + k, j + l) are cut out.
  • the motion vector determination unit 11c is configured between the block D2B (i, j) input from the target image block cutout unit 11a and the block D1B (i + k, j + l) input from the search image block cutout unit 11b.
  • the difference absolute value sum SAD (i + k, j + l) which is the sum of the absolute values of the differences between all the pixels in the block, that is, (2 ⁇ BM + 1) ⁇ (2 ⁇ BN + 1) pixels corresponding to each other, is obtained. .
  • This difference absolute value sum SAD (i + k, j + l) is expressed by the following equation (2).
  • D1 (i + k + r, j + l + s) represents the pixel value of the position (i + k + r, j + l + s) of the image P (T2, V1)
  • D2 (i + r, j + s) represents the image P (T1, V1). Represents the pixel value at position (i + r, j + s).
  • This first motion vector MV1 may be represented as MV1 (i, j) for the purpose of distinguishing it from motion vectors for other pixels.
  • the motion vector determination unit 11c performs the above motion vector detection on all the pixels of the image P (T1, V1), and detects the first motion vector MV1 for each pixel.
  • the processing method of the motion estimation unit 11 is not limited to the above method, and other motion vector calculation methods such as a method of obtaining a motion vector using a phase correlation function may be employed.
  • FIG. 5 is a diagram for explaining the operation of the motion conversion unit 15.
  • the motion conversion unit 15 converts the first motion vector MV1 from the image P (T1, V1) of the viewpoint V1 at the time T1 to the position of the viewpoint V1 at the time t, for each pixel.
  • the motion vector MV2 MV1 ⁇ (t ⁇ T1) / (T2 ⁇ T1) (3)
  • FIG. 6 is a diagram for explaining the operation of the parallax estimation unit 12.
  • the parallax estimation unit 12 obtains the first parallax vector DV1 from the image P (T1, V1) of the viewpoint V1 at the time T1 to the image P (T1, V2) of the viewpoint V2 at the time T1. calculate.
  • the configuration of the parallax estimation unit 12 is the same as the configuration of the motion estimation unit 11 illustrated in FIG. 3, for example.
  • the processing method of the parallax estimation unit 12 is not limited to the above method, and other motion vector calculation methods such as a method of obtaining a motion vector using a phase correlation function may be employed.
  • FIG. 7 is a diagram for explaining the operation of the parallax converter 16.
  • the disparity conversion unit 16 converts the first disparity vector DV1 from the image P (T1, V1) of the viewpoint V1 at the time T1 to the position of the viewpoint v at the time T1, for each pixel.
  • the disparity vector DV2. For this conversion, the following equation (4) is used for each pixel.
  • DV2 DV1 ⁇ (v ⁇ V1) / (V2 ⁇ V1) (4)
  • FIG. 8 is a diagram for explaining the operation of the vector addition unit 17.
  • the vector addition unit 17 uses the second motion vector MV2 and the second parallax vector DV2 for each pixel from the image P (T1, V1) of the viewpoint V1 at time T1.
  • a vector to the position of the viewpoint v at time t is calculated as a first integrated vector TV1.
  • the following equation (5) is used for each pixel.
  • TV1 DV2 + MV2 (5)
  • FIG. 9 is a diagram for explaining the operation of the first vector subtraction unit 18.
  • the first vector subtraction unit 18 uses the first integrated vector TV1 and the first motion vector MV1 for each pixel, and uses the image P (T2, T2, T2 at time T2.
  • a vector from V1) to the position of the viewpoint v at time t is calculated as a second integrated vector TV2.
  • the following equation (6) is used for each pixel.
  • TV2 TV1-MV1 (6)
  • FIG. 10 is a diagram for explaining the operation of the second vector subtraction unit 19.
  • the second vector subtracting unit 19 uses the first integrated vector TV1 and the first parallax vector DV1 for each pixel, and the image P (T1, T1) at the time T1.
  • a vector from V2) to the position of the viewpoint v at time t is calculated as a third integrated vector TV3.
  • the following equation (7) is used for each pixel.
  • TV3 TV1-DV1 (7)
  • FIG. 11 is a diagram for explaining the operation of the image generation unit 14.
  • the image generation unit 14 uses the image P (T2, V1), the image P (T1, V2), the second integrated vector TV2, and the third integrated vector TV3 to generate a time t.
  • the image generation unit 14 moves the pixel value of each pixel of the image P (t, v) by an inverse vector ( ⁇ TV2) of the second integrated vector from the pixel P (T2).
  • the image generation unit 14 determines the position pa () of the image P (t, v).
  • the pixel value Dp (x, y) of the pixel at x, y) is converted into the pixel value D1 (x-tv2x, y-tv2y) at the position pb (x-tv2x, y-tv2y) of the image P (T2, V1).
  • D2 (x-tv3x, y-tv3y) at the position pc (x-tv3x, y-tv3y) of the image P (T1, V2) is obtained by the following equation (8).
  • Dp (x, y) ⁇ D1 (x ⁇ tv2x, y ⁇ tv2y) + D2 (x ⁇ tv3x, y ⁇ tv3y) ⁇ / 2 (8)
  • FIG. 12 is a diagram for explaining processing of the image processing unit 10.
  • FIG. 12 focusing on the pixel at the position p (x, y) of the image P (T1, V1), the processing of each unit of the image processing unit 10 will be described.
  • FIG. 12 for convenience of explanation, the position of each image, the rectangular area, and the like are shown superimposed.
  • the motion estimation unit 11 identifies the rectangular region R1 of the image P (T2, V1) corresponding to the rectangular region R0 centered on the pixel at the position p (x, y) of the image P (T1, V1). Then, the motion estimation unit 11 converts the vector from the position p (x, y) to the center position p1 of the rectangular area R1 with respect to the pixel at the position p (x, y) of the image P (T1, V1). Calculated as a motion vector MV1.
  • the motion conversion unit 15 calculates the second motion vector MV2 for the pixel at the position p (x, y) of the image P (T1, V1) from the first motion vector MV1 by the above equation (3). .
  • the parallax estimation unit 12 identifies the rectangular region R2 of the image P (T1, V2) corresponding to the rectangular region R0 centered on the pixel at the position p (x, y) of the image P (T1, V1). Then, the parallax estimation unit 12 converts the vector from the position p (x, y) to the center position p2 of the rectangular region R2 to the first pixel for the pixel at the position p (x, y) of the image P (T1, V1). Calculated as the parallax vector DV1.
  • the parallax conversion unit 16 calculates the second parallax vector DV2 for the pixel at the position p (x, y) of the image P (T1, V1) from the first parallax vector DV1 by the above equation (4). .
  • the vector addition unit 17 adds the second motion vector MV2 and the second parallax vector DV2, and performs first integration for the pixel at the position p (x, y) of the image P (T1, V1).
  • Vector TV1 (tv1x, tv1y) is calculated.
  • the first integrated vector TV1 corresponds to a vector from the position p (x, y) of the image P (T1, V1) to the position p3 corresponding to the target pixel of the output image P (t, v).
  • the coordinates of the position p3 are (x + tv1x, y + tv1y).
  • the first vector subtraction unit 18 subtracts the first motion vector MV1 from the first integrated vector TV1 to obtain the second for the pixel at the position p (x, y) of the image P (T1, V1).
  • the integrated vector TV2 (tv2x, tv2y) is calculated.
  • the second integrated vector TV2 corresponds to a vector from the position p1 of the image P (T2, V1) to the position p3 of the output image P (t, v). Accordingly, the second integrated vector TV2 corresponds to the position p3 (x + tv1x, y + tv1y) of the output image P (t, v).
  • the second vector subtraction unit 19 subtracts the first parallax vector DV1 from the first integrated vector TV1 to obtain a third pixel for the pixel at the position p (x, y) in the image P (T1, V1).
  • the integrated vector TV3 (tv3x, tv3y) is calculated.
  • the third integrated vector TV3 corresponds to a vector from the position p2 of the image P (T1, V2) to the position p3 of the output image P (t, v). Therefore, the third integrated vector TV3 corresponds to the position p3 (x + tv1x, y + tv1y) of the output image P (t, v).
  • the pixel value Dp (x + tv1x, y + tv1y) of the pixel at the position p3 (x + tv1x, y + tv1y) of the output image P (t, v) can be obtained by the following equation (9).
  • the pixel value of the pixel at the position (x, y) of the image P (T2, V1) is represented as D1 (x, y)
  • the pixel value at the position (x, y) of the image P (T1, V2) is represented.
  • the pixel value is represented as D2 (x, y).
  • Dp (x + tv1x, y + tv1y) ⁇ D1 (x + tv1x ⁇ tv2x, y + tv1y ⁇ tv2y) + D2 (x + tv1x ⁇ tv3x, y + tv1y ⁇ tv3y) ⁇ / 2 (9)
  • the image generation unit 14 can obtain the pixel value of each pixel of the image P (t, v) using the above formula (9) or (10).
  • the integration unit 13 calculates the first integrated vector TV1, the second integrated vector TV2, and the third integrated vector TV3 for the pixel at each position (xm, yn) of the image P (T1, V1). .
  • the second integrated vector TV2 and the third integrated vector TV3 for the pixel at the position (xm, yn) of the image P (T1, V1) are the same as those in the output image P (t, v).
  • yn + tv1y) is obtained as a second integrated vector TV2 and a third integrated vector TV3.
  • the image generation unit 14 performs the following first or second processing, for example.
  • the image generation unit 14 obtains each of the white circles of the image P (t, v) from the second integrated vector TV2 and the third integrated vector TV3 corresponding to the positions of the black triangles of the image P (t, v).
  • the second integrated vector TV2 and the third integrated vector TV3 corresponding to the position are calculated by interpolation.
  • the image generation unit 14 uses the second integrated vector TV2 and the third integrated vector TV3 corresponding to the calculated positions of the white circles to calculate the image P (t, v
  • the pixel value Dp (xm, yn) at each position (xm, yn) of the white circle mark of) is calculated.
  • Dp (xm, yn) ⁇ D1 (xm ⁇ tv2x, yn ⁇ tv2y) + D2 (xm ⁇ tv3x, yn ⁇ tv3y) ⁇ / 2 (11)
  • the image generation unit 14 sets the pixel value of the pixel to D1. Used as (xm-tv2x, yn-tv2y).
  • the position (xm ⁇ tv2x, yn) is calculated from each pixel value of the image P (T2, V1).
  • -Tv2y) is interpolated, and the pixel value is used as D1 (xm-tv2x, yn-tv2y).
  • the image generation unit 14 sets the pixel value of the pixel to D2 (xm ⁇ tv3x, yn ⁇ ). tv3y).
  • the position (xm ⁇ tv3x, yn) is calculated from each pixel value of the image P (T1, V2).
  • -Tv3y) is interpolated and used as D2 (xm-tv3x, yn-tv3y).
  • the image generation unit 14 uses the second integrated vector TV2 and the third integrated vector TV3 corresponding to each position of the black triangle mark of the image P (t, v), and calculates the image P ( The pixel value Dp (xm + tv1x, yn + tv1y) at each position (xm + tv1x, yn + tv1y) of the black triangle mark of t, v) is calculated.
  • Dp (xm + tv1x, yn + tv1y) ⁇ D1 (xm + tv1x ⁇ tv2x, yn + tv1y ⁇ tv2y) + D2 (xm + tv1 ⁇ tv3x, yn + tv1y ⁇ tv3y) ⁇ / 2 (12)
  • the image generation unit 14 sets the pixel value of the pixel to D1 when the pixel exists at the position (xm + tv1x ⁇ tv2x, yn + tv1y ⁇ tv2y) in the image P (T2, V1). Used as (xm + tv1x ⁇ tv2x, yn + tv1y ⁇ tv2y).
  • the image generation unit 14 sets the pixel value of the pixel to D2 (xm + tv1x ⁇ tv3x, yn + tv1y ⁇ tv3y).
  • the image generation unit 14 calculates the positions of the white circles of the image P (t, v) from the pixel values Dp (xm + tv1x, yn + tv1y) of the calculated positions of the black triangles of the image P (t, v).
  • a pixel value Dp (xm, yn) of (xm, yn) is calculated by interpolation.
  • each interpolation method is not particularly limited.
  • the image generation unit 14 uses an average interpolation method or a nearest neighbor interpolation method to interpolate an integrated vector or a pixel value. I do.
  • the image generation unit 14 determines the pixel values of the pixels around the position (xm, yn).
  • An average may be obtained as Dp (xm, yn), or a pixel value of a pixel around the position (xm, yn) (for example, the nearest pixel) may be copied as Dp (xm, yn).
  • FIG. 15 is a flowchart showing processing steps of the image display apparatus 100 according to the present embodiment. Hereinafter, the processing of the image display apparatus 100 will be described with reference to FIG.
  • the image display device 100 refers to the image P (T1, V1) of the viewpoint V1 at time T1 and the image P (T2, V1) of the viewpoint V1 at time T2, for each pixel.
  • the first motion vector MV1 from the image P (T1, V1) of the viewpoint V1 at the time T1 to the image P (T2, V1) of the viewpoint V1 at the time T2 is calculated. This operation is executed by the motion estimation unit 11.
  • the image display device 100 refers to the image P (T1, V1) of the viewpoint V1 at time T1 and the image P (T1, V2) of the viewpoint V2 at time T1, for each pixel.
  • a first disparity vector DV1 from the image P (T1, V1) at the viewpoint V1 at the time T1 to the image P (T1, V2) at the viewpoint V2 at the time T1 is calculated. This operation is executed by the parallax estimation unit 12.
  • the image display apparatus 100 integrates the first motion vector MV1 and the first parallax vector DV1 from the first motion vector MV1 and the first parallax vector DV1. Is calculated. This operation is executed by the integration unit 13.
  • the image display device 100 calculates at least one of the image P (T1, V1), the image P (T2, V1), and the image P (T1, V2) and the integration step S3.
  • An image P (t, v) at an arbitrary viewpoint v at an arbitrary time t is generated from the integrated vector thus obtained. This operation is executed by the image generation unit 14.
  • the image display device 100 uses the first motion vector MV1 and the first disparity vector DV1 as an integrated vector from the image P (T2, V1) at the viewpoint V1 at time T2.
  • a second integrated vector TV2 to the position of the viewpoint v at time t and a third integrated vector TV3 to the position of the viewpoint v at time t from the image P (T1, V2) of the viewpoint V2 at time T1 are calculated. .
  • the image display device 100 includes the image P (T2, V1) of the viewpoint V1 at time T2, the image P (T1, V2) of the viewpoint V2 at time T1, the second integrated vector TV2, and From the third integrated vector TV3, an image P (t, v) of the viewpoint v is generated at time t.
  • the image processing unit 10 may generate the image P (t, v) by another combination of the input image and the integrated vector.
  • the image processing unit 10 calculates the first integrated vector TV1 and the second integrated vector TV2 as integrated vectors, and the image P (T1, V1), the image P (T2, V1), and the first integrated vector.
  • the image P (t, v) may be generated from the vector TV1 and the second integrated vector TV2.
  • the first integrated vector TV1 is used instead of the third integrated vector TV3
  • the image P (T1, V1) is used instead of the image P (T1, V2).
  • the image processing unit 10 calculates the first integrated vector TV1 and the third integrated vector TV3 as the integrated vectors, and the image P (T1, V1), the image P (T1, V2), the first The image P (t, v) may be generated from the integrated vector TV1 and the third integrated vector TV3.
  • the first integrated vector TV1 is used instead of the second integrated vector TV2
  • the image P (T1, V1) is used instead of the image P (T2, V1).
  • the image processing unit 10 uses one integrated vector of the integrated vectors TV1 to TV3 to select one of the input images P (T1, V1), P (T2, V1), and P (T1, V2).
  • the output image P (t, v) may be generated from one image.
  • the image processing unit 10 may calculate the first integrated vector TV1 as the integrated vector, and generate the image P (t, v) from the image P (T1, V1) and the first integrated vector TV1. .
  • the image processing unit 10 determines the position ( The pixel value Dp (x, y) of x, y) may be calculated by the following equation (13).
  • Dp (x, y) D (x ⁇ tv1x, y ⁇ tv1y) (13)
  • the image processing unit 10 may generate each output pixel P (t, v) by moving each pixel of the image P (T1, V1) according to the first integrated vector TV1 corresponding to the pixel. For example, referring to FIG. 14, the pixel at each position (xm, yn) of the image P (T1, V1) represented by a white circle is represented by a black triangle according to the corresponding first integrated vector TV1. Move to position. Then, an output image P (t, v) is generated based on the pixel group at the position of the black triangle mark.
  • the pixel value D (xm, yn) at each position (xm, yn) of the image P (T1, V1) is used as the pixel value at each position (xm + tv1x, yn + tv1y) of the output image P (t, v).
  • Dp (xm + tv1x, yn + tv1y) the pixel value Dp (xm, yn) at each position (xm, yn) of the output image P (t, v) is obtained by interpolation from the obtained pixel value Dp (xm + tv1x, yn + tv1y).
  • the configuration is not limited to the configuration for processing for each pixel.
  • the image processing unit 10 may process each block including a plurality of pixels, or may process each specific object (for example, a three-dimensional object or a moving object) in the image.
  • the image processing unit 10 generates an image at an arbitrary time and viewpoint from a plurality of input images, and its usage is not particularly limited.
  • frame frequency conversion is performed in order to make the movement of a display object smooth, and this is used when changing the viewpoint in order to adjust the pop-out amount.
  • a control unit determines a time t from the frame frequency of the input image and the target frame frequency (that is, the frame frequency of the output image), and the time t is subjected to image processing. To the unit 10.
  • control unit determines viewpoints vl and vr corresponding to the specified pop-out amount based on the adjustment value of the pop-out amount specified by the user, and outputs the viewpoints vl and vr to the image processing unit 10.
  • the image processing unit 10 generates an output image (t, vl) and an output image (t, vr) based on the time t and the viewpoints vl, vr from the control unit, and outputs them to the image display unit 20.
  • the image display unit 20 displays an image (t, vl) and an image (t, vr). As a result, an image with the frame frequency converted and the pop-out amount adjusted is displayed.
  • the image processing unit 10 may be used when generating a multi-view video from a 2-view video for a multi-view display device and converting the frame frequency.
  • the multi-view display device is specifically a device that displays images of three or more viewpoints, for example, a so-called multi-view stereoscopic display.
  • the image processing unit receives the input images P (T1, V1), P (T2, V1), and P (T1, V2), and receives the image P (T1, V1).
  • a first motion vector from the image P (T1, V1) to the image P (T1, V2) is calculated
  • a first disparity vector from the image P (T1, V1) to the image P (T1, V2) is calculated
  • the first motion vector And the first disparity vector an integrated vector in which the first motion vector and the first disparity vector are integrated is calculated, and at any time t from at least one of the input images and the integrated vector.
  • An image P (t, v) at an arbitrary viewpoint v is generated.
  • an image of an arbitrary viewpoint at an arbitrary time can be generated from a plurality of input images. Further, according to the present embodiment, an image of an arbitrary viewpoint at an arbitrary time can be generated from a plurality of input images with a small amount of calculation or a small circuit scale. Specifically, in the present embodiment, an image at an arbitrary time and viewpoint can be generated by one motion estimation process and one parallax estimation process, thereby reducing the amount of calculation, and the electronic circuit The circuit scale can be reduced.
  • the image processing unit calculates two integrated vectors, and generates an output image by averaging the two input images using the two integrated vectors. According to this aspect, it is possible to obtain a better output image as compared with the configuration using one integrated vector. For example, in a configuration using one integrated vector, when motion and parallax are estimated in units of blocks, even if there are two types of motion in one block, only one motion is estimated. For this reason, an erroneous motion is estimated for some of the pixels in the block. On the other hand, according to the configuration in which the output image is generated by averaging the two input images using the two integrated vectors, the adverse effect on the output image due to the erroneous motion estimation is not conspicuous by averaging. Can be.
  • a hold-type display such as a liquid crystal display has a problem that the edge portion looks blurred because the same image is continuously displayed for one frame period.
  • This problem can be solved by a frame frequency conversion technique that increases the number of display images and smoothes the movement of the display object.
  • a motion estimation technique for estimating temporal movement of an object from images P (T1) and P (T2) obtained by imaging at times T1 and T2 is used.
  • the number of display images is increased by generating and displaying the interpolated image P (t) at a desired time t between the two frames of the images P (T1) and P (T2).
  • an intermediate image P (t, V1) is generated from the image P (T1, V1) and the image P (T2, V1) using a motion estimation technique
  • An intermediate image P (t, V2) is generated from the (T1, V2) and the image P (T2, V2) using a motion estimation technique.
  • an output image P (t, v) is generated from the intermediate image P (t, V1) and the intermediate image P (t, V2) using a parallax estimation technique.
  • the parallax estimation process and the motion estimation process require a large amount of calculation.
  • the image processing method according to the comparative example requires two motion estimation processes and one parallax estimation process, so the calculation amount is enormous. Therefore, the circuit scale becomes enormous in the electronic circuit.
  • an output image can be generated by one parallax estimation process and one motion estimation process, and the amount of calculation can be reduced as compared with the image processing method according to the comparative example.
  • the circuit scale can be reduced.
  • the image display device or the image processing unit according to the embodiment described above may be realized only by hardware resources such as an electronic circuit, or may be realized by cooperation of hardware resources and software.
  • the image display device or the image processing unit is realized, for example, by a computer program being executed by a computer, and more specifically, ROM (Read Only Memory). This is realized by reading a computer program recorded on a recording medium such as a main storage device and executing it by a central processing unit (CPU).
  • the computer program may be provided by being recorded on a computer-readable recording medium such as an optical disk, or may be provided via a communication line such as the Internet.
  • the present invention is not limited to the above-described embodiment, and can be implemented in various modes without departing from the gist of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

　本発明は、複数の入力画像から任意の時刻における任意の視点の画像を生成する。画像処理部（１０）は、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、時刻Ｔ２で視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、画像Ｐ（Ｔ１，Ｖ１）から画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定部（１１）と、画像Ｐ（Ｔ１，Ｖ１）と、時刻Ｔ１で視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、画像Ｐ（Ｔ１，Ｖ１）から画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定部（１２）と、第１の動きベクトルと第１の視差ベクトルとから、第１の動きベクトルと第１の視差ベクトルとが統合された統合ベクトルを算出する統合部（１３）と、画像Ｐ（Ｔ１，Ｖ１）、Ｐ（Ｔ２，Ｖ１）、およびＰ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成部（１４）とを備える。

Description

画像処理装置、画像処理方法、画像処理プログラム、画像表示装置、および画像表示方法
　本発明は、画像処理装置、画像処理方法、画像処理プログラム、画像表示装置、および画像表示方法に関する。
　近年、観察者が擬似的に奥行き感を得るための画像表示技術として、両眼視差を利用した立体画像表示技術がある。両眼視差を利用した立体画像表示技術では、３次元空間の左眼で見た映像と右眼で見た映像とを観察者の左眼と右眼とに分けて見せることによって観察者が映像を立体と感じる。
　観察者の左右の眼に異なる映像を見せるための技術として、左眼用画像と右眼用画像とを時間的に交互に切り替えてディスプレイに表示すると同時に、画像が切り替わるタイミングに同期して左右それぞれのレンズを透過する光量を制御する眼鏡を用いて左右の視界を時間的に分離する方式や、ディスプレイの前面に画像の表示角を制限するバリアやレンズを用いることで左右の眼それぞれに左眼用画像と右眼用画像とを見せる方式など、様々な方式がある。
　このような立体画像表示装置において、観察者は飛び出した物体の位置に目の輻輳角を合わせながら、ディスプレイ表面にピントを合わせることになる。この不整合は、飛び出し量が大きすぎる場合、観察者に目の疲れを誘発するという問題点がある。一方、観察者にとって目の疲れを誘発する奥行き感は、観察者とディスプレイの表示面との距離や観察者の特性によって異なるという問題がある。なお、輻輳角とは左眼の視線と右眼の視線が成す角度のことを表し、奥行き感とは両眼視差よって表現される物体の飛び出し量または引っ込み量のことを表す。
　また、液晶ディスプレイなどのホールド型ディスプレイでは、１フレーム期間同じ画像が表示され続けており、画像中の物体が動く場合に、動く物体に対する人間の目の追従が連続的であるのに対して、物体の移動が１フレーム単位の不連続な移動であるので、エッジ部分がぼやけて見えるという問題がある。
　特許文献１には、視点の異なる２つの画像から２画像間の任意の視点に対応する中間像を生成する技術が開示されている。
　また、特許文献２には、映像信号の１つ前のフレームと現フレームとから補間フレームを生成し、１つ前のフレームと現フレームとの間に補間フレームを内挿し、映像信号のフレームレートを変換する技術が開示されている。
特許第３８２６２３６号明細書 特許第４３５９２２３号明細書
　ところで、複数の入力画像から任意の時刻における任意の視点の画像を生成したいという要望がある。例えば、ホールド型の立体画像表示装置において、飛び出し量を調整するとともに表示される物体の移動をスムーズにするために、複数の入力画像から任意の時刻および視点の画像を生成したいという要望がある。
　本発明は、複数の入力画像から任意の時刻における任意の視点の画像を生成することができる画像処理装置、画像処理方法、画像処理プログラム、画像表示装置、および画像表示方法を提供することを目的とする。
　本発明に係る画像処理装置は、
　第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定部と、
　前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定部と、
　前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合部と、
　前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成部と、
　を備えることを特徴とする。
　また、本発明に係る画像表示装置は、
　上記の画像処理装置と、
　前記画像処理装置の前記画像生成部により生成された画像Ｐ（ｔ，ｖ）を表示する画像表示部と、
　を備えることを特徴とする。
　また、本発明に係る画像処理方法は、
　第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定ステップと、
　前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定ステップと、
　前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合ステップと、
　前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成ステップと、
　を有することを特徴とする。
　また、本発明に係る画像表示方法は、
　上記の画像処理方法と、
　前記画像処理方法の前記画像生成ステップにより生成された画像Ｐ（ｔ，ｖ）を表示する画像表示ステップと、
　を有することを特徴とする。
　また、本発明に係る画像処理プログラムは、
　第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定ステップと、
　前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定ステップと、
　前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合ステップと、
　前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成ステップと、
　をコンピュータに実行させることを特徴とする。
　本発明によれば、複数の入力画像から任意の時刻における任意の視点の画像を生成することができる。
実施の形態に係る画像表示装置の構成を示す図である。 動き推定部の動作を説明するための図である。 動き推定部の構成例を示すブロック図である。 （ａ）および（ｂ）は、ブロックマッチングの動作を説明するための図である。 動き変換部の動作を説明するための図である。 視差推定部の動作を説明するための図である。 視差変換部の動作を説明するための図である。 ベクトル加算部の動作を説明するための図である。 第１のベクトル減算部の動作を説明するための図である。 第２のベクトル減算部の動作を説明するための図である。 画像生成部の動作を説明するための図である。 画像処理部の処理を説明するための図である。 入力画像および出力画像の画素の配置を示す図である。 各画素についての第１の統合ベクトルを示す図である。 実施の形態に係る画像表示装置の処理工程を示すフローチャートである。 視差推定技術を説明するための図である。 動き推定技術を説明するための図である。 比較例に係る画像処理方法を説明するための図である。 比較例に係る画像処理方法を説明するための図である。 比較例に係る画像処理方法を説明するための図である。
　以下、本発明の実施の形態を図面に従って説明する。
　図１は、本発明の実施の形態に係る画像表示装置１００の構成を示す図である。この画像表示装置１００は、画像処理部１０と、画像表示部２０とを有する。画像処理部１０は、複数の入力画像から任意の時刻における任意の視点の画像を生成し、画像表示部２０は、画像処理部１０により生成された画像を表示する。
　図１において、画像処理部１０は、動き推定部１１、視差推定部１２、視差・動き統合部（以下、「統合部」と称す）１３、および画像生成部１４を備える。
　画像処理部１０には、入力画像として、第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、第１の時刻Ｔ１と異なる第２の時刻Ｔ２における第１の視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）と、第１の時刻Ｔ１における第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とが入力される。時刻Ｔ１における視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）は、例えば、時刻Ｔ１において視点Ｖ１から撮像された画像である。
　動き推定部１１は、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、時刻Ｔ２で視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、画像Ｐ（Ｔ１，Ｖ１）から画像Ｐ（Ｔ２，Ｖ１）への動きベクトルを第１の動きベクトルＭＶ１として算出する。具体的には、動き推定部１１は、画像Ｐ（Ｔ１，Ｖ１）と画像Ｐ（Ｔ２，Ｖ１）とを参照して、画素ごとに画像Ｐ（Ｔ１，Ｖ１）から画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルＭＶ１を算出して、統合部１３に出力する。
　視差推定部１２は、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、時刻Ｔ１で視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、画像Ｐ（Ｔ１，Ｖ１）から画像Ｐ（Ｔ１，Ｖ２）への視差ベクトルを第１の視差ベクトルＤＶ１として算出する。具体的には、視差推定部１２は、画像Ｐ（Ｔ１，Ｖ１）と画像Ｐ（Ｔ１，Ｖ２）とを参照して、画素ごとに画像Ｐ（Ｔ１，Ｖ１）から画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルＤＶ１を算出して、統合部１３に出力する。
　統合部１３は、動き推定部１１により算出された第１の動きベクトルＭＶ１と、視差推定部１２により算出された第１の視差ベクトルＤＶ１とから、第１の動きベクトルＭＶ１と第１の視差ベクトルＤＶ１とが統合された統合ベクトルを算出する。
　画像生成部１４は、画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、統合部１３により算出された統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する。ここで、時刻ｔおよび視点ｖは、例えば、画像処理部１０の外部のモジュールや装置、使用者等により指定される。時刻ｔの範囲は、例えばＴ１≦ｔ≦Ｔ２であるが、当該範囲に限定されない。また、視点ｖの範囲は、例えばＶ１≦ｖ≦Ｖ２であるが、当該範囲に限定されない。
　一つの態様では、統合部１３は、第１の動きベクトルＭＶ１と第１の視差ベクトルＤＶ１とから、統合ベクトルとして、画像Ｐ（Ｔ２，Ｖ１）から画像Ｐ（ｔ，ｖ）への第２の統合ベクトルＴＶ２と、画像Ｐ（Ｔ１，Ｖ２）から画像Ｐ（ｔ，ｖ）への第３の統合ベクトルＴＶ３とを算出する。そして、画像生成部１４は、画像Ｐ（Ｔ２，Ｖ１）、画像Ｐ（Ｔ１，Ｖ２）、第２の統合ベクトルＴＶ２、および第３の統合ベクトルＴＶ３から、画像Ｐ（ｔ，ｖ）を生成する。
　具体的には、図１に示されるように、統合部１３は、動き変換部１５、視差変換部１６、ベクトル加算部１７、第１のベクトル減算部１８、および第２のベクトル減算部１９を備える。
　動き変換部１５は、画素ごとに第１の動きベクトルＭＶ１を画像Ｐ（Ｔ１，Ｖ１）から任意の時刻ｔで視点Ｖ１の位置（または画像）への第２の動きベクトルＭＶ２に変換して、ベクトル加算部１７に出力する。
　視差変換部１６は、画素ごとに第１の視差ベクトルＤＶ１を画像Ｐ（Ｔ１，Ｖ１）から時刻Ｔ１で任意の視点ｖの位置（または画像）への第２の視差ベクトルＤＶ２に変換して、ベクトル加算部１７に出力する。
　ベクトル加算部１７は、画素ごとに、動き変換部１５により得られた第２の動きベクトルＭＶ２と、視差変換部１６により得られた第２の視差ベクトルＤＶ２とを加算して、第１の統合ベクトルＴＶ１を算出し、第１のベクトル減算部１８および第２のベクトル減算部１９に出力する。第２の動きベクトルＭＶ２は時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻ｔで視点Ｖ１の位置へのベクトルであり、第２の視差ベクトルＤＶ２は時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻Ｔ１で視点ｖの位置へのベクトルであるので、第１の統合ベクトルＴＶ１は、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻ｔで視点ｖの位置（または画像）へのベクトルに相当する。
　第１のベクトル減算部１８は、画素ごとに、ベクトル加算部１７により得られた第１の統合ベクトルＴＶ１から第１の動きベクトルＭＶ１を減算して第２の統合ベクトルＴＶ２を算出して、画像生成部１４に出力する。第１の動きベクトルＭＶ１は時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻Ｔ２で視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）へのベクトルであり、第１の統合ベクトルＴＶ１は時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻ｔで視点ｖの位置へのベクトルであるので、第２の統合ベクトルＴＶ２は、時刻Ｔ２で視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）から時刻ｔで視点ｖの位置（または画像）へのベクトルに相当する。
　第２のベクトル減算部１９は、画素ごとに、ベクトル加算部１７により得られた第１の統合ベクトルＴＶ１から第１の視差ベクトルＤＶ１を減算して第３の統合ベクトルＴＶ３を算出して、画像生成部１４に出力する。第１の視差ベクトルＤＶ１は時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻Ｔ１で視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）へのベクトルであり、第１の統合ベクトルＴＶ１は時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻ｔで視点ｖの位置へのベクトルであるので、第３の統合ベクトルＴＶ３は、時刻Ｔ１で視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）から時刻ｔで視点ｖの位置（または画像）へのベクトルに相当する。
　画像生成部１４は、画像Ｐ（Ｔ２，Ｖ１）と、画像Ｐ（Ｔ１，Ｖ２）と、第１のベクトル減算部１８により算出された第２の統合ベクトルＴＶ２と、第２のベクトル減算部１９により算出された第３の統合ベクトルＴＶ３とから、時刻ｔで視点ｖの出力画像Ｐ（ｔ，ｖ）を生成し、画像表示部２０に出力する。
　画像表示部２０は、画像生成部１４により生成された時刻ｔで視点ｖの出力画像Ｐ（ｔ，ｖ）を表示する。
　以下、画像処理部１０の各部の処理について詳しく説明する。
　図２は、動き推定部１１の動作を説明するための図である。動き推定部１１は、図２に示されるように、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻Ｔ２で視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルＭＶ１を算出する。動き推定部１１は、例えば、ブロックマッチング法により第１の動きベクトルＭＶ１を求める。具体的には、動き推定部１１は、画像Ｐ（Ｔ１，Ｖ１）から、注目画素を含む注目画像ブロックを切り出し、当該注目画像ブロックが画像Ｐ（Ｔ２，Ｖ１）のどの領域に動いたかを推定し、推定された領域の注目画像ブロックに対する相対位置を、注目画素についての第１の動きベクトルＭＶ１として検出する。
　図３は、動き推定部１１の構成例を示すブロック図である。図３では、動き推定部１１は、注目画像ブロック切り出し部１１ａと、探索画像ブロック切り出し部１１ｂと、動きベクトル決定部１１ｃとを備える。
　図４（ａ）に示されるように、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｉ，ｊ）にある注目画素についての第１の動きベクトルＭＶ１を求める場合、注目画像ブロック切り出し部１１ａは、画像Ｐ（Ｔ１，Ｖ１）から注目画素の周辺領域をブロックとして切り出す。ここでは、注目画像ブロック切り出し部１１ａは、注目画素を中心とし、幅（水平方向サイズ）が（２×ＢＭ＋１）、高さ（垂直方向サイズ）が（２×ＢＮ＋１）の矩形領域（ブロック）Ｄ２Ｂ（ｉ，ｊ）を切り出す。ここで、上記（ｉ，ｊ）において、ｉは画像における水平方向の位置を示し、ｊは画像における垂直方向の位置を示す。
　探索画像ブロック切り出し部１１ｂは、画像Ｐ（Ｔ２，Ｖ１）から、注目画素に対応する動きベクトルの探索範囲に含まれる各位置を中心とする、矩形領域Ｄ２Ｂ（ｉ，ｊ）と同じサイズの複数個の矩形領域（ブロック）を切り出す。ここでは、図４（ｂ）に示されるように、探索範囲は、下記式（１）で表される座標の集合Ｓ（ｉ，ｊ）である。
Ｓ（ｉ，ｊ）＝｛（ｉ＋ｋ，ｊ＋ｌ）｝…（１）
　上記式（１）において、ｋ＝－ＳＨ，…，－１，０，＋１，…，ＳＨ（ＳＨは１以上の所定の整数）であり、ｌ＝－ＳＶ，…，－１，０，＋１，…，ＳＶ（ＳＶは１以上の所定の整数）である。
　このように定義される探索範囲は、水平方向のサイズが２ＳＨ＋１、垂直方向のサイズが２ＳＶ＋１の矩形の領域である。
　そして、探索画像ブロック切り出し部１１ｂは、座標の集合Ｓ（ｉ，ｊ）に含まれる各位置（ｉ＋ｋ，ｊ＋ｌ）を中心とする、矩形領域Ｄ２Ｂ（ｉ，ｊ）と同じサイズの、（２×ＳＨ＋１）×（２×ＳＶ＋１）個の矩形領域Ｄ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）を切り出す。
　動きベクトル決定部１１ｃは、注目画像ブロック切り出し部１１ａから入力されるブロックＤ２Ｂ（ｉ，ｊ）と、探索画像ブロック切り出し部１１ｂから入力されるブロックＤ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）との間で、それぞれのブロック内のすべての画素、すなわち（２×ＢＭ＋１）×（２×ＢＮ＋１）個の、互いに対応する位置の画素同士の差分の絶対値の総和である差分絶対値和ＳＡＤ（ｉ＋ｋ，ｊ＋ｌ）を求める。この差分絶対値和ＳＡＤ（ｉ＋ｋ，ｊ＋ｌ）は、下記の式（２）で表される。
Figure JPOXMLDOC01-appb-M000001
 　上記式（２）において、Ｄ１（ｉ＋ｋ＋ｒ，ｊ＋ｌ＋ｓ）は、画像Ｐ（Ｔ２，Ｖ１）の位置（ｉ＋ｋ＋ｒ，ｊ＋ｌ＋ｓ）の画素値を表し、Ｄ２（ｉ＋ｒ，ｊ＋ｓ）は、画像Ｐ（Ｔ１，Ｖ１）の位置（ｉ＋ｒ，ｊ＋ｓ）の画素値を表す。
　動きベクトル決定部１１ｃは、（２×ＳＨ＋１）×（２×ＳＶ＋１）個の矩形領域Ｄ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）に対応する（２×ＳＨ＋１）×（２×ＳＶ＋１）個の差分絶対値和ＳＡＤ（ｉ＋ｋ，ｊ＋ｌ）を求め、これらの中で最小の差分絶対値和を生じさせた矩形領域Ｄ１Ｂ（ｉ＋ｋｍ，ｊ＋ｌｍ）を特定し、当該矩形領域の、矩形領域Ｄ２Ｂ（ｉ，ｊ）に対する相対位置（ｋｍ，ｌｍ）を第１の動きベクトルＭＶ１＝（Ｖｘ，Ｖｙ）＝（ｋｍ，ｌｍ）として出力する。この第１の動きベクトルＭＶ１は、他の画素についての動きベクトルとの区別のために、ＭＶ１（ｉ，ｊ）と表されてもよい。
　動きベクトル決定部１１ｃは、上記の動きベクトル検出を、画像Ｐ（Ｔ１，Ｖ１）の全画素に対して行い、各画素についての第１の動きベクトルＭＶ１を検出する。
　なお、動き推定部１１における動きベクトル検出において、上記の矩形領域Ｄ２ＢまたはＤ１Ｂが画像の上端、下端、左端、または右端の外側の領域を含む場合には、例えば、矩形領域Ｄ２ＢまたはＤ１Ｂのうち、画像の上端、下端、左端、または右端の外側の領域の画素が、それぞれ画像の上端、下端、左端、または右端の画素と同じ画素値を持つものとして処理すればよい。
　また、動き推定部１１の処理方法は、上記方法に限定されるものではなく、例えば位相相関関数を用いて動きベクトルを求める手法など、他の動きベクトル算出方法が採用されてもよい。
　図５は、動き変換部１５の動作を説明するための図である。動き変換部１５は、図５に示されるように、画素ごとに、第１の動きベクトルＭＶ１を時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻ｔで視点Ｖ１の位置への第２の動きベクトルＭＶ２に変換する。この変換には、画素ごとに下記式（３）が用いられる。
ＭＶ２＝ＭＶ１×（ｔ－Ｔ１）／（Ｔ２－Ｔ１）…（３）
　図６は、視差推定部１２の動作を説明するための図である。視差推定部１２は、図６に示されるように、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻Ｔ１で視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルＤＶ１を算出する。
　視差推定部１２は、例えば、上記動き推定部１１と同様に、ブロックマッチング法により、画像Ｐ（Ｔ１，Ｖ１）の各画素についての第１の視差ベクトルＤＶ１＝（Ｄｘ，Ｄｙ）を検出する。視差推定部１２の構成は、例えば、図３に示される動き推定部１１の構成と同様である。
　なお、視点の移動方向（具体的には図６の横軸方向）が入力画像の水平方向と一致する場合には、常にＤｙ＝０となり、入力画像の垂直方向の視差は考慮しなくてよい。ただし、視点の移動方向が入力画像の水平方向と一致しない場合には、入力画像の垂直方向の視差も考慮して、第１の動きベクトルＭＶ１の場合と同様に、画素ごとに第１の視差ベクトルＤＶ１＝（Ｄｘ，Ｄｙ）を求める。
　また、視差推定部１２の処理方法は、上記方法に限定されるものではなく、例えば位相相関関数を用いて動きベクトルを求める手法など、他の動きベクトル算出方法が採用されてもよい。
　図７は、視差変換部１６の動作を説明するための図である。視差変換部１６は、図７に示されるように、画素ごとに、第１の視差ベクトルＤＶ１を時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻Ｔ１で視点ｖの位置への第２の視差ベクトルＤＶ２に変換する。この変換には、画素ごとに下記式（４）が用いられる。
ＤＶ２＝ＤＶ１×（ｖ－Ｖ１）／（Ｖ２－Ｖ１）…（４）
　図８は、ベクトル加算部１７の動作を説明するための図である。ベクトル加算部１７は、図８に示されるように、画素ごとに、第２の動きベクトルＭＶ２と第２の視差ベクトルＤＶ２とを用いて、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻ｔで視点ｖの位置へのベクトルを第１の統合ベクトルＴＶ１として算出する。この算出には、画素ごとに下記式（５）が用いられる。
ＴＶ１＝ＤＶ２＋ＭＶ２…（５）
　図９は、第１のベクトル減算部１８の動作を説明するための図である。第１のベクトル減算部１８は、図９に示されるように、画素ごとに、第１の統合ベクトルＴＶ１と第１の動きベクトルＭＶ１とを用いて、時刻Ｔ２で視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）から時刻ｔで視点ｖの位置へのベクトルを第２の統合ベクトルＴＶ２として算出する。この算出には、画素ごとに下記式（６）が用いられる。
ＴＶ２＝ＴＶ１－ＭＶ１…（６）
　図１０は、第２のベクトル減算部１９の動作を説明するための図である。第２のベクトル減算部１９は、図１０に示されるように、画素ごとに、第１の統合ベクトルＴＶ１と第１の視差ベクトルＤＶ１とを用いて、時刻Ｔ１で視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）から時刻ｔで視点ｖの位置へのベクトルを第３の統合ベクトルＴＶ３として算出する。この算出には、画素ごとに下記式（７）が用いられる。
ＴＶ３＝ＴＶ１－ＤＶ１…（７）
　図１１は、画像生成部１４の動作を説明するための図である。画像生成部１４は、図１１に示されるように、画像Ｐ（Ｔ２，Ｖ１）、画像Ｐ（Ｔ１，Ｖ２）、第２の統合ベクトルＴＶ２、および第３の統合ベクトルＴＶ３を用いて、時間ｔで視点ｖの画像Ｐ（ｔ，ｖ）を生成する。具体的には、画像生成部１４は、画像Ｐ（ｔ，ｖ）の各画素の画素値を、当該画素から第２の統合ベクトルの逆ベクトル（－ＴＶ２）だけ移動した位置における画像Ｐ（Ｔ２，Ｖ１）の画素値と、当該画素から第３の統合ベクトルの逆ベクトル（－ＴＶ３）だけ移動した位置における画像Ｐ（Ｔ１，Ｖ２）の画素値との平均を算出することにより求める。例えば、第２の統合ベクトルＴＶ２が（ｔｖ２ｘ，ｔｖ２ｙ）であり、第３の統合ベクトルＴＶ３が（ｔｖ３ｘ，ｔｖ３ｙ）であるとき、画像生成部１４は、画像Ｐ（ｔ，ｖ）の位置ｐａ（ｘ，ｙ）にある画素の画素値Ｄｐ（ｘ，ｙ）を、画像Ｐ（Ｔ２，Ｖ１）の位置ｐｂ（ｘ－ｔｖ２ｘ，ｙ－ｔｖ２ｙ）の画素値Ｄ１（ｘ－ｔｖ２ｘ，ｙ－ｔｖ２ｙ）と、画像Ｐ（Ｔ１，Ｖ２）の位置ｐｃ（ｘ－ｔｖ３ｘ，ｙ－ｔｖ３ｙ）の画素値Ｄ２（ｘ－ｔｖ３ｘ，ｙ－ｔｖ３ｙ）とから、下記式（８）により求める。
Ｄｐ（ｘ，ｙ）＝｛Ｄ１（ｘ－ｔｖ２ｘ，ｙ－ｔｖ２ｙ）＋Ｄ２（ｘ－ｔｖ３ｘ，ｙ－ｔｖ３ｙ）｝／２…（８）
　以下、画像処理部１０の各部の処理について、さらに詳しく説明する。
　図１２は、画像処理部１０の処理を説明するための図である。まず、図１２を参照しながら、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）の画素に注目して、画像処理部１０の各部の処理を説明する。なお、図１２では、説明の便宜上、各画像の位置や矩形領域等を重ね合わせて示している。
　動き推定部１１は、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）の画素を中心とする矩形領域Ｒ０に対応する、画像Ｐ（Ｔ２，Ｖ１）の矩形領域Ｒ１を特定する。そして、動き推定部１１は、位置ｐ（ｘ，ｙ）から矩形領域Ｒ１の中心位置ｐ１へのベクトルを、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）の画素についての第１の動きベクトルＭＶ１として算出する。
　動き変換部１５は、上記第１の動きベクトルＭＶ１から、上記式（３）により、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）の画素についての第２の動きベクトルＭＶ２を算出する。
　視差推定部１２は、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）の画素を中心とする矩形領域Ｒ０に対応する、画像Ｐ（Ｔ１，Ｖ２）の矩形領域Ｒ２を特定する。そして、視差推定部１２は、位置ｐ（ｘ，ｙ）から矩形領域Ｒ２の中心位置ｐ２へのベクトルを、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）の画素についての第１の視差ベクトルＤＶ１として算出する。
　視差変換部１６は、上記第１の視差ベクトルＤＶ１から、上記式（４）により、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）の画素についての第２の視差ベクトルＤＶ２を算出する。
　ベクトル加算部１７は、上記第２の動きベクトルＭＶ２と、上記第２の視差ベクトルＤＶ２とを加算し、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）の画素についての第１の統合ベクトルＴＶ１＝（ｔｖ１ｘ，ｔｖ１ｙ）を算出する。この第１の統合ベクトルＴＶ１は、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）から、出力画像Ｐ（ｔ，ｖ）の注目画素に対応する位置ｐ３へのベクトルに相当する。位置ｐ３の座標は、（ｘ＋ｔｖ１ｘ，ｙ＋ｔｖ１ｙ）である。
　第１のベクトル減算部１８は、上記第１の統合ベクトルＴＶ１から、上記第１の動きベクトルＭＶ１を減算し、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）の画素についての第２の統合ベクトルＴＶ２＝（ｔｖ２ｘ，ｔｖ２ｙ）を算出する。この第２の統合ベクトルＴＶ２は、画像Ｐ（Ｔ２，Ｖ１）の位置ｐ１から出力画像Ｐ（ｔ，ｖ）の位置ｐ３へのベクトルに相当する。したがって、第２の統合ベクトルＴＶ２は、出力画像Ｐ（ｔ，ｖ）の位置ｐ３（ｘ＋ｔｖ１ｘ，ｙ＋ｔｖ１ｙ）に対応するものである。
　第２のベクトル減算部１９は、上記第１の統合ベクトルＴＶ１から、上記第１の視差ベクトルＤＶ１を減算し、画像Ｐ（Ｔ１，Ｖ１）の位置ｐ（ｘ，ｙ）の画素についての第３の統合ベクトルＴＶ３＝（ｔｖ３ｘ，ｔｖ３ｙ）を算出する。この第３の統合ベクトルＴＶ３は、画像Ｐ（Ｔ１，Ｖ２）の位置ｐ２から出力画像Ｐ（ｔ，ｖ）の位置ｐ３へのベクトルに相当する。したがって、第３の統合ベクトルＴＶ３は、出力画像Ｐ（ｔ，ｖ）の位置ｐ３（ｘ＋ｔｖ１ｘ，ｙ＋ｔｖ１ｙ）に対応するものである。
　出力画像Ｐ（ｔ，ｖ）の位置ｐ３（ｘ＋ｔｖ１ｘ，ｙ＋ｔｖ１ｙ）にある画素の画素値Ｄｐ（ｘ＋ｔｖ１ｘ，ｙ＋ｔｖ１ｙ）は、下記式（９）で求めることができる。ただし、画像Ｐ（Ｔ２，Ｖ１）の位置（ｘ，ｙ）にある画素の画素値をＤ１（ｘ，ｙ）と表し、画像Ｐ（Ｔ１，Ｖ２）の位置（ｘ，ｙ）にある画素の画素値をＤ２（ｘ，ｙ）と表すものとする。
Ｄｐ（ｘ＋ｔｖ１ｘ，ｙ＋ｔｖ１ｙ）＝｛Ｄ１（ｘ＋ｔｖ１ｘ－ｔｖ２ｘ，ｙ＋ｔｖ１ｙ－ｔｖ２ｙ）＋Ｄ２（ｘ＋ｔｖ１ｘ－ｔｖ３ｘ，ｙ＋ｔｖ１ｙ－ｔｖ３ｙ）｝／２…（９）
　上記式（９）において、ｘ＋ｔｖ１ｘ＝ｘ’、ｙ＋ｔｖ１ｙ＝ｙ’とすると、下記式（１０）が得られる。
Ｄｐ（ｘ’，ｙ’）＝｛Ｄ１（ｘ’－ｔｖ２ｘ，ｙ’－ｔｖ２ｙ）＋Ｄ２（ｘ’－ｔｖ３ｘ，ｙ’－ｔｖ３ｙ）｝／２…（１０）
　画像生成部１４は、上記式（９）または（１０）を用いて、画像Ｐ（ｔ，ｖ）の各画素の画素値を求めることができる。
　以下、画像生成部１４の処理について具体的に説明する。
　画像Ｐ（Ｔ１，Ｖ１）、Ｐ（Ｔ２，Ｖ１）、Ｐ（Ｔ１，Ｖ２）、およびＰ（ｔ，ｖ）は、例えば、それぞれ、図１３の白丸印のように配置された、位置（ｘｍ，ｙｎ）（ｍ＝１，２，…，Ｍ、ｎ＝１，２，…，Ｎ）にある、水平方向にＭ個、垂直方向にＮ個、合計Ｍ×Ｎ個の画素の画素値で表される。そして、統合部１３は、画像Ｐ（Ｔ１，Ｖ１）の各位置（ｘｍ，ｙｎ）の画素について、第１の統合ベクトルＴＶ１、第２の統合ベクトルＴＶ２、および第３の統合ベクトルＴＶ３を算出する。
　ここで、画像Ｐ（Ｔ１，Ｖ１）の位置（ｘｍ，ｙｎ）の画素についての第２の統合ベクトルＴＶ２および第３の統合ベクトルＴＶ３は、上述したように、出力画像Ｐ（ｔ，ｖ）の位置（ｘｍ＋ｔｖ１ｘ，ｙｎ＋ｔｖ１ｙ）に対応するものである。すなわち、図１４に示されるように、白丸印で表される画像Ｐ（ｔ，ｖ）の各位置（ｘｍ，ｙｎ）からベクトルＴＶ１だけずれた、黒三角印で表される各位置（ｘｍ＋ｔｖ１ｘ，ｙｎ＋ｔｖ１ｙ）に対応する第２の統合ベクトルＴＶ２および第３の統合ベクトルＴＶ３が得られる。
　したがって、統合部１３により算出された第２の統合ベクトルＴＶ２および第３の統合ベクトルＴＶ３をそのまま用いて出力画像Ｐ（ｔ，ｖ）の画素値を計算する場合には、図１４の黒三角印の各位置の画素値が求まることになる。
　出力画像Ｐ（ｔ，ｖ）の白丸印の各位置（ｘｍ，ｙｎ）の画素値を求めるために、画像生成部１４は、例えば、下記第１または第２の処理を行う。
　［第１の処理］
　画像生成部１４は、画像Ｐ（ｔ，ｖ）の黒三角印の各位置に対応する第２の統合ベクトルＴＶ２および第３の統合ベクトルＴＶ３から、画像Ｐ（ｔ，ｖ）の白丸印の各位置に対応する第２の統合ベクトルＴＶ２および第３の統合ベクトルＴＶ３を補間により算出する。
　そして、画像生成部１４は、上記算出された白丸印の各位置に対応する第２の統合ベクトルＴＶ２および第３の統合ベクトルＴＶ３を用いて、下記式（１１）により、画像Ｐ（ｔ，ｖ）の白丸印の各位置（ｘｍ，ｙｎ）の画素値Ｄｐ（ｘｍ，ｙｎ）を算出する。
Ｄｐ（ｘｍ，ｙｎ）＝｛Ｄ１（ｘｍ－ｔｖ２ｘ，ｙｎ－ｔｖ２ｙ）＋Ｄ２（ｘｍ－ｔｖ３ｘ，ｙｎ－ｔｖ３ｙ）｝／２…（１１）
　上記式（１１）を計算する際、画像生成部１４は、画像Ｐ（Ｔ２，Ｖ１）において位置（ｘｍ－ｔｖ２ｘ，ｙｎ－ｔｖ２ｙ）に画素が存在する場合には、当該画素の画素値をＤ１（ｘｍ－ｔｖ２ｘ，ｙｎ－ｔｖ２ｙ）として用いる。一方、画像Ｐ（Ｔ２，Ｖ１）において位置（ｘｍ－ｔｖ２ｘ，ｙｎ－ｔｖ２ｙ）に画素が存在しない場合には、例えば、画像Ｐ（Ｔ２，Ｖ１）の各画素値から位置（ｘｍ－ｔｖ２ｘ，ｙｎ－ｔｖ２ｙ）の画素値を補間し、当該画素値をＤ１（ｘｍ－ｔｖ２ｘ，ｙｎ－ｔｖ２ｙ）として用いる。
　同様に、画像生成部１４は、画像Ｐ（Ｔ１，Ｖ２）において位置（ｘｍ－ｔｖ３ｘ，ｙｎ－ｔｖ３ｙ）に画素が存在する場合には、当該画素の画素値をＤ２（ｘｍ－ｔｖ３ｘ，ｙｎ－ｔｖ３ｙ）として用いる。一方、画像Ｐ（Ｔ１，Ｖ２）において位置（ｘｍ－ｔｖ３ｘ，ｙｎ－ｔｖ３ｙ）に画素が存在しない場合には、例えば、画像Ｐ（Ｔ１，Ｖ２）の各画素値から位置（ｘｍ－ｔｖ３ｘ，ｙｎ－ｔｖ３ｙ）の画素値を補間し、当該画素値をＤ２（ｘｍ－ｔｖ３ｘ，ｙｎ－ｔｖ３ｙ）として用いる。
　［第２の処理］
　画像生成部１４は、画像Ｐ（ｔ，ｖ）の黒三角印の各位置に対応する第２の統合ベクトルＴＶ２および第３の統合ベクトルＴＶ３を用いて、下記式（１２）により、画像Ｐ（ｔ，ｖ）の黒三角印の各位置（ｘｍ＋ｔｖ１ｘ，ｙｎ＋ｔｖ１ｙ）の画素値Ｄｐ（ｘｍ＋ｔｖ１ｘ，ｙｎ＋ｔｖ１ｙ）を算出する。
Ｄｐ（ｘｍ＋ｔｖ１ｘ，ｙｎ＋ｔｖ１ｙ）＝｛Ｄ１（ｘｍ＋ｔｖ１ｘ－ｔｖ２ｘ，ｙｎ＋ｔｖ１ｙ－ｔｖ２ｙ）＋Ｄ２（ｘｍ＋ｔｖ１－ｔｖ３ｘ，ｙｎ＋ｔｖ１ｙ－ｔｖ３ｙ）｝／２…（１２）
　上記式（１２）を計算する際、画像生成部１４は、画像Ｐ（Ｔ２，Ｖ１）において位置（ｘｍ＋ｔｖ１ｘ－ｔｖ２ｘ，ｙｎ＋ｔｖ１ｙ－ｔｖ２ｙ）に画素が存在する場合には、当該画素の画素値をＤ１（ｘｍ＋ｔｖ１ｘ－ｔｖ２ｘ，ｙｎ＋ｔｖ１ｙ－ｔｖ２ｙ）として用いる。一方、画像Ｐ（Ｔ２，Ｖ１）において位置（ｘｍ＋ｔｖ１ｘ－ｔｖ２ｘ，ｙｎ＋ｔｖ１ｙ－ｔｖ２ｙ）に画素が存在しない場合には、例えば、画像Ｐ（Ｔ２，Ｖ１）の各画素値から位置（ｘｍ＋ｔｖ１ｘ－ｔｖ２ｘ，ｙｎ＋ｔｖ１ｙ－ｔｖ２ｙ）の画素値を補間し、当該画素値をＤ１（ｘｍ＋ｔｖ１ｘ－ｔｖ２ｘ，ｙｎ＋ｔｖ１ｙ－ｔｖ２ｙ）として用いる。
　同様に、画像生成部１４は、画像Ｐ（Ｔ１，Ｖ２）において位置（ｘｍ＋ｔｖ１ｘ－ｔｖ３ｘ，ｙｎ＋ｔｖ１ｙ－ｔｖ３ｙ）に画素が存在する場合には、当該画素の画素値をＤ２（ｘｍ＋ｔｖ１ｘ－ｔｖ３ｘ，ｙｎ＋ｔｖ１ｙ－ｔｖ３ｙ）として用いる。一方、画像Ｐ（Ｔ１，Ｖ２）において位置（ｘｍ＋ｔｖ１ｘ－ｔｖ３ｘ，ｙｎ＋ｔｖ１ｙ－ｔｖ３ｙ）に画素が存在しない場合には、例えば、画像Ｐ（Ｔ１，Ｖ２）の各画素値から位置（ｘｍ＋ｔｖ１ｘ－ｔｖ３ｘ，ｙｎ＋ｔｖ１ｙ－ｔｖ３ｙ）の画素値を補間し、当該画素値をＤ２（ｘｍ＋ｔｖ１ｘ－ｔｖ３ｘ，ｙｎ＋ｔｖ１ｙ－ｔｖ３ｙ）として用いる。
　そして、画像生成部１４は、上記算出された画像Ｐ（ｔ，ｖ）の黒三角印の各位置の画素値Ｄｐ（ｘｍ＋ｔｖ１ｘ，ｙｎ＋ｔｖ１ｙ）から、画像Ｐ（ｔ，ｖ）の白丸印の各位置（ｘｍ，ｙｎ）の画素値Ｄｐ（ｘｍ，ｙｎ）を補間により算出する。
　なお、上記の第１および第２の処理において、各補間の方法は特に限定されないが、画像生成部１４は、例えば、平均補間法や最近隣補間法を用いて、統合ベクトルや画素値の補間を行う。例えば、画像生成部１４は、画像Ｐ（ｔ，ｖ）の位置（ｘｍ，ｙｎ）の画素値Ｄｐ（ｘｍ，ｙｎ）を補間する場合、位置（ｘｍ，ｙｎ）の周辺の画素の画素値の平均をＤｐ（ｘｍ，ｙｎ）として求めてもよいし、位置（ｘｍ，ｙｎ）の周辺の画素（例えば最も近い画素）の画素値をＤｐ（ｘｍ，ｙｎ）としてコピーしてもよい。
　図１５は、本実施の形態に係る画像表示装置１００の処理工程を示すフローチャートである。以下、図１５を参照して、画像表示装置１００の処理を説明する。
　まず、動き推定ステップＳ１では、画像表示装置１００は、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、時刻Ｔ２で視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを参照して、画素ごとに、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻Ｔ２で視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルＭＶ１を算出する。この動作は、動き推定部１１により実行される。
　視差推定ステップＳ２では、画像表示装置１００は、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、時刻Ｔ１で視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを参照して、画素ごとに、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）から時刻Ｔ１で視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルＤＶ１を算出する。この動作は、視差推定部１２により実行される。
　視差・動き統合ステップＳ３では、画像表示装置１００は、第１の動きベクトルＭＶ１と第１の視差ベクトルＤＶ１とから、第１の動きベクトルＭＶ１と第１の視差ベクトルＤＶ１とが統合された統合ベクトルを算出する。この動作は、統合部１３により実行される。
　画像生成ステップＳ４では、画像表示装置１００は、画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、上記統合ステップＳ３で算出された統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する。この動作は、画像生成部１４により実行される。
　一つの態様では、統合ステップＳ３では、画像表示装置１００は、第１の動きベクトルＭＶ１と第１の視差ベクトルＤＶ１とから、統合ベクトルとして、時刻Ｔ２で視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）から時刻ｔで視点ｖの位置への第２の統合ベクトルＴＶ２と、時刻Ｔ１で視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）から時刻ｔで視点ｖの位置への第３の統合ベクトルＴＶ３とを算出する。そして、画像生成ステップＳ４では、画像表示装置１００は、時刻Ｔ２で視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）、時刻Ｔ１で視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）、第２の統合ベクトルＴＶ２、および第３の統合ベクトルＴＶ３から、時刻ｔで視点ｖの画像Ｐ（ｔ，ｖ）を生成する。
　なお、上記の説明では、画像Ｐ（Ｔ２，Ｖ１）、画像Ｐ（Ｔ１，Ｖ２）、第２の統合ベクトルＴＶ２、および第３の統合ベクトルＴＶ３から画像Ｐ（ｔ，ｖ）を生成する構成を例示したが、画像処理部１０は、入力画像および統合ベクトルの他の組み合わせにより画像Ｐ（ｔ，ｖ）を生成してもよい。
　例えば、画像処理部１０は、統合ベクトルとして、第１の統合ベクトルＴＶ１と第２の統合ベクトルＴＶ２とを算出し、画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、第１の統合ベクトルＴＶ１、および第２の統合ベクトルＴＶ２から画像Ｐ（ｔ，ｖ）を生成してもよい。この場合、図１１において、第３の統合ベクトルＴＶ３の代わりに第１の統合ベクトルＴＶ１が用いられ、画像Ｐ（Ｔ１，Ｖ２）の代わりに画像Ｐ（Ｔ１，Ｖ１）が用いられる。
　また例えば、画像処理部１０は、統合ベクトルとして、第１の統合ベクトルＴＶ１と第３の統合ベクトルＴＶ３とを算出し、画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ１，Ｖ２）、第１の統合ベクトルＴＶ１、および第３の統合ベクトルＴＶ３から画像Ｐ（ｔ，ｖ）を生成してもよい。この場合、図１１において、第２の統合ベクトルＴＶ２の代わりに第１の統合ベクトルＴＶ１が用いられ、画像Ｐ（Ｔ２，Ｖ１）の代わりに画像Ｐ（Ｔ１，Ｖ１）が用いられる。
　さらに、画像処理部１０は、統合ベクトルＴＶ１～ＴＶ３のうちの１つの統合ベクトルを用いて、入力画像Ｐ（Ｔ１，Ｖ１）、Ｐ（Ｔ２，Ｖ１）、およびＰ（Ｔ１，Ｖ２）のうちの１つの画像から、出力画像Ｐ（ｔ，ｖ）を生成してもよい。例えば、画像処理部１０は、統合ベクトルとして第１の統合ベクトルＴＶ１を算出し、画像Ｐ（Ｔ１，Ｖ１）と第１の統合ベクトルＴＶ１とから画像Ｐ（ｔ，ｖ）を生成してもよい。具体的には、画像処理部１０は、画像Ｐ（Ｔ１，Ｖ１）の位置（ｘ，ｙ）の画素値をＤ（ｘ，ｙ）と表した場合、画像Ｐ（ｔ，ｖ）の位置（ｘ，ｙ）の画素値Ｄｐ（ｘ，ｙ）を、下記式（１３）により算出してもよい。
Ｄｐ（ｘ，ｙ）＝Ｄ（ｘ－ｔｖ１ｘ，ｙ－ｔｖ１ｙ）…（１３）
　また、画像処理部１０は、画像Ｐ（Ｔ１，Ｖ１）の各画素を当該画素に対応する第１の統合ベクトルＴＶ１に従って移動させて、出力画像Ｐ（ｔ，ｖ）を生成してもよい。例えば、図１４を参照すると、白丸印で表される画像Ｐ（Ｔ１，Ｖ１）の各位置（ｘｍ，ｙｎ）の画素を、それぞれ対応する第１の統合ベクトルＴＶ１に従って黒三角印で表される位置に移動させる。そして、黒三角印の位置にある画素群に基づいて出力画像Ｐ（ｔ，ｖ）を生成する。具体的には、画像Ｐ（Ｔ１，Ｖ１）の各位置（ｘｍ，ｙｎ）の画素値Ｄ（ｘｍ，ｙｎ）を、出力画像Ｐ（ｔ，ｖ）の各位置（ｘｍ＋ｔｖ１ｘ，ｙｎ＋ｔｖ１ｙ）の画素値Ｄｐ（ｘｍ＋ｔｖ１ｘ，ｙｎ＋ｔｖ１ｙ）とする。そして、得られた画素値Ｄｐ（ｘｍ＋ｔｖ１ｘ，ｙｎ＋ｔｖ１ｙ）から、出力画像Ｐ（ｔ，ｖ）の各位置（ｘｍ，ｙｎ）の画素値Ｄｐ（ｘｍ，ｙｎ）を補間により求める。
　また、上記の説明では、画素ごとに動きベクトルや視差ベクトルなどを算出し、画素ごとに処理する構成を例示したが、画素ごとに処理する構成に限定されない。例えば、画像処理部１０は、複数の画素を含むブロックごとに処理してもよいし、画像中の特定のオブジェクト（例えば立体や移動物体）ごとに処理してもよい。
　また、本実施の形態の画像処理部１０は、複数の入力画像から任意の時刻および視点の画像を生成するものであり、その利用形態は特に限定されないが、一つの利用形態では、ホールド型の立体画像表示装置において、表示物体の移動をスムーズにするためにフレーム周波数の変換を行い、飛び出し量を調整するために視点を変更する際に用いられる。この利用形態における具体的な構成例では、不図示の制御部は、入力画像のフレーム周波数と目標のフレーム周波数（すなわち出力画像のフレーム周波数）とから時刻ｔを決定し、当該時刻ｔを画像処理部１０に出力する。また、制御部は、使用者から指定された飛び出し量の調整値に基づき、指定された飛び出し量に対応する視点ｖｌおよびｖｒを決定し、当該視点ｖｌおよびｖｒを画像処理部１０に出力する。画像処理部１０は、制御部からの時刻ｔおよび視点ｖｌ，ｖｒに基づき、出力画像（ｔ，ｖｌ）および出力画像（ｔ，ｖｒ）を生成し、画像表示部２０に出力する。画像表示部２０は、画像（ｔ，ｖｌ）および画像（ｔ，ｖｒ）を表示する。これにより、フレーム周波数が変換され、飛び出し量が調整された画像が表示される。
　上記利用形態のほか、画像処理部１０は、多視点の表示デバイス向けに２視点の映像から多視点の映像を生成するとともに、フレーム周波数の変換を行う場合に利用されてもよい。ここで、上記多視点の表示デバイスとは、具体的には、３以上の視点の画像を表示する装置であり、例えば、いわゆる多視点立体ディスプレイである。
　以上説明したように、本実施の形態では、画像処理部は、入力画像Ｐ（Ｔ１，Ｖ１）、Ｐ（Ｔ２，Ｖ１）、およびＰ（Ｔ１，Ｖ２）を受け、画像Ｐ（Ｔ１，Ｖ１）から画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出し、画像Ｐ（Ｔ１，Ｖ１）から画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出し、第１の動きベクトルと第１の視差ベクトルとから、第１の動きベクトルと第１の視差ベクトルとが統合された統合ベクトルを算出し、入力画像のうち少なくとも１つの画像と統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する。このような本実施の形態によれば、複数の入力画像から任意の時刻における任意の視点の画像を生成することができる。また、本実施の形態によれば、少ない演算量または小さい回路規模で、複数の入力画像から任意の時刻における任意の視点の画像を生成することができる。具体的には、本実施の形態では、１つの動き推定処理と１つの視差推定処理とにより任意の時刻および視点の画像を生成することができ、これにより、演算量を少なくでき、電子回路では回路規模を小さくできる。
　また、本実施の形態の一態様では、画像処理部は、２つの統合ベクトルを算出して、当該２つの統合ベクトルを用いて２つの入力画像の平均により出力画像を生成する。本態様によれば、１つの統合ベクトルを用いる構成と比較して、良好な出力画像を得ることが可能となる。例えば、１つの統合ベクトルを用いる構成では、動きや視差をブロック単位で推定する場合、１つのブロックに２種類の動きがあっても１つしか動きを推定しない。このため、ブロック内の一部の画素については誤った動きを推定することになる。これに対し、２つの統合ベクトルを用いて２つの入力画像の平均により出力画像を生成する構成によれば、平均することで、上記誤った動きの推定による出力画像上の弊害を目立たせないようにすることができる。
　以下、図面を参照しながら、本実施の形態の効果について具体的に説明する。
　上述したように、立体画像表示装置では、飛び出し量が大きすぎる場合、観察者に目の疲れを誘発するという問題がある。この問題は、飛び出し量を調整する手法により解決することができる。この手法では、図１６に示されるように、立体の対象物を視点Ｖ１およびＶ２から撮像して得られた画像Ｐ（Ｖ１）およびＰ（Ｖ２）から、視差を推定する視差推定技術を用いることで、所望の視点ｖの補間画像Ｐ（ｖ）を生成して表示することで飛び出し量を調整する。
　また、上述したように、液晶ディスプレイなどのホールド型ディスプレイでは、１フレーム期間同じ画像が表示され続けることから、エッジ部分がぼやけて見えるという問題がある。この問題は、表示画像数を多くして表示物体の移動をスムーズにするフレーム周波数の変換技術により解決することができる。この技術では、図１７に示されるように、時刻Ｔ１およびＴ２で撮像して得られた画像Ｐ（Ｔ１）およびＰ（Ｔ２）から、対象物の時間的な動きを推定する動き推定技術を用いて、画像Ｐ（Ｔ１）およびＰ（Ｔ２）の２フレームの間に所望の時刻ｔの補間画像Ｐ（ｔ）を生成して表示することで、表示画像数を多くする。
　上記の視差推定技術と動き推定技術とを組み合わせて使用することにより、複数の入力画像から任意の時刻における任意の視点の画像を生成することができる。例えば、図１８に示されるように、時刻Ｔ１で視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）、時刻Ｔ１で視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）、時刻Ｔ２で視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）、および時刻Ｔ２で視点Ｖ２の画像Ｐ（Ｔ２，Ｖ２）から、任意の時刻ｔで任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成することができる。この場合、はじめに、図１９に示されるように、画像Ｐ（Ｔ１，Ｖ１）と画像Ｐ（Ｔ２，Ｖ１）から動き推定技術を使用して中間画像Ｐ（ｔ，Ｖ１）を生成し、画像Ｐ（Ｔ１，Ｖ２）と画像Ｐ（Ｔ２，Ｖ２）から動き推定技術を使用して中間画像Ｐ（ｔ，Ｖ２）を生成する。次に、図２０に示されるように、中間画像Ｐ（ｔ，Ｖ１）と中間画像Ｐ（ｔ，Ｖ２）から視差推定技術を用いて出力画像Ｐ（ｔ，ｖ）を生成する。
　視差推定処理や動き推定処理は多くの演算量を必要とするところ、上記比較例に係る画像処理方法では、２つの動き推定処理と１つの視差推定処理とを必要とするので、演算量が膨大となってしまい、電子回路では回路規模が膨大になってしまう。これに対し、本実施の形態では、１つの視差推定処理と１つの動き推定処理とにより出力画像を生成することができ、上記比較例に係る画像処理方法と比較して、演算量を少なくでき、電子回路では回路規模を小さくできる。
　なお、以上説明した実施の形態に係る画像表示装置または画像処理部は、電子回路などのハードウェア資源のみにより実現されてもよいし、ハードウェア資源とソフトウェアとの協働により実現されてもよい。ハードウェア資源とソフトウェアとの協働により実現される場合、画像表示装置または画像処理部は、例えばコンピュータプログラムがコンピュータにより実行されることによって実現され、より具体的には、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の記録媒体に記録されたコンピュータプログラムが主記憶装置に読み出されて中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）により実行されることによって実現される。コンピュータプログラムは、光ディスク等のコンピュータ読み取り可能な記録媒体に記録されて提供されてもよいし、インターネット等の通信回線を介して提供されてもよい。
　また、本発明は、上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の態様で実施することができる。
　１０　画像処理部、　１１　動き推定部、　１１ａ　注目画像ブロック切り出し部、　１１ｂ　探索画像ブロック切り出し部、　１１ｃ　動きベクトル決定部、　１２　視差推定部、　１３　視差・動き統合部、　１４　画像生成部、　１５　動き変換部、　１６　視差変換部、　１７　ベクトル加算部、　１８　第１のベクトル減算部、　１９　第２のベクトル減算部、　２０　画像表示部、　１００　画像表示装置。

Claims (15)

  1. 　第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定部と、
    　前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定部と、
    　前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合部と、
    　前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成部と、
    　を備えることを特徴とする画像処理装置。
  2. 　前記統合部は、前記統合ベクトルとして、前記画像Ｐ（Ｔ２，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第２の統合ベクトルと、前記画像Ｐ（Ｔ１，Ｖ２）から前記画像Ｐ（ｔ，ｖ）への第３の統合ベクトルとを算出し、
    　前記画像生成部は、前記画像Ｐ（Ｔ２，Ｖ１）、前記画像Ｐ（Ｔ１，Ｖ２）、前記第２の統合ベクトル、および前記第３の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
    　ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記統合部は、前記統合ベクトルとして、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第１の統合ベクトルと、前記画像Ｐ（Ｔ２，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第２の統合ベクトルとを算出し、
    　前記画像生成部は、前記画像Ｐ（Ｔ１，Ｖ１）、前記画像Ｐ（Ｔ２，Ｖ１）、前記第１の統合ベクトル、および前記第２の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
    　ことを特徴とする請求項１に記載の画像処理装置。
  4. 　前記統合部は、前記統合ベクトルとして、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第１の統合ベクトルと、前記画像Ｐ（Ｔ１，Ｖ２）から前記画像Ｐ（ｔ，ｖ）への第３の統合ベクトルとを算出し、
    　前記画像生成部は、前記画像Ｐ（Ｔ１，Ｖ１）、前記画像Ｐ（Ｔ１，Ｖ２）、前記第１の統合ベクトル、および前記第３の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
    　ことを特徴とする請求項１に記載の画像処理装置。
  5. 　前記統合部は、前記統合ベクトルとして、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第１の統合ベクトルを算出し、
    　前記画像生成部は、前記画像Ｐ（Ｔ１，Ｖ１）および前記第１の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
    　ことを特徴とする請求項１に記載の画像処理装置。
  6. 　前記統合部は、
    　前記第１の動きベクトルを、前記画像Ｐ（Ｔ１，Ｖ１）から前記任意の時刻ｔにおける前記視点Ｖ１の位置への第２の動きベクトルに変換する動き変換部と、
    　前記第１の視差ベクトルを、前記画像Ｐ（Ｔ１，Ｖ１）から前記時刻Ｔ１における前記任意の視点ｖの位置への第２の視差ベクトルに変換する視差変換部と、
    　前記第２の動きベクトルと前記第２の視差ベクトルとを加算して第１の統合ベクトルを算出するベクトル加算部と、
    　前記第１の統合ベクトルから前記第１の動きベクトルを減算して前記第２の統合ベクトルを算出する第１のベクトル減算部と、
    　前記第１の統合ベクトルから前記第１の視差ベクトルを減算して前記第３の統合ベクトルを算出する第２のベクトル減算部と、
    　を備えることを特徴とする請求項２に記載の画像処理装置。
  7. 　請求項１から６のいずれか１項に記載の画像処理装置と、
    　前記画像処理装置の前記画像生成部により生成された画像Ｐ（ｔ，ｖ）を表示する画像表示部と、
    　を備えることを特徴とする画像表示装置。
  8. 　第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定ステップと、
    　前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定ステップと、
    　前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合ステップと、
    　前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成ステップと、
    　を有することを特徴とする画像処理方法。
  9. 　前記統合ステップでは、前記統合ベクトルとして、前記画像Ｐ（Ｔ２，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第２の統合ベクトルと、前記画像Ｐ（Ｔ１，Ｖ２）から前記画像Ｐ（ｔ，ｖ）への第３の統合ベクトルとを算出し、
    　前記画像生成ステップでは、前記画像Ｐ（Ｔ２，Ｖ１）、前記画像Ｐ（Ｔ１，Ｖ２）、前記第２の統合ベクトル、および前記第３の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
    　ことを特徴とする請求項８に記載の画像処理方法。
  10. 　前記統合ステップでは、前記統合ベクトルとして、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第１の統合ベクトルと、前記画像Ｐ（Ｔ２，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第２の統合ベクトルとを算出し、
    　前記画像生成ステップでは、前記画像Ｐ（Ｔ１，Ｖ１）、前記画像Ｐ（Ｔ２，Ｖ１）、前記第１の統合ベクトル、および前記第２の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
    　ことを特徴とする請求項８に記載の画像処理方法。
  11. 　前記統合ステップでは、前記統合ベクトルとして、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第１の統合ベクトルと、前記画像Ｐ（Ｔ１，Ｖ２）から前記画像Ｐ（ｔ，ｖ）への第３の統合ベクトルとを算出し、
    　前記画像生成ステップでは、前記画像Ｐ（Ｔ１，Ｖ１）、前記画像Ｐ（Ｔ１，Ｖ２）、前記第１の統合ベクトル、および前記第３の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
    　ことを特徴とする請求項８に記載の画像処理方法。
  12. 　前記統合ステップでは、前記統合ベクトルとして、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（ｔ，ｖ）への第１の統合ベクトルを算出し、
    　前記画像生成ステップでは、前記画像Ｐ（Ｔ１，Ｖ１）および前記第１の統合ベクトルから、前記画像Ｐ（ｔ，ｖ）を生成する、
    　ことを特徴とする請求項８に記載の画像処理方法。
  13. 　前記統合ステップは、
    　前記第１の動きベクトルを、前記画像Ｐ（Ｔ１，Ｖ１）から前記任意の時刻ｔにおける前記視点Ｖ１の位置への第２の動きベクトルに変換する動き変換ステップと、
    　前記第１の視差ベクトルを、前記画像Ｐ（Ｔ１，Ｖ１）から前記時刻Ｔ１における前記任意の視点ｖの位置への第２の視差ベクトルに変換する視差変換ステップと、
    　前記第２の動きベクトルと前記第２の視差ベクトルとを加算して第１の統合ベクトルを算出するベクトル加算ステップと、
    　前記第１の統合ベクトルから前記第１の動きベクトルを減算して前記第２の統合ベクトルを算出する第１のベクトル減算ステップと、
    　前記第１の統合ベクトルから前記第１の視差ベクトルを減算して前記第３の統合ベクトルを算出する第２のベクトル減算ステップと、
    　を有することを特徴とする請求項９に記載の画像処理方法。
  14. 　請求項８から１３のいずれか１項に記載の画像処理方法と、
    　前記画像処理方法の前記画像生成ステップにより生成された画像Ｐ（ｔ，ｖ）を表示する画像表示ステップと、
    　を有することを特徴とする画像表示方法。
  15. 　第１の時刻Ｔ１における第１の視点Ｖ１の画像Ｐ（Ｔ１，Ｖ１）と、前記第１の時刻Ｔ１と異なる第２の時刻Ｔ２における前記視点Ｖ１の画像Ｐ（Ｔ２，Ｖ１）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ２，Ｖ１）への第１の動きベクトルを算出する動き推定ステップと、
    　前記画像Ｐ（Ｔ１，Ｖ１）と、前記時刻Ｔ１における前記第１の視点Ｖ１と異なる第２の視点Ｖ２の画像Ｐ（Ｔ１，Ｖ２）とを受け、前記画像Ｐ（Ｔ１，Ｖ１）から前記画像Ｐ（Ｔ１，Ｖ２）への第１の視差ベクトルを算出する視差推定ステップと、
    　前記第１の動きベクトルと前記第１の視差ベクトルとから、前記第１の動きベクトルと前記第１の視差ベクトルとが統合された統合ベクトルを算出する統合ステップと、
    　前記画像Ｐ（Ｔ１，Ｖ１）、画像Ｐ（Ｔ２，Ｖ１）、および画像Ｐ（Ｔ１，Ｖ２）のうち少なくとも１つの画像と、前記統合ベクトルとから、任意の時刻ｔにおける任意の視点ｖの画像Ｐ（ｔ，ｖ）を生成する画像生成ステップと、
    　をコンピュータに実行させることを特徴とする画像処理プログラム。
PCT/JP2012/078157 2011-11-17 2012-10-31 画像処理装置、画像処理方法、画像処理プログラム、画像表示装置、および画像表示方法 WO2013073369A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013544205A JP5627798B2 (ja) 2011-11-17 2012-10-31 画像処理装置、画像処理方法、画像処理プログラム、画像表示装置、および画像表示方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-251364 2011-11-17
JP2011251364 2011-11-17

Publications (1)

Publication Number Publication Date
WO2013073369A1 true WO2013073369A1 (ja) 2013-05-23

Family

ID=48429437

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/078157 WO2013073369A1 (ja) 2011-11-17 2012-10-31 画像処理装置、画像処理方法、画像処理プログラム、画像表示装置、および画像表示方法

Country Status (2)

Country Link
JP (1) JP5627798B2 (ja)
WO (1) WO2013073369A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191393A (ja) * 1996-12-24 1998-07-21 Sharp Corp 多視点画像符号化装置
JP2009003507A (ja) * 2007-06-19 2009-01-08 Victor Co Of Japan Ltd 画像処理方法、画像処理装置及び画像処理プログラム
JP2011223493A (ja) * 2010-04-14 2011-11-04 Canon Inc 画像処理装置および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191393A (ja) * 1996-12-24 1998-07-21 Sharp Corp 多視点画像符号化装置
JP2009003507A (ja) * 2007-06-19 2009-01-08 Victor Co Of Japan Ltd 画像処理方法、画像処理装置及び画像処理プログラム
JP2011223493A (ja) * 2010-04-14 2011-11-04 Canon Inc 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
JPWO2013073369A1 (ja) 2015-04-02
JP5627798B2 (ja) 2014-11-19

Similar Documents

Publication Publication Date Title
US9270970B2 (en) Device apparatus and method for 3D image interpolation based on a degree of similarity between a motion vector and a range motion vector
KR100720722B1 (ko) 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치
US8908011B2 (en) Three-dimensional video creating device and three-dimensional video creating method
JP5287702B2 (ja) 画像処理装置および方法、並びにプログラム
US8803947B2 (en) Apparatus and method for generating extrapolated view
JP5387905B2 (ja) 画像処理装置および方法、並びにプログラム
JP5879713B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR20080076628A (ko) 영상의 입체감 향상을 위한 입체영상 표시장치 및 그 방법
US8610707B2 (en) Three-dimensional imaging system and method
CN109191506B (zh) 深度图的处理方法、***及计算机可读存储介质
JP5755571B2 (ja) 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置
JP2012204852A (ja) 画像処理装置および方法、並びにプログラム
JP5521608B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6033625B2 (ja) 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体
JP5304758B2 (ja) 多視点画像作成装置及び多視点画像作成方法並びに多視点画像表示システム
JP5627498B2 (ja) 立体画像生成装置及び方法
US9113140B2 (en) Stereoscopic image processing device and method for generating interpolated frame with parallax and motion vector
JP5627798B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、画像表示装置、および画像表示方法
JP5488212B2 (ja) 画像処理装置、画像処理方法および画像表示装置
JP5838775B2 (ja) 画像処理方法、画像処理システムおよび画像処理プログラム
TWI533663B (zh) 立體影像處理裝置及立體影像處理方法
JP2011188108A (ja) 画像処理装置、立体画像表示装置および画像処理方法
KR101907127B1 (ko) 입체 비디오 주밍 및 비디오 내의 전경 및 배경 검출
JP5431393B2 (ja) 立体画像生成装置及び方法
JP2013214916A (ja) 画像処理装置、画像処理方法及び画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12849618

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013544205

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12849618

Country of ref document: EP

Kind code of ref document: A1