WO2012140841A1 - 画像表示方法、制御装置、眼鏡、画像システム及び合成装置 - Google Patents

画像表示方法、制御装置、眼鏡、画像システム及び合成装置 Download PDF

Info

Publication number
WO2012140841A1
WO2012140841A1 PCT/JP2012/002203 JP2012002203W WO2012140841A1 WO 2012140841 A1 WO2012140841 A1 WO 2012140841A1 JP 2012002203 W JP2012002203 W JP 2012002203W WO 2012140841 A1 WO2012140841 A1 WO 2012140841A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
parallax
viewpoint
straight line
Prior art date
Application number
PCT/JP2012/002203
Other languages
English (en)
French (fr)
Inventor
佐々木　晃
隆 米沢
Original Assignee
ルネサスエレクトロニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ルネサスエレクトロニクス株式会社 filed Critical ルネサスエレクトロニクス株式会社
Priority to JP2013509753A priority Critical patent/JPWO2012140841A1/ja
Publication of WO2012140841A1 publication Critical patent/WO2012140841A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/378—Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Definitions

  • the present invention relates to a technique for obtaining a stereoscopic view from a binocular parallax image.
  • Patent Document 1 a lenticular method (Patent Document 1), a binocular stereoscopic method, and the like are known.
  • the binocular stereo viewing method is a method for obtaining a stereoscopic view using binocular parallax, displaying binocular parallax images continuously, and the glasses worn by the observer are images from the viewpoint of the left eye.
  • the visual field of the right eye is shielded, and when the image from the viewpoint of the right eye is displayed, the visual field of the left eye is shielded to give the observer a stereoscopic view.
  • “binocular parallax” means a difference in the position or viewing direction of the image seen by the left eye and the right eye, and is also simply referred to as “parallax” in the following description.
  • “binocular parallax images” are two images of the same subject with the viewpoints of two positions that are separated from each other by a distance that substantially coincides with the distance between both eyes.
  • Patent Literature 2 and Patent Literature 3 continuously display a plurality of image signals captured from a plurality of directions with respect to a subject on an image display device, and also the observer of the image display device. Detect the direction of gaze. Then, the spectacles worn by the observer select two image signals captured from the direction matching the detected line of sight, and control the timing of shielding the left eye field and the right eye field.
  • Patent Document 4 and Patent Document 5 detect the inclination of the glasses, and two images to be displayed from images captured from a plurality of different directions with respect to the subject according to the detected inclination.
  • a system for selecting and displaying is disclosed.
  • the eyeglasses select an image signal based on the direction of the observer's line of sight with respect to the display device.
  • the direction of the observer's line of sight changes according to the movement, but the observer is lying down
  • the eyeglasses worn by the person are inclined with respect to the line of sight, the line of sight of the observer with respect to the display device does not change. For this reason, in the systems disclosed in Patent Document 2 and Patent Document 3, when the viewer's glasses are tilted, the viewer cannot be given good stereoscopic vision.
  • the present invention has been made in view of the above circumstances, and in a binocular stereoscopic vision image system, even when the viewer's glasses are tilted, it is possible to give a good stereoscopic view to the observer, Provided is a technique applicable even when there are a plurality of observers with different positions.
  • One aspect of the present invention is an image display method.
  • This image display method sequentially displays a plurality of images of the same subject from a plurality of different viewpoints, and is worn by an observer of the displayed image, and can be used to shield the left and right eyes of the observer.
  • the inclination of the parallax line that is a straight line connecting the left eye part and the right eye part is detected, and a target image pair consisting of two of the plurality of images is selected according to the detected inclination, and any of the target image pairs is selected.
  • the left eye and the right eye is displayed, the field of view of one of the left eye and the right eye that does not correspond to the image is shielded.
  • the left eye part and the right eye part of the glasses are controlled as described above.
  • the plurality of viewpoints are three or more viewpoints at different positions on the same plane facing the subject, and each viewpoint is at least one other viewpoint, and a viewpoint pair whose distance is an interval between both eyes.
  • the target image pair is two images each having a viewpoint at each end point of the target straight line in a straight line group that is a plurality of straight lines connecting the two viewpoints of the plurality of viewpoint pairs included in the plurality of viewpoints.
  • the target straight line is the straight line in which the orthogonal projection of the parallax line to the straight line is the longest in the straight line group.
  • a display of the method according to the above aspect replaced with an apparatus or system, a spectacles control method in the above method, an apparatus for executing the control method, a program for causing a computer to execute the control method, and the like are also included in the present invention. It is effective as an embodiment.
  • the technique of the present invention in a binocular stereoscopic image system, even when the viewer's glasses are tilted, it is possible to give the viewer good stereoscopic vision and a plurality of observations at different positions. It can also be applied when there is a person.
  • FIG. 31 It is a figure which shows the example of the flow of a process by the synthetic
  • Non-transitory computer readable media include various types of tangible storage media.
  • Examples of non-transitory computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROM (Read Only Memory) CD-R, CD -R / W, including semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
  • the program may be supplied to the computer by various types of temporary computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • the binocular stereoscopic viewing method two images included in the binocular parallax image are displayed in succession, and the eyeglasses worn by the observer display an image from the viewpoint of the left eye.
  • This is a method of giving a viewer a stereoscopic view by shielding the field of view of the right eye when the camera is on, and shielding the field of view of the left eye when an image from the viewpoint of the right eye is displayed.
  • the same reference numerals are used for images and viewpoints corresponding to the images. For example, an image having point A as a viewpoint is referred to as “image A”, and the viewpoint of image A is point A.
  • the straight line connecting the left eye part and the right eye part of the glasses worn by the observer is called “parallax line”.
  • the length of the parallax line is the distance L0 between the eyes.
  • the distance L0 between the eyes can be, for example, an average distance between the eyes of both eyes.
  • viewpoint pair “parallax angle”, “effective parallax length”, and “tilt of parallax line” are defined.
  • the left part of FIG. 1 shows the positional relationship between the viewpoints (A, B) of two images included in the binocular parallax image and the subject 1.
  • the length of the straight line AB connecting the viewpoints A and B is the distance L0 between both eyes, and when viewed from the opposite side of the subject across the straight line AB, A is the left end point and B is the right end point.
  • viewpoints of two images included in the binocular parallax image that is, the two viewpoints whose distance is the distance between the eyes L0 are referred to as “viewpoint pairs”.
  • a straight line SL shown in the right part of FIG. B is an orthogonal projection of the parallax line on the display screen 2, and an arrow of the straight line SL indicates a direction from the left eye part to the right eye part of the parallax line.
  • a straight line A′B ′ on the display screen 2 is defined between the straight line AB and the subject 1 so that the straight line AB is located on the display screen and the point A is an end point corresponding to the left eye portion of the straight line SL.
  • a straight line AB and a straight line AB when the subject is moved without changing the relative positional relationship.
  • the straight line A′B ′ and the straight line SL overlap, that is, when the angle ⁇ formed by the straight line A′B ′ and the straight line SL is “0”.
  • the best stereoscopic effect can be obtained.
  • the angle ⁇ formed by the straight line A′B ′ and the straight line SL is referred to as “parallax angle”, and the length of the orthogonal projection of the straight line SL onto the straight line A′B ′ (L1 in the figure) is “effective parallax length”.
  • the “parallax angle” has a different meaning from the angle normally called “convergence angle” in the binocular stereoscopic vision system.
  • straight line A′B ′ will be described as a straight line AB and the straight line SL will be described as a parallax line.
  • inclination of parallax line is an angle formed between the straight line SL and a predetermined reference axis included in the display screen.
  • This predetermined reference axis means a straight line whose angle formed with the parallax line is “0” in a normally assumed observation situation.
  • the reference axis is a horizontal straight line from the left to the right as viewed from the screen.
  • the situation is that “the observer looks down on the screen from the assumed observation position so that the observer does not tilt the head left and right” Can be said to be the observation situation normally assumed.
  • the reference axis is a horizontal straight line from the left to the right when the screen is viewed from a normally assumed observation position.
  • the viewpoint A and viewpoint B of the two images of the binocular parallax image are usually such that the straight line AB is parallel to the reference axis and the direction from the point A to the point B is the same as the reference axis. Is set. That is, in the normally assumed observation situation, there is no inclination of the parallax line, the parallax angle ⁇ is 0 degree, and the effective parallax length is the inter-eye distance L0.
  • the parallax line is inclined and the parallax angle ⁇ is not 0 degree.
  • the reference axis is a straight line AB.
  • the length of the orthogonal projection of the parallax line SL onto the straight line AB changes.
  • the length of the orthogonal projection is hereinafter referred to as “orthographic projection length”, and in the example of FIG. 2, the orthogonal projection length L1 is the same as the effective parallax length.
  • the orthogonal projection length L1 can be represented by the product of the distance L0 between both eyes and the absolute value of the cosine value of the parallax angle ⁇ , as shown in the following equation (1).
  • L1 L0 ⁇
  • FIG. 3 shows the relationship between the effective parallax length (orthographic projection length L1) and the parallax angle ⁇ .
  • the solid curve indicates the effective parallax length
  • the dotted curve indicates “L0 ⁇ cos ⁇ ”.
  • the orthogonal projection length L1 decreases as ⁇ increases. That is, when the parallax angle ⁇ is 0 degree, the effective parallax length is the inter-eye distance L0, and the best stereoscopic effect can be obtained. The larger the parallax angle ⁇ , the shorter the effective parallax length and the worse the stereoscopic effect. In this angle range, when observing the images A and B by the binocular stereoscopic method, the right eye field is displayed when the image A is displayed, and the left eye is displayed when the image B is displayed. The field of view will be shielded.
  • the inventor of the present application can give a good stereoscopic view to an observer even when the eyeglasses of the observer are tilted in a binocular stereoscopic image system, and a plurality of different positions.
  • This method sequentially displays a plurality of images of the subject from three or more viewpoints at different positions on the same plane facing the subject.
  • Each viewpoint forms a viewpoint pair with at least one other viewpoint.
  • a target image pair composed of two of the plurality of images is selected and the target
  • any image of the image pair is displayed, one of the left eye and the right eye that does not correspond to the image is blocked.
  • an image other than the target image pair is displayed, either the left eye or the right eye is displayed.
  • the left eye part and the right eye part of the glasses are controlled so as to shield the visual field.
  • the target image pair is two images that have respective viewpoints at both end points of the target straight line.
  • the target straight line is assumed to have moved the parallax line on the plane in which the plurality of viewpoints are located in a straight line group that is a plurality of straight lines connecting two viewpoints of a plurality of viewpoint pairs included in the plurality of viewpoints.
  • the orthogonal projection of the parallax line SL onto the straight line is the longest straight line.
  • the plurality of viewpoints can be, for example, a plurality of equally divided points that divide the circumference of a circle into n equal parts (n: an integer of 3 or more).
  • n is “3”, that is, a case where a plurality of images each having three viewpoints that divide a circle into three equal parts is used will be described.
  • points A, B, and C are equally divided points that divide the circle RC into three equal parts. Further, the length of the straight line (AB, CB, AC) connecting any two of the three equally divided points is the distance L0 between the eyes. That is, points A, B, and C are three vertices of an equilateral triangle whose side length is the interval L0 between the eyes, and points A, B, and C are (A, B), (B, C), Three viewpoint pairs (A, C) are formed.
  • the angle between the parallax line SL and the straight line AB that is, the inclination of the parallax line SL is ⁇ . Therefore, the angle formed between the parallax line SL and the straight line AC is “60 ⁇ ”, and the angle formed between the parallax line SL and the straight line BC is “ ⁇ + 60”. That is, when the straight line AB is selected as the target straight line, that is, when the image A and the image B are selected as the target image pair, the parallax angle ⁇ is ⁇ . When the straight line AC is selected as the target straight line, that is, when the image A and the image C are selected as the target image pair, the parallax angle ⁇ is “60 ⁇ ”. When the straight line BC is selected as the target straight line, that is, when the image B and the image C are selected as the target image pair, the parallax angle ⁇ is “ ⁇ + 60”.
  • the orthogonal projection lengths of the parallax lines SL onto the straight lines AB, AC, and BC are L1, L2, and L3, respectively, and can be obtained by the following equations (2) to (4).
  • L1 L0 ⁇
  • L2 L0 ⁇
  • L3 L0 ⁇
  • FIG. 5 shows the relationship between the orthogonal projection lengths L1, L2, and L3 and the angle ⁇ .
  • the orthogonal projection length L1 is the longest when “0 ⁇ ⁇ ⁇ 30”.
  • the minimum value of the orthogonal projection length L1 is “L0 ⁇ cos30”.
  • the orthogonal projection length L2 is the longest. At this time, the minimum value of the orthogonal projection length L2 is “L0 ⁇ cos30”.
  • the orthogonal projection length L3 is the longest. At this time, the minimum value of the orthogonal projection length L3 is “L0 ⁇ cos30”.
  • the longest orthographic projection length becomes the orthographic projection length L1 again.
  • the minimum value of the orthogonal projection length L1 is “L0 ⁇ cos30”.
  • the longest orthographic projection length becomes the orthographic projection length L2 again.
  • the minimum value of the orthogonal projection length L2 is “L0 ⁇ cos30”.
  • the longest orthographic projection length becomes the orthographic projection length L3 again.
  • the minimum value of the orthogonal projection length L3 is “L0 ⁇ cos30”.
  • the longest orthographic projection length is the orthographic projection length L1.
  • the minimum value of the orthogonal projection length L1 is “L0 ⁇ cos30”.
  • the orthogonal projection length L1 is the effective parallax length. As shown in FIG. 5, in this case, the effective parallax length, that is, the orthogonal projection length L1, varies within a range from “0” to “L0” according to the angle ⁇ .
  • the orthogonal projection length L2 is the effective parallax length. Even in this case, the effective parallax length varies within a range of “0” or more and “L0” or less according to the angle ⁇ .
  • the effective parallax length that is, the orthogonal projection length L3 varies within a range of “0” or more and “L0” or less.
  • the technique according to the present invention is the straight line having the longest orthogonal projection length of the parallax line SL when selecting a target straight line from a straight line group including straight lines (here, straight lines AB, AC, BC) connecting the two viewpoints of each viewpoint pair. Is elected.
  • a target straight line images having respective viewpoints at both end points of the target straight line are selected as the target image pair.
  • FIG. 6 shows a target image pair selected according to the angle ⁇ when the angle ⁇ changes from 0 degrees to 180 degrees.
  • FIG. 7 shows a target image pair selected according to the angle ⁇ when the angle ⁇ changes from 180 degrees to 360 degrees.
  • the orthogonal projection length L1 decreases from “L0” to (L0 ⁇ cos30), and the orthogonal projection length L2 becomes “L0 ⁇ 1 / 2 ”to“ L0 ⁇ cos30 ”.
  • the orthogonal projection length L3 is shortened from “L0 ⁇ 1/2” to “0”. Therefore, when the angle ⁇ is less than 30 degrees, the straight line AB is selected as the target straight line, and the image (A, B) is selected as the target image pair.
  • the orthogonal projection lengths L1 and L2 are both “L0 ⁇ cos30”, and the orthogonal projection length L3 is “0”. Therefore, there are two target straight lines, a straight line AB and a straight line AC. At this time, either the straight line AC or the straight line AC may be selected as the target straight line.
  • FIG. 8 shows the relationship between the effective parallax length and the angle ⁇ when the target straight line and target image pair are selected according to the angle ⁇ that varies within the range of 0 to 360, as shown in FIGS. Indicates.
  • the effective parallax length is always “L0 ⁇ cos30” or more regardless of the angle ⁇ .
  • the best stereoscopic effect can be obtained when the parallax angle ⁇ is “0”, that is, when the effective parallax length is the inter-eye distance L0.
  • an optimal target image pair can be selected according to the inclination of the parallax line SL of each observer. Can be given.
  • n is “3”, that is, three equal points (three vertices of an equilateral triangle) that divide the circumference of the circle RC into three equal parts are respectively viewed.
  • a viewpoint pair is formed by a combination of all two viewpoints.
  • the technique according to the present invention can also be applied when n is an arbitrary integer of 3 or more.
  • FIG. 9 is an example in the case where n is “4”, that is, the viewpoint is set at four equal points (A, B, C, D) that divide the circle RC into four equal parts. Further, the example shown in FIG. 9 is an example in the case where two adjacent equal dividing points are set as viewpoint pairs.
  • the straight line AB and the straight line DC are parallel to each other, and the straight line AD and the straight line BC are also parallel to each other. Therefore, regardless of the angle ⁇ , the orthogonal projection length of the parallax line SL onto the straight line AB and the orthogonal projection length onto the straight line DC are the same, and the orthogonal projection length of the parallax line SL onto the straight line AD and the straight line BC The orthographic projection length to is the same. In this case, when the straight line AB is aligned with the reference axis, viewpoint pairs that form both end points of the straight line DC are wasted. Moreover, only the same orthogonal projection length can be obtained regardless of which of the straight line AD and the straight line BC is selected.
  • a viewpoint pair is formed by two equal dividing points having a central angle of (360 / n) ⁇ int (n / 2) among the plurality of equal dividing points.
  • int () is a function that returns an integer with the decimal point rounded down from the value in (). As shown in FIG. 4, this condition is naturally satisfied when each vertex of the triangle is the viewpoint.
  • n 4
  • two equal points that form a viewpoint pair become two equal points that form a central angle of 180 degrees. Therefore, as shown in FIG. B forms one viewpoint pair, and point D and point C form one viewpoint pair.
  • the equal dividing points A, B, C, and D divide the circle RC into four equal parts.
  • the length of the straight line AB and the straight line BC that is, the diameter of the circle RC is the distance L0 between the eyes.
  • the orthogonal projection lengths L1 and L2 can be obtained by the following equations (5) and (6).
  • L1 L0 ⁇
  • L2 L0 ⁇
  • FIG. 11 shows the relationship between the orthogonal projection lengths L1 and L2 and the angle ⁇ .
  • the straight line with the longest orthographic projection of the parallax line SL is selected as the target straight line from the straight line group (here, the straight lines AB and BC).
  • An effective parallax length as shown in FIG. 12 can be obtained.
  • the effective parallax length is always “L0 ⁇ cos 45” or more regardless of the angle ⁇ . That is, even in the worst case, it is possible to obtain a stereoscopic effect about “cos 45” times (approximately 71%) of the best case.
  • a pair of viewpoints is formed by dividing the circle into n equal parts (n: an integer equal to or greater than 3), with a central angle of (360 / n) x int (n / 2) at two equal points.
  • n an even number
  • n viewpoint pairs as shown in FIG. 10 can be obtained.
  • n viewpoint pairs can be obtained.
  • FIG. 13 shows an example where n is 5.
  • the equal points A, D, E, B, C divide the circle RC into five equal parts.
  • the center of the circle RC is the point O. Since the central angles AOB, AOE, BOD, COE, COD, and COE are (360/5) ⁇ int (5/2), A and B, A and E, B and D, C and D, and C and E Five parallax pairs are configured.
  • the length of the straight line connecting the two viewpoints of each parallax pair is the distance L0 between both eyes.
  • L1 L0 ⁇
  • L2 L0 ⁇
  • L3 L0 ⁇
  • L4 L0 ⁇
  • L5 L0 ⁇
  • FIG. 14 shows the relationship between the orthogonal projection lengths L1 to L5 and the angle ⁇ .
  • the straight line having the longest orthographic projection of the parallax line SL from the straight line group (here, straight lines AB, BD, DC, CE, AE) is set as the target straight line.
  • an effective parallax length as shown in FIG. 15 can be obtained.
  • the effective parallax length is always “L0 ⁇ cos 18” or more regardless of the angle ⁇ . That is, even in the worst case, it is possible to obtain a stereoscopic effect that is about “cos 18” times (approximately 95%) that of the best case.
  • FIG. 16 shows an example where n is 7.
  • the equivalence points A, E, F, G, B, C, and D divide the circle RC into seven equal parts.
  • the center of the circle RC is the point O. Since the central angles AOB, AOG, BOE, COE, COF, DOF, and DOG are (360/7) ⁇ int (7/2), A and B, A and G, B and E, C and E, and C F, D and F, and D and G constitute seven parallax pairs.
  • the length of the straight line connecting the two viewpoints of each parallax pair is the distance L0 between both eyes.
  • a straight line having the longest orthogonal projection of the parallax line SL is selected as a target straight line from a straight line group (here, straight lines AB, EG, DC, FB, AE, CG, DF). By doing so, an effective parallax length as shown in FIG. 18 can be obtained.
  • the effective parallax length is always “L0 ⁇ cos13” or more regardless of the angle ⁇ . That is, even in the worst case, it is possible to obtain a stereoscopic effect about “cos 13” times (approximately 97%) of the best case.
  • the technique according to the present invention sequentially displays a plurality of images each having a plurality of viewpoints, and when any image of a target image pair included in the plurality of images is displayed, And the field of view that does not correspond to the image of the right eye is shielded, and when the other image is displayed, the fields of view of both the left eye and the right eye are shielded. Therefore, as n is larger, the number of the plurality of images increases, and the ratio of the time during which the visual fields of both eyes are shielded to the total time for displaying the plurality of images increases. As a result, the observer may feel dark. This problem is particularly noticeable in the case of an image that is originally not bright.
  • n it is preferable to determine n according to the balance between the stereoscopic effect and the brightness according to the purpose and the like. For example, if a stereoscopic effect of about 86% or more at the best time is sufficient, n may be set to 3.
  • the technique according to the present invention may use an image having a circular center as a viewpoint in addition to the equally divided points.
  • the radius of the circle RC is the interval L0 between the eyes, and the viewpoint pair is formed by the center of the circle and each equally dividing point that divides the circle RC into n equal parts (n: an integer of 3 or more).
  • n is “3”, that is, the case of using four images with the viewpoints of the three equally dividing points dividing the circumference into three and the center of the circle will be described in detail.
  • the circle RC has a center A and a radius L0 between the eyes.
  • B, C, and D divide the circle RC into three equal parts.
  • the viewpoint pairs are (A, B), (A, C), (A, D).
  • the angle between the parallax line SL and the straight line AB that is, the inclination of the parallax line SL is ⁇ . Therefore, the angle formed between the parallax line SL and the straight line AC is “ ⁇ + 120”, and the angle formed between the parallax line SL and the straight line AD is “ ⁇ + 240”. That is, when the straight line AB is selected as the target straight line, that is, when the image A and the image B are selected as the target image pair, the parallax angle ⁇ is ⁇ . When the straight line AC is selected as the target straight line, that is, when the image A and the image C are selected as the target image pair, the parallax angle ⁇ is “ ⁇ + 120”. Further, when the straight line AD is selected as the target straight line, that is, when the image A and the image D are selected as the target image pair, the parallax angle ⁇ is “ ⁇ + 240”.
  • the orthographic projection lengths of the parallax lines SL on the straight lines AB, AC, and AD are L1, L2, and L3, respectively, and can be obtained by the following equations (12) to (14).
  • L1 L0 ⁇
  • L2 L0 ⁇
  • L3 L0 ⁇
  • FIG. 20 shows the relationship between the orthogonal projection lengths L1, L2, and L3 and the angle ⁇ .
  • the orthogonal projection length L1 is the longest when “0 ⁇ ⁇ ⁇ 30”.
  • the minimum value of the orthogonal projection length L1 is “L0 ⁇ cos30”.
  • the orthogonal projection length L3 is the longest. At this time, the minimum value of the orthogonal projection length L3 is “L0 ⁇ cos30”.
  • the orthogonal projection length L2 is the longest. At this time, the minimum value of the orthogonal projection length L2 is “L0 ⁇ cos30”.
  • the longest orthographic projection length becomes the orthographic projection length L1 again.
  • the minimum value of the orthogonal projection length L1 is “L0 ⁇ cos30”.
  • the longest orthographic projection length becomes the orthographic projection length L3 again.
  • the minimum value of the orthogonal projection length L3 is “L0 ⁇ cos30”.
  • the longest orthographic projection length becomes the orthographic projection length L2 again.
  • the minimum value of the orthogonal projection length L2 is “L0 ⁇ cos30”.
  • the longest orthographic projection length is the orthographic projection length L1.
  • the minimum value of the orthogonal projection length L1 is “L0 ⁇ cos30”.
  • the target straight line is selected from the straight line group having the straight lines AB, AC, and AD, the straight line having the longest orthogonal projection length of the parallax line SL is selected.
  • images having respective viewpoints at both end points of the target straight line are selected as the target image pair.
  • the orthogonal projection lengths L1 and L3 are both “L0 ⁇ cos30”, and the orthogonal projection length L2 is “0”. Therefore, there are two target straight lines, a straight line AB and a straight line AD.
  • the straight line AD is selected as the target straight line
  • the image (D, A) is selected as the target image pair, and the image A becomes the image for the right eye.
  • the image A is selected as the image for the left eye when ⁇ is less than 30 degrees, if the image A becomes the image for the right eye when ⁇ is 30 degrees, the viewer feels uncomfortable. . Therefore, when the angle ⁇ is 30 degrees, it is preferable to provide a hysteresis according to the rotation direction of the parallax line SL so that the straight line AB is selected as the target straight line.
  • FIG. 21 shows the relationship between the effective parallax length and the angle ⁇ obtained as a result of the above selection.
  • the effective parallax length is always “L0 ⁇ cos30” or more regardless of the angle ⁇ . Therefore, in this example, a stereoscopic effect that is “cos 30” times as large as the best (approximately 86%) can be obtained even in the worst case.
  • an optimal target image pair can be selected according to the inclination of the parallax line SL of each observer. Can be given.
  • n is “3”, that is, when four images are used with the viewpoints of three equal points that divide the circumference of the circle RC into three equal parts and the center of the circle. It is. n may be any number of 3 or more.
  • FIG. 23 shows the relationship between the orthogonal projection length of the parallax line SL on the straight line in the radial direction connecting the heart and the respective equally divided points and the angle ⁇ . Therefore, when the straight line having the longest orthogonal projection length of the parallax line SL is selected as the target straight line according to the angle ⁇ , the effective parallax length shown in FIG. 24 can be obtained.
  • n is “4”
  • n is “4”
  • three images using two of the four equal dividing points that divide the circumference RC into four and the center of the circle are used in detail is used. explain.
  • the equally dividing points B, C, D, and E divide the circle RC having a radius L0 between the eyes into four equal parts.
  • the equally divided points B and C are used. That is, only (A, B) and (A, C) are used as viewpoint pairs.
  • the orthogonal projection lengths L1 and L2 can be obtained by the following equations (15) and (16).
  • L1 L0 ⁇
  • L2 L0 ⁇
  • FIG. 26 shows the relationship between the orthogonal projection lengths L1 and L2 and the angle ⁇ .
  • the straight line having the longest orthogonal projection of the parallax line SL is selected as the target straight line from the straight line group (here, the straight lines AB and AC) at any angle ⁇ , an effective parallax length as shown in FIG. 27 is obtained. be able to.
  • the effective parallax length is always “L0 ⁇ cos 45” or more regardless of the angle ⁇ . That is, even in the worst case, it is possible to obtain a stereoscopic effect that is approximately “cos 45” times (approximately 70%) that is the best.
  • n is “6”, that is, a case where four images each using three of the six equal dividing points dividing the circumference RC into six and the center of the circle will be described.
  • the equally dividing points B, C, D, E, F, and G divide the circle RC having a radius L0 between the eyes into 6 equal parts.
  • the equivalence points B, C, and D are used. That is, only (A, B), (A, C), (A, D) are used as the parallax pairs.
  • the lengths of the orthogonal projections of the parallax lines SL onto the straight line AB, the straight line AC, and the straight line AD are represented by L1, L2, and L3, respectively, these orthogonal projection lengths are obtained by the following equations (17) to (19). Can do.
  • L1 L0 ⁇
  • L2 L0 ⁇
  • L2 L0 ⁇
  • FIG. 29 shows the relationship between the orthogonal projection lengths L1, L2, and L3 and the angle ⁇ .
  • the straight line having the longest orthogonal projection of the parallax line SL is selected as the target straight line from the straight line group (here, straight lines AB, AC, AD) at any angle ⁇
  • the effective parallax length as shown in FIG. Can be obtained.
  • the effective parallax length is always “L0 ⁇ cos30” or more regardless of the angle ⁇ . Therefore, even in the worst case, it is possible to obtain a stereoscopic effect that is “cos 30” times as large as the best (approximately 86%).
  • FIG. 2 is compared with the example shown in FIG.
  • FIG. 2 is an example in which three viewpoint pairs are formed by three equal dividing points that divide a circle into three equal parts.
  • FIG. 28 is an example in which three viewpoint pairs are formed by three consecutive points out of six equal points that divide a circle into six and a circle center.
  • the effective parallax length is “L0 ⁇ cos30” or more.
  • only three images are necessary, whereas in the example of FIG. 28, four images (A, B, C, D) are necessary.
  • the circle is divided into ten equal parts. It is necessary to form six viewpoint pairs with five consecutive points of ten equal points and a circle center. Also, as in the example shown in FIG. 16, in order to obtain the same effective parallax length as in the case where seven viewpoint pairs are formed by seven equal dividing points that divide the circle into seven equal parts, the circle is divided into 14 equal parts. It is necessary to form eight viewpoint pairs with seven consecutive points and a circle center of the equal dividing points.
  • FIG. 10 shows an example in which two viewpoint pairs are formed by four equal dividing points that divide a circle into four equal parts.
  • FIG. 25 is an example in which two viewpoint pairs are formed by two consecutive points out of four equal points that divide a circle into four and a circle center.
  • the effective parallax length is “L0 ⁇ cos45” or more.
  • four images A, B, C, D
  • only three images A, B, C are required. is required.
  • a viewpoint and a viewpoint pair may be determined according to the minimum required effective parallax length on the assumption that the number of necessary images is as small as possible.
  • the minimum execution parallax length increases as the number of viewpoint pairs increases, but the number of images displayed increases as the number of viewpoint pairs increases. The greater the number of images required, the longer the device and time required to acquire these images.
  • the larger the number of the plurality of images that are candidates for the two images of the target image pair the ratio of the time that the visual fields of both eyes are shielded together to the total time for displaying the plurality of images And the observer may feel dark.
  • each vertex of the equilateral triangle ABC is set as a viewpoint as shown in FIG. 4 rather than the case shown in FIGS. It is preferable to use three images.
  • FIG. 31 shows an image system 100 according to an embodiment of the present invention.
  • the image system 100 includes an image acquisition device 110, a composition device 120, an image display device 130, and a control device 150.
  • A, B, and C indicate the viewpoint of the image.
  • the images A, B, and C are images each having the equilateral triangle ABC shown in FIG. 4 as viewpoints, and the viewpoints A, B, and C have three viewpoint pairs. Form.
  • the image system 100 sequentially outputs an image A and an image B obtained by simultaneously capturing images to the synthesis device 120.
  • the synthesizing device 120 synthesizes the image C from the image A and the image B to obtain the image C, and sequentially outputs the images A, B, and C to the image display device 130.
  • the image display device 130 sequentially displays the images A, B, and C, and outputs a synchronization signal S1 that can indicate which of the images A, B, and C is currently displayed to the control device 150.
  • the eyeglasses 140 are worn by an observer of the image displayed on the image display device 130, and output tilt information S2 described later to the control device 150.
  • the control device 150 controls the glasses 140 by generating a control signal S3 based on the synchronization signal S1 and the tilt information S2 and outputting the control signal S3 to the glasses 140.
  • transmission of signals between the image display device 130 and the control device 150 and between the control device 150 and the glasses 140 is performed via a wireless communication means (not shown) such as infrared rays.
  • FIG. 32 is a diagram showing the image acquisition device 110.
  • the image acquisition device 110 includes a first imaging unit 112, a second imaging unit 114, and an output unit 116.
  • the first imaging unit 112 captures the subject from the viewpoint A, obtains an image A, and outputs the image A to the output unit 116.
  • the second imaging unit 114 captures the same subject from the viewpoint B, obtains an image B, and outputs the image B to the output unit 116.
  • the distance between the viewpoints A and B is the distance L0 between both eyes.
  • the output unit 116 outputs the image A from the first image capturing unit 112 and the image B from the second image capturing unit 114 to the synthesizing device 120 successively in the order of A and B.
  • FIG. 33 is a diagram showing the synthesis device 120.
  • the synthesizer 120 includes a vector acquisition unit 122, a vector rotation unit 124, an image generation unit 126, and an output unit 128.
  • the vector acquisition unit 122 calculates a disparity vector for the image A and the image B and outputs them to the vector rotation unit 124 and the image generation unit 126.
  • the parallax vector will be described.
  • Image A and image B are images obtained by imaging the subject from the viewpoint A and the viewpoint B at the same time. Such two images are obtained by imaging from the same viewpoint when the subject moves in the direction from point A or point B by the distance between point A and point B (interval between both eyes L0). Can be regarded as two frames of a moving image. Image A corresponds to the frame before the subject moves, and image B corresponds to the frame after the subject moves.
  • a motion vector for each block can be calculated between the two frames.
  • the disparity vector is a component of the motion vector in the direction from point A to point B.
  • the vector rotation unit 124 rotates each parallax vector so that the direction of each parallax vector calculated by the vector acquisition unit 122 is a direction from point A to point C.
  • the vector rotation unit 124 rotates each parallax vector calculated by the vector acquisition unit 122 downward by 60 degrees.
  • the vector rotation unit 124 outputs the parallax vector after rotation to the image generation unit 126.
  • the image generation unit 126 generates an image C using the image A and the parallax vector after rotation from the vector rotation unit 124.
  • Images A and C are also moving images obtained from the same viewpoint when the subject moves in the direction toward point A or point C by the distance between point A and point C (interval L0 between both eyes).
  • the image A corresponds to a frame before the subject moves
  • the image C corresponds to a frame after the subject moves. Therefore, assuming that the image A and the image C are two frames of a moving image, and the disparity vector after rotation from the vector rotation unit 124 is a motion vector, the image C can be generated.
  • FIG. 34 shows an example of the flow of the image C composition processing by the composition device 120.
  • the vector acquisition unit 122 calculates a difference in the x direction for each block of the image A and the image B.
  • the block area where there is no difference between image A and image B is the background area.
  • the vector acquisition unit 122 removes the background region from the image A (the foreground of the image A, ie, the subject image A1), and removes the background region from the image B (the foreground of the image B, ie, the image B).
  • the parallax vector of each block is calculated from the image B1) of the subject portion by a technique such as block matching.
  • the vector rotation unit 124 rotates each vector calculated by the vector acquisition unit 122 downward 60 degrees.
  • Step 3> The image generation unit 126 moves each block of the foreground image A1 of the image A according to the direction and distance indicated by the parallax vector rotated by the vector rotation unit 124 corresponding to the block.
  • the foreground image A1 after the movement becomes the foreground image C1 of the image C.
  • the image generation unit 126 combines the background region image obtained in step 1 with the foreground image C1 obtained in step 3 to obtain an image C.
  • the insufficient portion of the background region image obtained in step 1 may be generated by interpolation or the like with reference to the matching portion between image A and image B.
  • the output unit 128 outputs the images A and B from the image acquisition device 110 and the image C obtained by the image generation unit 126 in the order of A, B, and C.
  • the image display device 130 sequentially displays the images A, B, and C from the synthesizing device 120 and outputs the synchronization signal S1 indicating which image is displayed.
  • FIG. 35 is a diagram showing the glasses 140.
  • the spectacles 140 includes a left eye 142, a right eye 144, a sensor 146, and a shutter driving unit 148.
  • the left eye part 142 and the right eye part 144 have shutters (not shown) driven by a shutter driving part 148, and can block the left eye field and the right eye field of the observer wearing the glasses 140, respectively.
  • the sensor 146 is provided on the frame of the eyeglasses 140, detects the inclination of the eyeglasses 140, that is, the inclination of the straight line (parallax line SL) connecting the left eye part 142 and the right eye part 144, and obtains inclination information S2 indicating the inclination. Output. Note that the inclination detected by the sensor 146 corresponds to the angle ⁇ described above.
  • the sensor 146 is an acceleration sensor, for example.
  • the shutter driving unit 148 drives the shutters of the left eye part 142 and the right eye part 144 so as to shield one or both of the left eye field and the right eye field according to the control signal S3 from the control device 150.
  • FIG. 36 is a diagram showing the control device 150.
  • the control device 150 includes a reception unit 152 and a control execution unit 154.
  • the receiving unit 152 receives the synchronization signal S1 from the image display device 130 and the tilt information S2 from the glasses 140.
  • the control execution unit 154 selects two images in the images A, B, and C as target image pairs based on the synchronization signal S1 and the inclination information S2, and any image of the target image pair is displayed. Sometimes, the shutter driving of the glasses 140 is performed so that one of the left eye and the right eye that does not correspond to the image is blocked, and when an image other than the target image pair is displayed, both the left eye and the right eye are blocked.
  • the control signal S3 is output to the unit 148.
  • the method for selecting a target image pair by the control execution unit 154 is as described in the example shown in FIG.
  • FIG. 37 shows a correspondence relationship between the tilt of the observer's head (or the position of the observer), the selected target image pair, and the occlusion state of the left-eye and right-eye fields in the image system 100.
  • FIG. 37 shows the inclination of the observer's head viewed from the front of the observer. This inclination corresponds to the angle ⁇ described above.
  • the image (A, B) is selected as the target image pair. Is done. Then, when the image A is displayed, the visual field of the right eye is shielded (OFF), and when the image B is displayed, the visual field of the left eye is shielded. In addition, when the image C is displayed, the visual fields of both eyes are shielded.
  • the image (B, A) is selected.
  • the left eye field of view is blocked
  • the image B is displayed
  • the right eye field of view is blocked.
  • the image C is displayed, the visual fields of both eyes are shielded.
  • the best stereoscopic effect of 86% or more can always be obtained.
  • the tilt information S2 and the control signal S3 are in a one-to-one relationship, even when a plurality of observers go from different positions to the screen, an optimal stereoscopic effect can be given to each observer. .
  • the image acquisition device 110 acquires the images of the viewpoint A and the viewpoint B using the first imaging unit 112 and the second imaging unit 114, and synthesizes the image of the viewpoint C using the image generation unit 126.
  • the image acquisition device 110 may be provided with three imaging units, and the images of the viewpoints A, B, and C may be acquired by these three imaging units.
  • composition device 120 may be included in the image acquisition device 110 or the image display device 130.
  • the image display device 130 When the synthesizing device 120 is included in the image display device 130, the image display device 130 preferably synthesizes the image C while displaying the images A and B. By doing so, it is not necessary to delay the display of the images A and B for the synthesis of the image C, so that the processing of the entire image system 100 is accelerated.
  • the control device 150 controls only one spectacle 140, but if the inclination information S2 from the spectacles 140 and the control signal S3 from the control device 150 have a one-to-one relationship, One control device 150 may receive each inclination information S2 from the plurality of glasses 140 and output a control signal S3 to each of the glasses 140.
  • control device 150 may be included in the glasses 140.
  • the image system 100 is an example using three images having three vertexes of an equilateral triangle as viewpoints as images of a plurality of viewpoints, but the principle of the present invention is described as the images of the plurality of viewpoints. You may use the image of the various viewpoints described when doing.
  • the method of synthesizing the image C from the image A and the image B is not only the synthesis of the image having the third vertex from the two images each having the two vertices of the equilateral triangle as viewpoints, but also the principle of the present invention.
  • the present invention can be applied to the synthesis of images from other viewpoints from the image A and the image B with respect to the various examples described in the description.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　点Ａ、Ｂ、Ｃを夫々視点とする複数の画像を順次表示すると共に、視差線（ＳＬ）の傾き（θ）を検出する。検出した傾きに応じて、上記複数の画像のうちの２つである目標画像ペアを選出すると共に、該目標画像ペアのいずれの画像が表示されているときには、左目と右目のうちの該画像に対応しない片方の視野を遮蔽し、目標画像ペア以外の画像が表示されているときには、左目と右目のいずれの視野も遮蔽するように眼鏡の左目部と右目部を制御する。目標画像ペアは、長さが両目間間隔（Ｌ０）である直線ＡＢ、ＡＣ、ＢＣのうちの、視差線（ＳＬ）の該直線への正射影が最も長い直線の両端点を夫々視点とする２つの画像である。該技術によれば、両眼式立体視方式の画像システムにおいて、観察者の眼鏡が傾いた場合や、位置の異なる複数の観察者がいる場合にも、観察者に良好な立体視効果を与える。

Description

画像表示方法、制御装置、眼鏡、画像システム及び合成装置
　本発明は、両眼視差画像により立体視を得る技術に関する。
　立体映像表示方式として、レンチキュラ方式（特許文献１）や両眼式立体視方式などが知られている。
　両眼式立体視方式は、両眼視差を利用して立体視を得る方式であり、両眼視差画像を連続して表示すると共に、観察者に装着された眼鏡が、左目の視点からの画像が表示されているときには右目の視野を遮蔽し、右目の視点からの画像が表示されているときには左目の視野を遮蔽することにより、観察者に立体視を与える。なお、「両眼視差」は、左目と右目で見える像の位置あるいは視方向における差異を意味し、以下の説明において、単に「視差」ともいう。また、「両眼視差画像」は、両目間間隔とほぼ一致する距離を離れた２つの位置を夫々視点とする同一の被写体の２つの画像である。
　両眼式立体視方式に関して、様々なシステムが提案されている。
　例えば、特許文献２と特許文献３に開示されたシステムは、被写体に対して夫々複数の方向からとらえた複数の画像信号を連続的に画像表示装置に表示すると共に、画像表示装置に対する観察者の視線の方向を検出する。そして、観察者に装着された眼鏡は、検出した視線の方向に合致する方向からとらえた２つの画像信号を選択して、左目と右目の視野を遮蔽するタイミングを制御する。
　また、特許文献４と特許文献５に開示されたシステムは、眼鏡の傾きを検出し、検出した傾きに応じて、被写体に対して複数の異なる方向からとらえた画像から表示すべき２つの画像を選出した表示するシステムが開示されている。
特開平０６－１４８７６３号公報 特開平０４－２４１５９３号公報 特開２００２－３００６０６号公報 特開２００６－８４９６３号公報 特開平１１－３４１５１７号公報
　特許文献２と特許文献３に開示されたシステムでは、眼鏡が、表示装置に対する観察者の視線の方向に基づいて画像信号の選択をしている。観察者が、表示装置を中心として、表示画面から放射線状に配置される線上に移動する場合には、移動に応じて観察者の視線の方向が変わるが、観察者が横になるなど、観察者に装着された眼鏡が視線に対して、傾いた場合には、表示装置に対する観察者の視線が変わらない。そのため、特許文献２と特許文献３に開示されたシステムでは、観察者の眼鏡が傾いた場合には、観察者に良好な立体視を与えることができない。
　特許文献４と特許文献５に開示されたシステムでは、表示装置により適切な２つの画像を選出して表示している。そのため、これらのシステムは、位置の異なる複数の観察者がいる場合に適用することができない。
　本発明は、上記事情に鑑みてなされたものであり、両眼式立体視方式の画像システムにおいて、観察者の眼鏡が傾いた場合にも観察者に良好な立体視を与えることができると共に、位置の異なる複数の観察者がいる場合にも適用できる技術を提供する。
　本発明の１つの態様は、画像表示方法である。この画像表示方法は、夫々異なる複数の視点からの同一の被写体の複数の画像を順次表示し、表示された画像の観察者に装着され、観察者の左目と右目の視野を遮蔽可能な眼鏡の左目部と右目部を結ぶ直線である視差線の傾きを検出し、検出した傾きに応じて、上記複数の画像のうちの２つからなる目標画像ペアを選出すると共に、該目標画像ペアのいずれの画像が表示されているときには、左目と右目のうちの該画像に対応しない片方の視野を遮蔽し、前記目標画像ペア以外の画像が表示されているときには、左目と右目のいずれの視野も遮蔽するように前記眼鏡の左目部と右目部を制御する。
　上記複数の視点は、被写体に面する同一の平面上の夫々異なる位置の３つ以上の視点であり、各前記視点が、少なくとも１つの他の前記視点と、距離が両目間間隔である視点ペアを形成する。
　目標画像ペアは、上記複数の視点に含まれる複数の視点ペアの夫々の２つの視点を結ぶ複数の直線である直線群内の目標直線の両端点を夫々視点とする２つの画像である。目標直線は、視差線を上記平面に移動したと仮定した場合に、上記直線群において、該直線への視差線の正射影が最も長い直線である。
　なお、上記態様の方法を装置やシステムに置換えて表示したものや、上記方法における眼鏡の制御方法及び該制御方法を実行する装置や、該制御方法をコンピュータに実行せしめるプログラムなども、本発明の態様としては有効である。
　本発明にかかる技術によれば、両眼式立体視方式の画像システムにおいて、観察者の眼鏡が傾いた場合にも観察者に良好な立体視を与えることができると共に、位置の異なる複数の観察者がいる場合にも適用することができる。
本発明にかかる技術の原理を説明するための図である。 視差角度を説明するための図である。 実効視差長と視差角度の関係を示す図である。 円の等分点のみを視点に用いる場合の例を示す図である。 本発明にかかる技術を図４に示す例に適用した場合を説明するための図である（その１）。 本発明にかかる技術を図４に示す例に適用した場合を説明するための図である（その２）。 本発明にかかる技術を図４に示す例に適用した場合を説明するための図である（その３）。 本発明にかかる技術を図４に示す例に適用した場合に得られる実効視差長を示す図である。 円の等分点のみを視点に用いる場合の別の例を示す図である。 図９に示す例より好ましい例を示す図である。 本発明にかかる技術を図１０に示す例に適用した場合を説明するための図である。 本発明にかかる技術を図１０に示す例に適用した場合に得られる実効視差長を示す図である。 円の等分点のみを視点に用いる場合の別の例を示す図である。 本発明にかかる技術を図１３に示す例に適用した場合を説明するための図である。 本発明にかかる技術を図１３に示す例に適用した場合に得られる実効視差長を示す図である。 円の等分点のみを視点に用いる場合の別の例を示す図である。 本発明にかかる技術を図１６に示す例に適用した場合を説明するための図である。 本発明にかかる技術を図１６に示す例に適用した場合に得られる実効視差長を示す図である。 円の等分点と円心を視点に用いる場合の例を示す図である。 本発明にかかる技術を図１９に示す例に適用した場合を説明するための図である。 本発明にかかる技術を図１９に示す例に適用した場合に得られる実効視差長を示す図である。 円の等分点と円心を視点に用いる場合の別の例を示す図である。 本発明にかかる技術を図２２に示す例に適用した場合を説明するための図である。 本発明にかかる技術を図２２に示す例に適用した場合に得られる実効視差長を示す図である。 円の等分点と円心を視点に用いる場合の別の例を示す図である。 本発明にかかる技術を図２５に示す例に適用した場合を説明するための図である。 本発明にかかる技術を図２５に示す例に適用した場合に得られる実効視差長を示す図である。 円の等分点と円心を視点に用いる場合の別の例を示す図である。 本発明にかかる技術を図２８に示す例に適用した場合を説明するための図である。 本発明にかかる技術を図２８に示す例に適用した場合に得られる実効視差長を示す図である。 本発明の実施の形態にかかる画像システムを示す図である。 図３１に示す画像システムにおける画像取得装置を示す図である。 図３１に示す画像システムにおける合成装置を示す図である。 図３３に示す合成装置による処理の流れの例を示す図である。 図３１に示す画像システムにおける眼鏡を示す図である。 図３１に示す画像システムにおける制御装置を示す図である。 図３１に示す画像システムにおいて、観察者の頭部の傾きと、選択された目標画像ペアと、左目及び右目の視野の遮蔽状況との対応関係を示す図である。
　以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェアとソフトウェア（プログラム）の組合せによっていろいろな形で実現できることは当業者には理解されるところであり、ハードウェアとソフトウェアのいずれかに限定されるものではない。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
　また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ　ｓｔｏｒａｇｅ　ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　本発明の具体的な実施の形態を説明する前に、本発明にかかる技術の原理を説明する。説明上の便宜のため、まず、いくつかの用語を定義する。
　前述したように、両眼式立体視方式は、両眼視差画像に含まれる２つの画像を連続して表示すると共に、観察者に装着された眼鏡が、左目の視点からの画像が表示されているときには右目の視野を遮蔽し、右目の視点からの画像が表示されているときには左目の視野を遮蔽することにより、観察者に立体視を与える方式である。以下の説明において、画像と、該画像に対応する視点とについて、同じ符号を用いる。例えば、点Ａを視点とする画像を「画像Ａ」といい、画像Ａの視点は、点Ａとなる。
　また、観察者に装着された眼鏡の左目部と右目部を結ぶ直線を「視差線」という。視差線の長さは、両目間間隔Ｌ０である。なお、両目間間隔Ｌ０は、例えば、平均的な、両目の瞳間の間隔とすることができる。
　ここで、図１を参照して、「視点ペア」、「視差角度」、「実効視差長」、「視差線の傾き」を定義する。
　図１の左部分は、両眼視差画像に含まれる２つの画像の視点（Ａ、Ｂ）と被写体１の位置関係を示す。視点Ａと視点Ｂを結ぶ直線ＡＢの長さが両目間間隔Ｌ０であり、直線ＡＢを挟んで被写体側の反対側から見た際に、Ａは左端点であり、Ｂは右端点である。以下において、両眼視差画像に含まれる２つの画像の視点、すなわち距離が両目間間隔Ｌ０である２つの視点を「視点ペア」という。
　表示された画像を観察する際に、観察者の視差線は、通常、表示画面と平行する平面に含まれると考えられる。図Ｂの右部に示す直線ＳＬは、視差線の表示画面２への正射影であり、直線ＳＬの矢印は、視差線の左目部から右目部に向かう方向を示す。
　表示画面２上にある直線Ａ'Ｂ'は、直線ＡＢが表示画面上に位置し、かつ、点Ａが、直線ＳＬの左目部に対応する端点になるように、直線ＡＢと被写体１との相対位置関係を変えずに、直線ＡＢと被写体を移動した場合の直線ＡＢである。
　両眼式立体視方式により画像Ａと画像Ｂを観察する際に、直線Ａ'Ｂ'と直線ＳＬが重なるとき、すなわち直線Ａ'Ｂ'と直線ＳＬの成す角度αが「０」であるとき、最も良い立体視効果を得ることができる。本明細書において、直線Ａ'Ｂ'と直線ＳＬが成す角度αを「視差角度」といい、直線Ａ'Ｂ'への直線ＳＬの正射影の長さ（図中Ｌ１）を「実効視差長」という。なお、この「視差角度」は、両眼式立体視方式で通常「輻輳角」と呼ばれる角度と異なる意味を有することを注意されたい。
　分かりやすいように、以下において、直線Ａ'Ｂ'を直線ＡＢとして説明し、直線ＳＬを視差線として説明する。
　また、「視差線の傾き」は、直線ＳＬと、表示画面に含まれる所定の基準軸と成す角度である。この所定の基準軸は、通常想定される観察状況において、視差線と成す角度が「０」である直線を意味する。
　例えば、画像表示装置の表示画面が地面に対して垂直である場合に、「観察者が頭部を上に、かつ頭部を左右に傾けないように画面に向かう」状況は、通常想定される観察状況といえる。この場合、上記基準軸は、画面に向かう方向から見て、左から右に向かう水平直線となる。
　また、例えば、画面表示装置の表示画面が地面に対して水平である場合には、「通常想定される観察位置から、観察者が頭部を左右に傾けないように、画面を俯瞰する」状況は、通常想定される観察状況といえる。この場合、上記基準軸は、通常想定される観察位置から画面を俯瞰した際に、左から右に向かう水平直線となる。
　また、両眼視差画像の２つの画像の視点Ａと視点Ｂも、通常、直線ＡＢが上記基準軸に平行し、かつ、点Ａから点Ｂに向かう方向が基準軸と同じ方向になるように設定される。すなわち、通常想定される観察状況において、視差線の傾きが無く、視差角度αが０度であり、実効視差長が両目間間隔Ｌ０である。
　ところで、観察者が頭部を傾けたとき、観察者が通常の観察位置とは異なる位置にいるときなどの場合において、視差線が傾き、視差角度αが０度ではなくなる。
　図２を参照して、視差角度αと、立体視効果との関係について考える。なお、基準軸を直線ＡＢとする。
　図２に示すように、視差角度αが「０」～「３６０」度の範囲内で変化する場合、視差線ＳＬの直線ＡＢへの正射影の長さが変化する。正射影の長さは、以下「正射影長」といい、図２の例において、正射影長Ｌ１は、実効視差長と同様である。
　正射影長Ｌ１は、下記の式（１）に示すように、両目間間隔Ｌ０と、視差角度αの余弦値の絶対値との積で表わすことができる。
　Ｌ１＝Ｌ０×｜ｃｏｓα｜　　　（１）
　図３は、実効視差長（正射影長Ｌ１）と視差角度αとの関係を示す。図３において、実線曲線は、実効視差長を示し、点線曲線は、「Ｌ０×ｃｏｓα」を示す。視差角度αが「０度～９０度」と「２７０度～３６０度」の範囲内にある場合に、正射影長Ｌ１と「Ｌ０×ｃｏｓα」が重なるため、「Ｌ０×ｃｏｓα」を表す点線を下にずらして示している。
　・０度≦視差角度α＜９０度
　この場合、正射影長Ｌ１は、αの増大に従って減少する。すなわち、視差角度αが０度であるときに、実効視差長が両目間間隔Ｌ０であり、最も良い立体視効果を得ることができる。視差角度αが大きいほど、実効視差長が短くなり、立体視効果が悪くなる。なお、この角度範囲においては、両眼式立体視方式により画像Ａと画像Ｂを観察する際に、画像Ａが表示されているときに右目の視野を、画像Ｂが表示されているときに左目の視野を遮蔽するようになる。
　・視差角度α＝９０
　この場合、視差線ＳＬの直線ＡＢへの正射影が無く、正射影長Ｌ１は、「０」である。観察者は、ずれた２枚の画像を見ることになり、立体視効果を得ることができない。
　・９０度＜視差角度α≦１８０度
　この場合、両眼式立体視方式により画像Ａと画像Ｂを観察する際に、「０度≦視差角度α＜９０度」の場合とは逆に、画像Ａが表示されているときに左目の視野を、画像Ｂが表示されているときに右目の視野を遮蔽する必要になる。
　また、図３から分かるように、視差角度αがこの角度範囲にあるときに、正射影長Ｌ１すなわち実効視差長は、視差角度αの増大と共に大きくなる。そのため、立体視効果も、視差角度αが大きいほど良くなる。
　・１８０度≦視差角度α＜２７０度
　この場合においても、画像Ａが表示されているときに左目の視野を、画像Ｂが表示されているときに右目の視野を遮蔽することになる。
　また、図３から分かるように、視差角度αがこの角度範囲にあるときに、正射影長Ｌ１すなわち実効視差長は、視差角度αの増大と共に小さくなる。そのため、立体視効果も、視差角度αが大きいほど悪くなる。
　・視差角度α＝２７０
　この場合、視差線ＳＬの直線ＡＢへの正射影が無く、正射影長Ｌ１は、「０」である。観察者は、ずれた２枚の画像を見ることになり、立体視効果を得ることができない。
　・２７０度＜視差角度α≦３６０度
　この場合において、「０度≦視差角度α＜９０度」の場合と同様に、画像Ａが表示されているときに右目の視野を、画像Ｂが表示されているときに左目の視野を遮蔽することになる。
　また、図３から分かるように、視差角度αがこの角度範囲にあるときに、正射影長Ｌ１すなわち実効視差長は、視差角度αの増大と共に大きくなる。そのため、立体視効果も、視差角度αが大きいほど良くなる。
　このように、視差角度αの変化に伴って、実効視差長は、最短値の「０」と、最長値の「Ｌ０」間で変動する。
　この知見に基づき、本願発明者は、両眼式立体視方式の画像システムにおいて、観察者の眼鏡が傾いた場合にも観察者に良好な立体視を与えることができると共に、位置の異なる複数の観察者がいる場合にも適用できる手法を確立した。
　この手法は、被写体に面する同一の平面上の夫々異なる位置の３つ以上の複数の視点からの被写体の複数の画像を順次表示する。各視点は、少なくとも１つの他の視点と視点ペアを形成する。
　そして、観察者に装着された眼鏡の左目部と右目部を結ぶ直線（視差線ＳＬ）の傾きに応じて、上記複数の画像のうちの２つからなる目標画像ペアを選出すると共に、該目標画像ペアのいずれの画像が表示されているときには、左目と右目のうちの該画像に対応しない片方の視野を遮蔽し、目標画像ペア以外の画像が表示されているときには、左目と右目のいずれの視野も遮蔽するように眼鏡の左目部と右目部を制御する。
　なお、目標画像ペアは、目標直線の両端点を夫々視点とする２つの画像である。目標直線は、上記複数の視点に含まれる複数の視点ペアの夫々の２つの視点を結ぶ複数の直線である直線群内の、上記複数の視点が位置する平面上に視差線を移動したと仮定した場合に、視差線ＳＬの該直線への正射影が最も長い直線である。
　上記複数の視点は、例えば、円の円周をｎ等分（ｎ：３以上の整数）する複数の等分点とすることができる。
　ここで、まず、ｎが「３」である場合、すなわち円を３等分する３つの等分点を夫々視点とする複数の画像を用いる場合を説明する。
　図４に示すように、点Ａ、Ｂ、Ｃは、円ＲＣを３等分する等分点である。また、この３つの等分点のいずれか２つを結ぶ直線（ＡＢ、ＣＢ、ＡＣ）の長さは、両目間間隔Ｌ０である。すなわち、点Ａ、Ｂ、Ｃは、辺の長さが両目間間隔Ｌ０である正三角形の３つの頂点であり、点Ａ、Ｂ、Ｃは、（Ａ、Ｂ）、（Ｂ、Ｃ）、（Ａ、Ｃ）の３つの視点ペアを形成する。
　視差線ＳＬと直線ＡＢの成す角度、すなわち視差線ＳＬの傾きがθである。そのため、視差線ＳＬと直線ＡＣが成す角度は「６０－θ」であり、視差線ＳＬと直線ＢＣが成す角度は「θ＋６０」である。すなわち、直線ＡＢを目標直線として選出する場合、つまり画像Ａと画像Ｂを目標画像ペアとして選出する場合には、視差角度αがθである。また、直線ＡＣを目標直線として選出する場合、つまり画像Ａと画像Ｃを目標画像ペアとして選出する場合には、視差角度αが「６０－θ」である。また、直線ＢＣを目標直線として選出する場合、つまり画像Ｂと画像Ｃを目標画像ペアとして選出する場合には、視差角度αが「θ＋６０」である。
　視差線ＳＬの直線ＡＢ、ＡＣ、ＢＣへの正射影長は、夫々Ｌ１、Ｌ２、Ｌ３であり、下記の式（２）～（４）で求めることができる。
　　　　　Ｌ１＝Ｌ０×｜ｃｏｓθ｜　　　　　　　　（２）
　　　　　Ｌ２＝Ｌ０×｜ｃｏｓ（６０－θ）｜　　　（３）
　　　　　Ｌ３＝Ｌ０×｜ｃｏｓ（θ＋６０）｜　　　（４）
　図５は、正射影長Ｌ１、Ｌ２、Ｌ３と角度θの関係を示す。
　図５に示すように、「０≦θ≦３０」のときに、正射影長Ｌ１が最も長い。また、このときに、正射影長Ｌ１の最小値は「Ｌ０×ｃｏｓ３０」である。
　「３０≦θ≦９０」のときに、正射影長Ｌ２が最も長い。また、このときに、正射影長Ｌ２の最小値は「Ｌ０×ｃｏｓ３０」である。
　「９０≦θ≦１５０」のときに、正射影長Ｌ３が最も長い。また、このときに、正射影長Ｌ３の最小値は「Ｌ０×ｃｏｓ３０」である。
　「１５０≦θ≦２１０」のときに、最も長い正射影長は再び正射影長Ｌ１になる。また、このときに、正射影長Ｌ１の最小値は「Ｌ０×ｃｏｓ３０」である。
　「２１０≦θ≦２７０」のときに、最も長い正射影長は再び正射影長Ｌ２になる。また、このときに、正射影長Ｌ２の最小値は「Ｌ０×ｃｏｓ３０」である。
　「２７０≦θ≦３３０」のときに、最も長い正射影長は再び正射影長Ｌ３になる。また、このときに、正射影長Ｌ３の最小値は「Ｌ０×ｃｏｓ３０」である。
　「３３０≦θ≦３６０」のときに、最も長い正射影長は正射影長Ｌ１になる。また、このときに、正射影長Ｌ１の最小値は「Ｌ０×ｃｏｓ３０」である。
　画像（Ａ、Ｂ）のみを目標画像ペアとして選択した場合には、正射影長Ｌ１は、実効視差長になる。図５に示すように、この場合、実効視差長すなわち正射影長Ｌ１は、角度θに応じて、「０」以上「Ｌ０」以下の範囲内で変動する。
　画像（Ａ、Ｃ）のみを目標画像ペアとして選択した場合には、正射影長Ｌ２は、実効視差長になる。この場合においても、実効視差長は、角度θに応じて、「０」以上「Ｌ０」以下の範囲内で変動する。
　画像（Ｂ、Ｃ）のみを目標画像ペアとして選択した場合も同様に、実効視差長すなわち正射影長Ｌ３は、「０」以上「Ｌ０」以下の範囲内で変動する。
　これでは、観察者は、良い立体視効果を得ることができない。
　本発明にかかる技術は、各視点ペアの両視点を結ぶ直線（ここでは直線ＡＢ、ＡＣ、ＢＣ）を含む直線群から目標直線を選出する際に、視差線ＳＬの正射影長が最も長い直線を選出する。この目標直線の選出により、目標した目標直線の両端点を夫々視点とする画像は、目標画像ペアとして選択される。
　図６は、角度θが０度から１８０度へ変化する場合に、角度θに応じて選出された目標画像ペア示す。また、図７は、角度θが１８０度から３６０度へ変化する場合に、角度θに応じて選出された目標画像ペア示す。
　図６に示すように、角度θが０度から３０度に増大する場合に、正射影長Ｌ１は「Ｌ０」から（Ｌ０×ｃｏｓ３０）まで短くなり、正射影長Ｌ２は、「Ｌ０×１／２」から「Ｌ０×ｃｏｓ３０」に長くなる。正射影長Ｌ３は、「Ｌ０×１／２」から「０」まで短くなる。そのため、角度θが３０度未満の時には、目標直線として直線ＡＢが選択され、目標画像ペアとして画像（Ａ、Ｂ）が選択される。
　角度θが３０度であるときには、正射影長Ｌ１とＬ２は共に「Ｌ０×ｃｏｓ３０」であり、正射影長Ｌ３は「０」である。そのため、目標直線として直線ＡＢと直線ＡＣの２つになる。このとき、目標直線として直線ＡＣと直線ＡＣのいずれを選択してもよい。
　図８は、図６と図７に示すように、０度～３６０の範囲内で変動する角度θに応じて目標直線及び目標画像ペアを選択した場合に、実効視差長と角度θとの関係を示す。
　図８に示すように、角度θに関わらず、実効視差長は、常に「Ｌ０×ｃｏｓ３０」以上である。前述したように、視差角度αが「０」であるとき、すなわち実効視差長が両目間間隔Ｌ０であるときに最も良い立体視効果を得ることができる。この例では、最も悪いときでも、最も良いときの「ｃｏｓ３０」倍（大凡８６％）の立体視効果を得ることができる。
　また、複数の異なる位置の観察者がいる場合においても、夫々の観察者の視差線ＳＬの傾きに応じて最適な目標画像ペアを選出することができるため、各観察者に最適な立体視効果を与えることができる。
　図４に示す例は、ｎが「３」である場合、すなわち円ＲＣの円周を３等分する３つの等分点（正三角形の３つの頂点）を夫々視点し、この３つの頂点のうちの全ての２つの視点の組合せで視点ペアを形成する場合の例である。本発明にかかる技術は、ｎが３以上の任意の整数である場合にも適用することができる。
　図９は、ｎが「４」であり、すなわち円ＲＣを４等分する４つの等分点（Ａ、Ｂ、Ｃ、Ｄ）を視点とする場合の一例である。また、図９に示す例は、隣接する２つの等分点同士を視点ペアとする場合の例である。
　図示のように、この場合、直線ＡＢと直線ＤＣが互いに平行し、直線ＡＤと直線ＢＣも互いに平行する。そのため、角度θがいかなる角度であっても、視差線ＳＬの直線ＡＢへの正射影長と直線ＤＣへの正射影長が同じであり、視差線ＳＬの直線ＡＤへの正射影長と直線ＢＣへの正射影長も同じである。これでは、直線ＡＢを基準軸に合わせた場合には、直線ＤＣの両端点を形成する視点ペアが無駄になる。また、直線ＡＤと直線ＢＣのいずれを選択しても同様の正射影長しか得られない。
　そのため、本願発明者は、円をｎ等分（ｎ：３以上の整数）する複数の等分点の内の二つと円心とで形成される中心角に着目した。そしてこれら複数の等分点の内、係る中心角が（３６０／ｎ）×ｉｎｔ（ｎ／２）となる２つの等分点で視点ペアを形成する手法を想到した。ここで、ｉｎｔ（）は、（）内の値の小数点切捨ての整数を返す関数である。なお、図４に示すように三角形の各頂点を視点とする場合には、この条件は自然に満たされている。
　例えば、ｎが４である場合には、視点ペアを形成する２つの等分点が、１８０度の中心角を成す２つの等分点となるため、図１０に示すように、点Ａと点Ｂが１つの視点ペアを形成し、点Ｄと点Ｃが１つの視点ペアを形成する。
　図１０に示すように、等分点Ａ、Ｂ、Ｃ、Ｄは、円ＲＣを４等分する。直線ＡＢと直線ＢＣの長さすなわち円ＲＣの直径は、両目間間隔Ｌ０である。視差線ＳＬの直線ＡＢと直線ＢＣへの正射影の長さをＬ１とＬ２で表わすと、正射影長Ｌ１とＬ２は、下記の式（５）と（６）により求めることができる。
　　　　　Ｌ１＝Ｌ０×｜ｃｏｓθ｜　　　　　　　　（５）
　　　　　Ｌ２＝Ｌ０×｜ｃｏｓ（９０－θ）｜　　　　（６）
　図１１は、正射影長Ｌ１、Ｌ２と角度θの関係を示す。
　図４に示す例のときと同様に、いかなる角度θのときでも、直線群（ここでは直線ＡＢとＢＣ）から、視差線ＳＬの正射影が最も長い直線を目標直線として選択するようにすると、図１２に示すような実効視差長を得ることができる。
　図１２から分かるように、この場合、角度θに関わらず、実効視差長は、常に「Ｌ０×ｃｏｓ４５」以上である。すなわち、最も悪いときでも、最も良いときの「ｃｏｓ４５」倍（大凡７１％）程度の立体視効果を得ることができる。
　円をｎ等分（ｎ：３以上の整数）する複数の等分点のうちの、（３６０／ｎ）×ｉｎｔ（ｎ／２）の中心角を各２つの等分点で視点ペアを形成する手法の場合、ｎが偶数であるときには、図１０に示すようなｎ／２組の視点ペアしか得られないが、ｎが奇数であるときには、ｎ組の視点ペアを得ることができる。
　図１３は、ｎが５である場合の例を示す。図示のように、等分点Ａ、Ｄ、Ｅ、Ｂ、Ｃは、円ＲＣを５等分する。円ＲＣの円心が点Ｏである。中心角ＡＯＢ、ＡＯＥ、ＢＯＤ、ＣＯＥ、ＣＯＤ、ＣＯＥが（３６０／５）×ｉｎｔ（５／２）であるため、ＡとＢ、ＡとＥ、ＢとＤ、ＣとＤ、ＣとＥは、５つの視差ペアを構成する。各視差ペアの２つの視点を結ぶ直線の長さが両目間間隔Ｌ０である。
　直線ＡＢ、ＢＤ、ＤＣ、ＣＥ、ＡＥへの視差線ＳＬの正射影の長さを夫々Ｌ１～Ｌ５で表わすと、これらの正射影長は、式（７）～（１１）により求めることができる。
　　　　　Ｌ１＝Ｌ０×｜ｃｏｓθ｜　　　　　　　　（７）
　　　　　Ｌ２＝Ｌ０×｜ｃｏｓ（３６－θ）｜　　　（８）
　　　　　Ｌ３＝Ｌ０×｜ｃｏｓθ（７２－θ）｜　　（９）
　　　　　Ｌ４＝Ｌ０×｜ｃｏｓ（１０８－θ）｜　　（１０）
　　　　　Ｌ５＝Ｌ０×｜ｃｏｓ（１４４－θ）｜　　（１１）
　図１４は、正射影長Ｌ１～Ｌ５と角度θの関係を示す。
　図４に示す例のときと同様に、いかなる角度θのときでも、直線群（ここでは直線ＡＢ、ＢＤ、ＤＣ、ＣＥ、ＡＥ）から、視差線ＳＬの正射影が最も長い直線を目標直線として選択するようにすると、図１５に示すような実効視差長を得ることができる。
　図１５から分かるように、この場合、角度θに関わらず、実効視差長は、常に「Ｌ０×ｃｏｓ１８」以上である。すなわち、最も悪いときでも、最も良いときの「ｃｏｓ１８」倍（大凡９５％）程度の立体視効果を得ることができる。
　図１６は、ｎが７である場合の例を示す。図示のように、等分点Ａ、Ｅ、Ｆ、Ｇ、Ｂ、Ｃ、Ｄは、円ＲＣを７等分する。円ＲＣの円心が点Ｏである。中心角ＡＯＢ、ＡＯＧ、ＢＯＥ、ＣＯＥ、ＣＯＦ、ＤＯＦ、ＤＯＧが（３６０／７）×ｉｎｔ（７／２）であるため、ＡとＢ、ＡとＧ、ＢとＥ、ＣとＥ、ＣとＦ、ＤとＦ、ＤとＧは、７つの視差ペアを構成する。各視差ペアの２つの視点を結ぶ直線の長さが両目間間隔Ｌ０である。
　各視点ペアの２つの視点を結ぶ直線への視差線ＳＬの正射影の長さを夫々Ｌ１～Ｌ７で表わすと、これらの正射影長と角度θの関係は、図１７に示すようになる。
　上記と同様に、いかなる角度θのときでも、直線群（ここでは直線ＡＢ、ＥＧ、ＤＣ、ＦＢ、ＡＥ、ＣＧ、ＤＦ）から、視差線ＳＬの正射影が最も長い直線を目標直線として選択するようにすると、図１８に示すような実効視差長を得ることができる。
　図１８から分かるように、この場合、角度θに関わらず、実効視差長は、常に「Ｌ０×ｃｏｓ１３」以上である。すなわち、最も悪いときでも、最も良いときの「ｃｏｓ１３」倍（大凡９７％）程度の立体視効果を得ることができる。
　従って、上記ｎの数が大きいほど、視差線ＳＬの傾きや観察者の位置の変動による立体視効果の悪化を抑制することができる。
　一方、本発明にかかる技術は、複数の視点を夫々視点とする複数の画像を順次表示すると共に、該複数の画像内に含まれる目標画像ペアのいずれの画像が表示されているときに、左目と右目の該画像に対応しない方の視野を遮蔽し、他の画像が表示されているときに、左目と右目の両方の視野を遮蔽するようにしている。そのため、上記ｎが大きいほど、上記複数の画像の数が多くなり、両目の視野が共に遮蔽される時間が、該複数の画像を表示する総時間に占める割合が高くなる。その結果、観察者は暗く感じる可能性がある。特に、元々明るくない画像の場合には、この問題が顕著になる。
　そのため、目的などに応じて、立体視効果と明るさのバランスに応じてｎを決めることが好ましい。例えば、最も良いときの８６％程度以上の立体視効果で十分な場合には、ｎを３にすればよい。
　以上において、円ＲＣの円周を等分割する等分点を視点とする複数の画像を用いる場合を説明した。本発明にかかる技術は、等分点に加え、さらに、円心を視点とする画像を用いてもよい。
　この場合、円ＲＣの半径が両目間間隔Ｌ０であり、視点ペアは、円心と、円ＲＣをｎ等分（ｎ：３以上の整数）する夫々の等分点とで形成される。
　まず、ｎが「３」である場合、すなわち上記円周を３等分する３つの等分点と、円心とを夫々視点とする４つの画像を用いる場合を詳細に説明する。
　図１９に示すように、円ＲＣは、円心がＡであり、半径が両目間間隔Ｌ０である。Ｂ、Ｃ、Ｄは、円ＲＣを３等分する。視点ペアは、（Ａ、Ｂ）、（Ａ、Ｃ）、（Ａ、Ｄ）である。
　視差線ＳＬと直線ＡＢの成す角度、すなわち視差線ＳＬの傾きがθである。そのため、視差線ＳＬと直線ＡＣが成す角度は「θ＋１２０」であり、視差線ＳＬと直線ＡＤが成す角度は「θ＋２４０」である。すなわち、直線ＡＢを目標直線として選出する場合、すなわち画像Ａと画像Ｂを目標画像ペアとして選出する場合には、視差角度αがθである。また、直線ＡＣを目標直線として選出する場合、すなわち画像Ａと画像Ｃを目標画像ペアとして選出する場合には、視差角度αが「θ＋１２０」である。また、直線ＡＤを目標直線として選出する場合、すなわち画像Ａと画像Ｄを目標画像ペアとして選出する場合には、視差角度αが「θ＋２４０」である。
　視差線ＳＬの直線ＡＢ、ＡＣ、ＡＤへの正射影長は、夫々Ｌ１、Ｌ２、Ｌ３であり、下記の式（１２）～（１４）で求めることができる。
　　　　　Ｌ１＝Ｌ０×｜ｃｏｓθ｜　　　　　　　　（１２）
　　　　　Ｌ２＝Ｌ０×｜ｃｏｓ（θ＋１２０｜　　　　（１３）
　　　　　Ｌ３＝Ｌ０×｜ｃｏｓ（θ＋２４０）｜　　　（１４）
　図２０は、正射影長Ｌ１、Ｌ２、Ｌ３と角度θの関係を示す。
　図２０に示すように、「０≦θ≦３０」のときに、正射影長Ｌ１が最も長い。また、このときに、正射影長Ｌ１の最小値は「Ｌ０×ｃｏｓ３０」である。
　「３０≦θ≦９０」のときに、正射影長Ｌ３が最も長い。また、このときに、正射影長Ｌ３の最小値は「Ｌ０×ｃｏｓ３０」である。
　「９０≦θ≦１５０」のときに、正射影長Ｌ２が最も長い。また、このときに、正射影長Ｌ２の最小値は「Ｌ０×ｃｏｓ３０」である。
　「１５０≦θ≦２１０」のときに、最も長い正射影長は再び正射影長Ｌ１になる。また、このときに、正射影長Ｌ１の最小値は「Ｌ０×ｃｏｓ３０」である。
　「２１０≦θ≦２７０」のときに、最も長い正射影長は再び正射影長Ｌ３になる。また、このときに、正射影長Ｌ３の最小値は「Ｌ０×ｃｏｓ３０」である。
　「２７０≦θ≦３３０」のときに、最も長い正射影長は再び正射影長Ｌ２になる。また、このときに、正射影長Ｌ２の最小値は「Ｌ０×ｃｏｓ３０」である。
　「３３０≦θ≦３６０」のときに、最も長い正射影長は正射影長Ｌ１になる。また、このときに、正射影長Ｌ１の最小値は「Ｌ０×ｃｏｓ３０」である。
　そこで、直線ＡＢ、ＡＣ、ＡＤを有する直線群から目標直線を選出する際に、視差線ＳＬの正射影長が最も長い直線を選出する。この目標直線の選出により、目標した目標直線の両端点を夫々視点とする画像は、目標画像ペアとして選択される。
　なお、例えば角度θが３０度であるときには、正射影長Ｌ１とＬ３は共に「Ｌ０×ｃｏｓ３０」であり、正射影長Ｌ２は「０」である。そのため、目標直線として直線ＡＢと直線ＡＤの２つになる。このとき、目標直線として直線ＡＤを選択する場合には、画像（Ｄ、Ａ）が目標画像ペアとして選択され、画像Ａは右目用の画像になる。しかし、θが３０度未満のときに、画像Ａが左目用の画像として選択されているので、θが３０度のときに画像Ａが右目用の画像になると、観察者に違和感を与えてしまう。従って、角度θが３０度である場合には、目標直線として直線ＡＢを選択するように、視差線ＳＬの回転方向に応じてヒステリシスをもたせるといった対応が好ましい。
　図２１は、上記選択の結果により得られた実効視差長と角度θとの関係を示す。図示のように、角度θに関わらず、実効視差長は、常に「Ｌ０×ｃｏｓ３０」以上である。そのため、この例では、最も悪いときでも、最も良いときの「ｃｏｓ３０」倍（大凡８６％）の立体視効果を得ることができる。
　また、複数の異なる位置の観察者がいる場合においても、夫々の観察者の視差線ＳＬの傾きに応じて最適な目標画像ペアを選出することができるため、各観察者に最適な立体視効果を与えることができる。
　図１９に示す例は、ｎが「３」である場合、すなわち円ＲＣの円周を３等分する３つの等分点と、円心とを夫々視点とする４つの画像を用いる場合の例である。ｎが３以上の任意の数であってもよい。
　例えば、図２２に示すように、ｎが「１２」である場合、すなわち円ＲＣを１２等分する１２つの等分点と、円心とを夫々視点とする１３個の画像を用いる場合、円心と夫々の等分点を結ぶ半径方向の直線上の視差線ＳＬの正射影長と角度θとの関係は、図２３に示すようになる。そのため、角度θに応じて、視差線ＳＬの正射影長が最も長い直線を目標直線として選択すると、図２４に示す実効視差長を得ることができる。
　図２５から分かるように、この場合、角度θに関わらず、常にＬ０×｜ｃｏｓ１５｜以上の実効視差長を得ることができる。すなわち、最も悪いときでも、最も良いときの「ｃｏｓ１５」倍（大凡９６％）の立体視効果を得ることができる。
　上記において、円ＲＣの円周を等分割する全ての等分点と円心を夫々視点とする複数の画像を用いる場合を説明した。これらの等分点について、一部のみを用いてもよい。例えば、ｎを４以上の偶数とした場合に、円ＲＣをｎ等分する等分点のうちの円周に沿って連続する「ｎ／２」個の等分点と、円心とを用いるようにしてもよい。
　例として、ｎが「４」である場合、すなわち上記円周ＲＣを４等分する４つの等分点のうちの２つと、円心とを夫々視点とする３つの画像を用いる場合を詳細に説明する。
　図２５に示すように、等分点Ｂ、Ｃ、Ｄ、Ｅは、半径が両目間間隔Ｌ０である円ＲＣを４等分する。ここで、等分点Ｂ、Ｃのみを用いる。すなわち、視点ペアとして、（Ａ、Ｂ）、（Ａ、Ｃ）のみを用いる。視差線ＳＬの直線ＡＢと直線ＡＣへの正射影の長さをＬ１とＬ２で表わすと、正射影長Ｌ１とＬ２は、下記の式（１５）と（１６）により求めることができる。
　　　　　Ｌ１＝Ｌ０×｜ｃｏｓθ｜　　　　　　　　（１５）
　　　　　Ｌ２＝Ｌ０×｜ｃｏｓ（θ＋９０｜　　　　（１６）
　図２６は、正射影長Ｌ１、Ｌ２と角度θの関係を示す。
　いかなる角度θのときでも、直線群（ここでは直線ＡＢとＡＣ）から、視差線ＳＬの正射影が最も長い直線を目標直線として選択するようにすると、図２７に示すような実効視差長を得ることができる。
　図２７から分かるように、この場合、角度θに関わらず、実効視差長は、常に「Ｌ０×ｃｏｓ４５」以上である。すなわち、最も悪いときでも、最も良いときの「ｃｏｓ４５」倍（大凡７０％）程度の立体視効果を得ることができる。
　次いで、ｎが「６」である場合、すなわち上記円周ＲＣを６等分する６つの等分点のうちの３つと、円心とを夫々視点とする４つの画像を用いる場合を説明する。
　図２８に示すように、等分点Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇは、半径が両目間間隔Ｌ０である円ＲＣを６等分する。ここで、等分点Ｂ、Ｃ、Ｄのみを用いる。すなわち、視差ペアとして、（Ａ、Ｂ）、（Ａ、Ｃ）、（Ａ、Ｄ）のみを用いる。視差線ＳＬの直線ＡＢ、直線ＡＣ、直線ＡＤへの正射影の長さを夫々Ｌ１、Ｌ２、Ｌ３で表わすと、これらの正射影長は、下記の式（１７）～（１９）により求めることができる。
　　　　　Ｌ１＝Ｌ０×｜ｃｏｓθ｜　　　　　　　　（１７）
　　　　　Ｌ２＝Ｌ０×｜ｃｏｓ（θ＋６０｜　　　　（１８）
　　　　　Ｌ２＝Ｌ０×｜ｃｏｓ（θ＋１２０）　　　（１９）
　図２９は、正射影長Ｌ１、Ｌ２、Ｌ３と角度θの関係を示す。
　いかなる角度θのときでも、直線群（ここでは直線ＡＢ、ＡＣ、ＡＤ）から、視差線ＳＬの正射影が最も長い直線を目標直線として選択するようにすると、図３０に示すような実効視差長を得ることができる。図３０から分かるように、この場合、角度θに関わらず、実効視差長は、常に「Ｌ０×ｃｏｓ３０」以上である。そのため、最も悪いときでも、最も良いときの「ｃｏｓ３０」倍（大凡８６％）の立体視効果を得ることができる。
　すなわち、図２８に示すように、円ＲＣを６等分する６つの等分点のうちの連続する３つの等分点と、円心とを夫々視点とする４つの画像を用いる場合は、図１９に示すような、円ＲＣを３等分する３つの等分点と、円心とを夫々視点とする４つの画像を用いる場合とも、同様の立体視効果を得ることができる。
　同様に、円ＲＣを１２等分する１２個の等分点のうちの連続する６つの等分点と円心とを夫々視点とする７個の画像を用いる場合も、図２２に示すような、１２個の等分点と円心とを夫々視点とする１３個の画像を用いる場合と同様の立体視効果を得ることができる。
　ここで、図２に示す例と、図２８に示す例とを比較する。
　図２は、円を３等分する３つの等分点で３つの視点ペアを形成する例である。図２８は、円を６等分する６個の等分点のうちの連続する３つと円心で３つの視点ペアを形成する例である。いずれの例の場合も、実効視差長が「Ｌ０×ｃｏｓ３０」以上である。しかし、図２の例の場合には、３つの画像のみが必要であるのに対して、図２８の例の場合は、４つの画像（Ａ、Ｂ、Ｃ、Ｄ）が必要である。
　同様に、図１３に示す例のように、円を５等分する５つの等分点で５つの視点ペアを形成する場合と同様の実効視差長を得るためには、円を１０等分する１０個の等分点のうちの連続する５つと円心で６つの視点ペアを形成する必要がある。また、図１６に示す例のように、円を７等分する７つの等分点で７つの視点ペアを形成する場合と同様の実効視差長を得るためには、円と１４等分する１４個の等分点のうちの連続する７つと円心で８つの視点ペアを形成する必要がある。
　つまり、ｎが３以上の奇数としたとき、同様の実効視差長を得ることを前提とすると、円をｎ等分するｎ個の等分点のみで視点ペアを構成する場合が、円をＮ等分（Ｎ＝２×ｎ）する等分点のうちの連続するｎ個の等分点と円心で視点ペアを構成する場合より、必要な画像の数が１つ少なくできる。
　次いで、図１０に示す例と、図２５に示す例とを比較する。
　図１０は、円を４等分する４つの等分点で２つの視点ペアを形成する例である。図２５は、円を４等分する４つの等分点のうちの連続する２つと円心で２つの視点ペアを形成する例である。いずれの例の場合も、実効視差長が「Ｌ０×ｃｏｓ４５」以上である。しかし、図１０の例の場合に、４つの画像（Ａ、Ｂ、Ｃ、Ｄ）が必要であるのに対して、図２５の例の場合は、３つの画像（Ａ、Ｂ、Ｃ）のみが必要である。
　そのため、最も良いときの７１％程度以上の立体視効果を得ればいい場合には、図２５に示すような視点と視点ペアを用いることが好ましい。
　また、ｎが偶数であるときに、（３６０／ｎ）×ｉｎｔ（ｎ／２）が常に「１８０」となり、視点及び視点ペアは、図１０に示すようにしかならない。
　従って、必要な画像数ができるだけ少ない前提下で、必要な最小の実効視差長に応じて視点と視点ペアを決めればよい。また、いずれの場合も、視点ペアが多いほど最小の実行視差長が長くなるが、視点ペアが多いほど、表示される画像の数も多くなる。必要な画像の数が多いほど、これらの画像を取得するための装置や時間がかかる。また、上述したように、目標画像ペアの２つの画像の候補となる複数の画像の数が多いほど、両目の視野が共に遮蔽される時間が、該複数の画像を表示する総時間に占める割合が高くなり、観察者は暗く感じる可能性がある。そのため、例えば、最も良いときの８６％程度以上の立体視効果を得るために、図１９と図２８に示す場合よりも、図４に示すように、正三角形ＡＢＣの各頂点を夫々視点とする３つ画像を用いることが好ましい。
　以上の原理を踏まえて、本発明にかかる技術を具現化したシステムを説明する。
　図３１は、本発明の実施の形態にかかる画像システム１００を示す。画像システム１００は、画像取得装置１１０、合成装置１２０、画像表示装置１３０、制御装置１５０を備える。なお、図中Ａ、Ｂ、Ｃは、画像の視点を示す。
　本実施の形態の画像システム１００において、例として、画像Ａ、Ｂ、Ｃは、図４に示す正三角形ＡＢＣを夫々視点とする画像であり、視点Ａ、Ｂ、Ｃは、３つの視点ペアを形成する。
　画像システム１００は、同時に撮像して得た画像Ａと画像Ｂを順次合成装置１２０に出力する。合成装置１２０は、画像Ａと画像Ｂから画像Ｃを合成して画像Ｃを得ると共に、画像Ａ、Ｂ、Ｃを順次画像表示装置１３０に出力する。
　画像表示装置１３０は、画像Ａ、Ｂ、Ｃを順次表示すると共に、現在表示している画像が画像Ａ、Ｂ、Ｃのいずれであるかを示しうる同期信号Ｓ１を制御装置１５０に出力する。
　眼鏡１４０は、画像表示装置１３０に表示された画像の観察者に装着されたものであり、後述する傾き情報Ｓ２を制御装置１５０に出力する。
　制御装置１５０は、同期信号Ｓ１と傾き情報Ｓ２に基づいて制御信号Ｓ３を生成して眼鏡１４０に出力することにより眼鏡１４０を制御する。
　なお、画像表示装置１３０と制御装置１５０間、及び制御装置１５０と眼鏡１４０間の信号の伝送は、例えば赤外線などの無線通信手段（図示せず）を介して行われる。
　図３２は、画像取得装置１１０を示す図である。図示のように、画像取得装置１１０は、第１の撮像部１１２、第２の撮像部１１４、出力部１１６を備える。第１の撮像部１１２は、視点Ａから被写体を撮像して画像Ａを得て出力部１１６に出力する。第２の撮像部１１４は、視点Ｂから同一の被写体を撮像して画像Ｂを得て出力部１１６に出力する。視点Ａと視点Ｂ間の距離は、両目間間隔Ｌ０である。
　出力部１１６は、第１の撮像部１１２からの画像Ａと、第２の撮像部１１４からの画像Ｂを、Ａ、Ｂの順で連続して合成装置１２０に出力する。
　図３３は、合成装置１２０を示す図である。合成装置１２０は、ベクトル取得部１２２、ベクトル回転部１２４、画像生成部１２６、出力部１２８を備える。
　ベクトル取得部１２２は、画像Ａと画像Ｂについて視差ベクトルを算出して、ベクトル回転部１２４と画像生成部１２６に出力する。ここで視差ベクトルについて説明する。
　画像Ａと画像Ｂは、視点Ａと視点Ｂから同一の時間に被写体を撮像して得た画像である。このような２枚の画像を、該被写体が点Ａか点Ｂに向かう方向に、点Ａと点Ｂ間の距離分（両目間間隔Ｌ０）移動した場合に、同一の視点から撮像して得た動画像の２枚のフレームに看做すことができる。画像Ａは、被写体が移動する前のフレームに該当し、画像Ｂは、被写体が移動した後のフレームに該当する。
　そのため、画像Ａと画像Ｂを動画像の２枚のフレームと仮定して、該２つのフレーム間でブロック毎の動きベクトルを算出することができる。視差ベクトルは、この動きベクトルの、点Ａから点Ｂに向かう方向における成分である。
　ベクトル回転部１２４は、ベクトル取得部１２２が算出した各視差ベクトルの向きが、点Ａから点Ｃに向かう方向になるように、各視差ベクトルを回転させる。ここでは、視点と表示画像の関係は、視点の重心に対して、反対の位置にあるので、ベクトル回転部１２４は、ベクトル取得部１２２が算出した各視差ベクトルを下向きに６０度回転する。ベクトル回転部１２４は、回転後の視差ベクトルを画像生成部１２６に出力する。
　画像生成部１２６は、画像Ａと、ベクトル回転部１２４からの回転後の視差ベクトルとを用いて、画像Ｃを生成する。画像Ａと画像Ｃも、該被写体が点Ａか点Ｃに向かう方向に、点Ａと点Ｃ間の距離分（両目間間隔Ｌ０）移動した場合に、同一の視点から撮像して得た動画像の２枚のフレームに看做すことができ、画像Ａは、被写体が移動する前のフレームに該当し、画像Ｃは、被写体が移動した後のフレームに該当する。そのため、画像Ａと画像Ｃを動画像の２枚のフレームと仮定すると共に、ベクトル回転部１２４からの回転後の視差ベクトルを動きベクトルとすれば、画像Ｃを生成することができる。
　図３４は、合成装置１２０による画像Ｃの合成処理の流れの一例を示す。
＜ステップ１＞
　まず、ベクトル取得部１２２は、画像Ａと画像Ｂのブロック毎のｘ方向の差分を算出する。画像Ａと画像Ｂ間で差分の無いブロックの領域は、背景領域になる。そして、ベクトル取得部１２２は、画像Ａから背景領域の部分を取り除いた画像（画像Ａの前景すなわち被写体部分の画像Ａ１）と、画像Ｂから背景領域の部分を取り除いた画像（画像Ｂの前景すなわち被写体部分の画像Ｂ１）とから、ブロックマッチングなどの手法により各ブロックの視差ベクトルを算出する。
＜ステップ２＞
　ベクトル回転部１２４は、ベクトル取得部１２２が算出された各ベクトルを、下向きに６０度回転する。
＜ステップ３＞
　画像生成部１２６は、画像Ａの前景画像Ａ１の各ブロックを、該ブロックに対応した、ベクトル回転部１２４により回転後の視差ベクトルが示す方向と距離に従って移動する。移動後の前景画像Ａ１は、画像Ｃの前景画像Ｃ１になる。
＜ステップ４＞
　そして、画像生成部１２６は、ステップ１で得られた背景領域の画像と、ステップ３で得られた前景画像Ｃ１を合成して画像Ｃを得る。合成に際しては、ステップ１で得られた背景領域の画像の不足部分については、画像Ａと画像Ｂで一致する部分を参照して補間などにより生成すればよい。
＜ステップ５＞
　出力部１２８は、画像取得装置１１０からの画像Ａ、Ｂと、画像生成部１２６により得た画像ＣをＡ、Ｂ、Ｃの順に出力する。
　前述したように、画像表示装置１３０は、合成装置１２０からの画像Ａ、Ｂ、Ｃを順次表示すると共に、いずれの画像が表示されているかを示す同期信号Ｓ１を出力する。
　図３５は、眼鏡１４０を示す図である。眼鏡１４０は、左目部１４２、右目部１４４、センサ１４６、シャッタ駆動部１４８を備える。
　左目部１４２と右目部１４４は、シャッタ駆動部１４８により駆動されるシャッタ（図示せず）を有し、眼鏡１４０を装着した観察者の左目と右目の視野を夫々遮蔽できる。
　センサ１４６は、眼鏡１４０のフレームに設けられており、眼鏡１４０の傾き、すなわち左目部１４２と右目部１４４を結ぶ直線（視差線ＳＬ）の傾きを検出すると共に、該傾きを示す傾き情報Ｓ２を出力する。なお、センサ１４６により検出された傾きは、前述した角度θに相当する。また、センサ１４６は、例えば加速度センサなどである。
　シャッタ駆動部１４８は、制御装置１５０からの制御信号Ｓ３に従って、左目と右目の視野の片方または両方の視野を遮蔽するように、左目部１４２と右目部１４４のシャッタを駆動する。
　図３６は、制御装置１５０を示す図である。制御装置１５０は、受信部１５２、制御実行部１５４を備える。
　受信部１５２は、画像表示装置１３０からの同期信号Ｓ１と、眼鏡１４０からの傾き情報Ｓ２を受信する。
　制御実行部１５４は、同期信号Ｓ１と傾き情報Ｓ２に基づいて、画像Ａ、Ｂ、Ｃ内の２つの画像を目標画像ペアとして選出すると共に、該目標画像ペアのいずれの画像が表示されているときには、左目と右目のうちの該画像に対応しない片方の視野を遮蔽し、目標画像ペア以外の画像が表示されているときには、左目と右目のいずれの視野も遮蔽するように眼鏡１４０のシャッタ駆動部１４８に制御信号Ｓ３を出力する。
　制御実行部１５４による目標画像ペアの選出方法については、図４に示す例のときに説明した通りであるため、ここで省略する。
　図３７は、画像システム１００において、観察者の頭部の傾き（或いは観察者の位置）と、選択された目標画像ペアと、左目及び右目の視野の遮蔽状況との対応関係を示す。
　図３７の上部は、観察者の正面から見た観察者の頭部の傾きを示す。この傾きは、前述した角度θと対応する。
　例えば、観察者が通常想定される観察位置から画面に向かい、頭部の傾きが左右３０度以内（θ≦３０、θ≧３３０）である場合、目標画像ペアとして画像（Ａ、Ｂ）が選択される。そして、画像Ａが表示されているときには右目の視野が遮蔽（ＯＦＦ）され、画像Ｂが表示されているときには左目の視野が遮蔽される。また、画像Ｃが表示されているときには、両目の視野とも遮蔽される。
　また、例えば、観察者が通常想定される位置とは反対の位置から画面に向かい、頭部の傾きが左右３０度以内（１５０≦θ≦２１０）である場合、目標画像ペアとして画像（Ｂ、Ａ）が選択される。そして、画像Ａが表示されているときには左目の視野が遮蔽され、画像Ｂが表示されているときには右目の視野が遮蔽される。また、画像Ｃが表示されているときには、両目の視野とも遮蔽される。
　このように、観察者の頭部の傾き及び観察者の位置に関わらず、最も良いときの８６％以上の立体視効果を常に得ることができる。また、傾き情報Ｓ２と制御信号Ｓ３は、一対一の関係であるため、複数の観察者が夫々異なる位置から画面に向かう場合にも、夫々の観察者に最適な立体視効果を与えることができる。
　以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、上述した実施の形態に対してさまざまな変更、増減を行ってもよい。これらの変更、増減が行われた変形例も本発明の範囲にあることは当業者に理解されるところである。
　例えば、画像システム１００において、画像取得装置１１０は、第１の撮像部１１２と第２の撮像部１１４により視点Ａと視点Ｂの画像を取得し、画像生成部１２６により視点Ｃの画像を合成するようにしているが、画像取得装置１１０に３つの撮像部を設け、これらの３つの撮像部により視点Ａ、Ｂ、Ｃの画像を夫々取得するようにしてもよい。
　または、合成装置１２０が画像取得装置１１０または画像表示装置１３０に含まれるようにしてもよい。
　合成装置１２０が画像表示装置１３０に含まれるようにした場合、画像表示装置１３０は、画像Ａ、Ｂを表示している間に画像Ｃを合成することが好ましい。こうすることにより、画像Ｃの合成のために画像Ａ、Ｂの表示を遅延させる必要がないため、画像システム１００全体の処理が迅速になる。
　また、画像システム１００において、制御装置１５０は、１つの眼鏡１４０のみを制御しているが、眼鏡１４０からの傾き情報Ｓ２と制御装置１５０からの制御信号Ｓ３とが一対一の関係であれば、１つの制御装置１５０が、複数の眼鏡１４０から夫々の傾き情報Ｓ２を受信し、夫々の眼鏡１４０に対して制御信号Ｓ３を出力するようにしてもよい。
　さらに、制御装置１５０は、眼鏡１４０に含まれるようにしてもよい。
　また、画像システム１００は、複数の視点の画像として正三角形の３つの頂点を夫々視点とする３つの画像を用いる例であるが、これらの複数の視点の画像としては、本発明の原理を説明する際に述べた各種の複数の視点の画像を用いてもよい。
　また、画像Ａと画像Ｂから画像Ｃを合成する方法も、正三角形の２つの頂点を夫々視点とする２つの画像から３つ目の頂点をとる画像の合成にのみならず、本発明の原理を説明する際に述べた各種の例に対しても、画像Ａと画像Ｂから他の視点の画像を合成することに適用できる。
　この出願は、２０１１年４月１１日に出願された日本出願特願２０１１－０８７２５４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１　被写体　２　表示画面
　１００　画像システム　１１０　画像取得装置
　１１２　第１の撮像部　１１４　第２の撮像部
　１１６　出力部　１２０　合成装置
　１２２　ベクトル取得部　１２４　ベクトル回転部
　１２６　画像生成部　１２８　出力部
　１３０　画像表示装置　１４０　眼鏡
　１４２　左目部　１４４　右目部
　１４６　センサ　１４８　シャッタ駆動部
　１５０　制御装置　１５２　受信部
　１５４　制御実行部　Ｓ１　同期信号
　Ｓ２　傾き情報　Ｓ３　制御信号
　α　視差角度　ＳＬ　視差線

Claims (23)

  1. 　同一の平面上で夫々異なる位置にある３つ以上の複数の視点のそれぞれが少なくとも一の他の前記視点と距離が両目間間隔である視点ペアを形成すると共に、前記視点の各々に対応する被写体の画像のそれぞれを順次表示し、
    　表示された画像の観察者に装着され、前記観察者の左目と右目の視野を遮蔽可能な眼鏡の左目部と右目部を結ぶ直線である視差線の傾きを検出し、
    　検出した前記傾きに応じて、前記被写体の画像のそれぞれのうちの２つからなる目標画像ペアを選出すると共に、該目標画像ペアのいずれか一の画像が表示されているときには、左目と右目のうちの該画像に対応しない片方の視野を遮蔽し、前記目標画像ペア以外の画像が表示されているときには、左目と右目のいずれの視野も遮蔽するように前記眼鏡の左目部と右目部を制御し、
    　前記目標画像ペアは、
    　前記視差線を前記平面に移動したと仮定した場合に、各々の前記視点ペアを形成している視点同士を結ぶ直線から構成される直線群内の直線のうち、前記視差線への正射影が最も長い一の直線の両端点を夫々視点とする２つの画像であることを特徴とする画像表示方法。
  2. 　前記複数の視点は、
    　前記平面上の円の円周をｎ等分（ｎ：３以上の整数）する複数の等分点を含むことを特徴とする請求項１に記載の画像表示方法。
  3. 　前記視点ペアは、前記円の中心と前記等分点のそれぞれの内のいずれか二つが成す角である中心角が（３６０／ｎ）×ｉｎｔ（ｎ／２）となる二つの等分点で形成されることを特徴とする請求項２に記載の画像表示方法。
  4. 　前記ｎは、奇数であることを特徴とする請求項３に記載の画像表示方法。
  5. 　前記ｎは、３であることを特徴とする請求項４に記載の画像表示方法。
  6. 　前記円は、半径が両目間間隔であり、
    　前記複数の視点は、前記円の円心をさらに含み、
    　前記視点ペアは、前記円心と、前記複数の等分点のうちのいずれか１つであることを特徴とする請求項２に記載の画像表示方法。
  7. 　前記ｎは、４以上の偶数であり、
    　前記視点ペアは、前記円心と、前記複数の等分点のうちの前記円周に沿って連続する「ｎ／２」個の等分点のうちのいずれか１つであることを特徴とする請求項６に記載の画像表示方法。
  8. 　同一の平面上で夫々異なる位置にある３つ以上の複数の視点のそれぞれが少なくとも一の他の前記視点と距離が両目間間隔である視点ペアを形成すると共に、前記視点の各々に対応する被写体の画像のそれぞれを順次表示する画像表示装置に表示された画像の観察者に装着され、前記観察者の左目と右目の視野を夫々遮蔽可能な左目部と右目部と、前記左目部と前記右目部を結ぶ直線である視差線の傾きを検出するセンサとを備える眼鏡に対応する制御装置において、
    　前記センサにより検出された前記傾きを示す傾き情報を受信する受信部と、
    　前記傾き情報が示す前記傾きに応じて、前記複数の画像のうちの２つからなる目標画像ペアを選出すると共に、該目標画像ペアのいずれか一の画像が表示されているときには、左目と右目のうちの該画像に対応しない片方の視野を遮蔽し、前記目標画像ペア以外の画像が表示されているときには、左目と右目のいずれの視野も遮蔽するように前記眼鏡の左目部と右目部を制御する制御実行部とを有し、
    　前記目標画像ペアは、
    前記視差線を前記平面に移動したと仮定した場合に、各々の前記視点ペアを形成している視点同士を結ぶ直線から構成される直線群内の直線のうち、前記視差線への正射影が最も長い一の直線の両端点を夫々視点とする２つの画像であることを特徴とする制御装置。
  9. 　前記複数の視点は、
    　前記平面上の円の円周をｎ等分（ｎ：３以上の整数）する複数の等分点を含むことを特徴とする請求項８に記載の制御装置。
  10. 　前記視点ペアは、前記円の中心と前記等分点のそれぞれの内のいずれか二つが成す角である中心角が（３６０／ｎ）×ｉｎｔ（ｎ／２）となる二つの等分点で形成されることを特徴とする請求項９に記載の制御装置。
  11. 　前記ｎは、奇数であることを特徴とする請求項１０に記載の制御装置。
  12. 　前記ｎは、３であることを特徴とする請求項１１に記載の制御装置。
  13. 　前記円は、半径が両目間間隔であり、
    　前記複数の視点は、前記円の円心をさらに含み、
    　前記視点ペアは、前記円心と、前記複数の等分点のうちのいずれか１つであることを特徴とする請求項９に記載の制御装置。
  14. 　前記ｎは、４以上の偶数であり、
    　前記視点ペアは、前記円心と、前記複数の等分点のうちの前記円周に沿って連続する「ｎ／２」個の等分点のうちのいずれか１つであることを特徴とする請求項１３に記載の制御装置。
  15. 　請求項８から１４のいずれか１つの請求項に記載された、前記被写体の画像のそれぞれを順次表示する画像表示装置に表示された画像の観察者に装着される眼鏡であって、
    　前記観察者の左目の視野を遮蔽可能な左目部と、
    　前記観察者の右目の視野を遮蔽可能な右目部と、
    　前記左目部と右目部を結ぶ直線である視差線の傾きを検出するセンサと、
    　請求項８から１４のうちの前記１つの請求項に記載された制御装置とを備えることを特徴とする眼鏡。
  16. 　画像表示装置と、
    　前記画像表示装置に表示された画像の観察者に装着される眼鏡と、
    　前記眼鏡の制御を行う制御装置とを有し、
    　前記画像表示装置は、請求項８から１４のいずれか１つの請求項に記載された前記被写体の画像のそれぞれを順次表示し、
    　前記眼鏡は、
    　前記観察者の左目の視野を遮蔽可能な左目部と、
    　前記観察者の右目の視野を遮蔽可能な右目部と、
    　前記左目部と右目部を結ぶ直線である視差線の傾きを検出するセンサとを備え、
    　前記制御装置は、請求項８から１４のうちの前記１つの請求項に記載されたものであることを特徴とする画像システム。
  17. 　前記画像表示装置は、
    　前記被写体の画像のそれぞれのうちの２つの画像が供され、
    　該２つの画像から、前記被写体の画像のそれぞれのうちの他の画像を合成する合成部を備えることを特徴とする請求項１６に記載の画像システム。
  18. 　前記合成部は、
    　前記２つの画像のうちの第１の画像と第２の画像を動画像の２枚のフレームと仮定した場合の動きベクトルの、前記第１の画像の視点から前記第２の画像の視点に向かう方向における成分である視差ベクトルを求めるベクトル取得部と、
    　該ベクトル取得部により得られた前記視差ベクトルの向きが、前記第１の画像の視点から前記他の画像の視点に向かう方向になるように、前記視差ベクトルを回転させるベクトル回転部と、
    　前記第１の画像を動画像の１フレームと仮定して、該第１の画像との間に、前記ベクトル回転部により回転後の前記視差ベクトルと同様の動きベクトルを有するフレームを前記他の画像として生成する画像生成部とを備えることを特徴とする請求項１７に記載の画像システム。
  19. 　前記画像表示装置に供する前記複数の画像を取得する画像取得装置をさらに備えることを特徴とする請求項１６に記載の画像システム。
  20. 　前記画像取得装置は、
    　前記被写体の画像のそれぞれに対応する前記複数の視点に夫々設けられた複数の撮像部を有することを特徴とする請求項１９に記載の画像システム。
  21. 　前記画像取得装置は、
    　前記被写体の画像のそれぞれに対応する前記複数の視点のうちの２つの視点に夫々設けられた２つの撮像部と、
    　該２つの撮像部により得た２つの画像から、前記被写体の画像のそれぞれのうちの他の画像を合成する合成部とを備えることを特徴とする請求項１９に記載の画像システム。
  22. 　前記合成部は、
    　前記２つの画像のうちの第１の画像と第２の画像を動画像の２枚のフレームと仮定した場合の動きベクトルの、前記第１の画像の視点から前記第２の画像の視点に向かう方向における成分である視差ベクトルを求めるベクトル取得部と、
    　該ベクトル取得部により得られた前記視差ベクトルの向きが、前記第１の画像の視点から前記他の画像の視点に向かう方向になるように、前記視差ベクトルを回転させるベクトル回転部と、
    　前記第１の画像を動画像の１フレームと仮定して、該第１の画像との間に、前記ベクトル回転部により回転後の前記視差ベクトルと同様の動きベクトルを有するフレームを前記他の画像として生成する画像生成部とを備えることを特徴とする請求項２１に記載の画像システム。
  23. 　被写体に面する平面上に含まれる３つの点であって、第１の点から、第２と第３の点までの夫々の距離が同一である前記３つの点のうちの前記第１と第２の点を夫々視点とする第１の画像と第２の画像から、前記第３の点を視点とする第３の画像を合成する合成装置であって、
    　前記第１の画像と第２の画像を動画像の２枚のフレームと仮定した場合の動きベクトルの、前記第１の点から前記第２の点に向かう方向における成分である視差ベクトルを求めるベクトル取得部と、
    　該ベクトル取得部により得られた前記視差ベクトルの向きが、前記第１の点から前記第３の点に向かう方向になるように、前記視差ベクトルを回転させるベクトル回転部と、
    　前記第１の画像を動画像の１フレームと仮定して、該第１の画像との間に、前記ベクトル回転部により回転後の前記視差ベクトルと同様の動きベクトルを有するフレームを前記第３の画像として生成する画像生成部とを備えることを特徴とする合成装置。
PCT/JP2012/002203 2011-04-11 2012-03-29 画像表示方法、制御装置、眼鏡、画像システム及び合成装置 WO2012140841A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013509753A JPWO2012140841A1 (ja) 2011-04-11 2012-03-29 画像表示方法、制御装置、眼鏡、画像システム及び合成装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-087254 2011-04-11
JP2011087254 2011-04-11

Publications (1)

Publication Number Publication Date
WO2012140841A1 true WO2012140841A1 (ja) 2012-10-18

Family

ID=47009036

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/002203 WO2012140841A1 (ja) 2011-04-11 2012-03-29 画像表示方法、制御装置、眼鏡、画像システム及び合成装置

Country Status (2)

Country Link
JP (1) JPWO2012140841A1 (ja)
WO (1) WO2012140841A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520672B (zh) * 2018-03-01 2021-01-01 吉林大学 一种具有多屏幕立体成像的驾驶模拟仿真***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11341517A (ja) * 1998-05-26 1999-12-10 Nippon Telegr & Teleph Corp <Ntt> 水平配置立体画像表示システム
JP2006084963A (ja) * 2004-09-17 2006-03-30 Seiko Epson Corp 立体画像表示装置
JP2010258583A (ja) * 2009-04-22 2010-11-11 Panasonic Corp 立体画像表示装置、立体画像再生装置および立体画像視認システム
JP2011071898A (ja) * 2009-09-28 2011-04-07 Panasonic Corp 立体映像表示装置および立体映像表示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11341517A (ja) * 1998-05-26 1999-12-10 Nippon Telegr & Teleph Corp <Ntt> 水平配置立体画像表示システム
JP2006084963A (ja) * 2004-09-17 2006-03-30 Seiko Epson Corp 立体画像表示装置
JP2010258583A (ja) * 2009-04-22 2010-11-11 Panasonic Corp 立体画像表示装置、立体画像再生装置および立体画像視認システム
JP2011071898A (ja) * 2009-09-28 2011-04-07 Panasonic Corp 立体映像表示装置および立体映像表示方法

Also Published As

Publication number Publication date
JPWO2012140841A1 (ja) 2014-07-28

Similar Documents

Publication Publication Date Title
JP6443654B2 (ja) 立体画像表示装置、端末装置、立体画像表示方法、及びそのプログラム
EP2395759B1 (en) Autostereoscopic display device and method for operating an autostereoscopic display device
US7440004B2 (en) 3-D imaging arrangements
US11363250B2 (en) Augmented 3D entertainment systems
JP2014045473A (ja) 立体画像表示装置、画像処理装置及び立体画像処理方法
US6788274B2 (en) Apparatus and method for displaying stereoscopic images
JP2004295013A (ja) 立体表示装置
KR101919486B1 (ko) 완전 시차 초점 조절 3차원 디스플레이 장치
JP4819114B2 (ja) 立体画像表示装置
KR101046259B1 (ko) 응시위치를 추적하여 입체영상을 표시하는 입체영상 표시장치
JP2020118963A (ja) ヘッドマウントディスプレイ
US20190273914A1 (en) System and method for enhanced motion parallax in a 3d display
US9261703B2 (en) Multi-view autostereoscopic display
JP2012244466A (ja) 立体画像処理装置
WO2012140841A1 (ja) 画像表示方法、制御装置、眼鏡、画像システム及び合成装置
CN108702499A (zh) 二维影像的立体影像化显示装置
JP2012222549A (ja) 映像表示装置および映像表示方法
KR101086305B1 (ko) 3차원 영상 디스플레이 장치 및 방법
JP6200316B2 (ja) 画像生成方法、画像生成装置及び画像生成プログラム
JP2004279743A (ja) 三次元表示装置
US20060152580A1 (en) Auto-stereoscopic volumetric imaging system and method
KR102306775B1 (ko) 사용자 인터렉션 정보를 반영하여 입체영상을 재생하는 방법 및 장치
JP2002344998A (ja) 立体画像表示装置
JP5275760B2 (ja) 立体画像表示システム
JP2013219485A (ja) 立体画像表示装置及び立体画像表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12770934

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013509753

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12770934

Country of ref document: EP

Kind code of ref document: A1