WO2012140841A1 - 画像表示方法、制御装置、眼鏡、画像システム及び合成装置 - Google Patents
画像表示方法、制御装置、眼鏡、画像システム及び合成装置 Download PDFInfo
- Publication number
- WO2012140841A1 WO2012140841A1 PCT/JP2012/002203 JP2012002203W WO2012140841A1 WO 2012140841 A1 WO2012140841 A1 WO 2012140841A1 JP 2012002203 W JP2012002203 W JP 2012002203W WO 2012140841 A1 WO2012140841 A1 WO 2012140841A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- images
- parallax
- viewpoint
- straight line
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/378—Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
Definitions
- the present invention relates to a technique for obtaining a stereoscopic view from a binocular parallax image.
- Patent Document 1 a lenticular method (Patent Document 1), a binocular stereoscopic method, and the like are known.
- the binocular stereo viewing method is a method for obtaining a stereoscopic view using binocular parallax, displaying binocular parallax images continuously, and the glasses worn by the observer are images from the viewpoint of the left eye.
- the visual field of the right eye is shielded, and when the image from the viewpoint of the right eye is displayed, the visual field of the left eye is shielded to give the observer a stereoscopic view.
- “binocular parallax” means a difference in the position or viewing direction of the image seen by the left eye and the right eye, and is also simply referred to as “parallax” in the following description.
- “binocular parallax images” are two images of the same subject with the viewpoints of two positions that are separated from each other by a distance that substantially coincides with the distance between both eyes.
- Patent Literature 2 and Patent Literature 3 continuously display a plurality of image signals captured from a plurality of directions with respect to a subject on an image display device, and also the observer of the image display device. Detect the direction of gaze. Then, the spectacles worn by the observer select two image signals captured from the direction matching the detected line of sight, and control the timing of shielding the left eye field and the right eye field.
- Patent Document 4 and Patent Document 5 detect the inclination of the glasses, and two images to be displayed from images captured from a plurality of different directions with respect to the subject according to the detected inclination.
- a system for selecting and displaying is disclosed.
- the eyeglasses select an image signal based on the direction of the observer's line of sight with respect to the display device.
- the direction of the observer's line of sight changes according to the movement, but the observer is lying down
- the eyeglasses worn by the person are inclined with respect to the line of sight, the line of sight of the observer with respect to the display device does not change. For this reason, in the systems disclosed in Patent Document 2 and Patent Document 3, when the viewer's glasses are tilted, the viewer cannot be given good stereoscopic vision.
- the present invention has been made in view of the above circumstances, and in a binocular stereoscopic vision image system, even when the viewer's glasses are tilted, it is possible to give a good stereoscopic view to the observer, Provided is a technique applicable even when there are a plurality of observers with different positions.
- One aspect of the present invention is an image display method.
- This image display method sequentially displays a plurality of images of the same subject from a plurality of different viewpoints, and is worn by an observer of the displayed image, and can be used to shield the left and right eyes of the observer.
- the inclination of the parallax line that is a straight line connecting the left eye part and the right eye part is detected, and a target image pair consisting of two of the plurality of images is selected according to the detected inclination, and any of the target image pairs is selected.
- the left eye and the right eye is displayed, the field of view of one of the left eye and the right eye that does not correspond to the image is shielded.
- the left eye part and the right eye part of the glasses are controlled as described above.
- the plurality of viewpoints are three or more viewpoints at different positions on the same plane facing the subject, and each viewpoint is at least one other viewpoint, and a viewpoint pair whose distance is an interval between both eyes.
- the target image pair is two images each having a viewpoint at each end point of the target straight line in a straight line group that is a plurality of straight lines connecting the two viewpoints of the plurality of viewpoint pairs included in the plurality of viewpoints.
- the target straight line is the straight line in which the orthogonal projection of the parallax line to the straight line is the longest in the straight line group.
- a display of the method according to the above aspect replaced with an apparatus or system, a spectacles control method in the above method, an apparatus for executing the control method, a program for causing a computer to execute the control method, and the like are also included in the present invention. It is effective as an embodiment.
- the technique of the present invention in a binocular stereoscopic image system, even when the viewer's glasses are tilted, it is possible to give the viewer good stereoscopic vision and a plurality of observations at different positions. It can also be applied when there is a person.
- FIG. 31 It is a figure which shows the example of the flow of a process by the synthetic
- Non-transitory computer readable media include various types of tangible storage media.
- Examples of non-transitory computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROM (Read Only Memory) CD-R, CD -R / W, including semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
- the program may be supplied to the computer by various types of temporary computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
- the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
- the binocular stereoscopic viewing method two images included in the binocular parallax image are displayed in succession, and the eyeglasses worn by the observer display an image from the viewpoint of the left eye.
- This is a method of giving a viewer a stereoscopic view by shielding the field of view of the right eye when the camera is on, and shielding the field of view of the left eye when an image from the viewpoint of the right eye is displayed.
- the same reference numerals are used for images and viewpoints corresponding to the images. For example, an image having point A as a viewpoint is referred to as “image A”, and the viewpoint of image A is point A.
- the straight line connecting the left eye part and the right eye part of the glasses worn by the observer is called “parallax line”.
- the length of the parallax line is the distance L0 between the eyes.
- the distance L0 between the eyes can be, for example, an average distance between the eyes of both eyes.
- viewpoint pair “parallax angle”, “effective parallax length”, and “tilt of parallax line” are defined.
- the left part of FIG. 1 shows the positional relationship between the viewpoints (A, B) of two images included in the binocular parallax image and the subject 1.
- the length of the straight line AB connecting the viewpoints A and B is the distance L0 between both eyes, and when viewed from the opposite side of the subject across the straight line AB, A is the left end point and B is the right end point.
- viewpoints of two images included in the binocular parallax image that is, the two viewpoints whose distance is the distance between the eyes L0 are referred to as “viewpoint pairs”.
- a straight line SL shown in the right part of FIG. B is an orthogonal projection of the parallax line on the display screen 2, and an arrow of the straight line SL indicates a direction from the left eye part to the right eye part of the parallax line.
- a straight line A′B ′ on the display screen 2 is defined between the straight line AB and the subject 1 so that the straight line AB is located on the display screen and the point A is an end point corresponding to the left eye portion of the straight line SL.
- a straight line AB and a straight line AB when the subject is moved without changing the relative positional relationship.
- the straight line A′B ′ and the straight line SL overlap, that is, when the angle ⁇ formed by the straight line A′B ′ and the straight line SL is “0”.
- the best stereoscopic effect can be obtained.
- the angle ⁇ formed by the straight line A′B ′ and the straight line SL is referred to as “parallax angle”, and the length of the orthogonal projection of the straight line SL onto the straight line A′B ′ (L1 in the figure) is “effective parallax length”.
- the “parallax angle” has a different meaning from the angle normally called “convergence angle” in the binocular stereoscopic vision system.
- straight line A′B ′ will be described as a straight line AB and the straight line SL will be described as a parallax line.
- inclination of parallax line is an angle formed between the straight line SL and a predetermined reference axis included in the display screen.
- This predetermined reference axis means a straight line whose angle formed with the parallax line is “0” in a normally assumed observation situation.
- the reference axis is a horizontal straight line from the left to the right as viewed from the screen.
- the situation is that “the observer looks down on the screen from the assumed observation position so that the observer does not tilt the head left and right” Can be said to be the observation situation normally assumed.
- the reference axis is a horizontal straight line from the left to the right when the screen is viewed from a normally assumed observation position.
- the viewpoint A and viewpoint B of the two images of the binocular parallax image are usually such that the straight line AB is parallel to the reference axis and the direction from the point A to the point B is the same as the reference axis. Is set. That is, in the normally assumed observation situation, there is no inclination of the parallax line, the parallax angle ⁇ is 0 degree, and the effective parallax length is the inter-eye distance L0.
- the parallax line is inclined and the parallax angle ⁇ is not 0 degree.
- the reference axis is a straight line AB.
- the length of the orthogonal projection of the parallax line SL onto the straight line AB changes.
- the length of the orthogonal projection is hereinafter referred to as “orthographic projection length”, and in the example of FIG. 2, the orthogonal projection length L1 is the same as the effective parallax length.
- the orthogonal projection length L1 can be represented by the product of the distance L0 between both eyes and the absolute value of the cosine value of the parallax angle ⁇ , as shown in the following equation (1).
- L1 L0 ⁇
- FIG. 3 shows the relationship between the effective parallax length (orthographic projection length L1) and the parallax angle ⁇ .
- the solid curve indicates the effective parallax length
- the dotted curve indicates “L0 ⁇ cos ⁇ ”.
- the orthogonal projection length L1 decreases as ⁇ increases. That is, when the parallax angle ⁇ is 0 degree, the effective parallax length is the inter-eye distance L0, and the best stereoscopic effect can be obtained. The larger the parallax angle ⁇ , the shorter the effective parallax length and the worse the stereoscopic effect. In this angle range, when observing the images A and B by the binocular stereoscopic method, the right eye field is displayed when the image A is displayed, and the left eye is displayed when the image B is displayed. The field of view will be shielded.
- the inventor of the present application can give a good stereoscopic view to an observer even when the eyeglasses of the observer are tilted in a binocular stereoscopic image system, and a plurality of different positions.
- This method sequentially displays a plurality of images of the subject from three or more viewpoints at different positions on the same plane facing the subject.
- Each viewpoint forms a viewpoint pair with at least one other viewpoint.
- a target image pair composed of two of the plurality of images is selected and the target
- any image of the image pair is displayed, one of the left eye and the right eye that does not correspond to the image is blocked.
- an image other than the target image pair is displayed, either the left eye or the right eye is displayed.
- the left eye part and the right eye part of the glasses are controlled so as to shield the visual field.
- the target image pair is two images that have respective viewpoints at both end points of the target straight line.
- the target straight line is assumed to have moved the parallax line on the plane in which the plurality of viewpoints are located in a straight line group that is a plurality of straight lines connecting two viewpoints of a plurality of viewpoint pairs included in the plurality of viewpoints.
- the orthogonal projection of the parallax line SL onto the straight line is the longest straight line.
- the plurality of viewpoints can be, for example, a plurality of equally divided points that divide the circumference of a circle into n equal parts (n: an integer of 3 or more).
- n is “3”, that is, a case where a plurality of images each having three viewpoints that divide a circle into three equal parts is used will be described.
- points A, B, and C are equally divided points that divide the circle RC into three equal parts. Further, the length of the straight line (AB, CB, AC) connecting any two of the three equally divided points is the distance L0 between the eyes. That is, points A, B, and C are three vertices of an equilateral triangle whose side length is the interval L0 between the eyes, and points A, B, and C are (A, B), (B, C), Three viewpoint pairs (A, C) are formed.
- the angle between the parallax line SL and the straight line AB that is, the inclination of the parallax line SL is ⁇ . Therefore, the angle formed between the parallax line SL and the straight line AC is “60 ⁇ ”, and the angle formed between the parallax line SL and the straight line BC is “ ⁇ + 60”. That is, when the straight line AB is selected as the target straight line, that is, when the image A and the image B are selected as the target image pair, the parallax angle ⁇ is ⁇ . When the straight line AC is selected as the target straight line, that is, when the image A and the image C are selected as the target image pair, the parallax angle ⁇ is “60 ⁇ ”. When the straight line BC is selected as the target straight line, that is, when the image B and the image C are selected as the target image pair, the parallax angle ⁇ is “ ⁇ + 60”.
- the orthogonal projection lengths of the parallax lines SL onto the straight lines AB, AC, and BC are L1, L2, and L3, respectively, and can be obtained by the following equations (2) to (4).
- L1 L0 ⁇
- L2 L0 ⁇
- L3 L0 ⁇
- FIG. 5 shows the relationship between the orthogonal projection lengths L1, L2, and L3 and the angle ⁇ .
- the orthogonal projection length L1 is the longest when “0 ⁇ ⁇ ⁇ 30”.
- the minimum value of the orthogonal projection length L1 is “L0 ⁇ cos30”.
- the orthogonal projection length L2 is the longest. At this time, the minimum value of the orthogonal projection length L2 is “L0 ⁇ cos30”.
- the orthogonal projection length L3 is the longest. At this time, the minimum value of the orthogonal projection length L3 is “L0 ⁇ cos30”.
- the longest orthographic projection length becomes the orthographic projection length L1 again.
- the minimum value of the orthogonal projection length L1 is “L0 ⁇ cos30”.
- the longest orthographic projection length becomes the orthographic projection length L2 again.
- the minimum value of the orthogonal projection length L2 is “L0 ⁇ cos30”.
- the longest orthographic projection length becomes the orthographic projection length L3 again.
- the minimum value of the orthogonal projection length L3 is “L0 ⁇ cos30”.
- the longest orthographic projection length is the orthographic projection length L1.
- the minimum value of the orthogonal projection length L1 is “L0 ⁇ cos30”.
- the orthogonal projection length L1 is the effective parallax length. As shown in FIG. 5, in this case, the effective parallax length, that is, the orthogonal projection length L1, varies within a range from “0” to “L0” according to the angle ⁇ .
- the orthogonal projection length L2 is the effective parallax length. Even in this case, the effective parallax length varies within a range of “0” or more and “L0” or less according to the angle ⁇ .
- the effective parallax length that is, the orthogonal projection length L3 varies within a range of “0” or more and “L0” or less.
- the technique according to the present invention is the straight line having the longest orthogonal projection length of the parallax line SL when selecting a target straight line from a straight line group including straight lines (here, straight lines AB, AC, BC) connecting the two viewpoints of each viewpoint pair. Is elected.
- a target straight line images having respective viewpoints at both end points of the target straight line are selected as the target image pair.
- FIG. 6 shows a target image pair selected according to the angle ⁇ when the angle ⁇ changes from 0 degrees to 180 degrees.
- FIG. 7 shows a target image pair selected according to the angle ⁇ when the angle ⁇ changes from 180 degrees to 360 degrees.
- the orthogonal projection length L1 decreases from “L0” to (L0 ⁇ cos30), and the orthogonal projection length L2 becomes “L0 ⁇ 1 / 2 ”to“ L0 ⁇ cos30 ”.
- the orthogonal projection length L3 is shortened from “L0 ⁇ 1/2” to “0”. Therefore, when the angle ⁇ is less than 30 degrees, the straight line AB is selected as the target straight line, and the image (A, B) is selected as the target image pair.
- the orthogonal projection lengths L1 and L2 are both “L0 ⁇ cos30”, and the orthogonal projection length L3 is “0”. Therefore, there are two target straight lines, a straight line AB and a straight line AC. At this time, either the straight line AC or the straight line AC may be selected as the target straight line.
- FIG. 8 shows the relationship between the effective parallax length and the angle ⁇ when the target straight line and target image pair are selected according to the angle ⁇ that varies within the range of 0 to 360, as shown in FIGS. Indicates.
- the effective parallax length is always “L0 ⁇ cos30” or more regardless of the angle ⁇ .
- the best stereoscopic effect can be obtained when the parallax angle ⁇ is “0”, that is, when the effective parallax length is the inter-eye distance L0.
- an optimal target image pair can be selected according to the inclination of the parallax line SL of each observer. Can be given.
- n is “3”, that is, three equal points (three vertices of an equilateral triangle) that divide the circumference of the circle RC into three equal parts are respectively viewed.
- a viewpoint pair is formed by a combination of all two viewpoints.
- the technique according to the present invention can also be applied when n is an arbitrary integer of 3 or more.
- FIG. 9 is an example in the case where n is “4”, that is, the viewpoint is set at four equal points (A, B, C, D) that divide the circle RC into four equal parts. Further, the example shown in FIG. 9 is an example in the case where two adjacent equal dividing points are set as viewpoint pairs.
- the straight line AB and the straight line DC are parallel to each other, and the straight line AD and the straight line BC are also parallel to each other. Therefore, regardless of the angle ⁇ , the orthogonal projection length of the parallax line SL onto the straight line AB and the orthogonal projection length onto the straight line DC are the same, and the orthogonal projection length of the parallax line SL onto the straight line AD and the straight line BC The orthographic projection length to is the same. In this case, when the straight line AB is aligned with the reference axis, viewpoint pairs that form both end points of the straight line DC are wasted. Moreover, only the same orthogonal projection length can be obtained regardless of which of the straight line AD and the straight line BC is selected.
- a viewpoint pair is formed by two equal dividing points having a central angle of (360 / n) ⁇ int (n / 2) among the plurality of equal dividing points.
- int () is a function that returns an integer with the decimal point rounded down from the value in (). As shown in FIG. 4, this condition is naturally satisfied when each vertex of the triangle is the viewpoint.
- n 4
- two equal points that form a viewpoint pair become two equal points that form a central angle of 180 degrees. Therefore, as shown in FIG. B forms one viewpoint pair, and point D and point C form one viewpoint pair.
- the equal dividing points A, B, C, and D divide the circle RC into four equal parts.
- the length of the straight line AB and the straight line BC that is, the diameter of the circle RC is the distance L0 between the eyes.
- the orthogonal projection lengths L1 and L2 can be obtained by the following equations (5) and (6).
- L1 L0 ⁇
- L2 L0 ⁇
- FIG. 11 shows the relationship between the orthogonal projection lengths L1 and L2 and the angle ⁇ .
- the straight line with the longest orthographic projection of the parallax line SL is selected as the target straight line from the straight line group (here, the straight lines AB and BC).
- An effective parallax length as shown in FIG. 12 can be obtained.
- the effective parallax length is always “L0 ⁇ cos 45” or more regardless of the angle ⁇ . That is, even in the worst case, it is possible to obtain a stereoscopic effect about “cos 45” times (approximately 71%) of the best case.
- a pair of viewpoints is formed by dividing the circle into n equal parts (n: an integer equal to or greater than 3), with a central angle of (360 / n) x int (n / 2) at two equal points.
- n an even number
- n viewpoint pairs as shown in FIG. 10 can be obtained.
- n viewpoint pairs can be obtained.
- FIG. 13 shows an example where n is 5.
- the equal points A, D, E, B, C divide the circle RC into five equal parts.
- the center of the circle RC is the point O. Since the central angles AOB, AOE, BOD, COE, COD, and COE are (360/5) ⁇ int (5/2), A and B, A and E, B and D, C and D, and C and E Five parallax pairs are configured.
- the length of the straight line connecting the two viewpoints of each parallax pair is the distance L0 between both eyes.
- L1 L0 ⁇
- L2 L0 ⁇
- L3 L0 ⁇
- L4 L0 ⁇
- L5 L0 ⁇
- FIG. 14 shows the relationship between the orthogonal projection lengths L1 to L5 and the angle ⁇ .
- the straight line having the longest orthographic projection of the parallax line SL from the straight line group (here, straight lines AB, BD, DC, CE, AE) is set as the target straight line.
- an effective parallax length as shown in FIG. 15 can be obtained.
- the effective parallax length is always “L0 ⁇ cos 18” or more regardless of the angle ⁇ . That is, even in the worst case, it is possible to obtain a stereoscopic effect that is about “cos 18” times (approximately 95%) that of the best case.
- FIG. 16 shows an example where n is 7.
- the equivalence points A, E, F, G, B, C, and D divide the circle RC into seven equal parts.
- the center of the circle RC is the point O. Since the central angles AOB, AOG, BOE, COE, COF, DOF, and DOG are (360/7) ⁇ int (7/2), A and B, A and G, B and E, C and E, and C F, D and F, and D and G constitute seven parallax pairs.
- the length of the straight line connecting the two viewpoints of each parallax pair is the distance L0 between both eyes.
- a straight line having the longest orthogonal projection of the parallax line SL is selected as a target straight line from a straight line group (here, straight lines AB, EG, DC, FB, AE, CG, DF). By doing so, an effective parallax length as shown in FIG. 18 can be obtained.
- the effective parallax length is always “L0 ⁇ cos13” or more regardless of the angle ⁇ . That is, even in the worst case, it is possible to obtain a stereoscopic effect about “cos 13” times (approximately 97%) of the best case.
- the technique according to the present invention sequentially displays a plurality of images each having a plurality of viewpoints, and when any image of a target image pair included in the plurality of images is displayed, And the field of view that does not correspond to the image of the right eye is shielded, and when the other image is displayed, the fields of view of both the left eye and the right eye are shielded. Therefore, as n is larger, the number of the plurality of images increases, and the ratio of the time during which the visual fields of both eyes are shielded to the total time for displaying the plurality of images increases. As a result, the observer may feel dark. This problem is particularly noticeable in the case of an image that is originally not bright.
- n it is preferable to determine n according to the balance between the stereoscopic effect and the brightness according to the purpose and the like. For example, if a stereoscopic effect of about 86% or more at the best time is sufficient, n may be set to 3.
- the technique according to the present invention may use an image having a circular center as a viewpoint in addition to the equally divided points.
- the radius of the circle RC is the interval L0 between the eyes, and the viewpoint pair is formed by the center of the circle and each equally dividing point that divides the circle RC into n equal parts (n: an integer of 3 or more).
- n is “3”, that is, the case of using four images with the viewpoints of the three equally dividing points dividing the circumference into three and the center of the circle will be described in detail.
- the circle RC has a center A and a radius L0 between the eyes.
- B, C, and D divide the circle RC into three equal parts.
- the viewpoint pairs are (A, B), (A, C), (A, D).
- the angle between the parallax line SL and the straight line AB that is, the inclination of the parallax line SL is ⁇ . Therefore, the angle formed between the parallax line SL and the straight line AC is “ ⁇ + 120”, and the angle formed between the parallax line SL and the straight line AD is “ ⁇ + 240”. That is, when the straight line AB is selected as the target straight line, that is, when the image A and the image B are selected as the target image pair, the parallax angle ⁇ is ⁇ . When the straight line AC is selected as the target straight line, that is, when the image A and the image C are selected as the target image pair, the parallax angle ⁇ is “ ⁇ + 120”. Further, when the straight line AD is selected as the target straight line, that is, when the image A and the image D are selected as the target image pair, the parallax angle ⁇ is “ ⁇ + 240”.
- the orthographic projection lengths of the parallax lines SL on the straight lines AB, AC, and AD are L1, L2, and L3, respectively, and can be obtained by the following equations (12) to (14).
- L1 L0 ⁇
- L2 L0 ⁇
- L3 L0 ⁇
- FIG. 20 shows the relationship between the orthogonal projection lengths L1, L2, and L3 and the angle ⁇ .
- the orthogonal projection length L1 is the longest when “0 ⁇ ⁇ ⁇ 30”.
- the minimum value of the orthogonal projection length L1 is “L0 ⁇ cos30”.
- the orthogonal projection length L3 is the longest. At this time, the minimum value of the orthogonal projection length L3 is “L0 ⁇ cos30”.
- the orthogonal projection length L2 is the longest. At this time, the minimum value of the orthogonal projection length L2 is “L0 ⁇ cos30”.
- the longest orthographic projection length becomes the orthographic projection length L1 again.
- the minimum value of the orthogonal projection length L1 is “L0 ⁇ cos30”.
- the longest orthographic projection length becomes the orthographic projection length L3 again.
- the minimum value of the orthogonal projection length L3 is “L0 ⁇ cos30”.
- the longest orthographic projection length becomes the orthographic projection length L2 again.
- the minimum value of the orthogonal projection length L2 is “L0 ⁇ cos30”.
- the longest orthographic projection length is the orthographic projection length L1.
- the minimum value of the orthogonal projection length L1 is “L0 ⁇ cos30”.
- the target straight line is selected from the straight line group having the straight lines AB, AC, and AD, the straight line having the longest orthogonal projection length of the parallax line SL is selected.
- images having respective viewpoints at both end points of the target straight line are selected as the target image pair.
- the orthogonal projection lengths L1 and L3 are both “L0 ⁇ cos30”, and the orthogonal projection length L2 is “0”. Therefore, there are two target straight lines, a straight line AB and a straight line AD.
- the straight line AD is selected as the target straight line
- the image (D, A) is selected as the target image pair, and the image A becomes the image for the right eye.
- the image A is selected as the image for the left eye when ⁇ is less than 30 degrees, if the image A becomes the image for the right eye when ⁇ is 30 degrees, the viewer feels uncomfortable. . Therefore, when the angle ⁇ is 30 degrees, it is preferable to provide a hysteresis according to the rotation direction of the parallax line SL so that the straight line AB is selected as the target straight line.
- FIG. 21 shows the relationship between the effective parallax length and the angle ⁇ obtained as a result of the above selection.
- the effective parallax length is always “L0 ⁇ cos30” or more regardless of the angle ⁇ . Therefore, in this example, a stereoscopic effect that is “cos 30” times as large as the best (approximately 86%) can be obtained even in the worst case.
- an optimal target image pair can be selected according to the inclination of the parallax line SL of each observer. Can be given.
- n is “3”, that is, when four images are used with the viewpoints of three equal points that divide the circumference of the circle RC into three equal parts and the center of the circle. It is. n may be any number of 3 or more.
- FIG. 23 shows the relationship between the orthogonal projection length of the parallax line SL on the straight line in the radial direction connecting the heart and the respective equally divided points and the angle ⁇ . Therefore, when the straight line having the longest orthogonal projection length of the parallax line SL is selected as the target straight line according to the angle ⁇ , the effective parallax length shown in FIG. 24 can be obtained.
- n is “4”
- n is “4”
- three images using two of the four equal dividing points that divide the circumference RC into four and the center of the circle are used in detail is used. explain.
- the equally dividing points B, C, D, and E divide the circle RC having a radius L0 between the eyes into four equal parts.
- the equally divided points B and C are used. That is, only (A, B) and (A, C) are used as viewpoint pairs.
- the orthogonal projection lengths L1 and L2 can be obtained by the following equations (15) and (16).
- L1 L0 ⁇
- L2 L0 ⁇
- FIG. 26 shows the relationship between the orthogonal projection lengths L1 and L2 and the angle ⁇ .
- the straight line having the longest orthogonal projection of the parallax line SL is selected as the target straight line from the straight line group (here, the straight lines AB and AC) at any angle ⁇ , an effective parallax length as shown in FIG. 27 is obtained. be able to.
- the effective parallax length is always “L0 ⁇ cos 45” or more regardless of the angle ⁇ . That is, even in the worst case, it is possible to obtain a stereoscopic effect that is approximately “cos 45” times (approximately 70%) that is the best.
- n is “6”, that is, a case where four images each using three of the six equal dividing points dividing the circumference RC into six and the center of the circle will be described.
- the equally dividing points B, C, D, E, F, and G divide the circle RC having a radius L0 between the eyes into 6 equal parts.
- the equivalence points B, C, and D are used. That is, only (A, B), (A, C), (A, D) are used as the parallax pairs.
- the lengths of the orthogonal projections of the parallax lines SL onto the straight line AB, the straight line AC, and the straight line AD are represented by L1, L2, and L3, respectively, these orthogonal projection lengths are obtained by the following equations (17) to (19). Can do.
- L1 L0 ⁇
- L2 L0 ⁇
- L2 L0 ⁇
- FIG. 29 shows the relationship between the orthogonal projection lengths L1, L2, and L3 and the angle ⁇ .
- the straight line having the longest orthogonal projection of the parallax line SL is selected as the target straight line from the straight line group (here, straight lines AB, AC, AD) at any angle ⁇
- the effective parallax length as shown in FIG. Can be obtained.
- the effective parallax length is always “L0 ⁇ cos30” or more regardless of the angle ⁇ . Therefore, even in the worst case, it is possible to obtain a stereoscopic effect that is “cos 30” times as large as the best (approximately 86%).
- FIG. 2 is compared with the example shown in FIG.
- FIG. 2 is an example in which three viewpoint pairs are formed by three equal dividing points that divide a circle into three equal parts.
- FIG. 28 is an example in which three viewpoint pairs are formed by three consecutive points out of six equal points that divide a circle into six and a circle center.
- the effective parallax length is “L0 ⁇ cos30” or more.
- only three images are necessary, whereas in the example of FIG. 28, four images (A, B, C, D) are necessary.
- the circle is divided into ten equal parts. It is necessary to form six viewpoint pairs with five consecutive points of ten equal points and a circle center. Also, as in the example shown in FIG. 16, in order to obtain the same effective parallax length as in the case where seven viewpoint pairs are formed by seven equal dividing points that divide the circle into seven equal parts, the circle is divided into 14 equal parts. It is necessary to form eight viewpoint pairs with seven consecutive points and a circle center of the equal dividing points.
- FIG. 10 shows an example in which two viewpoint pairs are formed by four equal dividing points that divide a circle into four equal parts.
- FIG. 25 is an example in which two viewpoint pairs are formed by two consecutive points out of four equal points that divide a circle into four and a circle center.
- the effective parallax length is “L0 ⁇ cos45” or more.
- four images A, B, C, D
- only three images A, B, C are required. is required.
- a viewpoint and a viewpoint pair may be determined according to the minimum required effective parallax length on the assumption that the number of necessary images is as small as possible.
- the minimum execution parallax length increases as the number of viewpoint pairs increases, but the number of images displayed increases as the number of viewpoint pairs increases. The greater the number of images required, the longer the device and time required to acquire these images.
- the larger the number of the plurality of images that are candidates for the two images of the target image pair the ratio of the time that the visual fields of both eyes are shielded together to the total time for displaying the plurality of images And the observer may feel dark.
- each vertex of the equilateral triangle ABC is set as a viewpoint as shown in FIG. 4 rather than the case shown in FIGS. It is preferable to use three images.
- FIG. 31 shows an image system 100 according to an embodiment of the present invention.
- the image system 100 includes an image acquisition device 110, a composition device 120, an image display device 130, and a control device 150.
- A, B, and C indicate the viewpoint of the image.
- the images A, B, and C are images each having the equilateral triangle ABC shown in FIG. 4 as viewpoints, and the viewpoints A, B, and C have three viewpoint pairs. Form.
- the image system 100 sequentially outputs an image A and an image B obtained by simultaneously capturing images to the synthesis device 120.
- the synthesizing device 120 synthesizes the image C from the image A and the image B to obtain the image C, and sequentially outputs the images A, B, and C to the image display device 130.
- the image display device 130 sequentially displays the images A, B, and C, and outputs a synchronization signal S1 that can indicate which of the images A, B, and C is currently displayed to the control device 150.
- the eyeglasses 140 are worn by an observer of the image displayed on the image display device 130, and output tilt information S2 described later to the control device 150.
- the control device 150 controls the glasses 140 by generating a control signal S3 based on the synchronization signal S1 and the tilt information S2 and outputting the control signal S3 to the glasses 140.
- transmission of signals between the image display device 130 and the control device 150 and between the control device 150 and the glasses 140 is performed via a wireless communication means (not shown) such as infrared rays.
- FIG. 32 is a diagram showing the image acquisition device 110.
- the image acquisition device 110 includes a first imaging unit 112, a second imaging unit 114, and an output unit 116.
- the first imaging unit 112 captures the subject from the viewpoint A, obtains an image A, and outputs the image A to the output unit 116.
- the second imaging unit 114 captures the same subject from the viewpoint B, obtains an image B, and outputs the image B to the output unit 116.
- the distance between the viewpoints A and B is the distance L0 between both eyes.
- the output unit 116 outputs the image A from the first image capturing unit 112 and the image B from the second image capturing unit 114 to the synthesizing device 120 successively in the order of A and B.
- FIG. 33 is a diagram showing the synthesis device 120.
- the synthesizer 120 includes a vector acquisition unit 122, a vector rotation unit 124, an image generation unit 126, and an output unit 128.
- the vector acquisition unit 122 calculates a disparity vector for the image A and the image B and outputs them to the vector rotation unit 124 and the image generation unit 126.
- the parallax vector will be described.
- Image A and image B are images obtained by imaging the subject from the viewpoint A and the viewpoint B at the same time. Such two images are obtained by imaging from the same viewpoint when the subject moves in the direction from point A or point B by the distance between point A and point B (interval between both eyes L0). Can be regarded as two frames of a moving image. Image A corresponds to the frame before the subject moves, and image B corresponds to the frame after the subject moves.
- a motion vector for each block can be calculated between the two frames.
- the disparity vector is a component of the motion vector in the direction from point A to point B.
- the vector rotation unit 124 rotates each parallax vector so that the direction of each parallax vector calculated by the vector acquisition unit 122 is a direction from point A to point C.
- the vector rotation unit 124 rotates each parallax vector calculated by the vector acquisition unit 122 downward by 60 degrees.
- the vector rotation unit 124 outputs the parallax vector after rotation to the image generation unit 126.
- the image generation unit 126 generates an image C using the image A and the parallax vector after rotation from the vector rotation unit 124.
- Images A and C are also moving images obtained from the same viewpoint when the subject moves in the direction toward point A or point C by the distance between point A and point C (interval L0 between both eyes).
- the image A corresponds to a frame before the subject moves
- the image C corresponds to a frame after the subject moves. Therefore, assuming that the image A and the image C are two frames of a moving image, and the disparity vector after rotation from the vector rotation unit 124 is a motion vector, the image C can be generated.
- FIG. 34 shows an example of the flow of the image C composition processing by the composition device 120.
- the vector acquisition unit 122 calculates a difference in the x direction for each block of the image A and the image B.
- the block area where there is no difference between image A and image B is the background area.
- the vector acquisition unit 122 removes the background region from the image A (the foreground of the image A, ie, the subject image A1), and removes the background region from the image B (the foreground of the image B, ie, the image B).
- the parallax vector of each block is calculated from the image B1) of the subject portion by a technique such as block matching.
- the vector rotation unit 124 rotates each vector calculated by the vector acquisition unit 122 downward 60 degrees.
- Step 3> The image generation unit 126 moves each block of the foreground image A1 of the image A according to the direction and distance indicated by the parallax vector rotated by the vector rotation unit 124 corresponding to the block.
- the foreground image A1 after the movement becomes the foreground image C1 of the image C.
- the image generation unit 126 combines the background region image obtained in step 1 with the foreground image C1 obtained in step 3 to obtain an image C.
- the insufficient portion of the background region image obtained in step 1 may be generated by interpolation or the like with reference to the matching portion between image A and image B.
- the output unit 128 outputs the images A and B from the image acquisition device 110 and the image C obtained by the image generation unit 126 in the order of A, B, and C.
- the image display device 130 sequentially displays the images A, B, and C from the synthesizing device 120 and outputs the synchronization signal S1 indicating which image is displayed.
- FIG. 35 is a diagram showing the glasses 140.
- the spectacles 140 includes a left eye 142, a right eye 144, a sensor 146, and a shutter driving unit 148.
- the left eye part 142 and the right eye part 144 have shutters (not shown) driven by a shutter driving part 148, and can block the left eye field and the right eye field of the observer wearing the glasses 140, respectively.
- the sensor 146 is provided on the frame of the eyeglasses 140, detects the inclination of the eyeglasses 140, that is, the inclination of the straight line (parallax line SL) connecting the left eye part 142 and the right eye part 144, and obtains inclination information S2 indicating the inclination. Output. Note that the inclination detected by the sensor 146 corresponds to the angle ⁇ described above.
- the sensor 146 is an acceleration sensor, for example.
- the shutter driving unit 148 drives the shutters of the left eye part 142 and the right eye part 144 so as to shield one or both of the left eye field and the right eye field according to the control signal S3 from the control device 150.
- FIG. 36 is a diagram showing the control device 150.
- the control device 150 includes a reception unit 152 and a control execution unit 154.
- the receiving unit 152 receives the synchronization signal S1 from the image display device 130 and the tilt information S2 from the glasses 140.
- the control execution unit 154 selects two images in the images A, B, and C as target image pairs based on the synchronization signal S1 and the inclination information S2, and any image of the target image pair is displayed. Sometimes, the shutter driving of the glasses 140 is performed so that one of the left eye and the right eye that does not correspond to the image is blocked, and when an image other than the target image pair is displayed, both the left eye and the right eye are blocked.
- the control signal S3 is output to the unit 148.
- the method for selecting a target image pair by the control execution unit 154 is as described in the example shown in FIG.
- FIG. 37 shows a correspondence relationship between the tilt of the observer's head (or the position of the observer), the selected target image pair, and the occlusion state of the left-eye and right-eye fields in the image system 100.
- FIG. 37 shows the inclination of the observer's head viewed from the front of the observer. This inclination corresponds to the angle ⁇ described above.
- the image (A, B) is selected as the target image pair. Is done. Then, when the image A is displayed, the visual field of the right eye is shielded (OFF), and when the image B is displayed, the visual field of the left eye is shielded. In addition, when the image C is displayed, the visual fields of both eyes are shielded.
- the image (B, A) is selected.
- the left eye field of view is blocked
- the image B is displayed
- the right eye field of view is blocked.
- the image C is displayed, the visual fields of both eyes are shielded.
- the best stereoscopic effect of 86% or more can always be obtained.
- the tilt information S2 and the control signal S3 are in a one-to-one relationship, even when a plurality of observers go from different positions to the screen, an optimal stereoscopic effect can be given to each observer. .
- the image acquisition device 110 acquires the images of the viewpoint A and the viewpoint B using the first imaging unit 112 and the second imaging unit 114, and synthesizes the image of the viewpoint C using the image generation unit 126.
- the image acquisition device 110 may be provided with three imaging units, and the images of the viewpoints A, B, and C may be acquired by these three imaging units.
- composition device 120 may be included in the image acquisition device 110 or the image display device 130.
- the image display device 130 When the synthesizing device 120 is included in the image display device 130, the image display device 130 preferably synthesizes the image C while displaying the images A and B. By doing so, it is not necessary to delay the display of the images A and B for the synthesis of the image C, so that the processing of the entire image system 100 is accelerated.
- the control device 150 controls only one spectacle 140, but if the inclination information S2 from the spectacles 140 and the control signal S3 from the control device 150 have a one-to-one relationship, One control device 150 may receive each inclination information S2 from the plurality of glasses 140 and output a control signal S3 to each of the glasses 140.
- control device 150 may be included in the glasses 140.
- the image system 100 is an example using three images having three vertexes of an equilateral triangle as viewpoints as images of a plurality of viewpoints, but the principle of the present invention is described as the images of the plurality of viewpoints. You may use the image of the various viewpoints described when doing.
- the method of synthesizing the image C from the image A and the image B is not only the synthesis of the image having the third vertex from the two images each having the two vertices of the equilateral triangle as viewpoints, but also the principle of the present invention.
- the present invention can be applied to the synthesis of images from other viewpoints from the image A and the image B with respect to the various examples described in the description.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
点A、B、Cを夫々視点とする複数の画像を順次表示すると共に、視差線(SL)の傾き(θ)を検出する。検出した傾きに応じて、上記複数の画像のうちの2つである目標画像ペアを選出すると共に、該目標画像ペアのいずれの画像が表示されているときには、左目と右目のうちの該画像に対応しない片方の視野を遮蔽し、目標画像ペア以外の画像が表示されているときには、左目と右目のいずれの視野も遮蔽するように眼鏡の左目部と右目部を制御する。目標画像ペアは、長さが両目間間隔(L0)である直線AB、AC、BCのうちの、視差線(SL)の該直線への正射影が最も長い直線の両端点を夫々視点とする2つの画像である。該技術によれば、両眼式立体視方式の画像システムにおいて、観察者の眼鏡が傾いた場合や、位置の異なる複数の観察者がいる場合にも、観察者に良好な立体視効果を与える。
Description
本発明は、両眼視差画像により立体視を得る技術に関する。
立体映像表示方式として、レンチキュラ方式(特許文献1)や両眼式立体視方式などが知られている。
両眼式立体視方式は、両眼視差を利用して立体視を得る方式であり、両眼視差画像を連続して表示すると共に、観察者に装着された眼鏡が、左目の視点からの画像が表示されているときには右目の視野を遮蔽し、右目の視点からの画像が表示されているときには左目の視野を遮蔽することにより、観察者に立体視を与える。なお、「両眼視差」は、左目と右目で見える像の位置あるいは視方向における差異を意味し、以下の説明において、単に「視差」ともいう。また、「両眼視差画像」は、両目間間隔とほぼ一致する距離を離れた2つの位置を夫々視点とする同一の被写体の2つの画像である。
両眼式立体視方式に関して、様々なシステムが提案されている。
例えば、特許文献2と特許文献3に開示されたシステムは、被写体に対して夫々複数の方向からとらえた複数の画像信号を連続的に画像表示装置に表示すると共に、画像表示装置に対する観察者の視線の方向を検出する。そして、観察者に装着された眼鏡は、検出した視線の方向に合致する方向からとらえた2つの画像信号を選択して、左目と右目の視野を遮蔽するタイミングを制御する。
例えば、特許文献2と特許文献3に開示されたシステムは、被写体に対して夫々複数の方向からとらえた複数の画像信号を連続的に画像表示装置に表示すると共に、画像表示装置に対する観察者の視線の方向を検出する。そして、観察者に装着された眼鏡は、検出した視線の方向に合致する方向からとらえた2つの画像信号を選択して、左目と右目の視野を遮蔽するタイミングを制御する。
また、特許文献4と特許文献5に開示されたシステムは、眼鏡の傾きを検出し、検出した傾きに応じて、被写体に対して複数の異なる方向からとらえた画像から表示すべき2つの画像を選出した表示するシステムが開示されている。
特許文献2と特許文献3に開示されたシステムでは、眼鏡が、表示装置に対する観察者の視線の方向に基づいて画像信号の選択をしている。観察者が、表示装置を中心として、表示画面から放射線状に配置される線上に移動する場合には、移動に応じて観察者の視線の方向が変わるが、観察者が横になるなど、観察者に装着された眼鏡が視線に対して、傾いた場合には、表示装置に対する観察者の視線が変わらない。そのため、特許文献2と特許文献3に開示されたシステムでは、観察者の眼鏡が傾いた場合には、観察者に良好な立体視を与えることができない。
特許文献4と特許文献5に開示されたシステムでは、表示装置により適切な2つの画像を選出して表示している。そのため、これらのシステムは、位置の異なる複数の観察者がいる場合に適用することができない。
本発明は、上記事情に鑑みてなされたものであり、両眼式立体視方式の画像システムにおいて、観察者の眼鏡が傾いた場合にも観察者に良好な立体視を与えることができると共に、位置の異なる複数の観察者がいる場合にも適用できる技術を提供する。
本発明の1つの態様は、画像表示方法である。この画像表示方法は、夫々異なる複数の視点からの同一の被写体の複数の画像を順次表示し、表示された画像の観察者に装着され、観察者の左目と右目の視野を遮蔽可能な眼鏡の左目部と右目部を結ぶ直線である視差線の傾きを検出し、検出した傾きに応じて、上記複数の画像のうちの2つからなる目標画像ペアを選出すると共に、該目標画像ペアのいずれの画像が表示されているときには、左目と右目のうちの該画像に対応しない片方の視野を遮蔽し、前記目標画像ペア以外の画像が表示されているときには、左目と右目のいずれの視野も遮蔽するように前記眼鏡の左目部と右目部を制御する。
上記複数の視点は、被写体に面する同一の平面上の夫々異なる位置の3つ以上の視点であり、各前記視点が、少なくとも1つの他の前記視点と、距離が両目間間隔である視点ペアを形成する。
目標画像ペアは、上記複数の視点に含まれる複数の視点ペアの夫々の2つの視点を結ぶ複数の直線である直線群内の目標直線の両端点を夫々視点とする2つの画像である。目標直線は、視差線を上記平面に移動したと仮定した場合に、上記直線群において、該直線への視差線の正射影が最も長い直線である。
なお、上記態様の方法を装置やシステムに置換えて表示したものや、上記方法における眼鏡の制御方法及び該制御方法を実行する装置や、該制御方法をコンピュータに実行せしめるプログラムなども、本発明の態様としては有効である。
本発明にかかる技術によれば、両眼式立体視方式の画像システムにおいて、観察者の眼鏡が傾いた場合にも観察者に良好な立体視を与えることができると共に、位置の異なる複数の観察者がいる場合にも適用することができる。
以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェアとソフトウェア(プログラム)の組合せによっていろいろな形で実現できることは当業者には理解されるところであり、ハードウェアとソフトウェアのいずれかに限定されるものではない。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
本発明の具体的な実施の形態を説明する前に、本発明にかかる技術の原理を説明する。説明上の便宜のため、まず、いくつかの用語を定義する。
前述したように、両眼式立体視方式は、両眼視差画像に含まれる2つの画像を連続して表示すると共に、観察者に装着された眼鏡が、左目の視点からの画像が表示されているときには右目の視野を遮蔽し、右目の視点からの画像が表示されているときには左目の視野を遮蔽することにより、観察者に立体視を与える方式である。以下の説明において、画像と、該画像に対応する視点とについて、同じ符号を用いる。例えば、点Aを視点とする画像を「画像A」といい、画像Aの視点は、点Aとなる。
また、観察者に装着された眼鏡の左目部と右目部を結ぶ直線を「視差線」という。視差線の長さは、両目間間隔L0である。なお、両目間間隔L0は、例えば、平均的な、両目の瞳間の間隔とすることができる。
ここで、図1を参照して、「視点ペア」、「視差角度」、「実効視差長」、「視差線の傾き」を定義する。
図1の左部分は、両眼視差画像に含まれる2つの画像の視点(A、B)と被写体1の位置関係を示す。視点Aと視点Bを結ぶ直線ABの長さが両目間間隔L0であり、直線ABを挟んで被写体側の反対側から見た際に、Aは左端点であり、Bは右端点である。以下において、両眼視差画像に含まれる2つの画像の視点、すなわち距離が両目間間隔L0である2つの視点を「視点ペア」という。
図1の左部分は、両眼視差画像に含まれる2つの画像の視点(A、B)と被写体1の位置関係を示す。視点Aと視点Bを結ぶ直線ABの長さが両目間間隔L0であり、直線ABを挟んで被写体側の反対側から見た際に、Aは左端点であり、Bは右端点である。以下において、両眼視差画像に含まれる2つの画像の視点、すなわち距離が両目間間隔L0である2つの視点を「視点ペア」という。
表示された画像を観察する際に、観察者の視差線は、通常、表示画面と平行する平面に含まれると考えられる。図Bの右部に示す直線SLは、視差線の表示画面2への正射影であり、直線SLの矢印は、視差線の左目部から右目部に向かう方向を示す。
表示画面2上にある直線A'B'は、直線ABが表示画面上に位置し、かつ、点Aが、直線SLの左目部に対応する端点になるように、直線ABと被写体1との相対位置関係を変えずに、直線ABと被写体を移動した場合の直線ABである。
両眼式立体視方式により画像Aと画像Bを観察する際に、直線A'B'と直線SLが重なるとき、すなわち直線A'B'と直線SLの成す角度αが「0」であるとき、最も良い立体視効果を得ることができる。本明細書において、直線A'B'と直線SLが成す角度αを「視差角度」といい、直線A'B'への直線SLの正射影の長さ(図中L1)を「実効視差長」という。なお、この「視差角度」は、両眼式立体視方式で通常「輻輳角」と呼ばれる角度と異なる意味を有することを注意されたい。
分かりやすいように、以下において、直線A'B'を直線ABとして説明し、直線SLを視差線として説明する。
また、「視差線の傾き」は、直線SLと、表示画面に含まれる所定の基準軸と成す角度である。この所定の基準軸は、通常想定される観察状況において、視差線と成す角度が「0」である直線を意味する。
例えば、画像表示装置の表示画面が地面に対して垂直である場合に、「観察者が頭部を上に、かつ頭部を左右に傾けないように画面に向かう」状況は、通常想定される観察状況といえる。この場合、上記基準軸は、画面に向かう方向から見て、左から右に向かう水平直線となる。
また、例えば、画面表示装置の表示画面が地面に対して水平である場合には、「通常想定される観察位置から、観察者が頭部を左右に傾けないように、画面を俯瞰する」状況は、通常想定される観察状況といえる。この場合、上記基準軸は、通常想定される観察位置から画面を俯瞰した際に、左から右に向かう水平直線となる。
また、両眼視差画像の2つの画像の視点Aと視点Bも、通常、直線ABが上記基準軸に平行し、かつ、点Aから点Bに向かう方向が基準軸と同じ方向になるように設定される。すなわち、通常想定される観察状況において、視差線の傾きが無く、視差角度αが0度であり、実効視差長が両目間間隔L0である。
ところで、観察者が頭部を傾けたとき、観察者が通常の観察位置とは異なる位置にいるときなどの場合において、視差線が傾き、視差角度αが0度ではなくなる。
図2を参照して、視差角度αと、立体視効果との関係について考える。なお、基準軸を直線ABとする。
図2に示すように、視差角度αが「0」~「360」度の範囲内で変化する場合、視差線SLの直線ABへの正射影の長さが変化する。正射影の長さは、以下「正射影長」といい、図2の例において、正射影長L1は、実効視差長と同様である。
正射影長L1は、下記の式(1)に示すように、両目間間隔L0と、視差角度αの余弦値の絶対値との積で表わすことができる。
L1=L0×|cosα| (1)
L1=L0×|cosα| (1)
図3は、実効視差長(正射影長L1)と視差角度αとの関係を示す。図3において、実線曲線は、実効視差長を示し、点線曲線は、「L0×cosα」を示す。視差角度αが「0度~90度」と「270度~360度」の範囲内にある場合に、正射影長L1と「L0×cosα」が重なるため、「L0×cosα」を表す点線を下にずらして示している。
・0度≦視差角度α<90度
この場合、正射影長L1は、αの増大に従って減少する。すなわち、視差角度αが0度であるときに、実効視差長が両目間間隔L0であり、最も良い立体視効果を得ることができる。視差角度αが大きいほど、実効視差長が短くなり、立体視効果が悪くなる。なお、この角度範囲においては、両眼式立体視方式により画像Aと画像Bを観察する際に、画像Aが表示されているときに右目の視野を、画像Bが表示されているときに左目の視野を遮蔽するようになる。
この場合、正射影長L1は、αの増大に従って減少する。すなわち、視差角度αが0度であるときに、実効視差長が両目間間隔L0であり、最も良い立体視効果を得ることができる。視差角度αが大きいほど、実効視差長が短くなり、立体視効果が悪くなる。なお、この角度範囲においては、両眼式立体視方式により画像Aと画像Bを観察する際に、画像Aが表示されているときに右目の視野を、画像Bが表示されているときに左目の視野を遮蔽するようになる。
・視差角度α=90
この場合、視差線SLの直線ABへの正射影が無く、正射影長L1は、「0」である。観察者は、ずれた2枚の画像を見ることになり、立体視効果を得ることができない。
この場合、視差線SLの直線ABへの正射影が無く、正射影長L1は、「0」である。観察者は、ずれた2枚の画像を見ることになり、立体視効果を得ることができない。
・90度<視差角度α≦180度
この場合、両眼式立体視方式により画像Aと画像Bを観察する際に、「0度≦視差角度α<90度」の場合とは逆に、画像Aが表示されているときに左目の視野を、画像Bが表示されているときに右目の視野を遮蔽する必要になる。
この場合、両眼式立体視方式により画像Aと画像Bを観察する際に、「0度≦視差角度α<90度」の場合とは逆に、画像Aが表示されているときに左目の視野を、画像Bが表示されているときに右目の視野を遮蔽する必要になる。
また、図3から分かるように、視差角度αがこの角度範囲にあるときに、正射影長L1すなわち実効視差長は、視差角度αの増大と共に大きくなる。そのため、立体視効果も、視差角度αが大きいほど良くなる。
・180度≦視差角度α<270度
この場合においても、画像Aが表示されているときに左目の視野を、画像Bが表示されているときに右目の視野を遮蔽することになる。
この場合においても、画像Aが表示されているときに左目の視野を、画像Bが表示されているときに右目の視野を遮蔽することになる。
また、図3から分かるように、視差角度αがこの角度範囲にあるときに、正射影長L1すなわち実効視差長は、視差角度αの増大と共に小さくなる。そのため、立体視効果も、視差角度αが大きいほど悪くなる。
・視差角度α=270
この場合、視差線SLの直線ABへの正射影が無く、正射影長L1は、「0」である。観察者は、ずれた2枚の画像を見ることになり、立体視効果を得ることができない。
この場合、視差線SLの直線ABへの正射影が無く、正射影長L1は、「0」である。観察者は、ずれた2枚の画像を見ることになり、立体視効果を得ることができない。
・270度<視差角度α≦360度
この場合において、「0度≦視差角度α<90度」の場合と同様に、画像Aが表示されているときに右目の視野を、画像Bが表示されているときに左目の視野を遮蔽することになる。
この場合において、「0度≦視差角度α<90度」の場合と同様に、画像Aが表示されているときに右目の視野を、画像Bが表示されているときに左目の視野を遮蔽することになる。
また、図3から分かるように、視差角度αがこの角度範囲にあるときに、正射影長L1すなわち実効視差長は、視差角度αの増大と共に大きくなる。そのため、立体視効果も、視差角度αが大きいほど良くなる。
このように、視差角度αの変化に伴って、実効視差長は、最短値の「0」と、最長値の「L0」間で変動する。
この知見に基づき、本願発明者は、両眼式立体視方式の画像システムにおいて、観察者の眼鏡が傾いた場合にも観察者に良好な立体視を与えることができると共に、位置の異なる複数の観察者がいる場合にも適用できる手法を確立した。
この手法は、被写体に面する同一の平面上の夫々異なる位置の3つ以上の複数の視点からの被写体の複数の画像を順次表示する。各視点は、少なくとも1つの他の視点と視点ペアを形成する。
そして、観察者に装着された眼鏡の左目部と右目部を結ぶ直線(視差線SL)の傾きに応じて、上記複数の画像のうちの2つからなる目標画像ペアを選出すると共に、該目標画像ペアのいずれの画像が表示されているときには、左目と右目のうちの該画像に対応しない片方の視野を遮蔽し、目標画像ペア以外の画像が表示されているときには、左目と右目のいずれの視野も遮蔽するように眼鏡の左目部と右目部を制御する。
なお、目標画像ペアは、目標直線の両端点を夫々視点とする2つの画像である。目標直線は、上記複数の視点に含まれる複数の視点ペアの夫々の2つの視点を結ぶ複数の直線である直線群内の、上記複数の視点が位置する平面上に視差線を移動したと仮定した場合に、視差線SLの該直線への正射影が最も長い直線である。
上記複数の視点は、例えば、円の円周をn等分(n:3以上の整数)する複数の等分点とすることができる。
ここで、まず、nが「3」である場合、すなわち円を3等分する3つの等分点を夫々視点とする複数の画像を用いる場合を説明する。
図4に示すように、点A、B、Cは、円RCを3等分する等分点である。また、この3つの等分点のいずれか2つを結ぶ直線(AB、CB、AC)の長さは、両目間間隔L0である。すなわち、点A、B、Cは、辺の長さが両目間間隔L0である正三角形の3つの頂点であり、点A、B、Cは、(A、B)、(B、C)、(A、C)の3つの視点ペアを形成する。
視差線SLと直線ABの成す角度、すなわち視差線SLの傾きがθである。そのため、視差線SLと直線ACが成す角度は「60-θ」であり、視差線SLと直線BCが成す角度は「θ+60」である。すなわち、直線ABを目標直線として選出する場合、つまり画像Aと画像Bを目標画像ペアとして選出する場合には、視差角度αがθである。また、直線ACを目標直線として選出する場合、つまり画像Aと画像Cを目標画像ペアとして選出する場合には、視差角度αが「60-θ」である。また、直線BCを目標直線として選出する場合、つまり画像Bと画像Cを目標画像ペアとして選出する場合には、視差角度αが「θ+60」である。
視差線SLの直線AB、AC、BCへの正射影長は、夫々L1、L2、L3であり、下記の式(2)~(4)で求めることができる。
L1=L0×|cosθ| (2)
L2=L0×|cos(60-θ)| (3)
L3=L0×|cos(θ+60)| (4)
L2=L0×|cos(60-θ)| (3)
L3=L0×|cos(θ+60)| (4)
図5は、正射影長L1、L2、L3と角度θの関係を示す。
図5に示すように、「0≦θ≦30」のときに、正射影長L1が最も長い。また、このときに、正射影長L1の最小値は「L0×cos30」である。
図5に示すように、「0≦θ≦30」のときに、正射影長L1が最も長い。また、このときに、正射影長L1の最小値は「L0×cos30」である。
「30≦θ≦90」のときに、正射影長L2が最も長い。また、このときに、正射影長L2の最小値は「L0×cos30」である。
「90≦θ≦150」のときに、正射影長L3が最も長い。また、このときに、正射影長L3の最小値は「L0×cos30」である。
「150≦θ≦210」のときに、最も長い正射影長は再び正射影長L1になる。また、このときに、正射影長L1の最小値は「L0×cos30」である。
「210≦θ≦270」のときに、最も長い正射影長は再び正射影長L2になる。また、このときに、正射影長L2の最小値は「L0×cos30」である。
「270≦θ≦330」のときに、最も長い正射影長は再び正射影長L3になる。また、このときに、正射影長L3の最小値は「L0×cos30」である。
「330≦θ≦360」のときに、最も長い正射影長は正射影長L1になる。また、このときに、正射影長L1の最小値は「L0×cos30」である。
画像(A、B)のみを目標画像ペアとして選択した場合には、正射影長L1は、実効視差長になる。図5に示すように、この場合、実効視差長すなわち正射影長L1は、角度θに応じて、「0」以上「L0」以下の範囲内で変動する。
画像(A、C)のみを目標画像ペアとして選択した場合には、正射影長L2は、実効視差長になる。この場合においても、実効視差長は、角度θに応じて、「0」以上「L0」以下の範囲内で変動する。
画像(B、C)のみを目標画像ペアとして選択した場合も同様に、実効視差長すなわち正射影長L3は、「0」以上「L0」以下の範囲内で変動する。
これでは、観察者は、良い立体視効果を得ることができない。
本発明にかかる技術は、各視点ペアの両視点を結ぶ直線(ここでは直線AB、AC、BC)を含む直線群から目標直線を選出する際に、視差線SLの正射影長が最も長い直線を選出する。この目標直線の選出により、目標した目標直線の両端点を夫々視点とする画像は、目標画像ペアとして選択される。
本発明にかかる技術は、各視点ペアの両視点を結ぶ直線(ここでは直線AB、AC、BC)を含む直線群から目標直線を選出する際に、視差線SLの正射影長が最も長い直線を選出する。この目標直線の選出により、目標した目標直線の両端点を夫々視点とする画像は、目標画像ペアとして選択される。
図6は、角度θが0度から180度へ変化する場合に、角度θに応じて選出された目標画像ペア示す。また、図7は、角度θが180度から360度へ変化する場合に、角度θに応じて選出された目標画像ペア示す。
図6に示すように、角度θが0度から30度に増大する場合に、正射影長L1は「L0」から(L0×cos30)まで短くなり、正射影長L2は、「L0×1/2」から「L0×cos30」に長くなる。正射影長L3は、「L0×1/2」から「0」まで短くなる。そのため、角度θが30度未満の時には、目標直線として直線ABが選択され、目標画像ペアとして画像(A、B)が選択される。
角度θが30度であるときには、正射影長L1とL2は共に「L0×cos30」であり、正射影長L3は「0」である。そのため、目標直線として直線ABと直線ACの2つになる。このとき、目標直線として直線ACと直線ACのいずれを選択してもよい。
図8は、図6と図7に示すように、0度~360の範囲内で変動する角度θに応じて目標直線及び目標画像ペアを選択した場合に、実効視差長と角度θとの関係を示す。
図8に示すように、角度θに関わらず、実効視差長は、常に「L0×cos30」以上である。前述したように、視差角度αが「0」であるとき、すなわち実効視差長が両目間間隔L0であるときに最も良い立体視効果を得ることができる。この例では、最も悪いときでも、最も良いときの「cos30」倍(大凡86%)の立体視効果を得ることができる。
また、複数の異なる位置の観察者がいる場合においても、夫々の観察者の視差線SLの傾きに応じて最適な目標画像ペアを選出することができるため、各観察者に最適な立体視効果を与えることができる。
図4に示す例は、nが「3」である場合、すなわち円RCの円周を3等分する3つの等分点(正三角形の3つの頂点)を夫々視点し、この3つの頂点のうちの全ての2つの視点の組合せで視点ペアを形成する場合の例である。本発明にかかる技術は、nが3以上の任意の整数である場合にも適用することができる。
図9は、nが「4」であり、すなわち円RCを4等分する4つの等分点(A、B、C、D)を視点とする場合の一例である。また、図9に示す例は、隣接する2つの等分点同士を視点ペアとする場合の例である。
図示のように、この場合、直線ABと直線DCが互いに平行し、直線ADと直線BCも互いに平行する。そのため、角度θがいかなる角度であっても、視差線SLの直線ABへの正射影長と直線DCへの正射影長が同じであり、視差線SLの直線ADへの正射影長と直線BCへの正射影長も同じである。これでは、直線ABを基準軸に合わせた場合には、直線DCの両端点を形成する視点ペアが無駄になる。また、直線ADと直線BCのいずれを選択しても同様の正射影長しか得られない。
そのため、本願発明者は、円をn等分(n:3以上の整数)する複数の等分点の内の二つと円心とで形成される中心角に着目した。そしてこれら複数の等分点の内、係る中心角が(360/n)×int(n/2)となる2つの等分点で視点ペアを形成する手法を想到した。ここで、int()は、()内の値の小数点切捨ての整数を返す関数である。なお、図4に示すように三角形の各頂点を視点とする場合には、この条件は自然に満たされている。
例えば、nが4である場合には、視点ペアを形成する2つの等分点が、180度の中心角を成す2つの等分点となるため、図10に示すように、点Aと点Bが1つの視点ペアを形成し、点Dと点Cが1つの視点ペアを形成する。
図10に示すように、等分点A、B、C、Dは、円RCを4等分する。直線ABと直線BCの長さすなわち円RCの直径は、両目間間隔L0である。視差線SLの直線ABと直線BCへの正射影の長さをL1とL2で表わすと、正射影長L1とL2は、下記の式(5)と(6)により求めることができる。
L1=L0×|cosθ| (5)
L2=L0×|cos(90-θ)| (6)
L2=L0×|cos(90-θ)| (6)
図11は、正射影長L1、L2と角度θの関係を示す。
図4に示す例のときと同様に、いかなる角度θのときでも、直線群(ここでは直線ABとBC)から、視差線SLの正射影が最も長い直線を目標直線として選択するようにすると、図12に示すような実効視差長を得ることができる。
図4に示す例のときと同様に、いかなる角度θのときでも、直線群(ここでは直線ABとBC)から、視差線SLの正射影が最も長い直線を目標直線として選択するようにすると、図12に示すような実効視差長を得ることができる。
図12から分かるように、この場合、角度θに関わらず、実効視差長は、常に「L0×cos45」以上である。すなわち、最も悪いときでも、最も良いときの「cos45」倍(大凡71%)程度の立体視効果を得ることができる。
円をn等分(n:3以上の整数)する複数の等分点のうちの、(360/n)×int(n/2)の中心角を各2つの等分点で視点ペアを形成する手法の場合、nが偶数であるときには、図10に示すようなn/2組の視点ペアしか得られないが、nが奇数であるときには、n組の視点ペアを得ることができる。
図13は、nが5である場合の例を示す。図示のように、等分点A、D、E、B、Cは、円RCを5等分する。円RCの円心が点Oである。中心角AOB、AOE、BOD、COE、COD、COEが(360/5)×int(5/2)であるため、AとB、AとE、BとD、CとD、CとEは、5つの視差ペアを構成する。各視差ペアの2つの視点を結ぶ直線の長さが両目間間隔L0である。
直線AB、BD、DC、CE、AEへの視差線SLの正射影の長さを夫々L1~L5で表わすと、これらの正射影長は、式(7)~(11)により求めることができる。
L1=L0×|cosθ| (7)
L2=L0×|cos(36-θ)| (8)
L3=L0×|cosθ(72-θ)| (9)
L4=L0×|cos(108-θ)| (10)
L5=L0×|cos(144-θ)| (11)
L2=L0×|cos(36-θ)| (8)
L3=L0×|cosθ(72-θ)| (9)
L4=L0×|cos(108-θ)| (10)
L5=L0×|cos(144-θ)| (11)
図14は、正射影長L1~L5と角度θの関係を示す。
図4に示す例のときと同様に、いかなる角度θのときでも、直線群(ここでは直線AB、BD、DC、CE、AE)から、視差線SLの正射影が最も長い直線を目標直線として選択するようにすると、図15に示すような実効視差長を得ることができる。
図4に示す例のときと同様に、いかなる角度θのときでも、直線群(ここでは直線AB、BD、DC、CE、AE)から、視差線SLの正射影が最も長い直線を目標直線として選択するようにすると、図15に示すような実効視差長を得ることができる。
図15から分かるように、この場合、角度θに関わらず、実効視差長は、常に「L0×cos18」以上である。すなわち、最も悪いときでも、最も良いときの「cos18」倍(大凡95%)程度の立体視効果を得ることができる。
図16は、nが7である場合の例を示す。図示のように、等分点A、E、F、G、B、C、Dは、円RCを7等分する。円RCの円心が点Oである。中心角AOB、AOG、BOE、COE、COF、DOF、DOGが(360/7)×int(7/2)であるため、AとB、AとG、BとE、CとE、CとF、DとF、DとGは、7つの視差ペアを構成する。各視差ペアの2つの視点を結ぶ直線の長さが両目間間隔L0である。
各視点ペアの2つの視点を結ぶ直線への視差線SLの正射影の長さを夫々L1~L7で表わすと、これらの正射影長と角度θの関係は、図17に示すようになる。
上記と同様に、いかなる角度θのときでも、直線群(ここでは直線AB、EG、DC、FB、AE、CG、DF)から、視差線SLの正射影が最も長い直線を目標直線として選択するようにすると、図18に示すような実効視差長を得ることができる。
図18から分かるように、この場合、角度θに関わらず、実効視差長は、常に「L0×cos13」以上である。すなわち、最も悪いときでも、最も良いときの「cos13」倍(大凡97%)程度の立体視効果を得ることができる。
従って、上記nの数が大きいほど、視差線SLの傾きや観察者の位置の変動による立体視効果の悪化を抑制することができる。
一方、本発明にかかる技術は、複数の視点を夫々視点とする複数の画像を順次表示すると共に、該複数の画像内に含まれる目標画像ペアのいずれの画像が表示されているときに、左目と右目の該画像に対応しない方の視野を遮蔽し、他の画像が表示されているときに、左目と右目の両方の視野を遮蔽するようにしている。そのため、上記nが大きいほど、上記複数の画像の数が多くなり、両目の視野が共に遮蔽される時間が、該複数の画像を表示する総時間に占める割合が高くなる。その結果、観察者は暗く感じる可能性がある。特に、元々明るくない画像の場合には、この問題が顕著になる。
そのため、目的などに応じて、立体視効果と明るさのバランスに応じてnを決めることが好ましい。例えば、最も良いときの86%程度以上の立体視効果で十分な場合には、nを3にすればよい。
以上において、円RCの円周を等分割する等分点を視点とする複数の画像を用いる場合を説明した。本発明にかかる技術は、等分点に加え、さらに、円心を視点とする画像を用いてもよい。
この場合、円RCの半径が両目間間隔L0であり、視点ペアは、円心と、円RCをn等分(n:3以上の整数)する夫々の等分点とで形成される。
まず、nが「3」である場合、すなわち上記円周を3等分する3つの等分点と、円心とを夫々視点とする4つの画像を用いる場合を詳細に説明する。
図19に示すように、円RCは、円心がAであり、半径が両目間間隔L0である。B、C、Dは、円RCを3等分する。視点ペアは、(A、B)、(A、C)、(A、D)である。
視差線SLと直線ABの成す角度、すなわち視差線SLの傾きがθである。そのため、視差線SLと直線ACが成す角度は「θ+120」であり、視差線SLと直線ADが成す角度は「θ+240」である。すなわち、直線ABを目標直線として選出する場合、すなわち画像Aと画像Bを目標画像ペアとして選出する場合には、視差角度αがθである。また、直線ACを目標直線として選出する場合、すなわち画像Aと画像Cを目標画像ペアとして選出する場合には、視差角度αが「θ+120」である。また、直線ADを目標直線として選出する場合、すなわち画像Aと画像Dを目標画像ペアとして選出する場合には、視差角度αが「θ+240」である。
視差線SLの直線AB、AC、ADへの正射影長は、夫々L1、L2、L3であり、下記の式(12)~(14)で求めることができる。
L1=L0×|cosθ| (12)
L2=L0×|cos(θ+120| (13)
L3=L0×|cos(θ+240)| (14)
L2=L0×|cos(θ+120| (13)
L3=L0×|cos(θ+240)| (14)
図20は、正射影長L1、L2、L3と角度θの関係を示す。
図20に示すように、「0≦θ≦30」のときに、正射影長L1が最も長い。また、このときに、正射影長L1の最小値は「L0×cos30」である。
図20に示すように、「0≦θ≦30」のときに、正射影長L1が最も長い。また、このときに、正射影長L1の最小値は「L0×cos30」である。
「30≦θ≦90」のときに、正射影長L3が最も長い。また、このときに、正射影長L3の最小値は「L0×cos30」である。
「90≦θ≦150」のときに、正射影長L2が最も長い。また、このときに、正射影長L2の最小値は「L0×cos30」である。
「150≦θ≦210」のときに、最も長い正射影長は再び正射影長L1になる。また、このときに、正射影長L1の最小値は「L0×cos30」である。
「210≦θ≦270」のときに、最も長い正射影長は再び正射影長L3になる。また、このときに、正射影長L3の最小値は「L0×cos30」である。
「270≦θ≦330」のときに、最も長い正射影長は再び正射影長L2になる。また、このときに、正射影長L2の最小値は「L0×cos30」である。
「330≦θ≦360」のときに、最も長い正射影長は正射影長L1になる。また、このときに、正射影長L1の最小値は「L0×cos30」である。
そこで、直線AB、AC、ADを有する直線群から目標直線を選出する際に、視差線SLの正射影長が最も長い直線を選出する。この目標直線の選出により、目標した目標直線の両端点を夫々視点とする画像は、目標画像ペアとして選択される。
なお、例えば角度θが30度であるときには、正射影長L1とL3は共に「L0×cos30」であり、正射影長L2は「0」である。そのため、目標直線として直線ABと直線ADの2つになる。このとき、目標直線として直線ADを選択する場合には、画像(D、A)が目標画像ペアとして選択され、画像Aは右目用の画像になる。しかし、θが30度未満のときに、画像Aが左目用の画像として選択されているので、θが30度のときに画像Aが右目用の画像になると、観察者に違和感を与えてしまう。従って、角度θが30度である場合には、目標直線として直線ABを選択するように、視差線SLの回転方向に応じてヒステリシスをもたせるといった対応が好ましい。
図21は、上記選択の結果により得られた実効視差長と角度θとの関係を示す。図示のように、角度θに関わらず、実効視差長は、常に「L0×cos30」以上である。そのため、この例では、最も悪いときでも、最も良いときの「cos30」倍(大凡86%)の立体視効果を得ることができる。
また、複数の異なる位置の観察者がいる場合においても、夫々の観察者の視差線SLの傾きに応じて最適な目標画像ペアを選出することができるため、各観察者に最適な立体視効果を与えることができる。
図19に示す例は、nが「3」である場合、すなわち円RCの円周を3等分する3つの等分点と、円心とを夫々視点とする4つの画像を用いる場合の例である。nが3以上の任意の数であってもよい。
例えば、図22に示すように、nが「12」である場合、すなわち円RCを12等分する12つの等分点と、円心とを夫々視点とする13個の画像を用いる場合、円心と夫々の等分点を結ぶ半径方向の直線上の視差線SLの正射影長と角度θとの関係は、図23に示すようになる。そのため、角度θに応じて、視差線SLの正射影長が最も長い直線を目標直線として選択すると、図24に示す実効視差長を得ることができる。
図25から分かるように、この場合、角度θに関わらず、常にL0×|cos15|以上の実効視差長を得ることができる。すなわち、最も悪いときでも、最も良いときの「cos15」倍(大凡96%)の立体視効果を得ることができる。
上記において、円RCの円周を等分割する全ての等分点と円心を夫々視点とする複数の画像を用いる場合を説明した。これらの等分点について、一部のみを用いてもよい。例えば、nを4以上の偶数とした場合に、円RCをn等分する等分点のうちの円周に沿って連続する「n/2」個の等分点と、円心とを用いるようにしてもよい。
例として、nが「4」である場合、すなわち上記円周RCを4等分する4つの等分点のうちの2つと、円心とを夫々視点とする3つの画像を用いる場合を詳細に説明する。
図25に示すように、等分点B、C、D、Eは、半径が両目間間隔L0である円RCを4等分する。ここで、等分点B、Cのみを用いる。すなわち、視点ペアとして、(A、B)、(A、C)のみを用いる。視差線SLの直線ABと直線ACへの正射影の長さをL1とL2で表わすと、正射影長L1とL2は、下記の式(15)と(16)により求めることができる。
L1=L0×|cosθ| (15)
L2=L0×|cos(θ+90| (16)
L2=L0×|cos(θ+90| (16)
図26は、正射影長L1、L2と角度θの関係を示す。
いかなる角度θのときでも、直線群(ここでは直線ABとAC)から、視差線SLの正射影が最も長い直線を目標直線として選択するようにすると、図27に示すような実効視差長を得ることができる。
いかなる角度θのときでも、直線群(ここでは直線ABとAC)から、視差線SLの正射影が最も長い直線を目標直線として選択するようにすると、図27に示すような実効視差長を得ることができる。
図27から分かるように、この場合、角度θに関わらず、実効視差長は、常に「L0×cos45」以上である。すなわち、最も悪いときでも、最も良いときの「cos45」倍(大凡70%)程度の立体視効果を得ることができる。
次いで、nが「6」である場合、すなわち上記円周RCを6等分する6つの等分点のうちの3つと、円心とを夫々視点とする4つの画像を用いる場合を説明する。
図28に示すように、等分点B、C、D、E、F、Gは、半径が両目間間隔L0である円RCを6等分する。ここで、等分点B、C、Dのみを用いる。すなわち、視差ペアとして、(A、B)、(A、C)、(A、D)のみを用いる。視差線SLの直線AB、直線AC、直線ADへの正射影の長さを夫々L1、L2、L3で表わすと、これらの正射影長は、下記の式(17)~(19)により求めることができる。
L1=L0×|cosθ| (17)
L2=L0×|cos(θ+60| (18)
L2=L0×|cos(θ+120) (19)
L2=L0×|cos(θ+60| (18)
L2=L0×|cos(θ+120) (19)
図29は、正射影長L1、L2、L3と角度θの関係を示す。
いかなる角度θのときでも、直線群(ここでは直線AB、AC、AD)から、視差線SLの正射影が最も長い直線を目標直線として選択するようにすると、図30に示すような実効視差長を得ることができる。図30から分かるように、この場合、角度θに関わらず、実効視差長は、常に「L0×cos30」以上である。そのため、最も悪いときでも、最も良いときの「cos30」倍(大凡86%)の立体視効果を得ることができる。
いかなる角度θのときでも、直線群(ここでは直線AB、AC、AD)から、視差線SLの正射影が最も長い直線を目標直線として選択するようにすると、図30に示すような実効視差長を得ることができる。図30から分かるように、この場合、角度θに関わらず、実効視差長は、常に「L0×cos30」以上である。そのため、最も悪いときでも、最も良いときの「cos30」倍(大凡86%)の立体視効果を得ることができる。
すなわち、図28に示すように、円RCを6等分する6つの等分点のうちの連続する3つの等分点と、円心とを夫々視点とする4つの画像を用いる場合は、図19に示すような、円RCを3等分する3つの等分点と、円心とを夫々視点とする4つの画像を用いる場合とも、同様の立体視効果を得ることができる。
同様に、円RCを12等分する12個の等分点のうちの連続する6つの等分点と円心とを夫々視点とする7個の画像を用いる場合も、図22に示すような、12個の等分点と円心とを夫々視点とする13個の画像を用いる場合と同様の立体視効果を得ることができる。
ここで、図2に示す例と、図28に示す例とを比較する。
図2は、円を3等分する3つの等分点で3つの視点ペアを形成する例である。図28は、円を6等分する6個の等分点のうちの連続する3つと円心で3つの視点ペアを形成する例である。いずれの例の場合も、実効視差長が「L0×cos30」以上である。しかし、図2の例の場合には、3つの画像のみが必要であるのに対して、図28の例の場合は、4つの画像(A、B、C、D)が必要である。
図2は、円を3等分する3つの等分点で3つの視点ペアを形成する例である。図28は、円を6等分する6個の等分点のうちの連続する3つと円心で3つの視点ペアを形成する例である。いずれの例の場合も、実効視差長が「L0×cos30」以上である。しかし、図2の例の場合には、3つの画像のみが必要であるのに対して、図28の例の場合は、4つの画像(A、B、C、D)が必要である。
同様に、図13に示す例のように、円を5等分する5つの等分点で5つの視点ペアを形成する場合と同様の実効視差長を得るためには、円を10等分する10個の等分点のうちの連続する5つと円心で6つの視点ペアを形成する必要がある。また、図16に示す例のように、円を7等分する7つの等分点で7つの視点ペアを形成する場合と同様の実効視差長を得るためには、円と14等分する14個の等分点のうちの連続する7つと円心で8つの視点ペアを形成する必要がある。
つまり、nが3以上の奇数としたとき、同様の実効視差長を得ることを前提とすると、円をn等分するn個の等分点のみで視点ペアを構成する場合が、円をN等分(N=2×n)する等分点のうちの連続するn個の等分点と円心で視点ペアを構成する場合より、必要な画像の数が1つ少なくできる。
次いで、図10に示す例と、図25に示す例とを比較する。
図10は、円を4等分する4つの等分点で2つの視点ペアを形成する例である。図25は、円を4等分する4つの等分点のうちの連続する2つと円心で2つの視点ペアを形成する例である。いずれの例の場合も、実効視差長が「L0×cos45」以上である。しかし、図10の例の場合に、4つの画像(A、B、C、D)が必要であるのに対して、図25の例の場合は、3つの画像(A、B、C)のみが必要である。
図10は、円を4等分する4つの等分点で2つの視点ペアを形成する例である。図25は、円を4等分する4つの等分点のうちの連続する2つと円心で2つの視点ペアを形成する例である。いずれの例の場合も、実効視差長が「L0×cos45」以上である。しかし、図10の例の場合に、4つの画像(A、B、C、D)が必要であるのに対して、図25の例の場合は、3つの画像(A、B、C)のみが必要である。
そのため、最も良いときの71%程度以上の立体視効果を得ればいい場合には、図25に示すような視点と視点ペアを用いることが好ましい。
また、nが偶数であるときに、(360/n)×int(n/2)が常に「180」となり、視点及び視点ペアは、図10に示すようにしかならない。
従って、必要な画像数ができるだけ少ない前提下で、必要な最小の実効視差長に応じて視点と視点ペアを決めればよい。また、いずれの場合も、視点ペアが多いほど最小の実行視差長が長くなるが、視点ペアが多いほど、表示される画像の数も多くなる。必要な画像の数が多いほど、これらの画像を取得するための装置や時間がかかる。また、上述したように、目標画像ペアの2つの画像の候補となる複数の画像の数が多いほど、両目の視野が共に遮蔽される時間が、該複数の画像を表示する総時間に占める割合が高くなり、観察者は暗く感じる可能性がある。そのため、例えば、最も良いときの86%程度以上の立体視効果を得るために、図19と図28に示す場合よりも、図4に示すように、正三角形ABCの各頂点を夫々視点とする3つ画像を用いることが好ましい。
以上の原理を踏まえて、本発明にかかる技術を具現化したシステムを説明する。
図31は、本発明の実施の形態にかかる画像システム100を示す。画像システム100は、画像取得装置110、合成装置120、画像表示装置130、制御装置150を備える。なお、図中A、B、Cは、画像の視点を示す。
図31は、本発明の実施の形態にかかる画像システム100を示す。画像システム100は、画像取得装置110、合成装置120、画像表示装置130、制御装置150を備える。なお、図中A、B、Cは、画像の視点を示す。
本実施の形態の画像システム100において、例として、画像A、B、Cは、図4に示す正三角形ABCを夫々視点とする画像であり、視点A、B、Cは、3つの視点ペアを形成する。
画像システム100は、同時に撮像して得た画像Aと画像Bを順次合成装置120に出力する。合成装置120は、画像Aと画像Bから画像Cを合成して画像Cを得ると共に、画像A、B、Cを順次画像表示装置130に出力する。
画像表示装置130は、画像A、B、Cを順次表示すると共に、現在表示している画像が画像A、B、Cのいずれであるかを示しうる同期信号S1を制御装置150に出力する。
眼鏡140は、画像表示装置130に表示された画像の観察者に装着されたものであり、後述する傾き情報S2を制御装置150に出力する。
制御装置150は、同期信号S1と傾き情報S2に基づいて制御信号S3を生成して眼鏡140に出力することにより眼鏡140を制御する。
なお、画像表示装置130と制御装置150間、及び制御装置150と眼鏡140間の信号の伝送は、例えば赤外線などの無線通信手段(図示せず)を介して行われる。
図32は、画像取得装置110を示す図である。図示のように、画像取得装置110は、第1の撮像部112、第2の撮像部114、出力部116を備える。第1の撮像部112は、視点Aから被写体を撮像して画像Aを得て出力部116に出力する。第2の撮像部114は、視点Bから同一の被写体を撮像して画像Bを得て出力部116に出力する。視点Aと視点B間の距離は、両目間間隔L0である。
出力部116は、第1の撮像部112からの画像Aと、第2の撮像部114からの画像Bを、A、Bの順で連続して合成装置120に出力する。
図33は、合成装置120を示す図である。合成装置120は、ベクトル取得部122、ベクトル回転部124、画像生成部126、出力部128を備える。
ベクトル取得部122は、画像Aと画像Bについて視差ベクトルを算出して、ベクトル回転部124と画像生成部126に出力する。ここで視差ベクトルについて説明する。
画像Aと画像Bは、視点Aと視点Bから同一の時間に被写体を撮像して得た画像である。このような2枚の画像を、該被写体が点Aか点Bに向かう方向に、点Aと点B間の距離分(両目間間隔L0)移動した場合に、同一の視点から撮像して得た動画像の2枚のフレームに看做すことができる。画像Aは、被写体が移動する前のフレームに該当し、画像Bは、被写体が移動した後のフレームに該当する。
そのため、画像Aと画像Bを動画像の2枚のフレームと仮定して、該2つのフレーム間でブロック毎の動きベクトルを算出することができる。視差ベクトルは、この動きベクトルの、点Aから点Bに向かう方向における成分である。
ベクトル回転部124は、ベクトル取得部122が算出した各視差ベクトルの向きが、点Aから点Cに向かう方向になるように、各視差ベクトルを回転させる。ここでは、視点と表示画像の関係は、視点の重心に対して、反対の位置にあるので、ベクトル回転部124は、ベクトル取得部122が算出した各視差ベクトルを下向きに60度回転する。ベクトル回転部124は、回転後の視差ベクトルを画像生成部126に出力する。
画像生成部126は、画像Aと、ベクトル回転部124からの回転後の視差ベクトルとを用いて、画像Cを生成する。画像Aと画像Cも、該被写体が点Aか点Cに向かう方向に、点Aと点C間の距離分(両目間間隔L0)移動した場合に、同一の視点から撮像して得た動画像の2枚のフレームに看做すことができ、画像Aは、被写体が移動する前のフレームに該当し、画像Cは、被写体が移動した後のフレームに該当する。そのため、画像Aと画像Cを動画像の2枚のフレームと仮定すると共に、ベクトル回転部124からの回転後の視差ベクトルを動きベクトルとすれば、画像Cを生成することができる。
図34は、合成装置120による画像Cの合成処理の流れの一例を示す。
<ステップ1>
まず、ベクトル取得部122は、画像Aと画像Bのブロック毎のx方向の差分を算出する。画像Aと画像B間で差分の無いブロックの領域は、背景領域になる。そして、ベクトル取得部122は、画像Aから背景領域の部分を取り除いた画像(画像Aの前景すなわち被写体部分の画像A1)と、画像Bから背景領域の部分を取り除いた画像(画像Bの前景すなわち被写体部分の画像B1)とから、ブロックマッチングなどの手法により各ブロックの視差ベクトルを算出する。
<ステップ1>
まず、ベクトル取得部122は、画像Aと画像Bのブロック毎のx方向の差分を算出する。画像Aと画像B間で差分の無いブロックの領域は、背景領域になる。そして、ベクトル取得部122は、画像Aから背景領域の部分を取り除いた画像(画像Aの前景すなわち被写体部分の画像A1)と、画像Bから背景領域の部分を取り除いた画像(画像Bの前景すなわち被写体部分の画像B1)とから、ブロックマッチングなどの手法により各ブロックの視差ベクトルを算出する。
<ステップ2>
ベクトル回転部124は、ベクトル取得部122が算出された各ベクトルを、下向きに60度回転する。
ベクトル回転部124は、ベクトル取得部122が算出された各ベクトルを、下向きに60度回転する。
<ステップ3>
画像生成部126は、画像Aの前景画像A1の各ブロックを、該ブロックに対応した、ベクトル回転部124により回転後の視差ベクトルが示す方向と距離に従って移動する。移動後の前景画像A1は、画像Cの前景画像C1になる。
画像生成部126は、画像Aの前景画像A1の各ブロックを、該ブロックに対応した、ベクトル回転部124により回転後の視差ベクトルが示す方向と距離に従って移動する。移動後の前景画像A1は、画像Cの前景画像C1になる。
<ステップ4>
そして、画像生成部126は、ステップ1で得られた背景領域の画像と、ステップ3で得られた前景画像C1を合成して画像Cを得る。合成に際しては、ステップ1で得られた背景領域の画像の不足部分については、画像Aと画像Bで一致する部分を参照して補間などにより生成すればよい。
そして、画像生成部126は、ステップ1で得られた背景領域の画像と、ステップ3で得られた前景画像C1を合成して画像Cを得る。合成に際しては、ステップ1で得られた背景領域の画像の不足部分については、画像Aと画像Bで一致する部分を参照して補間などにより生成すればよい。
<ステップ5>
出力部128は、画像取得装置110からの画像A、Bと、画像生成部126により得た画像CをA、B、Cの順に出力する。
出力部128は、画像取得装置110からの画像A、Bと、画像生成部126により得た画像CをA、B、Cの順に出力する。
前述したように、画像表示装置130は、合成装置120からの画像A、B、Cを順次表示すると共に、いずれの画像が表示されているかを示す同期信号S1を出力する。
図35は、眼鏡140を示す図である。眼鏡140は、左目部142、右目部144、センサ146、シャッタ駆動部148を備える。
左目部142と右目部144は、シャッタ駆動部148により駆動されるシャッタ(図示せず)を有し、眼鏡140を装着した観察者の左目と右目の視野を夫々遮蔽できる。
センサ146は、眼鏡140のフレームに設けられており、眼鏡140の傾き、すなわち左目部142と右目部144を結ぶ直線(視差線SL)の傾きを検出すると共に、該傾きを示す傾き情報S2を出力する。なお、センサ146により検出された傾きは、前述した角度θに相当する。また、センサ146は、例えば加速度センサなどである。
シャッタ駆動部148は、制御装置150からの制御信号S3に従って、左目と右目の視野の片方または両方の視野を遮蔽するように、左目部142と右目部144のシャッタを駆動する。
図36は、制御装置150を示す図である。制御装置150は、受信部152、制御実行部154を備える。
受信部152は、画像表示装置130からの同期信号S1と、眼鏡140からの傾き情報S2を受信する。
制御実行部154は、同期信号S1と傾き情報S2に基づいて、画像A、B、C内の2つの画像を目標画像ペアとして選出すると共に、該目標画像ペアのいずれの画像が表示されているときには、左目と右目のうちの該画像に対応しない片方の視野を遮蔽し、目標画像ペア以外の画像が表示されているときには、左目と右目のいずれの視野も遮蔽するように眼鏡140のシャッタ駆動部148に制御信号S3を出力する。
制御実行部154による目標画像ペアの選出方法については、図4に示す例のときに説明した通りであるため、ここで省略する。
図37は、画像システム100において、観察者の頭部の傾き(或いは観察者の位置)と、選択された目標画像ペアと、左目及び右目の視野の遮蔽状況との対応関係を示す。
図37の上部は、観察者の正面から見た観察者の頭部の傾きを示す。この傾きは、前述した角度θと対応する。
例えば、観察者が通常想定される観察位置から画面に向かい、頭部の傾きが左右30度以内(θ≦30、θ≧330)である場合、目標画像ペアとして画像(A、B)が選択される。そして、画像Aが表示されているときには右目の視野が遮蔽(OFF)され、画像Bが表示されているときには左目の視野が遮蔽される。また、画像Cが表示されているときには、両目の視野とも遮蔽される。
また、例えば、観察者が通常想定される位置とは反対の位置から画面に向かい、頭部の傾きが左右30度以内(150≦θ≦210)である場合、目標画像ペアとして画像(B、A)が選択される。そして、画像Aが表示されているときには左目の視野が遮蔽され、画像Bが表示されているときには右目の視野が遮蔽される。また、画像Cが表示されているときには、両目の視野とも遮蔽される。
このように、観察者の頭部の傾き及び観察者の位置に関わらず、最も良いときの86%以上の立体視効果を常に得ることができる。また、傾き情報S2と制御信号S3は、一対一の関係であるため、複数の観察者が夫々異なる位置から画面に向かう場合にも、夫々の観察者に最適な立体視効果を与えることができる。
以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、上述した実施の形態に対してさまざまな変更、増減を行ってもよい。これらの変更、増減が行われた変形例も本発明の範囲にあることは当業者に理解されるところである。
例えば、画像システム100において、画像取得装置110は、第1の撮像部112と第2の撮像部114により視点Aと視点Bの画像を取得し、画像生成部126により視点Cの画像を合成するようにしているが、画像取得装置110に3つの撮像部を設け、これらの3つの撮像部により視点A、B、Cの画像を夫々取得するようにしてもよい。
または、合成装置120が画像取得装置110または画像表示装置130に含まれるようにしてもよい。
合成装置120が画像表示装置130に含まれるようにした場合、画像表示装置130は、画像A、Bを表示している間に画像Cを合成することが好ましい。こうすることにより、画像Cの合成のために画像A、Bの表示を遅延させる必要がないため、画像システム100全体の処理が迅速になる。
また、画像システム100において、制御装置150は、1つの眼鏡140のみを制御しているが、眼鏡140からの傾き情報S2と制御装置150からの制御信号S3とが一対一の関係であれば、1つの制御装置150が、複数の眼鏡140から夫々の傾き情報S2を受信し、夫々の眼鏡140に対して制御信号S3を出力するようにしてもよい。
さらに、制御装置150は、眼鏡140に含まれるようにしてもよい。
また、画像システム100は、複数の視点の画像として正三角形の3つの頂点を夫々視点とする3つの画像を用いる例であるが、これらの複数の視点の画像としては、本発明の原理を説明する際に述べた各種の複数の視点の画像を用いてもよい。
また、画像Aと画像Bから画像Cを合成する方法も、正三角形の2つの頂点を夫々視点とする2つの画像から3つ目の頂点をとる画像の合成にのみならず、本発明の原理を説明する際に述べた各種の例に対しても、画像Aと画像Bから他の視点の画像を合成することに適用できる。
この出願は、2011年4月11日に出願された日本出願特願2011-087254を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1 被写体 2 表示画面
100 画像システム 110 画像取得装置
112 第1の撮像部 114 第2の撮像部
116 出力部 120 合成装置
122 ベクトル取得部 124 ベクトル回転部
126 画像生成部 128 出力部
130 画像表示装置 140 眼鏡
142 左目部 144 右目部
146 センサ 148 シャッタ駆動部
150 制御装置 152 受信部
154 制御実行部 S1 同期信号
S2 傾き情報 S3 制御信号
α 視差角度 SL 視差線
100 画像システム 110 画像取得装置
112 第1の撮像部 114 第2の撮像部
116 出力部 120 合成装置
122 ベクトル取得部 124 ベクトル回転部
126 画像生成部 128 出力部
130 画像表示装置 140 眼鏡
142 左目部 144 右目部
146 センサ 148 シャッタ駆動部
150 制御装置 152 受信部
154 制御実行部 S1 同期信号
S2 傾き情報 S3 制御信号
α 視差角度 SL 視差線
Claims (23)
- 同一の平面上で夫々異なる位置にある3つ以上の複数の視点のそれぞれが少なくとも一の他の前記視点と距離が両目間間隔である視点ペアを形成すると共に、前記視点の各々に対応する被写体の画像のそれぞれを順次表示し、
表示された画像の観察者に装着され、前記観察者の左目と右目の視野を遮蔽可能な眼鏡の左目部と右目部を結ぶ直線である視差線の傾きを検出し、
検出した前記傾きに応じて、前記被写体の画像のそれぞれのうちの2つからなる目標画像ペアを選出すると共に、該目標画像ペアのいずれか一の画像が表示されているときには、左目と右目のうちの該画像に対応しない片方の視野を遮蔽し、前記目標画像ペア以外の画像が表示されているときには、左目と右目のいずれの視野も遮蔽するように前記眼鏡の左目部と右目部を制御し、
前記目標画像ペアは、
前記視差線を前記平面に移動したと仮定した場合に、各々の前記視点ペアを形成している視点同士を結ぶ直線から構成される直線群内の直線のうち、前記視差線への正射影が最も長い一の直線の両端点を夫々視点とする2つの画像であることを特徴とする画像表示方法。 - 前記複数の視点は、
前記平面上の円の円周をn等分(n:3以上の整数)する複数の等分点を含むことを特徴とする請求項1に記載の画像表示方法。 - 前記視点ペアは、前記円の中心と前記等分点のそれぞれの内のいずれか二つが成す角である中心角が(360/n)×int(n/2)となる二つの等分点で形成されることを特徴とする請求項2に記載の画像表示方法。
- 前記nは、奇数であることを特徴とする請求項3に記載の画像表示方法。
- 前記nは、3であることを特徴とする請求項4に記載の画像表示方法。
- 前記円は、半径が両目間間隔であり、
前記複数の視点は、前記円の円心をさらに含み、
前記視点ペアは、前記円心と、前記複数の等分点のうちのいずれか1つであることを特徴とする請求項2に記載の画像表示方法。 - 前記nは、4以上の偶数であり、
前記視点ペアは、前記円心と、前記複数の等分点のうちの前記円周に沿って連続する「n/2」個の等分点のうちのいずれか1つであることを特徴とする請求項6に記載の画像表示方法。 - 同一の平面上で夫々異なる位置にある3つ以上の複数の視点のそれぞれが少なくとも一の他の前記視点と距離が両目間間隔である視点ペアを形成すると共に、前記視点の各々に対応する被写体の画像のそれぞれを順次表示する画像表示装置に表示された画像の観察者に装着され、前記観察者の左目と右目の視野を夫々遮蔽可能な左目部と右目部と、前記左目部と前記右目部を結ぶ直線である視差線の傾きを検出するセンサとを備える眼鏡に対応する制御装置において、
前記センサにより検出された前記傾きを示す傾き情報を受信する受信部と、
前記傾き情報が示す前記傾きに応じて、前記複数の画像のうちの2つからなる目標画像ペアを選出すると共に、該目標画像ペアのいずれか一の画像が表示されているときには、左目と右目のうちの該画像に対応しない片方の視野を遮蔽し、前記目標画像ペア以外の画像が表示されているときには、左目と右目のいずれの視野も遮蔽するように前記眼鏡の左目部と右目部を制御する制御実行部とを有し、
前記目標画像ペアは、
前記視差線を前記平面に移動したと仮定した場合に、各々の前記視点ペアを形成している視点同士を結ぶ直線から構成される直線群内の直線のうち、前記視差線への正射影が最も長い一の直線の両端点を夫々視点とする2つの画像であることを特徴とする制御装置。 - 前記複数の視点は、
前記平面上の円の円周をn等分(n:3以上の整数)する複数の等分点を含むことを特徴とする請求項8に記載の制御装置。 - 前記視点ペアは、前記円の中心と前記等分点のそれぞれの内のいずれか二つが成す角である中心角が(360/n)×int(n/2)となる二つの等分点で形成されることを特徴とする請求項9に記載の制御装置。
- 前記nは、奇数であることを特徴とする請求項10に記載の制御装置。
- 前記nは、3であることを特徴とする請求項11に記載の制御装置。
- 前記円は、半径が両目間間隔であり、
前記複数の視点は、前記円の円心をさらに含み、
前記視点ペアは、前記円心と、前記複数の等分点のうちのいずれか1つであることを特徴とする請求項9に記載の制御装置。 - 前記nは、4以上の偶数であり、
前記視点ペアは、前記円心と、前記複数の等分点のうちの前記円周に沿って連続する「n/2」個の等分点のうちのいずれか1つであることを特徴とする請求項13に記載の制御装置。 - 請求項8から14のいずれか1つの請求項に記載された、前記被写体の画像のそれぞれを順次表示する画像表示装置に表示された画像の観察者に装着される眼鏡であって、
前記観察者の左目の視野を遮蔽可能な左目部と、
前記観察者の右目の視野を遮蔽可能な右目部と、
前記左目部と右目部を結ぶ直線である視差線の傾きを検出するセンサと、
請求項8から14のうちの前記1つの請求項に記載された制御装置とを備えることを特徴とする眼鏡。 - 画像表示装置と、
前記画像表示装置に表示された画像の観察者に装着される眼鏡と、
前記眼鏡の制御を行う制御装置とを有し、
前記画像表示装置は、請求項8から14のいずれか1つの請求項に記載された前記被写体の画像のそれぞれを順次表示し、
前記眼鏡は、
前記観察者の左目の視野を遮蔽可能な左目部と、
前記観察者の右目の視野を遮蔽可能な右目部と、
前記左目部と右目部を結ぶ直線である視差線の傾きを検出するセンサとを備え、
前記制御装置は、請求項8から14のうちの前記1つの請求項に記載されたものであることを特徴とする画像システム。 - 前記画像表示装置は、
前記被写体の画像のそれぞれのうちの2つの画像が供され、
該2つの画像から、前記被写体の画像のそれぞれのうちの他の画像を合成する合成部を備えることを特徴とする請求項16に記載の画像システム。 - 前記合成部は、
前記2つの画像のうちの第1の画像と第2の画像を動画像の2枚のフレームと仮定した場合の動きベクトルの、前記第1の画像の視点から前記第2の画像の視点に向かう方向における成分である視差ベクトルを求めるベクトル取得部と、
該ベクトル取得部により得られた前記視差ベクトルの向きが、前記第1の画像の視点から前記他の画像の視点に向かう方向になるように、前記視差ベクトルを回転させるベクトル回転部と、
前記第1の画像を動画像の1フレームと仮定して、該第1の画像との間に、前記ベクトル回転部により回転後の前記視差ベクトルと同様の動きベクトルを有するフレームを前記他の画像として生成する画像生成部とを備えることを特徴とする請求項17に記載の画像システム。 - 前記画像表示装置に供する前記複数の画像を取得する画像取得装置をさらに備えることを特徴とする請求項16に記載の画像システム。
- 前記画像取得装置は、
前記被写体の画像のそれぞれに対応する前記複数の視点に夫々設けられた複数の撮像部を有することを特徴とする請求項19に記載の画像システム。 - 前記画像取得装置は、
前記被写体の画像のそれぞれに対応する前記複数の視点のうちの2つの視点に夫々設けられた2つの撮像部と、
該2つの撮像部により得た2つの画像から、前記被写体の画像のそれぞれのうちの他の画像を合成する合成部とを備えることを特徴とする請求項19に記載の画像システム。 - 前記合成部は、
前記2つの画像のうちの第1の画像と第2の画像を動画像の2枚のフレームと仮定した場合の動きベクトルの、前記第1の画像の視点から前記第2の画像の視点に向かう方向における成分である視差ベクトルを求めるベクトル取得部と、
該ベクトル取得部により得られた前記視差ベクトルの向きが、前記第1の画像の視点から前記他の画像の視点に向かう方向になるように、前記視差ベクトルを回転させるベクトル回転部と、
前記第1の画像を動画像の1フレームと仮定して、該第1の画像との間に、前記ベクトル回転部により回転後の前記視差ベクトルと同様の動きベクトルを有するフレームを前記他の画像として生成する画像生成部とを備えることを特徴とする請求項21に記載の画像システム。 - 被写体に面する平面上に含まれる3つの点であって、第1の点から、第2と第3の点までの夫々の距離が同一である前記3つの点のうちの前記第1と第2の点を夫々視点とする第1の画像と第2の画像から、前記第3の点を視点とする第3の画像を合成する合成装置であって、
前記第1の画像と第2の画像を動画像の2枚のフレームと仮定した場合の動きベクトルの、前記第1の点から前記第2の点に向かう方向における成分である視差ベクトルを求めるベクトル取得部と、
該ベクトル取得部により得られた前記視差ベクトルの向きが、前記第1の点から前記第3の点に向かう方向になるように、前記視差ベクトルを回転させるベクトル回転部と、
前記第1の画像を動画像の1フレームと仮定して、該第1の画像との間に、前記ベクトル回転部により回転後の前記視差ベクトルと同様の動きベクトルを有するフレームを前記第3の画像として生成する画像生成部とを備えることを特徴とする合成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013509753A JPWO2012140841A1 (ja) | 2011-04-11 | 2012-03-29 | 画像表示方法、制御装置、眼鏡、画像システム及び合成装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-087254 | 2011-04-11 | ||
JP2011087254 | 2011-04-11 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012140841A1 true WO2012140841A1 (ja) | 2012-10-18 |
Family
ID=47009036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/002203 WO2012140841A1 (ja) | 2011-04-11 | 2012-03-29 | 画像表示方法、制御装置、眼鏡、画像システム及び合成装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2012140841A1 (ja) |
WO (1) | WO2012140841A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108520672B (zh) * | 2018-03-01 | 2021-01-01 | 吉林大学 | 一种具有多屏幕立体成像的驾驶模拟仿真*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11341517A (ja) * | 1998-05-26 | 1999-12-10 | Nippon Telegr & Teleph Corp <Ntt> | 水平配置立体画像表示システム |
JP2006084963A (ja) * | 2004-09-17 | 2006-03-30 | Seiko Epson Corp | 立体画像表示装置 |
JP2010258583A (ja) * | 2009-04-22 | 2010-11-11 | Panasonic Corp | 立体画像表示装置、立体画像再生装置および立体画像視認システム |
JP2011071898A (ja) * | 2009-09-28 | 2011-04-07 | Panasonic Corp | 立体映像表示装置および立体映像表示方法 |
-
2012
- 2012-03-29 WO PCT/JP2012/002203 patent/WO2012140841A1/ja active Application Filing
- 2012-03-29 JP JP2013509753A patent/JPWO2012140841A1/ja not_active Ceased
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11341517A (ja) * | 1998-05-26 | 1999-12-10 | Nippon Telegr & Teleph Corp <Ntt> | 水平配置立体画像表示システム |
JP2006084963A (ja) * | 2004-09-17 | 2006-03-30 | Seiko Epson Corp | 立体画像表示装置 |
JP2010258583A (ja) * | 2009-04-22 | 2010-11-11 | Panasonic Corp | 立体画像表示装置、立体画像再生装置および立体画像視認システム |
JP2011071898A (ja) * | 2009-09-28 | 2011-04-07 | Panasonic Corp | 立体映像表示装置および立体映像表示方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2012140841A1 (ja) | 2014-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6443654B2 (ja) | 立体画像表示装置、端末装置、立体画像表示方法、及びそのプログラム | |
EP2395759B1 (en) | Autostereoscopic display device and method for operating an autostereoscopic display device | |
US7440004B2 (en) | 3-D imaging arrangements | |
US11363250B2 (en) | Augmented 3D entertainment systems | |
JP2014045473A (ja) | 立体画像表示装置、画像処理装置及び立体画像処理方法 | |
US6788274B2 (en) | Apparatus and method for displaying stereoscopic images | |
JP2004295013A (ja) | 立体表示装置 | |
KR101919486B1 (ko) | 완전 시차 초점 조절 3차원 디스플레이 장치 | |
JP4819114B2 (ja) | 立体画像表示装置 | |
KR101046259B1 (ko) | 응시위치를 추적하여 입체영상을 표시하는 입체영상 표시장치 | |
JP2020118963A (ja) | ヘッドマウントディスプレイ | |
US20190273914A1 (en) | System and method for enhanced motion parallax in a 3d display | |
US9261703B2 (en) | Multi-view autostereoscopic display | |
JP2012244466A (ja) | 立体画像処理装置 | |
WO2012140841A1 (ja) | 画像表示方法、制御装置、眼鏡、画像システム及び合成装置 | |
CN108702499A (zh) | 二维影像的立体影像化显示装置 | |
JP2012222549A (ja) | 映像表示装置および映像表示方法 | |
KR101086305B1 (ko) | 3차원 영상 디스플레이 장치 및 방법 | |
JP6200316B2 (ja) | 画像生成方法、画像生成装置及び画像生成プログラム | |
JP2004279743A (ja) | 三次元表示装置 | |
US20060152580A1 (en) | Auto-stereoscopic volumetric imaging system and method | |
KR102306775B1 (ko) | 사용자 인터렉션 정보를 반영하여 입체영상을 재생하는 방법 및 장치 | |
JP2002344998A (ja) | 立体画像表示装置 | |
JP5275760B2 (ja) | 立体画像表示システム | |
JP2013219485A (ja) | 立体画像表示装置及び立体画像表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12770934 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2013509753 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12770934 Country of ref document: EP Kind code of ref document: A1 |