WO2011136209A1 - 観覧車 - Google Patents
観覧車 Download PDFInfo
- Publication number
- WO2011136209A1 WO2011136209A1 PCT/JP2011/060142 JP2011060142W WO2011136209A1 WO 2011136209 A1 WO2011136209 A1 WO 2011136209A1 JP 2011060142 W JP2011060142 W JP 2011060142W WO 2011136209 A1 WO2011136209 A1 WO 2011136209A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- image
- marker
- gondola
- virtual image
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63G—MERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
- A63G27/00—Russian swings; Great wheels, e.g. Ferris wheels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Definitions
- the present invention relates to a ferris wheel.
- a ferris wheel installed in an amusement park or the like is known (for example, see Patent Document 1).
- This ferris wheel has a rotating wheel and a plurality of gondola provided at predetermined intervals along the circumferential direction of the rotating wheel. The wheel rotates slowly with the passenger on the gondola. Passengers in the gondola can enjoy the scenery that changes its appearance as it moves slowly. You can also enjoy the view of the surroundings near the top.
- an apparatus that presents this mixed reality first images a real space by an imaging unit such as a camera.
- the apparatus for presenting mixed reality generates a composite image by superimposing a virtual image on an image (actual image) taken by the imaging unit.
- the device that presents the mixed reality outputs the composite image to the outside.
- the device that presents the mixed reality can give the user who has seen the composite image a mixed reality that fuses the real image and the virtual image.
- an imaging unit is attached to a head mounted display (HMD). Then, a virtual image is superimposed in real time on the real image taken by this imaging unit, and a composite image is generated. Then, this composite image is displayed on the head mounted display. Therefore, when walking with the head-mounted display attached, a virtual image is displayed in a superimposed manner on an image corresponding to the user's viewpoint. Therefore, the head mounted display can give the user a feeling as if the virtual image exists in the real space.
- HMD head mounted display
- the present invention has been made in view of the above circumstances.
- the object of the present invention is to make the presentation range of mixed reality not only the viewpoint from the ground but also a wider range, and to give the gondola occupants the fun that was not obtained simply by looking at the landscape
- the purpose is to provide a Ferris wheel.
- the ferris wheel of the present invention has the following configuration.
- the ferris wheel of the present invention includes a plurality of gondola 63, an imaging unit 1, a display unit 2, and a control unit 3.
- the imaging unit 1 is provided in each gondola 63.
- the imaging unit 1 is configured to take a real landscape outside the gondola 63.
- the display unit 2 is provided in each gondola 63.
- the control unit 3 is configured to superimpose a virtual image on a predetermined position of the real image taken by the imaging unit 1, thereby generating a composite image.
- the control unit causes the display unit 2 to display the composite image.
- the passenger of the gondola 63 a mixed reality (including augmented reality and augmented virtual feeling) using a wide field of view seen from the gondola 63 of the ferris wheel.
- the gondola 63 is constantly moving not only in the horizontal direction but also in the height direction. Therefore, it is possible to give a mixed reality that cannot be obtained only from the viewpoint from the ground.
- the control unit 3 preferably includes a storage unit 34, a virtual image deformation unit 36, an image composition unit 33, and an image display unit 35.
- the storage unit 34 stores a virtual image.
- the virtual image deformation unit 36 changes the size and angle of the virtual image stored in the storage unit 34 according to the position of the gondola 63.
- the image synthesizing unit 33 is configured to superimpose the image changed by the virtual image deforming unit 36 on a predetermined position of the real image taken by the imaging unit 1, thereby generating a synthesized image.
- the image display means 35 displays the image generated by the image composition means 33 on the display unit.
- the virtual image can be deformed according to the movement of the gondola 63.
- the synthesized image can be made closer to the real one.
- the ferris wheel of the present invention includes a position detection unit and an imaging direction detection unit.
- the position detection unit is configured to detect the position of the imaging unit 1. When the position detection unit detects the position of the imaging unit 1, detection information is generated.
- the imaging direction detection unit is configured to detect the imaging direction of the imaging unit 1. When the imaging direction detection unit detects the imaging direction of the imaging unit 1, the imaging direction detection unit is configured to generate detection information.
- the virtual image deforming unit 36 changes the virtual image based on detection information generated by the position detection unit and detection information generated by the imaging direction detection unit.
- the control unit 3 further includes a marker recognizing unit 30 and a position / posture deriving unit 32.
- the marker recognizing means 30 recognizes a specific object included in the actual image as a marker.
- the position / posture deriving unit 32 is configured to derive the position / posture of the marker recognized by the marker recognizing unit 30.
- the storage unit 34 stores the virtual image in association with the marker in advance.
- the virtual image deforming unit 36 changes the virtual image based on the marker position / posture information derived by the position / posture deriving unit 32.
- the control unit 3 acquires a virtual image corresponding to the marker from the storage unit 34.
- the virtual image acquired by the marker recognition unit 30 from the storage unit 34 is changed by the virtual image deformation unit 36.
- the changed image is superimposed on the portion corresponding to the marker of the actual image by the image synthesizing unit 33, thereby generating a synthesized image.
- the composite image is displayed on the display unit 2 by the image display means 33.
- the virtual image is a computer graphics image imitating a landscape of an era different from the present.
- Each gondola 63 further includes a setting unit 52 that can set a landscape of an arbitrary age.
- the control unit 3 obtains a virtual image corresponding to the age set by the setting unit 52 from the storage unit 34 and superimposes it on the actual image to generate an image.
- the composite image is displayed on the display unit 2 by the image display means 35.
- the scenery of the passenger of the gondola 63 in the desired age can be displayed on the display unit 2 and the passenger can be more interesting.
- the imaging unit 1 is a camera.
- the camera is provided outside the gondola 63.
- the camera is configured to be able to change the imaging direction.
- the gondola 63 further includes an operation unit 5 that changes an imaging direction of the camera.
- the display unit 2 may be provided in a head-mounted display device.
- the range of presentation of mixed reality is not limited to the viewpoint from the ground, and it is not obtained by simply looking at the scenery from the gondola passenger. Interestingness can be imparted.
- the ferris wheel of Embodiment 1 has a pair of support legs 60 as shown in FIG.
- the pair of support legs 60 are erected from the ferris wheel installation surface G with an interval in the front-rear direction.
- a rotating shaft 61 is horizontally installed between the upper ends of the pair of support legs 60.
- a rotating wheel 62 is pivotally supported on the rotating shaft 61, so that the rotating wheel 62 is rotatable.
- the rotating wheel 62 is rotationally driven by a driving device (not shown) provided on the support leg 60.
- the rotating wheel 62 is a skeleton formed in a substantially circular shape.
- the rotating wheel 62 has a plurality of gondola 63 suspended from its outer peripheral end at predetermined intervals along the circumferential direction.
- Each gondola 63 suspended from the outer peripheral end of the rotating wheel 62 is rotatably attached to the rotating wheel 62. Therefore, each gondola 63 can always maintain the vertical posture regardless of the position around the rotating wheel 62.
- the rotation trajectory of each gondola 63 has a substantially circular trajectory shape.
- a boarding area 64 for a passenger to get on and off the gondola 63 is provided at the lower end portion of the rotation trajectory of the gondola 63.
- Each gondola 63 has a substantially circular outer shape when viewed from the front. Each gondola 63 has a space for passengers to board. Each gondola 63 is provided with an entrance / exit 65 through which a passenger can enter and exit. Each gondola 63 includes a door 66, and the door 66 is configured to be able to open and close the entrance / exit 65.
- the gondola 63 has an image pickup unit 1 for picking up an image of the scenery (actual scenery) outside the gondola 63 at the lower part outside.
- the imaging unit 1 of the present embodiment is configured by, for example, a CCD (Charge-Coupled Device) camera. The imaging unit 1 is attached to an imaging direction driving device (not shown).
- CCD Charge-Coupled Device
- the imaging unit 1 is configured to be changeable in all directions (360 ° in the horizontal direction) while the imaging direction is slightly downward from the horizontal direction by the imaging direction driving device. In other words, the imaging unit 1 is configured to be able to rotate 360 degrees in the horizontal direction by the imaging direction driving device.
- the imaging unit 1 is connected to an operation unit 5 provided in a gondola 63 via a control unit 3 described later. By operating the operation unit 5, the imaging direction of the imaging unit 1 can be changed. As shown in FIG. 3, the operation unit 5 is provided on the inner surface of the gondola 63 opposite to the entrance / exit 65. The operation unit 5 is disposed adjacent to the display unit 2.
- the operation unit 5 has a tiltable operation lever 51.
- the display unit 2 includes a monitor.
- the display unit 2 is arranged slightly inclined upward. Thereby, it arrange
- the display unit 2 is connected to the control unit 3.
- the display unit 2 is controlled by the control unit 3.
- the display unit 2 is provided in a substantially middle part of the pair of seats 67 arranged to face each other.
- a transmissive window 68 is attached to the gondola 63 above the seat 67, and a passenger can view an external scenery (actual scenery) through the transmissive window 68.
- the operation unit 5 is not limited to the one fixedly attached to the inner surface of the gondola 63 as described above.
- the operation unit may be attached via an electric wiring arranged on the side of the display unit 2.
- the operation unit is movable.
- a receiving unit (not shown) may be newly provided on the inner surface of the gondola 63.
- an operation unit having a transmission unit is further provided. Then, the operation unit is operated wirelessly.
- the control unit 3 is configured to generate a composite image by superimposing a virtual image on a specific object in a real image taken by the imaging unit 1.
- the control unit 3 is configured to display the composite image on the display unit 2.
- the control unit 3 generates a new image by superimposing the virtual image on the image (actual image) captured by the imaging unit 1.
- the control unit 3 is a system to which a so-called mixed reality (including augmented reality and augmented virtual feeling) technology that is configured to display the image on the display unit 2 is applied.
- the control unit 3 of the present embodiment is configured to recognize a specific object with a landscape as a marker. And the control part 3 superimposes a virtual image on the part corresponding to the marker. That is, the control unit 3 uses a marker recognition type mixed reality technology.
- the control unit 3 is configured by a computer as shown in FIG.
- the computer has a microprocessor as a main component.
- the computer includes a marker recognition unit 30, a marker storage unit 31, a position / posture derivation unit 32, a virtual image deformation unit 36, a storage unit 34, an image composition unit 33, and an image display unit 35. Yes.
- the computer of the control unit 3 of this embodiment is stored in the seat 67 of each gondola 63.
- the marker recognizing means 30 recognizes a specific object included in the actual landscape imaged by the imaging unit 1 as a marker.
- a marker is a mark that serves as a reference for a relative position and orientation when a virtual image is superimposed on an image obtained by photographing a real landscape.
- the marker is recognized based on the characteristics of the three-dimensional shape of a specific object (for example, a castle ruin or an observation deck) included in the actual landscape.
- Information on the characteristics of the three-dimensional shape of the specific object is registered in advance in the marker storage unit 31.
- the marker storage unit 31 includes a memory.
- the marker storage unit 31 stores shape information of a plurality of different markers.
- the marker recognizing means 30 is stored in the marker storage unit 31 by comparing the shape information stored in the marker storage unit 31 with the shape information of a specific object included in the image captured by the imaging unit 1. Which marker among the plurality of markers is recognized.
- the processing by the marker recognizing means can be realized by an image comparison algorithm such as DP (Dynamic programming) matching. In this process, the comparison with the registered marker can be performed in more detail by increasing the resolution of the imaging unit 1. Therefore, if the resolution of the imaging unit 1 is increased, the number of registered markers can be increased. Examples of markers in the present embodiment include castles, castle ruins, observation decks, towers, condominiums, amusement facilities, stations, highways, and the like included in the actual image.
- the marker may be recognized at each of a plurality of locations by using a plurality of objects included in the actual image as respective markers. Moreover, as a marker of this embodiment, a plurality of objects included in an actual image may be recognized as a set of markers. Information on the marker recognized by the marker recognizing unit 30 is sent to the position / posture deriving unit 32 and the virtual image deforming unit 36.
- the position / posture deriving unit 32 obtains the three-dimensional position and posture of the marker recognized by the marker recognizing unit 30.
- the position / posture deriving unit 32 may, for example, (a) information on the three-dimensional shape related to the marker received from the marker recognizing unit 30 and (b) the three-dimensional position / shape of the object corresponding to the marker in the actual image. Based on this, the position / orientation of the marker with respect to the imaging unit 1 is calculated. That is, the position / posture deriving unit 32 derives the distance / angle with respect to the marker viewed from the imaging unit 1. In other words, the position / posture deriving unit 32 derives the distance from the imaging unit 1 to the marker.
- the position / posture deriving unit 32 derives an angle between the direction from the imaging unit 1 toward the marker and the horizontal direction.
- the information for specifying the three-dimensional position / shape of the object corresponding to the marker includes, for example, coordinate values in the marker of at least three feature points of the marker.
- a known method is used as a method for calculating the three-dimensional position / orientation of the marker. This technique is described in, for example, “Hirokazu Kato, Tokuo Amagasaki, Keihachiro Tachibana: Registration Method for Augmented Reality Based on Matching Templates Generated Online from Texture Images, Transactions of the Virtual Reality Society of Japan, Vol.7, No. 2, “pp.119-128” (2002) ”is exemplified.
- the position / posture of the marker can be derived using a position detection unit and an imaging direction detection unit.
- the position detection unit is configured to detect the position of the gondola (that is, the position of the imaging unit 1). Accordingly, the position detection unit generates detection information indicating the position of the gondola.
- the imaging direction detection unit detects the imaging direction of the imaging unit 1. Accordingly, the imaging direction detection unit generates detection information indicating the imaging direction of the imaging unit 1. Based on the detection information of the position detection unit and the detection information of the imaging direction detection unit, the position and orientation of the marker with respect to the imaging unit 1 are derived.
- the position detection unit includes, for example, a trigger oscillator, a trigger receiver, and a timer.
- the trigger transmitter is provided in the boarding area 64.
- a trigger receiver is provided in each gondola.
- the timer is configured to measure a time from a time when a signal generated from the trigger transmitter is received by the trigger receiver.
- the control unit 3 provided in each gondola 63 calculates the position of each gondola 63 from the time information measured by the timer and the rotational speed information of the rotating wheel 62 rotating at a steady speed.
- a sensor such as a geomagnetic sensor or a gyro sensor attached to the imaging unit 1 can be considered. It should be noted that the rotating wheel 62 of the ferris wheel rotates continuously, whereby each gondola 63 moves at a constant speed. Therefore, the position / posture of the marker included in the actual image constantly change.
- GPS global positioning system
- the position / orientation information derived by the position / orientation deriving means 32 is sent to the virtual image deforming means 36.
- the storage unit 34 is configured by a memory.
- the storage unit 34 is configured to store a specific marker and a specific virtual image in advance in association with each other.
- a landscape of a different era such as a computer graphics image (hereinafter referred to as a CG image) simulating a past landscape (for example, a castle or a city) or a CG image simulating a landscape that anticipates the future
- a CG image computer graphics image
- a CG image of a castle or a city that was previously built as a virtual image is superimposed on the real image
- the state can be superimposed on the actual image as a CG image.
- expressing the state of the battle with a moving image is more preferable because it can give a greater sense of realism and interest.
- a stone age residence can be used as a CG image.
- the virtual image deformation unit 36 changes the size and angle of the virtual image stored in the storage unit 34 according to the position of the gondola 63. Specifically, the virtual image deforming unit 36 changes the virtual image based on the marker position / posture information derived by the position / posture deriving unit 32.
- the virtual image deforming unit 36 acquires the virtual image corresponding to the marker from the storage unit 34 as described above. Then, based on the information calculated by the position / posture deriving unit 32, the virtual image deforming unit 36 specifies the size / angle of the virtual image. Then, the virtual image deformation means 36 deforms the virtual image based on the virtual image size / angle specifying information.
- the virtual image deforming means 36 may have a correcting means for correcting the brightness of the virtual image in accordance with the brightness of the actual scenery after the size and angle of the virtual image are deformed as described above. Good. That is, by manipulating the brightness of the virtual image by the correcting means, the virtual image can be superimposed on the actual image without a sense of incongruity.
- the information of the virtual image deformed by the virtual image deformation means 36 in this way is sent to the image composition means 33.
- the image composition unit 33 When the image composition unit 33 acquires the information of the deformed virtual image from the virtual image deformation unit 36, the image composition unit 33 superimposes the deformed virtual image on the portion corresponding to the marker of the real image. In this manner, the image composition unit 33 generates a new image (composite image). The information of the composite image generated here is sent to the image display means 35.
- the image display means 35 is configured to display the image generated by the image composition means 33 on the display unit 2.
- the image display unit 35 receives the composite image information from the image composition unit 33, the image display unit 35 displays the composite image on the display unit 2 disposed in the gondola 63.
- Such a series of control in the control unit 3 is continuously performed as the ferris wheel gondola 63 moves.
- the relative posture of the marker gradually changes.
- the virtual image transformation means 36 changes the virtual image according to the position of the gondola. Therefore, the virtual image becomes gradually smaller as the gondola 63 rises.
- the virtual image changes to a posture viewed from above. Thereby, even if the image superimposed on the real image is a virtual image, the image displayed by the display unit 2 can be made as close as possible to the actual image.
- the image displayed by the display unit 2 is a virtual image superimposed on the actual image. Therefore, it synchronizes with the surrounding environment such as weather and brightness. Thereby, for example, a sense of reality is further increased as compared with a case where a recorded image recorded in advance is simply broadcast according to the movement of the ferris wheel.
- the ferris wheel of the present embodiment can give the passenger of the gondola 63 a mixed reality using a wide field of view visible from the gondola 63 of the ferris wheel.
- the gondola 63 is constantly moving not only in the horizontal direction but also in the height direction. Therefore, it is possible to give a mixed reality that cannot be obtained only from the viewpoint from the ground.
- the operation unit 51 is provided with an operation lever 51 that can change the imaging direction of the imaging unit 1. Therefore, mixed reality can be given to the scenery in the desired direction of the passenger. Thereby, the passenger can feel even more interesting.
- the operation unit 5 is further provided with a setting unit 52 that can set the contents of the virtual image.
- the setting unit 52 displays an age setting button for displaying a virtual image of a set era among virtual images created by imitating each era, and various characters (for example, monsters) that do not exist in the fantasy world. It has setting buttons that allow various settings, such as a character setting button.
- the setting unit 52 is connected to the control unit 3. For example, when the age setting button is operated, a past landscape such as the Jomon period, Yayoi period, or the like is selected and displayed on the display unit 2. Can be made.
- the storage unit 34 stores a plurality of virtual images corresponding to each era in advance.
- the setting unit 52 sends a signal indicating that the Heian period has been selected to the image composition means 33.
- the control unit 3 acquires a virtual image (for example, a CG image imitating Heian-kyo) corresponding to the marker recognized by the marker recognition unit 30 from the storage unit 34 corresponding to the Heian era.
- the virtual image deforming means 36 deforms the size / posture (angle) of the virtual image based on the information from the position / posture deriving means 32 (that is, according to the position of the gondola 63).
- the deformed virtual image is superimposed on the actual image to generate an image.
- the image generated here is sent to the image display means 35 and displayed on the display unit 2.
- the setting unit 52 can set the image displayed on the display unit 2 to the one of the passenger's desired era, so that the land that was not obtained simply by looking at the scenery from the Ferris wheel It is possible to learn about history and to raise interest in history. Furthermore, since a historical building can be viewed from above, the passenger can feel an unprecedented interest.
- the ferris wheel according to the present embodiment only needs to modify and change the virtual image stored in the storage unit 34 when changing the content, it is possible to acquire repeaters by periodically changing the content.
- a virtual image such as an image showing the name of a specific object (such as a historic spot or a famous spot) corresponding to the marker, or an image in which tourist information or explanation of the specific object is written
- the display by the display unit 2 can also be used as a video guide by a ferris wheel.
- the virtual image can also be used as a so-called digital signage (electronic advertisement) that displays the company name in front of the building or describes the company name, product name, or brand name in the ad balloon that floats in the air. It is.
- virtual images can be created using CG images of underwater and underwater conditions or underground conditions, or used in the event that the actual scenery becomes night.
- CG images of underwater and underwater conditions or underground conditions, or used in the event that the actual scenery becomes night.
- the ferris wheel according to the first embodiment includes a plurality of gondola, an imaging unit, a display unit, and a control unit.
- the imaging unit is provided in each gondola.
- the imaging unit is configured to take a landscape outside the gondola.
- a display unit is provided in each gondola.
- the control unit is configured to generate a composite image by superimposing the virtual image on a predetermined position of the real image taken by the imaging unit.
- the control unit is configured to display the composite image on the display unit.
- This configuration makes it possible to give the rider of the gondola 63 a mixed reality using a wide field of view that can be seen from the gondola 63 of the ferris wheel. Moreover, since the gondola 63 constantly moves not only in the horizontal direction but also in the height direction, it is possible to give a mixed reality that cannot be obtained only from the viewpoint from the ground.
- control unit has a storage unit, virtual image deformation means, image composition means, and image display means.
- the storage unit stores a virtual image.
- the virtual image deformation means is configured to change the size and angle of the virtual image stored in the storage unit according to the position of the gondola.
- the image synthesizing unit generates a synthesized image by superimposing the image changed by the virtual image deforming unit on a predetermined position of the actual image taken by the imaging unit.
- the image display means displays the image generated by the image composition means on the display unit.
- the virtual image can be deformed according to the movement of the gondola 63.
- the synthesized image can be made closer to the real one.
- the ferris wheel includes a position detection unit and an imaging direction detection unit.
- the position detection unit is configured to detect the position of the imaging unit.
- the imaging direction detection unit is configured to detect the imaging direction of the imaging unit.
- the virtual image deforming means is configured to change the virtual image based on the detection information of the position detection unit and the detection information of the imaging direction detection unit.
- the alignment between the real image and the virtual image can be performed with relatively high accuracy.
- the control unit further includes marker recognition means and position / posture derivation means.
- the marker recognizing means is configured to recognize a specific object included in the actual image as a marker.
- the position / posture deriving unit is configured to derive the position and posture of the marker recognized by the marker recognizing unit.
- the storage unit stores the virtual image in association with the marker in advance.
- the virtual image deforming unit changes the virtual image based on the marker position / posture information derived by the position / posture deriving unit.
- the control unit acquires a virtual image corresponding to the marker from the storage unit.
- the control unit changes the virtual image acquired from the storage unit by the virtual image deformation unit.
- the virtual image deformation unit changes the virtual image acquired by the control unit from the storage unit.
- control unit generates a composite image by superimposing the changed image on the portion corresponding to the marker of the real image by the image composition means.
- image display means displays the composite image on the display unit.
- the accuracy of alignment between the real image and the virtual image can be improved.
- the imaging unit 1 is a camera that is provided outside the gondola 63 and can change the imaging direction.
- the gondola 63 further includes an operation unit 5 that changes the imaging direction of the camera.
- Embodiment 2 will be described with reference to FIG. Since the present embodiment is mostly the same as the first embodiment, the same portions are denoted by the same reference numerals, description thereof is omitted, and different portions are mainly described.
- the ferris wheel of this embodiment is different from the above embodiment in that the display unit 2 is provided in the head-mounted display device 7.
- the head-mounted display device 7 is configured by a head-mounted display 70 (Head Mounted Display; HMD).
- the head mounted display 70 is a display that can be mounted on the head. When the head mounted display 70 is attached to the passenger, the display serving as the display unit 2 covers the front of the passenger's eyes.
- the ferris wheel of the present embodiment is provided with a connector portion 71 for connecting the head mounted display 70 to the operation portion 5.
- This connector part 71 is connected to the control part 3.
- the head mounted display 70 receives an image signal sent from the image display means 35 of the control unit 3 and displays a composite image on the display unit 2 covering the front of the eyes.
- the content displayed on the display unit 2 of the head mounted display 70 may be applied with a 3D system that allows the passenger to recognize the depth and the stereoscopic effect.
- the 3D image forming means that generates an image that is different between the content that can be seen by the right eye and the content that can be seen by the left eye, and that generates an image that allows the passenger to recognize that the display content of the display unit 2 is three-dimensional. You may provide in the part 3. FIG. This makes it possible to make the Ferris wheel more realistic.
- the ferris wheel of the present invention has been described based on the ferris wheel using the marker-recognition type mixed reality technology.
- the ferris wheel of the present invention substitutes any image feature point for the marker.
- a technique using a markerless tracking eg, exemplified in Japanese Patent Application Laid-Open No. 2007-207251 may be used.
- the marker recognizing unit 30 in the first embodiment is not necessarily required.
- the virtual image deformation means of the present invention since the virtual image deformation means of the present invention only needs to deform the image according to the position of the gondola, the size / angle of the virtual image is specified in accordance with the steady movement of the ferris wheel gondola. May be. For this reason, the position / posture deriving means 32 of the first embodiment is not necessarily required in the present invention.
- the imaging unit 1 is provided in the head-mounted display 70 provided in each gondola 63, and the imaging direction of the imaging unit 1 is made to coincide with the line of sight.
- the unit 1 may be configured to include a position detection unit and an imaging direction detection unit. In this way, it is possible to present mixed reality corresponding to the direction in which the passenger is actually facing.
- the imaging unit 1 provided in the head mounted display 70 is included in the category “provided in each gondola” in the present invention.
- a wireless display may be used as the head mounted display 70.
- the control unit 3 is provided in each gondola 63.
- the control unit is provided in a place away from the gondola (for example, a room of a building).
- the display unit of each gondola may be remotely controlled.
- the age setting button of the setting unit 52 corresponds to each era such as the Jomon period, Yayoi period, etc. It may be one that selects historical events.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
複数のゴンドラを有する観覧車である。この観覧車は、各ゴンドラに設けられこのゴンドラ63外の実風景を撮る撮像部と、各ゴンドラ内に設けられた表示部と、撮像部により撮られた実画像の所定の位置に仮想画像を重ね合わせることにより合成画像を生成し、その合成画像を表示部に表示させる制御部とを備えている。
Description
本発明は、観覧車に関するものである。
従来から、遊園地などに設置された観覧車が知られている(例えば、特許文献1参照)。この観覧車は、回転輪と、回転輪の周方向に沿って所定の間隔ごとに設けられた複数のゴンドラを有している。ゴンドラに搭乗者を乗せた状態で回転輪はゆっくりと回転される。ゴンドラ内の搭乗者は、ゆっくりとした移動に伴って見え方が変わってゆく風景を楽しむことができる。また、頂上付近における周囲の眺望を楽しむことができる。
ところがこの従来の観覧車は、単に、ゴンドラ外に現に見える風景を眺めるだけに過ぎなかった。したがって、人によっては退屈に感じることもあった。特に、その土地を熟知している人や一度乗車した人などにとっては、従来の観覧車は面白みに欠けるものとなっていた。
ところで、近年、現実空間と仮想空間とを実時間で融合する複合現実感[Mixed Reality;拡張現実感(Augmented Reality)や拡張仮想感(Augmented Virtuality)も含む]を提示する装置の研究が盛んに行なわれている(例えば、特許文献2,3参照)。この複合現実感を提示する装置は、例えば、まず、カメラ等の撮像部によって現実空間を撮像する。次に、複合現実感を提示する装置は、撮像部によって撮られた画像(実画像)に仮想画像を重ね合わせて合成画像を生成する。そして、複合現実感を提示する装置は、その合成画像を外部に出力する。このようにして、複合現実感を提示する装置は、この合成画像を見たユーザーに実画像と仮想画像とを融合させた複合現実感を与えることができる。特許文献2,3の装置は、ヘッドマウントディスプレイ(HMD;head mount display)に撮像部が取り付けられている。そして、この撮像部で撮られた実画像に対して、リアルタイムで仮想画像が重畳され、合成画像が生成される。そして、この合成画像が、ヘッドマウントディスプレイに映し出される。そのため、ヘッドマウントディスプレイを装着したまま歩行すると、ユーザーの視点に応じた映像に仮想画像が重畳的に表示される。したがって、ヘッドマウントディスプレイは、あたかも現実空間にその仮想画像が存在しているかのような感覚をユーザに与えることができる。
しかし単に地上を歩行・走行するだけのユーザーが、このような複合現実感を提示する装置を用いただけであれば、ユーザーは地上から周囲の景色を見渡すことができる範囲でしか複合現実感を味わうことができなかった。
本発明は、上記事情に鑑みてなされたものである。本発明の目的は、複合現実感の提示範囲を地上からの視点だけでは無くより広範囲なものにさせると共に、ゴンドラの搭乗者に対し単に風景を眺めているだけでは得られなかった面白みを付与させる観覧車を提供することにある。
上記課題を解決するために本発明の観覧車は以下の構成とする。
本発明の観覧車は、複数のゴンドラ63と、撮像部1と、表示部2と、制御部3とを有する。撮像部1は、各ゴンドラ63に設けられている。撮像部1は、ゴンドラ63外の実風景を撮るように構成されている。表示部2は、各ゴンドラ63内に設けられている。制御部3は、撮像部1により撮られた実画像の所定の位置に仮想画像を重ね合わせるように構成されており、これにより、合成画像を生成する。制御部は、その合成画像を表示部2に表示させる。
このように構成したことで、観覧車のゴンドラ63から見える広範囲な視野を利用した複合現実感(拡張現実感や拡張仮想感も含む)をゴンドラ63の搭乗者に与えることができる。しかもゴンドラ63は水平方向だけでなく、高さ方向にも常時移動している。したがって、地上からの視点だけでは得られなかった複合現実感を与えることが可能となる。
本発明の観覧車において、制御部3は、記憶部34と、仮想画像変形手段36と、画像合成手段33と、画像表示手段35とを有していることが好ましい。記憶部34は、仮想画像を記憶している。仮想画像変形手段36は、この記憶部34に記憶された仮想画像の大きさ・角度を、ゴンドラ63の位置に応じて変化させる。画像合成手段33は、仮想画像変形手段36により変化させた画像を、撮像部1により撮られた実画像の所定の位置に重ね合わせるように構成されており、これにより、合成画像を生成する。画像表示手段35は、画像合成手段33により生成された画像を表示部に表示させる。
このように構成したことで、ゴンドラ63の移動に応じて仮想画像を変形させることができる。これにより合成画像をより現実のものに近づけることができる。
また本発明の観覧車は、位置検出部と、撮像方向検出部とを備えることが好ましい。位置検出部は、撮像部1の位置を検出するように構成されている。位置検出部が撮像部1の位置を検出したとき、検出情報を発生するように構成されている。撮像方向検出部は、撮像部1の撮像方向を検出するように構成されている。撮像方向検出部が撮像部1の撮像方向を検出したとき、撮像方向検出部は検出情報を発生するように構成されている。前記仮想画像変形手段36は、位置検出部が発生した検出情報と撮像方向検出部が発生した検出情報とに基づいて、前記仮想画像を変化させる。
このような構成によれば、実画像と仮想画像との位置合わせを比較的精度よく行なうことができる。
また本発明の観覧車において、前記制御部3は、マーカ認識手段30と、位置・姿勢導出手段32とをさらに備えることが好ましい。マーカ認識手段30は、前記実画像に含まれる特定の物体をマーカとして認識する。位置・姿勢導出手段32は、マーカ認識手段30により認識されたマーカの位置・姿勢を導出するように構成されている。前記記憶部34は、前記マーカに前記仮想画像を対応付けて予め記憶している。前記仮想画像変形手段36は、位置・姿勢導出手段32により導出されたマーカの位置・姿勢情報に基づいて前記仮想画像を変化させる。制御部3は、前記マーカ認識手段30によりマーカが認識されると、そのマーカに対応する仮想画像を記憶部34から取得する。そして、記憶部34からマーカ認識手段30が取得した仮想画像は、仮想画像変形手段36により変化される。その変化された画像は、画像合成手段33により実画像のマーカに対応する部分に重ね合わされて、これにより、合成画像が生成される。そして、画像表示手段33によりその合成画像を表示部2に表示させる。
このような構成によれば、実画像と仮想画像との位置合わせの精度を向上させることができる。
また前記仮想画像が、現在とは異なる時代の風景を模したコンピュータグラフィックス画像であることが好ましい。
これにより、例えば、その土地における過去の歴史上の建物や未来の予想図等を実画像に重畳させて合成画像を生成することができ、ゴンドラ63の搭乗者に対し面白みを与えることができる。
また本発明の観覧車は、記憶部34には複数の異なる年代の仮想画像が記憶されていることが好ましい。そして、前記各ゴンドラ63は、任意の年代の風景に設定可能な設定部52をさらに備える。前記制御部3は、この設定部52により設定された年代に対応する仮想画像を記憶部34から取得し前記実画像に重ね合わせることによって画像を生成する。画像表示手段35によりその合成画像を表示部2に表示させる。
これにより、ゴンドラ63の搭乗者の所望の年代における風景を表示部2により表示することができ、搭乗者に対し一層面白みを与えることができる。
また本発明の観覧車において、前記撮像部1は、カメラであることが好ましい。カメラは、ゴンドラ63の外部に設けられている。カメラは、撮像方向を変更可能に構成されている。前記ゴンドラ63は、前記カメラの撮像方向を変更させる操作部5をさらに備えていることが好ましい。
これにより、ゴンドラ63の搭乗者の所望の視点における実画像と仮想画像とを重畳させ表示させることが可能となる。これにより、より広範囲な視野を利用した複合現実感を搭乗者に与えることができる。
また本発明の観覧車は、前記表示部2が頭部装着型表示装置に備えられていてもよい。
本発明の観覧車によれば、複合現実感の提示範囲を地上からの視点だけでは無くより広範囲なものにさせると共に、ゴンドラの搭乗者に対し単に風景だけを眺めているだけでは得られなかった面白みを付与することができる。
以下、本発明の実施形態について添付図面に基づいて説明する。
実施形態1の観覧車は、図2に示されるように、一対の支持脚体60を有している。一対の支持脚体60は、観覧車の設置面Gから前後に間隔をあけて立設されている。一対の支持脚体60の上端間に回転軸61が水平に架設されている。この回転軸61に回転輪62が枢支されており、これにより、回転輪62は回転自在となっている。回転輪62は、支持脚体60に設けられた駆動装置(図示せず)によって回転駆動する。回転輪62は、略円形に形成された骨組み体である。回転輪62は、その外周端部には複数のゴンドラ63が円周方向に沿って所定間隔ごとに吊り下げられている。回転輪62の外周端部に吊持された各ゴンドラ63は、回転輪62に対し回動自在に取り付けられている。したがって、各ゴンドラ63は、回転輪62の周囲のどの位置に移動しても常に鉛直姿勢を保持することができる。各ゴンドラ63の回転軌跡は、略円周軌跡状である。ゴンドラ63の回転軌跡の下端部位には、搭乗者がゴンドラ63に乗降するための乗降場64が設けられている。
各ゴンドラ63は、外形が正面視略円形をしている。各ゴンドラ63は、内部に搭乗者が搭乗するための空間を有している。各ゴンドラ63は、側面に搭乗者が出入り可能な出入り口65が設けられている。各ゴンドラ63は、扉66を備えており、この扉66は、出入り口65を開閉可能に構成されている。ゴンドラ63は、外部の下部にゴンドラ63外の風景(実風景)を撮像する撮像部1が取り付けられている。本実施形態の撮像部1は、例えばCCD(Charge Coupled Device)カメラで構成されている。また、撮像部1は、撮像方向駆動装置(図示せず)に取り付けられている。撮像部1は、撮像方向駆動装置によって、撮像方向が水平方向からやや下方に向いた状態のまま全方位(水平方向360°)に変更可能に構成されている。言い換えると、撮像部1は、撮像方向駆動装置によって、水平方向において360度回転可能に構成されている。この撮像部1は、後述の制御部3を介してゴンドラ63内に設けられた操作部5と接続されている。操作部5を操作することで、撮像部1の撮像方向を変更させることができる。この操作部5は、図3に示されるように、ゴンドラ63の出入り口65とは反対側の内側面に設けられている。そして、操作部5は、表示部2に隣接して配置されている。操作部5は、傾倒自在な操作レバー51を有している。この操作レバー51を傾倒させると、撮像部1の撮像方向は変更される。表示部2は、モニターで構成されている。表示部2は、上方に向けてやや傾斜して配置されている。これにより、その表示面が搭乗者の顔の位置する部分に向くように配設されている。この表示部2は、制御部3に接続されている。表示部2は、制御部3により制御される。表示部2は、対向配置された一対の座席67の略中間部に設けられている。ゴンドラ63には座席67よりも上方に透過窓68が取り付けられており、搭乗者はこの透過窓68を通して外部の風景(実風景)を眺めることができる。
なお操作部5としては、上記のようにゴンドラ63の内側面に固定的に取り付けられたものに限られない。他例として、例えば、表示部2の側方に配設された電気配線を介して操作部が取り付けられてもよい。この場合、この操作部が移動自在となる。また、他の例として、ゴンドラ63の内側面に受信部(図示せず)を新たに設けてもよい。この場合、送信部を有する操作部がさらに設けられる。そして、無線により操作部が操作される。
制御部3は、撮像部1により撮られた実画像内の、ある特定の物体に対し、仮想画像を重ね合わせることにより合成画像を生成するように構成されている。そして、制御部3は、その合成画像を表示部2に表示させるように構成されている。制御部3は、撮像部1により撮像した画像(実画像)に仮想画像を重畳して新たな画像を生成する。そして、制御部3は、その画像を表示部2に表示させるように構成されている、いわゆる複合現実感(拡張現実感や拡張仮想感も含む)技術を適用したシステムとなっている。本実施形態の制御部3は、風景のある特定の物体をマーカとして認識するように構成されている。そして、制御部3は、そのマーカに対応する部分に仮想画像を重畳させる。すなわち、制御部3は、マーカ認識型の複合現実感技術を利用している。制御部3は、図1に示されるように、コンピュータによって構成される。コンピュータは、マイクロプロセッサを主構成要素としている。コンピュータは、マーカ認識手段30と、マーカ記憶部31と、位置・姿勢導出手段32と、仮想画像変形手段36と、記憶部34と、画像合成手段33と、画像表示手段35とを有している。本実施形態の制御部3のコンピュータは、各ゴンドラ63の座席67の内部に格納されている。
マーカ認識手段30は、撮像部1により撮像された実風景に含まれる特定の物体をマーカとして認識する。マーカは、実風景を撮影した画像に仮想画像を重畳させる際の相対位置姿勢の基準となるマークのことである。マーカは、実風景に含まれる特定の物体(例えば城跡や展望台など)の3次元形状の特徴に基づいて認識される。この特定の物体の3次元形状の特徴の情報は、マーカ記憶部31にあらかじめ登録されている。このマーカ記憶部31は、メモリから構成されている。マーカ記憶部31は、複数の異なるマーカの形状情報が格納されている。マーカ認識手段30は、このマーカ記憶部31に記憶された形状情報と、撮像部1により撮像された画像に含まれる特定の物体の形状情報とを照らし合わせることによって、マーカ記憶部31に記憶された複数のマーカのうちのどのマーカに該当するかを認識させる。このマーカ認識手段による処理は、DP(Dynamic programming)マッチングなどの画像比較アルゴリズムで実現可能である。この処理では、撮像部1の解像度を上げることで登録マーカとの比較をより詳細に行なうことが可能となる。よって、撮像部1の解像度を上げれば、登録マーカの数量を多くすることが可能となる。本実施形態のマーカとしては、実画像内に含まれる城・城跡・展望台・タワー・マンション・遊戯施設・駅・高速道路などが例示される。またマーカの認識は、実画像内に含まれる複数の物体をそれぞれのマーカとして複数箇所ごとに認識させてもよい。また、本実施形態のマーカとしては、実画像内に含まれる複数の物体を一組のマーカとして認識させるものであってもよい。このマーカ認識手段30により認識されたマーカに関する情報は、位置・姿勢導出手段32と仮想画像変形手段36に送られる。
位置・姿勢導出手段32は、マーカ認識手段30により認識されたマーカの3次元の位置や姿勢を求める。位置・姿勢導出手段32は、例えば、(a)マーカ認識手段30から受け取ったマーカに関する3次元形状の情報と、(b)実画像内のそのマーカに対応した物体の3次元位置・形状とに基づいて、そのマーカの撮像部1に対する位置・姿勢を算出する。すなわち、位置・姿勢導出手段32は、撮像部1から見たマーカに対する距離・角度を導き出すことになる。言い換えると、位置・姿勢導出手段32は、撮像部1からマーカまでの距離を導き出す。また、位置・姿勢導出手段32は、撮像部1からマーカに向かう方向と、水平方向との間の角度を導き出す。マーカに対応した物体の3次元位置・形状を特定するための情報としては、例えば、当該マーカの少なくとも3点の特徴点のマーカ内における座標値が挙げられる。なお、マーカの3次元位置・姿勢を計算する手法は、公知の手法が用いられる。この手法は、例えば「加藤博一、汐崎徳男、橘啓八郎:テクスチャー画像からオンライン生成されたテンプレートのマッチングに基づく拡張現実感のための位置合わせ手法、日本バーチャルリアリティ学会論文誌、Vol.7, No.2, pp.119-128 (2002)」に開示された手法が例示される。
また、マーカの位置・姿勢は、位置検出部と、撮像方向検出部とを用いても導出することができる。位置検出部は、ゴンドラの位置(すなわち撮像部1の位置)を検出するように構成されている。これにより、位置検出部は、ゴンドラの位置を示す検出情報を発生する。また、撮像方向検出部は、撮像部1の撮像方向を検出する。これにより、撮像方向検出部は、撮像部1の撮像方向を示す検出情報を発生する。位置検出部の検出情報と撮像方向検出部の検出情報とに基づいて、撮像部1に対するマーカの位置・姿勢が導出される。位置検出部は、例えば、トリガ発振器と、トリガ受信器と、タイマとにより構成される。トリガ発信器は、乗降場64に設けられている。トリガ受信器は、各ゴンドラに設けられている。タイマは、トリガ発信器から発せられた信号をトリガ受信器により受けた時点からの時間を計測するように構成されている。タイマにより計測される時間情報と、定常速度で回転する回転輪62の回転速度情報とから、各ゴンドラ63に設けられた制御部3は、各ゴンドラ63の位置を演算する。撮像方向検出部としては、撮像部1に取り付ける地磁気センサー、ジャイロセンサー等のセンサーが考えられる。なお観覧車の回転輪62は連続的に回転しており、これにより各ゴンドラ63は一定の速度で移動している。よって、実画像に含まれるマーカの位置・姿勢は常時変化する。
なお、位置検出部として、いわゆるグローバル・ポジショニング・システム(GPS;Global Positioning System)を利用するものであってもよいのはもちろんである。
この位置・姿勢導出手段32により導出された位置・姿勢情報は、仮想画像変形手段36に送られる。
仮想画像変形手段36は、マーカ認識手段30から送られたマーカに関する情報を受け取ると、そのマーカに対応する仮想画像を記憶部34から取得する。この記憶部34は、メモリにより構成されている。記憶部34は、特定のマーカと特定の仮想画像とを対応付けて予め記憶するように構成されている。この仮想画像としては、過去の風景(例えば城や都)を模したコンピュータグラフィックス画像(以下、CG画像という)や、未来を予想した風景を模したCG画像など、現在とは異なる時代の風景を模した種々のものが挙げられる。特に過去の風景としては、名所旧跡をマーカとして認識させた場合に、仮想画像としてその場所に以前建っていたとされる城や都などのCG画像を実画像に重畳させたり、戦国時代の戦の様子をCG画像として実画像に重畳させたりすることができる。また戦国時代の戦の様子などに関し、その戦の様子を動画で表現すれば、一層臨場感や面白みを付与することができてより好ましいものとなる。もちろん、さらに遡って、例えば石器時代の住居などをCG画像とすることも可能である。
仮想画像変形手段36は、記憶部34に記憶された仮想画像のその大きさ・角度を、ゴンドラ63の位置に応じて変化させる。具体的には、仮想画像変形手段36は、位置・姿勢導出手段32により導出されたマーカの位置・姿勢情報に基づいて仮想画像を変化させる。仮想画像変形手段36は、マーカ認識手段30から送られたマーカに関する情報を受け取ると、上述のようにそのマーカに対応する仮想画像を記憶部34から取得する。そして、仮想画像変形手段36は、位置・姿勢導出手段32により算出された情報に基づいて、仮想画像の大きさ・角度を特定する。そして、仮想画像変形手段36は、仮想画像の大きさ・角度特定情報に基づいて、仮想画像を変形させる。この変形としては、地上に3次元の仮想画像が表す物体(例えば城など)が設けられているものと仮定し、空中にあるゴンドラ63の撮像部1から見た当該地上の物体の形状に一致するように、仮想画像を変化させるのが好ましい。
また仮想画像変形手段36は、上記のように仮想画像の大きさ・角度を変形したうえで、実風景の明るさに応じてその仮想画像の明るさを補正する補正手段を有していてもよい。つまり補正手段により仮想画像の輝度を操作することで、実画像への仮想画像の重ね合わせをより違和感なく行なうことができる。
このように仮想画像変形手段36により変形させた仮想画像の情報は、画像合成手段33に送られる。
画像合成手段33は、仮想画像変形手段36から変形させた仮想画像の情報を取得すると、実画像のそのマーカに対応する部分に、変形後の仮想画像を重ね合わせる。このようにして、画像合成手段33は、新たな画像(合成画像)を生成する。ここで生成された合成画像の情報は、画像表示手段35に送られる。
画像表示手段35は、画像合成手段33により生成された画像を表示部2に表示させるように構成されている。画像表示手段35は、画像合成手段33からの合成画像の情報を受け取ると、ゴンドラ63内に配設された表示部2にその合成画像を表示させる。
このような制御部3における一連の制御は、観覧車のゴンドラ63の移動に伴って連続的に行なわれる。例えばゴンドラ63が上昇していくとマーカの相対的な姿勢も次第に変化してゆく。しかし、仮想画像変形手段36はゴンドラの位置に応じて仮想画像を変化させる。よって、仮想画像は、ゴンドラ63の上昇に伴って次第に小さくなる。また、仮想画像は、上方から眺めた姿勢に変化してゆく。これにより表示部2により表示される画像は、実画像に重畳された画像が仮想画像であったとしても、実際の画像に限りなく近いものとすることができる。
また表示部2により表示される画像は、実画像に対し仮想画像が重畳されたものである。したがって、天候や明るさといった周りの環境と同期する。これにより、例えば、予め収録しておいた録画画像を観覧車の動きに合わせて単に放映するものに比べて、より一層臨場感が増すものとなる。
つまり本実施形態の観覧車は、観覧車のゴンドラ63から見える広範囲な視野を利用した複合現実感をゴンドラ63の搭乗者に与えることができる。しかもゴンドラ63は水平方向だけでなく、高さ方向にも常時移動している。よって、地上からの視点だけでは得られなかった複合現実感を与えることが可能となる。
しかも本実施形態の観覧車は、操作部5に撮像部1の撮像方向を変更自在な操作レバー51が設けられている。よって、搭乗者の所望の向きの風景に複合現実感を与えることができる。これにより搭乗者はより一層、面白みを感じることができる。
ここで本実施形態の観覧車は、操作部5に、操作レバー51とは別に、仮想画像の内容を設定可能な設定部52がさらに設けられている。この設定部52は、各時代を模して作製された仮想画像のうち設定された時代の仮想画像を表示させる年代設定ボタンや、空想の世界の実在しない各種キャラクター(例えば、怪獣など)を表示させるキャラクター設定ボタンなど、さまざまな設定が可能な設定ボタンを有している。この設定部52は制御部3に接続されており、例えば、年代設定ボタンを操作すると、縄文時代,弥生時代・・・といった過去の風景や未来を表す風景などを選択して表示部2に表示させることができる。記憶部34には、各時代に対応した複数の仮想画像が予め記憶されている。例えば年代設定ボタンにより平安時代が設定されると、設定部52は、画像合成手段33に平安時代が選択された信号を送る。すると制御部3は、その平安時代に対応し且つマーカ認識手段30により認識されたマーカに対応する仮想画像(例えば平安京を模したCG画像)を記憶部34から取得する。そして、仮想画像変形手段36は、位置・姿勢導出手段32による情報に基づいて(つまりゴンドラ63の位置に応じて)その仮想画像の大きさ・姿勢(角度)を変形させ、画像合成手段33によってその変形させた仮想画像を実画像に重畳させて画像を生成する。ここで生成された画像は、画像表示手段35に送られ、表示部2に表示される。
このように設定部52によって、表示部2に表示される画像を搭乗者の所望の時代のものに設定することが可能となるので、観覧車から景色を眺めるだけでは得られなかったその土地の歴史に関する学習ができ、また歴史に対する興味を喚起することも可能である。さらに、歴史上の建物などを上方から眺めることができるようになるため、搭乗者は従来にはない面白みを感じることができる。
また本実施形態の観覧車は、コンテンツの変更に当たって、記憶部34に記憶された仮想画像を修正・変更するだけでよいので、定期的に内容の変更を行なえばリピータの獲得も可能である。
また仮想画像として、マーカに対応する特定の物体(名所旧跡,有名なスポットなど)の名称を示すような画像や、その特定の物体の観光情報や説明文が記載された画像などを適用すれば、表示部2による表示を観覧車による映像ガイドとして利用することもできる。また、仮想画像は、建物の前に企業名を表示させたり、空中へ浮かぶアドバルーンに企業名や商品名やブランド名を記載したりする、いわゆるデジタルサイネージ(電子広告)として利用することも可能である。
さらに仮想画像は、海中・水中の様子や地中の様子を表したものをCG画像として作成したものを利用したり、実風景が夜となった場合に使用するものとして、オーロラ・稲妻・宇宙・星座といった画像をCG画像として作成したものを利用したりしてもよい。
以上述べたように、実施形態1の観覧車は、複数のゴンドラと、撮像部と、表示部と、制御部とを備える。撮像部は、各ゴンドラに設けられている。撮像部は、このゴンドラ外の風景を撮るように構成されている。表示部は、各ゴンドラ内に設けられている。制御部は、撮像部により撮られた実画像の所定の位置に仮想画像を重ね合わせることにより合成画像を生成するように構成されている。制御部は、その合成画像を表示部に表示させるように構成されている。
このように構成したことで、観覧車のゴンドラ63から見える広範囲な視野を利用した複合現実感をゴンドラ63の搭乗者に与えることができる。しかもゴンドラ63は水平方向だけでなく、高さ方向にも常時移動しているから、地上からの視点だけでは得られなかった複合現実感を与えることが可能となる。
また、制御部は、記憶部と、仮想画像変形手段と、画像合成手段と、画像表示手段とを有している。記憶部は、仮想画像を記憶している。仮想画像変形手段は、記憶部に記憶された仮想画像の大きさ及び角度を、ゴンドラの位置に応じて変化させるように構成されている。画像合成手段は、仮想画像変形手段により変化させた画像を、撮像部により撮られた実画像の所定の位置に重ね合わせることにより合成画像を生成する。画像表示手段は、画像合成手段により生成された画像を表示部に表示させる。
この場合、ゴンドラ63の移動に応じて仮想画像を変形させることができる。これにより合成画像をより現実のものに近づけることができる。
また、観覧車は、位置検出部と、撮像方向検出部とを備える。位置検出部は、撮像部の位置を検出するように構成されている。撮像方向検出部は、撮像部の撮像方向を検出するように構成されている。仮想画像変形手段は、位置検出部の検出情報と撮像方向検出部の検出情報とに基づいて、前記仮想画像を変化させるように構成されている。
この場合、実画像と仮想画像との位置合わせを比較的精度よく行なうことができる。
また、制御部は、マーカ認識手段と、位置・姿勢導出手段とをさらに備えている。マーカ認識手段は、実画像に含まれる特定の物体をマーカとして認識するように構成されている。位置・姿勢導出手段は、マーカ認識手段により認識されたマーカの位置および姿勢を導出するように構成されている。記憶部は、前記マーカに前記仮想画像を対応付けて予め記憶している。仮想画像変形手段は、位置・姿勢導出手段により導出されたマーカの位置・姿勢情報に基づいて前記仮想画像を変化させる。制御部は、マーカ認識手段によりマーカが認識されると、そのマーカに対応する仮想画像を記憶部から取得する。
制御部は、記憶部から取得した仮想画像を仮想画像変形手段により変化させる。言い換えると、仮想画像変形手段は、制御部が記憶部から取得した仮想画像を、変化させる。
そして、制御部は、変化された画像を画像合成手段により実画像のマーカに対応する部分に重ね合わせて合成画像を生成する。画像表示手段は、合成画像を表示部に表示させる。
この場合、実画像と仮想画像との位置合わせの精度を向上させることができる。
また撮像部1は、ゴンドラ63の外部に設けられており、撮像方向を変更可能なカメラである。ゴンドラ63は、カメラの撮像方向を変更させる操作部5をさらに備えている。
これにより、ゴンドラ63の搭乗者の所望の視点における実画像と仮想画像とを重畳させ表示させることが可能となる。よって、より広範囲な視野を利用した複合現実感を搭乗者に与えることができる。
次に、実施形態2について図4に基づいて説明する。本実施形態は上記実施形態1と大部分において同じであるため、同じ部分においては同じ符号を付して説明を省略し、主に異なる部分について説明する。
本実施形態の観覧車は、表示部2が頭部装着型表示装置7に備えられている点で上記実施形態と異なっている。この頭部装着型表示装置7は、ヘッドマウントディスプレイ70(Head Mounted Display;HMD)によって構成されている。ヘッドマウントディスプレイ70は、頭部に装着可能なディスプレイである。ヘッドマウントディスプレイ70は、搭乗者に装着されると表示部2となるディスプレイが搭乗者の目の前方を覆うようになっている。
本実施形態の観覧車は、操作部5にこのヘッドマウントディスプレイ70を接続するためのコネクタ部71が設けられている。このコネクタ部71は制御部3に接続されている。ヘッドマウントディスプレイ70は、このコネクタ部71に接続されると、制御部3の画像表示手段35から送られた画像信号を受信し、目の前方を覆う表示部2に合成画像を表示する。
これにより、過去の風景や未来の風景を表示するようにすれば、あたかもタイムマシーンに乗車したかのような時空を超えた景観等を眺めることが可能となる。
また、ヘッドマウントディスプレイ70の表示部2に表示される内容を、搭乗者が奥行きや立体感を認知できるようにする3D方式を適用したものとしてもよい。すなわち、右目で見える内容と左目で見える内容とで異ならせた画像を生成し、搭乗者に表示部2の表示内容が立体的なものと認知させるための画像を生成する3D画像形成手段を制御部3に設けてもよい。これにより一層臨場感に富んだ観覧車とすることができる。
以上、本発明の観覧車を、マーカ認識型の複合現実感技術を利用した観覧車に基づいて説明したが、本発明の観覧車は、任意の画像的特徴点をマーカの代用とする、いわゆるマーカレストラッキング(例えば特開2007-207251に例示される)技術を用いたものであってもよい。この場合には、実施形態1におけるマーカ認識手段30は必ずしも必要な構成ではない。
また本発明の仮想画像変形手段は、ゴンドラの位置に応じて画像を変形するものであればよいため、観覧車のゴンドラの定常的な移動に対応させて、仮想画像の大きさ・角度を特定してもよい。このため実施形態1の位置・姿勢導出手段32は、本発明では必ずしも必要な構成ではない。
また、実施形態2のヘッドマウントディスプレイ70を用いるものにおいて、各ゴンドラ63に設けられたヘッドマウントディスプレイ70に撮像部1を設け、この撮像部1の撮像方向を視線と一致させるようにし、この撮像部1に位置検出部と、撮像方向検出部とを設けるように構成してもよい。このようにすれば、搭乗者が実際に向いている方向に対応した複合現実感を提示することができる。なおこの場合、ヘッドマウントディスプレイ70に設けられた撮像部1は、本発明でいう「各ゴンドラに設けられ」た範疇に含まれるのはもちろんである。またヘッドマウントディスプレイ70としては、ワイヤレスのものを用いてもよい。
なお実施形態1の観覧車は、制御部3が各ゴンドラ63に設けられていたが、本発明の観覧車は、制御部がゴンドラとは離れた場所(例えば建物の部屋など)に設けられ、各ゴンドラの表示部を遠隔制御するものであってもよい。また実施形態1の観覧車は、設定部52の年代設定ボタンが縄文時代,弥生時代・・・といった各時代に対応するものとなっていたが、本発明の観覧車の設定部は、西暦や歴史上の出来事を選択させるものであってもよい。
1 撮像部
2 表示部
3 制御部
30 マーカ認識手段
31 マーカ記憶部
32 位置・姿勢導出手段
33 画像合成手段
34 記憶部
35 画像表示手段
36 仮想画像変形手段
5 操作部
51 操作レバー
52 設定部
60 支持脚体
61 回転軸
62 回転輪
63 ゴンドラ
64 乗降場
65 出入り口
66 扉
67 座席
68 透過窓
G 設置面
2 表示部
3 制御部
30 マーカ認識手段
31 マーカ記憶部
32 位置・姿勢導出手段
33 画像合成手段
34 記憶部
35 画像表示手段
36 仮想画像変形手段
5 操作部
51 操作レバー
52 設定部
60 支持脚体
61 回転軸
62 回転輪
63 ゴンドラ
64 乗降場
65 出入り口
66 扉
67 座席
68 透過窓
G 設置面
Claims (8)
- 複数のゴンドラを有する観覧車であって、
各ゴンドラに設けられこのゴンドラ外の風景を撮る撮像部と、
各ゴンドラ内に設けられた表示部と、
撮像部により撮られた実画像の所定の位置に仮想画像を重ね合わせることにより合成画像を生成し、その合成画像を表示部に表示させる制御部と
を備えていることを特徴とする、観覧車。 - 前記制御部は、
仮想画像が記憶された記憶部と、
この記憶部に記憶された仮想画像の大きさ・角度を、ゴンドラの位置に応じて変化させる仮想画像変形手段と、
仮想画像変形手段により変化させた画像を、撮像部により撮られた実画像の所定の位置に重ね合わせることにより合成画像を生成する画像合成手段と、
画像合成手段により生成された画像を表示部に表示させる画像表示手段と
を有するものである、請求項1記載の観覧車。 - 前記撮像部の位置を検出する位置検出部と、
撮像部の撮像方向を検出する撮像方向検出部と
をさらに備え、
前記仮想画像変形手段は、位置検出部の検出情報と撮像方向検出部の検出情報とに基づいて、前記仮想画像を変化させるものである、
請求項2記載の観覧車。 - 前記制御部は、
前記実画像に含まれる特定の物体をマーカとして認識するマーカ認識手段と、
マーカ認識手段により認識されたマーカの位置・姿勢を導出する位置・姿勢導出手段と
をさらに備え、
前記記憶部は、前記マーカに前記仮想画像を対応付けて予め記憶してあり、
前記仮想画像変形手段は、位置・姿勢導出手段により導出されたマーカの位置・姿勢情報に基づいて前記仮想画像を変化させるものであり、
制御部は、
前記マーカ認識手段によりマーカが認識されると、そのマーカに対応する仮想画像を記憶部から取得すると共にその取得した仮想画像を仮想画像変形手段により変化させ、その変化させた画像を画像合成手段により実画像のマーカに対応する部分に重ね合わせて合成画像を生成し、画像表示手段によりその合成画像を表示部に表示させるものである、
請求項2記載の観覧車。 - 前記仮想画像が、現在とは異なる時代の風景を模したコンピュータグラフィックス画像である、
請求項1乃至請求項4のいずれか一項に記載の観覧車。 - 前記記憶部には複数の異なる年代の仮想画像が記憶されており、
前記各ゴンドラは、任意の年代の風景に設定可能な設定部をさらに備え、
前記制御部は、この設定部により設定された年代に対応する仮想画像を前記記憶部から取得し前記実画像に重ね合わせることによって画像を生成し、画像表示手段によりその合成画像を表示部に表示させるものである、
請求項5記載の観覧車。 - 前記撮像部は、ゴンドラの外部に設けられると共に撮像方向を変更可能なカメラであり、
前記ゴンドラは、前記カメラの撮像方向を変更させる操作部をさらに備えている、
請求項1乃至請求項6のいずれか一項に記載の観覧車。 - 前記表示部が頭部装着型表示装置に備えられている、請求項1乃至請求項7のいずれか一項に記載の観覧車。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-102691 | 2010-04-27 | ||
JP2010102691A JP5759110B2 (ja) | 2010-04-27 | 2010-04-27 | 観覧車 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011136209A1 true WO2011136209A1 (ja) | 2011-11-03 |
Family
ID=44861507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2011/060142 WO2011136209A1 (ja) | 2010-04-27 | 2011-04-26 | 観覧車 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP5759110B2 (ja) |
TW (1) | TWI441670B (ja) |
WO (1) | WO2011136209A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014053346A1 (en) * | 2012-10-02 | 2014-04-10 | Sony Corporation | Augmented reality system |
CN114642886A (zh) * | 2020-12-17 | 2022-06-21 | 丰田自动车株式会社 | 移动体 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6019680B2 (ja) * | 2012-04-04 | 2016-11-02 | 株式会社ニコン | 表示装置、表示方法、及び、表示プログラム |
JP5870958B2 (ja) * | 2012-04-27 | 2016-03-01 | キヤノンマーケティングジャパン株式会社 | 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム |
JP2014072575A (ja) * | 2012-09-27 | 2014-04-21 | Kyocera Corp | 表示装置および制御方法 |
JP2014072576A (ja) * | 2012-09-27 | 2014-04-21 | Kyocera Corp | 表示装置および制御方法 |
US10341642B2 (en) | 2012-09-27 | 2019-07-02 | Kyocera Corporation | Display device, control method, and control program for stereoscopically displaying objects |
JP2014219822A (ja) * | 2013-05-08 | 2014-11-20 | 大日本印刷株式会社 | コンテンツ表示装置、コンテンツ表示方法、プログラム、及び、コンテンツ表示システム |
EP3454304A4 (en) * | 2016-05-02 | 2019-12-18 | Sony Interactive Entertainment Inc. | IMAGING DEVICE |
JP6648050B2 (ja) * | 2017-02-21 | 2020-02-14 | 東京瓦斯株式会社 | 画像表示装置 |
JP7326740B2 (ja) * | 2018-12-28 | 2023-08-16 | トヨタ紡織株式会社 | 空間提供システム |
TWI716256B (zh) * | 2020-01-08 | 2021-01-11 | 志勤 許 | 遊樂設備水上行動載具及其作業方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001076168A (ja) * | 1999-09-02 | 2001-03-23 | Ntt Docomo Inc | 情報端末装置、データベースサーバ装置、画像表示システムおよびそれらの制御方法 |
JP2004173767A (ja) * | 2002-11-25 | 2004-06-24 | Senyo Kogyo Kk | ゴンドラ |
JP2009134280A (ja) * | 2007-10-29 | 2009-06-18 | Interman Corp | 実世界を表現する仮想空間を構築する地図画像生成提供方法、サーバ・コンピュータおよび立体地図画像生成装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0511727A (ja) * | 1991-07-01 | 1993-01-22 | Fujita Corp | 画像合成表示装置 |
JP2003264740A (ja) * | 2002-03-08 | 2003-09-19 | Cad Center:Kk | 展望鏡 |
JP2007052484A (ja) * | 2005-08-15 | 2007-03-01 | Dainippon Printing Co Ltd | 画像処理装置、画像処理方法及び画像処理用プログラム並びに情報記録媒体 |
JP5111210B2 (ja) * | 2008-04-09 | 2013-01-09 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
-
2010
- 2010-04-27 JP JP2010102691A patent/JP5759110B2/ja active Active
-
2011
- 2011-04-26 WO PCT/JP2011/060142 patent/WO2011136209A1/ja active Application Filing
- 2011-04-27 TW TW100114658A patent/TWI441670B/zh active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001076168A (ja) * | 1999-09-02 | 2001-03-23 | Ntt Docomo Inc | 情報端末装置、データベースサーバ装置、画像表示システムおよびそれらの制御方法 |
JP2004173767A (ja) * | 2002-11-25 | 2004-06-24 | Senyo Kogyo Kk | ゴンドラ |
JP2009134280A (ja) * | 2007-10-29 | 2009-06-18 | Interman Corp | 実世界を表現する仮想空間を構築する地図画像生成提供方法、サーバ・コンピュータおよび立体地図画像生成装置 |
Non-Patent Citations (1)
Title |
---|
HIROKAZU KATO ET AL.: "A Registration Method for Augmented Reality based on Matching Templates Generated from Texture Image", TRANSACTIONS OF THE VIRTUAL REALITY SOCIETY OF JAPAN, vol. 7, no. 2, 30 June 2002 (2002-06-30), pages 119 - 128 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014053346A1 (en) * | 2012-10-02 | 2014-04-10 | Sony Corporation | Augmented reality system |
US9779550B2 (en) | 2012-10-02 | 2017-10-03 | Sony Corporation | Augmented reality system |
CN114642886A (zh) * | 2020-12-17 | 2022-06-21 | 丰田自动车株式会社 | 移动体 |
Also Published As
Publication number | Publication date |
---|---|
JP5759110B2 (ja) | 2015-08-05 |
JP2011229679A (ja) | 2011-11-17 |
TW201200220A (en) | 2012-01-01 |
TWI441670B (zh) | 2014-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5759110B2 (ja) | 観覧車 | |
JP7454544B2 (ja) | 拡張現実及び仮想現実画像を生成するためのシステム及び方法 | |
EP3592443B1 (en) | Augmented ride system and method | |
CN104781873B (zh) | 图像显示装置、图像显示方法、移动装置、图像显示*** | |
CN109478340B (zh) | 模拟***、处理方法以及信息存储介质 | |
EP2039402B1 (en) | Input instruction device, input instruction method, and dancing simultation system using the input instruction device and method | |
JP5804571B2 (ja) | 車両システム | |
JP6761340B2 (ja) | シミュレーションシステム及びプログラム | |
JP6026088B2 (ja) | 遠隔操作システム | |
KR101748401B1 (ko) | 가상현실 어트랙션 제어 방법 및 시스템 | |
JP5410710B2 (ja) | プログラム、情報記憶媒体、ゲームシステム | |
JP6396027B2 (ja) | プログラムおよびゲーム装置 | |
US20100305724A1 (en) | Vehicle competition implementation system | |
CN103028252B (zh) | 观览车 | |
CN112104857A (zh) | 图像生成***、图像生成方法及信息存储介质 | |
JP6811323B2 (ja) | 情報処理システム、プレイヤ側装置、制御方法、及びプログラム | |
JP6566209B2 (ja) | プログラム及びアイウエア | |
JPWO2008132851A1 (ja) | エンターテインメント装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体 | |
CN204261300U (zh) | 互动式地图街景地貌健身娱乐教育*** | |
JP2017099790A (ja) | 走行物体の操縦システム | |
KR20210081194A (ko) | 입체 게임 운영 시스템 | |
NZ561260A (en) | Vehicle competition implementation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11774990 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 11774990 Country of ref document: EP Kind code of ref document: A1 |