WO2021095143A1 - Ｖｒ用搭乗装置 - Google Patents

Ｖｒ用搭乗装置 Download PDF

Info

Publication number
WO2021095143A1
WO2021095143A1 PCT/JP2019/044419 JP2019044419W WO2021095143A1 WO 2021095143 A1 WO2021095143 A1 WO 2021095143A1 JP 2019044419 W JP2019044419 W JP 2019044419W WO 2021095143 A1 WO2021095143 A1 WO 2021095143A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
boarding
unit
video
display unit
Prior art date
Application number
PCT/JP2019/044419
Other languages
English (en)
French (fr)
Inventor
晃弘 安藤
Original Assignee
株式会社ハシラス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ハシラス filed Critical 株式会社ハシラス
Priority to PCT/JP2019/044419 priority Critical patent/WO2021095143A1/ja
Publication of WO2021095143A1 publication Critical patent/WO2021095143A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63G—MERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G31/00—Amusement arrangements
    • A63G31/16—Amusement arrangements creating illusions of travel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a device for a user used for VR (Virtual Reality) to board and enjoy VR, and in particular, by operating on the boarding section after boarding the boarding section at the same time as viewing a virtual reality image.
  • VR Virtual Reality
  • the present invention relates to a VR boarding device that suppresses a passenger from causing VR sickness and enables a non-passenger to perform public viewing.
  • Virtual reality refers to a technology that allows a user to recognize and perceive a virtual space created by a computer as if the space were real, and a technology that creates such an environment.
  • the technology related to virtual reality is particularly attracting attention for entertainment using virtual reality technology, and various amusement devices using such technology have been developed to entertain users, but medical care, advertising, and education It is widely used in such fields, and has the potential for further use and utilization in the future.
  • the image on the field of sports or the image seen when boarding a roller coaster is displayed to the user on the dedicated viewing device.
  • the user can participate in sports such as soccer and baseball while staying at home, and experience various attractions such as boarding a roller coaster in a simulated manner.
  • the goggle-type video viewing device includes a gyro, an acceleration sensor, and position tracking. It is equipped with a mechanism, etc., and when the user turns or moves in any direction, the sensor detects the direction or movement of the user and adds a control device that changes the image to be seen from the user's point of view. ..
  • the displayed video is controlled by tracking the user's position using a sensor or the like instead of a gyro or the like.
  • Japanese Patent Application Laid-Open No. 2005-253871 exists as a technique related to a sports device using virtual reality technology, in which a computer displays a game screen including a ball figure on the screen and includes a ball position and a ball speed according to a player's swing.
  • a technique for creating return ball data, calculating the trajectory of the ball figure based on the return ball data, and displaying the flying ball figure on the screen is disclosed.
  • a personal computer in which a time code or the like is input from the VTR operates the drive unit in synchronization with these time codes or the like by a program, and the image and sound from the VTR and the drive unit generate the image and sound.
  • a structure in which a chair is moved up and down or a vibration drive device is used to move the chair back and forth and left and right in synchronization with the moving vibration and the like, and a wind speed experience technique using an electric fan are disclosed.
  • the present invention is a device for a user used for VR to board and experience and enjoy VR.
  • the user operates on the boarding unit at the same time as viewing a virtual reality image, so that the user can move to the viewpoint position of the user.
  • By greatly changing the display image of the optimized VR image display such as turning it is possible for the user to get an immersive feeling in the image without going through a goggle type image viewing device, and at the same time, the user can feel immersive. It is an object of the present invention to provide a VR boarding device capable of suppressing VR sickness and allowing non-passengers to perform public viewing.
  • the boarding device for VR includes the main body of the boarding device used for VR (Virtual Reality), the boarding section for the user to board, and the boarding section in front of the boarding section.
  • Boarding for VR consisting of a VR image display unit for viewing VR images installed toward the boarding unit, a sensor installed in front of the boarding unit that can detect the movement of the user, and a control unit installed on the main body.
  • the main body of the device is provided with a blower unit for blowing air toward the boarding unit installed so as to face the boarding unit, and the control unit manages VR images and VR.
  • It is equipped with a video management / playback means for performing playback processing on the video display unit and an integrated control means for instructing / controlling the operation of the blower unit, and the video management / playback means and the integration based on information from the sensor. It is a configuration that controls the control means.
  • the image management / playback means stores the VR image data in the storage means. And event information are recorded, the VR video data is transmitted to the VR video display unit, and event information including the recording of the presence or absence of an event at the reproduction location of the VR video data is transmitted to the integrated control means, and the integrated control is performed.
  • the means is configured to control the amount of air blown toward the boarding unit by the air blower unit according to the received event information.
  • the VR boarding device controls the VR video data displayed on the VR video display unit according to the movement of the user detected by the sensor, the sensor acquires the position information of the user.
  • the video management / playback means calculates the display area of the VR video data displayed on the VR video display unit from the acquired position information, and then transmits the VR video data to the VR video display unit. Is.
  • the senor is composed of a depth sensor, and the user depth image is acquired by the depth sensor, and accurate position information of the user is obtained as a coordinate value consisting of an X value, a Y value, and a Z value based on the user's head.
  • the configuration is such that the amount of movement of the user within a certain period of time is acquired while being calculated and acquired as.
  • the video management / playback means generates virtual position information of the user by multiplying each value by a coefficient based on the position information of the user consisting of the X value, the Y value, and the Z value acquired by the sensor. , A movement amount value obtained by multiplying the acquired movement amount by a movement coefficient and a turning coefficient is generated, and a display area of VR image data displayed on the VR image display unit is calculated from the virtual position information and the movement amount value. Then, the VR video data is transmitted to the VR video display unit.
  • the VR boarding device has a configuration in which a VR image display unit installation height adjusting means is installed so that the installation height of the VR image display unit can be automatically or manually adjusted. Further, the VR image display unit is configured to be installed after being adjusted to a height position which is the front part of the boarding unit and is a viewpoint of the user.
  • the boarding unit includes a vibration generating unit for generating vibration to vibrate the boarding unit, and while synchronizing with the VR image displayed on the VR image display unit, or the boarding unit.
  • the integrated control means is in line with the received event information or the user's movement.
  • the vibration generating unit controls the amount of vibration to the boarding unit to instruct and control the operation of the vibration generating unit.
  • the event information is event flag data indicating the presence or absence of an event at a specific playback location of the VR video data, and includes at least a ventilation flag
  • the video management playback means is the current VR video data.
  • the event flag data at the reproduction location is transmitted to the integrated control means as event information, and the integrated control means receives the event information, acquires the user's virtual position information from the sensor, and performs calculation processing.
  • the event information is a ventilation flag
  • the configuration is such that the ventilation unit is instructed and controlled to blow air toward the boarding unit for a certain period of time.
  • the present invention has the configuration as described in detail above, it has the following effects. 1.
  • the configuration is provided with a blower unit and a vibration unit, it is possible to obtain a feeling of being linked to the image, and it is possible to obtain a high immersive feeling.
  • the video management / playback means and the like are controlled based on the information from the sensor, the user's operation acquired by the sensor can be reflected in the VR video display unit.
  • the VR video display unit is installed in front of the boarding unit toward the boarding area, public viewing by non-passengers is possible, and many people can view the world experienced by the passengers. .. 2.
  • the air blown by the blower unit is configured to synchronize with the VR image, the user can get a feeling of immersion in the VR image and suppress the onset of VR sickness caused by the discrepancy between the action perceived by the user and the realistic action. It becomes possible.
  • the VR video data displayed on the VR video display is controlled according to the movement of the user detected by the sensor, the user can feel immersed in the video simply by making any movement while watching the VR video display. At the same time, the user can experience the movement with a sense of reality simply by controlling the change of the displayed image. 4. Since the user depth image is acquired by the depth sensor to obtain the user's position, it is possible to obtain accurate position information of the user who makes various movements on the boarding section.
  • the video management / playback means is configured to generate the user's virtual position information based on the acquired user's position information, it is possible to determine the user's position in the video and perform the video display processing. .. In addition, since the movement amount of the user is acquired and the movement amount value is generated by multiplying the movement amount by various coefficients, the normal movement of the user is converted into a realistic movement by using the virtual position information. It can be reflected in the VR image. 6. Since the VR image display unit installation height adjusting means is provided, the VR image display unit can be adjusted so as to have an optimum height for the user.
  • the VR image display unit is installed at the height of the user's viewpoint, the user can obtain a sufficient immersive feeling in the VR image.
  • the VR image display unit Since it is equipped with a vibration generating unit, it can be vibrated in synchronization with the VR image or vibrated in accordance with the user's movement, and the user can obtain a sufficient immersive feeling in the VR image.
  • the integrated control means controls the blower based on the event information recorded in the video management / playback means, the blower process is performed by the blower according to the movement of the user while synchronizing with the VR video. It is possible to do this, and it is possible to give the user a more realistic and immersive feeling without VR sickness.
  • FIG. 1 is a schematic view of a VR boarding device according to the present invention
  • FIG. 2 is a schematic view showing a display example of a VR image
  • FIG. 3 is a conceptual diagram showing the operation of the control unit.
  • the VR boarding device 1 includes a main body 100, a boarding unit 200, a VR image display unit 300, a sensor 400, and a control unit 500, and in particular, virtual reality.
  • a device used for amusement using (VR) technology which is displayed on a screen optimized for the user's viewpoint position in front of the user without using a wearable image display device such as goggles.
  • the display image of the VR video display section can be changed to give the user a feeling of immersion in the video without going through a goggle-type video viewing device. It is a device that can be obtained, suppresses the passenger from causing VR sickness, and enables non-passengers to perform public viewing.
  • the VR boarding device according to the present invention can be used not only for amusement but also for various devices such as various simulators.
  • the main body 100 is a main body of a boarding device used for VR (Virtual Reality), and is a member to which various members and devices constituting the VR boarding device 1 are connected and stored. At the same time, it is a basic member for mounting the VR image display unit 300 on the upper part toward the boarding unit 200.
  • the main body 100 is composed of a rectangular frame made of iron, but the present invention is not limited to this, and a material such as steel or wood can be appropriately selected, and a flat type or a dome type is used. It is possible to select any shape.
  • the main body 100 is configured to install the blower unit 110 and the vibration generating unit 210, which will be described later, but it is also possible to equip the main body 100 with an audio output unit that outputs audio accompanying the VR image. Is. Further, a touch panel for operating the VR boarding device 1 may be provided.
  • the boarding section 200 is a member installed in front of the main body 100, and as will be described later, a member for swinging the boarding section 200 is incorporated inside or below.
  • the boarding unit 200 is a part on which the user boarded when using the VR boarding device 1, and the user stands on the boarding body 200 while watching the displayed virtual reality image and enjoys performing arbitrary operations. ing.
  • the boarding unit 200 is configured to be provided with fences for preventing the user from falling off on both sides and the main body side in order to prevent the user from falling off, but the present invention is limited to this. It is not necessary to install a fence surrounding the boarding section 200 on all sides, or conversely, there may be no fence. Further, in order to make the VR boarding device 1 compatible with all uses, it is possible to select a configuration that does not use the boarding unit 200.
  • the VR image display unit 300 is a device for reproducing and displaying an image used for reproducing a virtual reality image. In this embodiment, it is composed of a large monitor and is installed on the main body 100 at a position in front of the boarding unit 200 toward the boarding unit 200, so that the user can watch the VR image. .. In this embodiment, the VR image display unit 300 has a configuration including a large flat display. In the past, a head-mounted display worn on the user's head was often used, but when experiencing with the head-mounted display, there was a problem that it was difficult to convey satisfaction to an audience other than the user. Since a large display is used in the present invention, a public viewing effect can be expected.
  • the configuration of the VR video display unit 300 is not limited to the above, and it is also possible to adopt a display having a shape that is curved left and right and surrounds the user.
  • the sensor 400 is a member for detecting the position and movement of the user who rides on the boarding unit 200 and performs an arbitrary operation, and is installed at an installable position in front of the boarding unit 200 and substantially in front of the user.
  • the sensor 400 is installed in the upper center of the display screen of the VR image display unit 300 toward the boarding unit 200, but is not limited to this configuration, for example, in the main body 100. It may be installed at a location away from the VR boarding device 1 such as the ceiling.
  • the control unit 500 is a device that processes a signal received from the sensor 400, controls the VR image displayed on the VR image display unit 300, the vibration of the boarding unit 200, the ventilation, and the like, and is installed in the main body 100.
  • the control unit 500 is composed of a computer 600 and is equipped with a storage means 530 made of an arbitrary storage medium.
  • the VR boarding device 1 has a configuration in which the main body 100 is equipped with a blower 110.
  • the blower unit 110 is a member that is installed at a position facing the boarding unit 200 and blows air of all strengths toward the user boarding the boarding unit 200.
  • the boarding unit 100 of the main body 100 is blown. It is installed on the 200 side and blows air toward the substantially front of the user who boarded the boarding unit 200.
  • the VR video data 10 displayed on the VR video display unit 300 is a video in which the user moves forward steadily, the user is immersive in receiving the wind by being blown from the front. It is possible to obtain a new experience and suppress VR sickness caused by the discrepancy between the image and the actual experience.
  • the blower unit 110 uses a propeller type blower, but the present invention is not limited to this, and any structure having a blower function can be appropriately selected and used. Further, the air blowing direction may be changed up, down, left and right. Further, it is also possible to install a device for spraying water with minute water droplets (mist-like body) toward the user via a compressor.
  • the control unit 500 is configured to include the video management / playback means 510 and the integrated control means 520.
  • the video management / playback means 510 is a means for managing the VR video to be displayed on the VR video display unit 300 and performing the VR video playback processing on the VR video display unit 300.
  • the video management / playback means 510 is configured to transmit the VR video data 10 recorded in the storage means 530 of the computer 600 to the VR video display unit 300.
  • the video management / playback means 510 is software for VR video playback installed in the computer 600 in this embodiment, but is not limited to this configuration, and the VR video playback process is installed in the main body 100 or the like. It may be configured by a dedicated device.
  • the integrated control means 520 is a means for instructing and controlling the operation of the blower unit 110.
  • the integrated control means 520 is composed of software installed on the computer 600, and the integrated control means 520 issues instructions and control commands from the computer 600.
  • the structure is such that the blower unit 110 is operated by receiving the signal.
  • the VR boarding device 1 is configured to control the video management / playback means 510 and the integrated control means 520 based on the user's position information 30 and motion information acquired by the sensor 400.
  • it is possible to reflect the information related to the change such as the position information of the user who operates arbitrarily acquired by the sensor 400 on the VR image display unit by performing calculation processing, and the amplification change of the image according to the operation of the user.
  • By turning and blowing it is possible to enhance the user's immersive feeling in the image and to perform control for suppressing VR sickness.
  • the video management / playback means 510 has a configuration in which the VR video data 10 and the event information 20 are recorded in the storage means 530 of the computer 600.
  • the VR video data 10 is video data in a moving image format expressing a virtual space that the user views on the VR video display unit 300 when using the VR boarding device 1, and various data formats can be adopted. It is a structure.
  • the event information 20 includes recording of the presence / absence of an event at the reproduction location of the VR video data 10, and when the VR video data 10 is reproduced and displayed on the VR video display unit 300, the event information 20 is displayed at a specific video location. It is information recorded in a data file in which the presence / absence and contents of an event to be executed are recorded, and is managed and stored in the storage means 530 as a separate file or the same file as the VR video data 10.
  • the video management / playback means 510 performs a process of transmitting the VR video data 10 to the VR video display unit 300. At the same time, the video management / playback means 510 performs a process of transmitting the event information 20 to the integrated control means 520.
  • the integrated control means 520 receives the event information 20 transmitted from the video management / playback means 510, and the blower 110 controls the amount of air blown toward the boarding unit 200 in time / quantity according to the received event information 20. It is a configuration to perform.
  • the VR boarding device 1 can perform the ventilation processing by the blower unit 110 while maintaining almost accurate synchronization with the VR image displayed on the VR image display unit 300.
  • the details of the event information 20 will be described later.
  • the sensor 400 is the position information 30 of the user who performs an arbitrary operation on the boarding unit 200 when the VR image data flows to the VR image display unit 300 and the user is experiencing or enjoying the VR. Is a configuration that constantly acquires.
  • the acquired position information 30 is sequentially transmitted to the video management / playback means 510.
  • the video management / playback means 510 calculates and processes the display area of the VR video data 10 displayed on the VR video display unit 300 from the acquired user position information 30. Specifically, for example, when the VR image viewed by the user is an image in which an item is acquired while moving forward, the user moves to the right on the boarding unit 200 in an attempt to pick up the item in the right direction. At that time, the sensor 400 acquires the position information 30 that has changed with the operation. The acquired position information 30 is sequentially transmitted to the video management / playback means 510. The video management / playback means 510 calculates and acquires the position information (virtual position information 36 described later) on the VR video from the acquired position information 30, and calculates the display area of the VR video data 10 that will be visible from that position. To process.
  • the sensor The 400 continuously acquires the position information 30 changed according to the operation from the jump to the landing, and the acquired position information 30 is sequentially transmitted to the video management / playback means 510.
  • the video management / playback means 510 calculates and acquires the position information (virtual position information 36 described later) on the VR video from the acquired position information 30, and obtains the display area of the VR video data 10 that will be visible when jumping. Calculate.
  • the calculated and acquired VR video data 10 is transmitted to the VR video display unit 300 and displayed.
  • the sensor 400 has a configuration including a depth sensor 410.
  • the depth sensor is a sensor that makes it possible to capture the detection target in three dimensions.
  • the depth sensor acquires a user depth image from the user's position information to information related to gestures. It is transmitted to the control unit 500, and the image management / playback means 510 or the computer 600 calculates and processes the information to control the VR image, the user acquires the item in the image, the blower unit 110 performs the blower process, and the like. It is a configuration that performs the processing of.
  • the sensor 400 calculates and acquires the coordinate values consisting of the X value, the Y value, and the Z value based on the user's head, and also obtains the other hands and hands. It is a configuration that also acquires movement information such as legs.
  • the position information 30 is not limited to the user's head, and can be acquired based on other information.
  • the sensor 400 is further configured to acquire the movement amount 34 of the user within a certain period of time.
  • the movement amount is a numerical value of how much the user has moved within a certain time, and based on this information, the image displayed on the VR image display unit 300 is controlled. For example, when a person moves quickly and greatly on a narrow boarding section 200, it is possible to perform an exaggerated deformation as if the vehicle has moved a considerable distance on the VR image, which gives an impact to the user and gives a high immersive feeling. It becomes possible to do.
  • the video management / playback means 510 generates virtual position information 36 based on the user's position information 30 consisting of X value, Y value, and Z value acquired by the sensor 400 and other accompanying depth image information such as limbs. ..
  • the virtual position information 36 is obtained by multiplying the user's position information 30 by a coefficient, and this coefficient can be changed according to the VR video data 10.
  • the video management / playback means 510 further generates a movement amount value 38 based on the movement amount 34 of the user acquired by the sensor 400.
  • the movement amount value 38 is the movement amount 34 acquired by the sensor 400 multiplied by the movement coefficient and the turning coefficient, and these coefficients can be changed according to the VR video data 10.
  • the movement coefficient is a coefficient for deforming the linear movement of the user
  • the turning coefficient is a coefficient for deforming the movement in which the user draws a circle in consideration of yawing, pitching, and rolling. Is. By multiplying these by the movement amount 34 and processing, a deformed user movement amount value 38 is generated.
  • the video management / playback means 510 further performs calculation processing of the display area of the VR video data 10 displayed on the VR video display unit 300 from the generated virtual position information 36 and the movement amount value 38, and then displays the VR video.
  • the VR video data 10 is transmitted to the unit 300. Since this processed display area has a position and movement amount (straight line / turning) that are considerably deformed from the actual movement of the user, it is displayed even when the user makes a slight lateral movement, for example.
  • the VR image can be an image that moves laterally for many meters, jumps, or turns vigorously while observing an object around an object. That is, it is possible to give the user a high immersive feeling by converting the normal movement of the user into a realistic movement and reflecting it in the VR image.
  • the sensor 400 acquires the user's position information 30 and the movement amount 34, and the virtual position information 36 and the movement amount value 38. After generating (turning), the display area of the VR video data 10 displayed on the VR video display unit 300 is calculated. Since each value is deformed, even if the actual movement of the user is small, the subjective image displayed on the VR image display unit 300 moves left and right more than it actually is, and the center of the image is viewed. As described above, the behavior of yaw turning (yaw turning: FIG. 2 (1)) can be expressed.
  • the display area of the VR video data 10 displayed on the VR video display unit 300 is calculated, and the actual movement of the user is small.
  • the subjective image displayed on the VR image display unit 300 can express the behavior of pitch-turning (FIG. 2 (2)) so as to see the central part of the image while moving up and down more than the actual one.
  • the subjective image displayed on the VR image display unit 300 can similarly express the behavior of moving back and forth more than it actually is. That is, since the video management / playback means 510 has a configuration in which the movement amount 34 actually operated by the user is multiplied by a coefficient, the movement can be deformed and the movement on the video can be made realistic. It became.
  • the VR image display unit installation height adjusting means 310 is installed.
  • the VR image display unit 300 is installed at a height position that is the front part of the boarding unit 200 and is the viewpoint of the user.
  • the VR image display unit installation height adjusting means 310 is a device that can automatically or manually adjust the installation height of the VR image display unit 300 on the main body 100, and in this embodiment, as shown in FIG. The installation height of the VR image display unit 300 is adjusted by rotating the handle-shaped member installed on the main body 100 to the left and right.
  • the VR boarding device 1 can raise and lower the VR image display unit 300 according to the height of the user, and the VR image display unit can be adjusted to the optimum height for the user. At low cost, it has become possible to give every user a high immersive feeling in VR images.
  • the boarding unit 200 is configured to include a vibration generating unit 210.
  • the vibration generating unit 210 is a device for generating vibration to vibrate the boarding unit 200, and is synchronized with the VR image data 10 displayed on the VR image display unit 300, or a sensor in the boarding unit.
  • the vibration generating unit 210 performs vibration processing on the boarding unit 200 in response to the movement of the user detected by the vibration generating unit 210.
  • the integrated control means 520 receives the event information 20 transmitted from the video management / playback means 510, and the vibration generating unit 210 sends the vibration generating unit 210 to the boarding unit 200 according to the received event information 20 or according to the movement of the user. By controlling the amount of vibration, the operation of the vibration generating unit 210 is instructed and controlled.
  • the VR boarding device 1 is subjected to vibration processing by the vibration generating unit 210 while maintaining substantially accurate synchronization with the VR image displayed on the VR image display unit 300 or in accordance with the movement of the user. Can be done.
  • the event information 20 is event flag data composed of a plurality of types indicating the presence / absence and types of various events that occur at a specific playback location of the VR video data 10 viewed by the user.
  • the event information 20 is configured to include at least the ventilation flag 22.
  • the vibration generator 210 it is possible to configure the configuration to include the vibration flag 24.
  • the video management / playback means 510 extracts the event flag data at the current playback location of the VR video data 10 being played back, that is, displayed on the VR video display device 300 and viewed by the user, from the data file managed and saved in the storage means 530. It is transmitted as event information 20 to the integrated control means 520.
  • the integrated control means 520 receives the transmitted event information 20 and controls the blower unit 110 according to the content thereof.
  • the vibration generator 210 is further controlled. That is, when the event information 20 is the ventilation flag 22, the integrated control means 520 instructs and controls the ventilation unit 110 to blow air toward the boarding unit 200 for a certain period of time. Further, when the event information 20 is the vibration flag 24, the vibration generator 210 is instructed and controlled to vibrate the boarding unit 200.
  • the blast unit 110 performs a process of gradually reducing the blast amount during the blast operation toward the boarding unit 200 for a certain period of time before increasing the blast amount. It is possible to configure it to be performed. This makes it possible to simulate an experience similar to infinite acceleration. That is, at a certain VR image position, after the blower process is performed by the blower unit 110, the amount of air blown is gradually suppressed, and then the blower process is performed again by the blower unit 110. By repeating this, it is possible to obtain a feeling (experience) of further acceleration even if the actual mechanical wind speed does not change much. Also, the vibration flag 24 can be used as well.
  • the user can feel as if he / she is in the space of the VR image, and can also experience and enjoy the deformed and realistic movement together with the ventilation. Is possible. That is, by using the VR boarding device 1 according to the present invention, it is possible to experience dynamic movements, obtain a high immersive feeling in the VR image, and suppress unexpected VR sickness. It has become possible to provide the device.
  • VR boarding device 10
  • VR video data 20
  • Event information 22
  • Blower flag 24
  • Vibration flag 30
  • Movement amount 36
  • Virtual position information 38
  • Movement amount value 100
  • Main unit 110 Blower part 200
  • Boarding part 210
  • Vibration generation part 300
  • VR image display part 310
  • VR video display unit installation height adjustment means 400
  • sensor 500
  • control unit 510
  • video management playback means 520 integrated control means 530 storage means 600 computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザが、ＶＲ映像の視聴と同時に搭乗部上で動作することにより、ユーザの視点位置に最適化されたＶＲ映像の表示部の表示画像を旋回等大きく変化させることにより、ユーザが映像への没入感を得ることを可能にするともに、ユーザのＶＲ酔いを抑制し、かつ、搭乗者以外がパブリックビューイングすることを可能としたＶＲ用搭乗装置を提供する。本体と、搭乗部と、ＶＲ映像表示部と、センサと、制御部と、からなるＶＲ用搭乗装置であって、前記本体は、前記搭乗部に対向するように設置される前記搭乗部に向けて風を送風するための送風部を備え、前記制御部は、ＶＲ映像を管理するとともに、ＶＲ映像表示部に対する再生処理を行う映像管理再生手段と、前記送風部の動作の指示・制御を行う統合制御手段と、を装備し、前記センサからの情報を基に前記映像管理再生手段および前記統合制御手段の制御を行う構成である。

Description

ＶＲ用搭乗装置
　本発明は、ＶＲ（バーチャルリアリティ）に用いるユーザが搭乗してＶＲを楽しむための装置に関し、特に、バーチャルリアリティ映像の視聴と同時に搭乗部に搭乗した上で、搭乗部上で動作することにより、ユーザの視点位置に最適化されたＶＲ映像の表示部の表示画像をユーザの動きを基礎として変化させることにより、ゴーグル型の映像視聴装置を介さずに、ユーザの映像への没入感を得るとともに、搭乗者がＶＲ酔いを起こすことを抑制し、かつ、搭乗者以外がパブリックビューイングすることを可能としたＶＲ用搭乗装置に関する。
　従来より、ユーザが映像を視聴しながら搭乗することで、様々な疑似体験を得ることを可能としたバーチャルリアリティ（ＶＲ）に関する技術が数多く開発され、様々な場面で活用されている。バーチャルリアリティに関する技術は、進歩を遂げ、あらゆる分野で活用されており、室内等に居ながらにして現実的にその場にいるような体感を得ることを可能にするＶＲ技術が数多く開発され、使用されている。
　バーチャルリアリティとは、コンピュータが作り出す仮想空間において、ユーザが恰もその空間が現実であるかのように認識・知覚させるための技術、また、そのような環境を作り出すための技術のことをいう。バーチャルリアリティに係る技術は、特に、バーチャルリアリティ技術を用いたエンターテイメントの注目度は高く、このような技術を用いた様々なアミューズメント装置が開発され、ユーザを楽しませているが、医療、広告、教育等の分野において広く利用されており、今後も更なる利用・活用の可能性を有している。
　例えば、バーチャルリアリティ技術を用いたアミューズメント装置として、ユーザが専用の搭乗装置に搭乗したうえで、専用の視聴装置にスポーツのフィールド上の映像やジェットコースターに搭乗した際に見える映像を流してユーザに視聴させることで、ユーザは居ながらにしてサッカーや野球などのスポーツに参加したり、ジェットコースターに搭乗したような様々なアトラクションを疑似的に体験することが可能となる。
　このようなバーチャルリアリティを用いた疑似体験では、ゴーグル型の映像視聴装置を介して映像を視聴することが多く行われているところ、ゴーグル型の映像視聴装置には、ジャイロ、加速度センサ、ポジショントラッキング機構等が装備されており、ユーザが任意の方向に向いたり移動したりすると、センサがユーザの向きや移動を検知し、ユーザの視点から見える映像に変化させるような制御工夫が付加されている。
　一方、モニターを介してＶＲ映像を視聴する装置の場合は、ジャイロ等に代わるセンサ等を用いてユーザのポジションをトラッキングすることにより、表示される映像を制御する。
　バーチャルリアリティに用いられる搭乗装置に関する技術として、例えば、特開２００５－２５３８７１号公報が存在する。ここでは、バーチャルリアリティ技術を用いたスポーツ用装置に係る技術であって、コンピュータが、スクリーンにボール図形を含むゲーム画面を表示させるとともに、プレイヤのスイングに応じて、ボール位置とボール速度とを含む返球データを作成し、その返球データに基づいてボール図形の軌道を計算してスクリーン上に飛翔するボール図形を表示する技術が開示されている。
　この技術によれば、確かに画面に表示されるＶＲ映像とユーザの動作を一致させて、仮想的にボールスポーツを体験することが可能になるが、ユーザの位置に関する情報が考慮されないことから、ユーザの動きなどを考慮した映像の変化を反映することができず、ユーザが体験する映像が没入感や迫力に欠けるという問題点があった。
　また、特開平６－１７５５８２号公報では、ＶＴＲからタイムコード等を入力したパソコンが、プログラムによりこれらのタイムコード等に同期させて駆動部を動作させ、ＶＴＲからの映像と音と駆動部で発生する移動振動等とを同期させ、駆動部は、椅子を上下動もしくは振動駆動装置で前後左右に動かす構造や扇風機を用いる風速体感技術が開示されている。
　この技術によれば、確かにＶＴＲ等の映像や音声に同期した体感等を得ながら、変化するＶＲ映像を視聴することが可能となるが、ユーザの動きなどを考慮した映像の変化を反映することができず、ユーザが体験する映像が臨場感に乏しいため、没入感に欠けるという問題点があった。また、映像とユーザの動作の差が大きい場合には、身体が持つ実体験との差異が生じて、いわゆるＶＲ酔いを引き起こすという問題点があり、優れたバーチャルリアリティ用の搭乗装置ということは出来なかった。
　そこで、装置にユーザが搭乗した際のユーザの動作に応じて、変化する映像を表示する事でユーザが没入感を得ることを可能にするとともに、身体が持つ実体験との差異を適正化することによりユーザがＶＲ酔いを引き起こすことを抑制した、没入感のあるバーチャルリアリティを体感出来るＶＲ用搭乗装置の開発が望まれていた。
特開２００５－２５３８７１号公報 特開平６－１７５５８２号公報
　本発明は、ＶＲに用いるユーザが搭乗してＶＲを体感し楽しむための装置であって、特に、ユーザが、バーチャルリアリティ映像の視聴と同時に搭乗部上で動作することにより、ユーザの視点位置に最適化されたＶＲ映像の表示部の表示画像を旋回等大きく変化させることにより、ゴーグル型の映像視聴装置を介さずに、ユーザが映像への没入感を得ることを可能にするともに、ユーザのＶＲ酔いを抑制することを可能とし、かつ、搭乗者以外がパブリックビューイングすることを可能としたＶＲ用搭乗装置を提供することを目的とする。
　上記の目的を達成するために本発明に係るＶＲ用搭乗装置は、ＶＲ（バーチャルリアリティ）に用いる搭乗装置の本体と、ユーザが搭乗するための搭乗部と、前記搭乗部前方に該搭乗部へ向けて設置されるＶＲ映像を視聴するためのＶＲ映像表示部と、前記搭乗部前方に設置されるユーザの動きが検知できるセンサと、前記本体に設置される制御部と、からなるＶＲ用搭乗装置であって、前記本体は、前記搭乗部に対向するように設置される前記搭乗部に向けて風を送風するための送風部を備え、前記制御部は、ＶＲ映像を管理するとともに、ＶＲ映像表示部に対する再生処理を行う映像管理再生手段と、前記送風部の動作の指示・制御を行う統合制御手段と、を装備し、前記センサからの情報を基に前記映像管理再生手段および前記統合制御手段の制御を行う構成である。
　また、前記ＶＲ用搭乗装置は、前記ＶＲ映像表示部に表示されるＶＲ映像との同期をとりながら、前記送風部による送風処理を行うため、前記映像管理再生手段は、記憶手段にＶＲ映像データとイベント情報とを記録し、前記ＶＲ映像データをＶＲ映像表示部に送信するとともに、前記ＶＲ映像データの再生箇所におけるイベントの有無の記録を含むイベント情報を統合制御手段に送信し、前記統合制御手段は、受信した前記イベント情報に沿って、送風部による搭乗部に向けた送風量の制御を行う構成である。
　また、前記ＶＲ用搭乗装置は、前記センサが検知したユーザの動きに応じて、前記ＶＲ映像表示部に表示されるＶＲ映像データの制御を行うため、前記センサは、ユーザの位置情報を取得するとともに、前記映像管理再生手段は、該取得した位置情報から前記ＶＲ映像表示部に表示されるＶＲ映像データの表示領域を計算処理した上で、前記ＶＲ映像表示部にＶＲ映像データを送信する構成である。
　また、前記センサは、深度センサからなり、該深度センサによってユーザ深度画像を取得するとともに、ユーザの正確な位置情報を、ユーザの頭部を基にＸ値、Ｙ値、Ｚ値からなる座標値として計算処理して取得するとともに、ユーザの一定時間内の移動量を取得する構成である。
　また、前記映像管理再生手段は、センサによって取得された前記Ｘ値、Ｙ値、Ｚ値からなるユーザの位置情報を基に、前記各値に係数を掛けたユーザの仮想位置情報を生成するとともに、取得した移動量に移動係数及び旋回係数を掛けた移動量値を生成し、該仮想位置情報および前記移動量値から、前記ＶＲ映像表示部に表示されるＶＲ映像データの表示領域を計算処理した上で、前記ＶＲ映像表示部にＶＲ映像データを送信する構成である。
　また、前記ＶＲ用搭乗装置は、前記ＶＲ映像表示部の設置高を自動または手動で調整可能とするＶＲ映像表示部設置高調整手段を設置した構成である。
　また、前記ＶＲ映像表示部は、前記搭乗部の前部であってユーザの視点となる高さ位置に調整のうえ設置される構成である。
　また、前記搭乗部は、振動を発生して該搭乗部を振動するための振動発生部を備えており、前記ＶＲ映像表示部に表示されるＶＲ映像との同期をとりながら、又は、該搭乗部におけるセンサが検知するユーザの動きに対応して、前記振動発生部による前記搭乗部への振動処理を行うため、前記統合制御手段は、受信した前記イベント情報に沿って、又は、ユーザの動きに対応して、前記振動発生部による前記搭乗部への振動量の制御を行うことにより、前記振動発生部の動作の指示・制御を行う構成である。
　更に、前記イベント情報は、前記ＶＲ映像データの特定の再生箇所におけるイベントの有無を示す各イベントフラグデータであって、少なくとも送風フラグを含み、前記映像管理再生手段は、前記ＶＲ映像データの現在の再生箇所におけるイベントフラグデータをイベント情報として前記統合制御手段に送信し、前記統合制御手段は、前記イベント情報を受信するとともに、前記センサからのユーザの仮想位置情報を取得して計算処理した上で、前記イベント情報が送風フラグである場合には、前記送風部に対して搭乗部に向けて一定時間送風をするように指示・制御する構成である。
　本発明は、上記詳述した通りの構成であるので、以下のような効果がある。
１．送風部や振動部を備える構成としたため、映像とリンクした体感を得ることが可能となり、高い没入感を得ることが可能となる。また、センサからの情報をもとに映像管理再生手段等の制御を行う構成としたため、センサによって取得したユーザの動作をＶＲ映像表示部に反映することが可能となる。また、ＶＲ映像表示部を搭乗部前方に搭乗部へ向けて設置したため、搭乗者以外のパブリックビューイングが可能となり、多数の者が搭乗者の体験している世界を視聴することが可能となる。
２．送風部による送風がＶＲ映像と同期を取る構成としたため、ユーザがＶＲ映像への没入感を得られるとともに、ユーザ自身が認識する動作と現実的な動作の乖離から生じるＶＲ酔いの発症を抑制することが可能となる。
３．センサが検知したユーザの動きに応じて、ＶＲ映像表示部に表示されるＶＲ映像データを制御する構成としたため、ユーザがＶＲ映像表示部を観ながら任意の動きをするだけで映像への没入感が得られるとともに、表示される映像の変化を制御するだけで、ユーザが臨場感のある動きを体感することが可能となる。
４．深度センサによってユーザ深度画像を取得してユーザの位置を得る構成としたため、搭乗部上で様々な動きをするユーザの精確な位置情報を得ることが可能となる。
５．映像管理再生手段が、取得したユーザの位置情報をもとにユーザの仮想位置情報を生成する構成としたため、映像内におけるユーザの位置を決定して、映像の表示処理を行う事が可能となる。また、ユーザの移動量を取得するとともに移動量に各種係数を掛けた移動量値を生成する構成としたため、ユーザの通常の動作を、仮想位置情報を用いて臨場感のある動きに変換し、ＶＲ映像に反映させることが可能となる。
６．ＶＲ映像表示部設置高調整手段を設けたため、ユーザに最適な高さとなるようにＶＲ映像表示部を調整可能となる。
７．ＶＲ映像表示部をユーザの視点の高さに設置する構成としたため、ユーザがＶＲ映像への充分な没入感を得ることができる。
８．振動発生部を装備したため、ＶＲ映像と同期を取って振動させたり、ユーザの動作に併せて振動させることができ、ユーザがＶＲ映像への充分な没入感を得ることができる。
９．映像管理再生手段に記録されたイベント情報をもとに、統合制御手段が送風手段の制御を行う構成としたため、ＶＲ映像と同期をとりながら、かつ、ユーザーの動きに従い、送風手段による送風処理を行うことが可能となり、ＶＲ酔いのない状態で、よりリアルで没入感をユーザに与えることが可能となる。
　以下、本発明に係るＶＲ用搭乗装置を、図面に示す実施例に基づいて詳細に説明する。図１は、本発明に係るＶＲ用搭乗装置の概略図であり、図２は、ＶＲ映像の表示例を示す概略図である。図３は、制御部の動作を示す概念図である。
　本発明に係るＶＲ用搭乗装置１は、図１に示すように、本体１００と、搭乗部２００と、ＶＲ映像表示部３００と、センサ４００と、制御部５００と、からなり、特に、バーチャルリアリティ（ＶＲ）技術を用いたアミューズメントに用いられる装置であって、ユーザが、ゴーグル等の装着型の映像表示装置を用いずに、目の前のユーザの視点位置に最適化された画面に表示されたＶＲ映像を視聴しながら搭乗し、搭乗部上で動作することにより、ＶＲ映像表示部の表示画像を変化させて、ゴーグル型の映像視聴装置を介さずに、ユーザの映像への没入感を得るとともに、搭乗者がＶＲ酔いを起こすことを抑制し、かつ、搭乗者以外がパブリックビューイングすることを可能とした装置である。本発明に係るＶＲ用搭乗装置は、アミューズメントに限らず、各種シミュレータなど、あらゆる装置に利用することが可能である。
　本体１００は、ＶＲ（バーチャルリアリティ）に用いる搭乗装置の本体であって、ＶＲ用搭乗装置１を構成する各種部材や装置が接続され、格納される部材であり、搭乗部２００を前部に設置するとともに、ＶＲ映像表示部３００を上部に搭乗部２００へ向けて載置するための基礎部材である。本実施例では、本体１００は、鉄製の矩形の枠体から構成されているが、これに限定されることはなく、スチール製、木製など材質は適宜選択可能であるとともに、平坦型やドーム型など、あらゆる形状を選択することが可能である。
　本体１００は、本実施例では、後述する送風部１１０や振動発生部２１０を設置する構成であるが、その他、ＶＲ映像に付随する音声を出力する音声出力部を装備する構成とすることが可能である。また、ＶＲ用搭乗装置１を操作するためのタッチパネルを設ける構成としてもよい。
　搭乗部２００は、本体１００前方に設置される部材であり、後述するように、内部または下部に搭乗部２００の揺動動作を行うための部材が組み込まれる。搭乗部２００はＶＲ用搭乗装置１の使用時にユーザが搭乗する部分であり、ユーザは、表示されるバーチャルリアリティ映像を観ながら搭乗体２００の上に起立し任意の動作をして楽しむ構成となっている。本実施例では、搭乗部２００は、ユーザが脱落することを防止するために、両サイドと本体側にユーザが把持することができる脱落防止用の柵が設けられる構成であるが、これに限定されることはなく、搭乗部２００の四方を囲む柵を設置してもよいし、逆に、柵無しとしてもよい。また、ＶＲ用搭乗装置１をあらゆる用途に対応させるため、搭乗部２００を用いない構成を選択することも可能である。
　ＶＲ映像表示部３００は、バーチャルリアリティ映像を再生する為に用いられる映像を再生・表示するための装置である。本実施例では、大型のモニターからなり、本体１００上であって搭乗部２００の前方となる位置に搭乗部２００へ向けて設置することで、ユーザがＶＲ映像を視聴することを可能にしている。ＶＲ映像表示部３００は、本実施例では、平らな大型ディスプレイからなる構成である。従来では、ユーザの頭部に装着するヘッドマウントディスプレイが多く用いられていたが、ヘッドマウントディスプレイを付けて体験する場合、満足度がユーザ以外のオーディエンスに伝わりづらいという問題点があった。本発明では、大型ディスプレイを用いることとしたため、パブリックビューイング効果が期待できることとなった。なお、ＶＲ映像表示部３００の構成は、上記に限定されることはなく、左右に湾曲してユーザを取り囲むような形状のディスプレイを採用することも可能である。
　センサ４００は、搭乗部２００に乗って任意の動作をするユーザの位置や動きを検知するための部材であり、搭乗部２００の前方であってユーザの略正面となる設置可能な位置に設置される。本実施例では、センサ４００は、ＶＲ映像表示部３００の表示画面の中央上部に搭乗部２００に向けて設置される構成であるが、この構成に限定されることはなく、例えば、本体１００に設置する構成でもよいし、天井などＶＲ用搭乗装置１から離れた場所に設置する構成としてもよい。
　制御部５００は、センサ４００から受信する信号を処理したり、ＶＲ映像表示部３００に表示されるＶＲ映像や、搭乗部２００の振動、送風等を制御する装置であり、本体１００内に設置される。本実施例では、制御部５００は、コンピュータ６００からなり、任意の記憶媒体からなる記憶手段５３０を装備している。
　本実施例に係るＶＲ用搭乗装置１は、本体１００に送風部１１０を装備する構成である。送風部１１０は、搭乗部２００に対向する位置に設置され、搭乗部２００に搭乗したユーザに向けてあらゆる強さの風の送風処理を行う部材であり、本実施例では、本体１００の搭乗部２００側に設置され、搭乗部２００に搭乗したユーザの略正面に向けて送風処理を行う。これにより、例えば、ＶＲ映像表示部３００に表示されるＶＲ映像データ１０が、ユーザがぐんぐんと前進するような映像である場合に、前から送風されることにより、ユーザが風を受けて没入的な体験を得られるとともに、映像と実際の体感の齟齬から生じるＶＲ酔いを抑制することが可能となる。
　送風部１１０は、本実施例では、プロペラ型の送風機を用いているがこれに限定されることはなく、送風機能を有する構造であれば適宜選択して使用することが可能である。また、送風方向を上下左右に変更することが可能な構成としてもよい。更に、コンプレッサーを介して、ユーザに向けて水を微小水滴（霧状体）で噴霧する装置を併設することも可能である。
　制御部５００は、図３に示すように、映像管理再生手段５１０と、統合制御手段５２０とを装備する構成である。映像管理再生手段５１０は、ＶＲ映像表示部３００に表示するＶＲ映像を管理するとともに、ＶＲ映像表示部３００に対するＶＲ映像の再生処理を行う手段である。映像管理再生手段５１０は、本実施例では、コンピュータ６００の記憶手段５３０に記録されたＶＲ映像データ１０を、ＶＲ映像表示部３００へ伝送処理する構成である。
　映像管理再生手段５１０は、本実施例ではコンピュータ６００にインストールされるＶＲ映像再生用のソフトウェアであるが、この構成に限定されることはなく、ＶＲ映像の再生処理を本体１００内などに設置する専用機器によって行う構成としてもよい。
　統合制御手段５２０は、送風部１１０の動作の指示・制御を行う手段であり、本実施例では、コンピュータ６００にインストールされるソフトウェアからなり、コンピュータ６００からの指示・制御指令を統合制御手段５２０が受信することによって、送風部１１０を動作させる構成である。
　本実施例に係るＶＲ用搭乗装置１は、センサ４００が取得したユーザの位置情報３０や動きに関する情報を基に、映像管理再生手段５１０および統合制御手段５２０の制御を行う構成である。これにより、センサ４００が取得した任意に動作するユーザの位置情報などの変化に関する情報を、計算処理することによってＶＲ映像表示部に反映することが可能となり、ユーザの動作に応じた映像の増幅変化、旋回や送風処理により、ユーザの映像に対する没入感を高めるとともに、ＶＲ酔いを抑制するための制御を行うことが可能となる。
　映像管理再生手段５１０は、本実施例では、コンピュータ６００の記憶手段５３０にＶＲ映像データ１０とイベント情報２０とを記録した構成である。ＶＲ映像データ１０は、ＶＲ用搭乗装置１を使用する際に、ユーザがＶＲ映像表示部３００によって視聴する仮想空間を表現した動画形式の映像データであり、各種のデータ形式を採用することが可能な構成である。
　また、イベント情報２０は、ＶＲ映像データ１０の再生箇所におけるイベントの有無の記録を含むものであり、ＶＲ映像データ１０を再生しＶＲ映像表示部３００に表示する際に、特定の映像の箇所において実行するイベントの有無および内容が記録されたデータファイルに記録された情報であり、ＶＲ映像データ１０と別ファイルまたは同一ファイルとして記憶手段５３０に管理保存されている。
　映像管理再生手段５１０は、ＶＲ映像データ１０をＶＲ映像表示部３００に送信する処理を行う。併せて、映像管理再生手段５１０は、イベント情報２０を統合制御手段５２０に送信する処理を行う。
　統合制御手段５２０は、映像管理再生手段５１０から送信されたイベント情報２０を受信し、受信したイベント情報２０に沿って、送風部１１０による搭乗部２００に向けた送風量の時間的／量的制御を行う構成である。
　以上の構成とすることにより、ＶＲ用搭乗装置１が、ＶＲ映像表示部３００に表示されるＶＲ映像とほぼ正確な同期をとりながら、送風部１１０による送風処理を行うことが可能となる。なお、イベント情報２０の詳細については、後述する。
　センサ４００は、本実施例では、ＶＲ映像データがＶＲ映像表示部３００に流れてユーザがＶＲを体感し、或いは楽しんでいる際に、搭乗部２００上で任意の動作をするユーザの位置情報３０を常時取得する構成である。この取得された位置情報３０は、逐次的に映像管理再生手段５１０へ伝送される。
　映像管理再生手段５１０は、この取得したユーザの位置情報３０から、ＶＲ映像表示部３００に表示されるＶＲ映像データ１０の表示領域を計算処理する。具体的には、例えば、ユーザが視聴するＶＲ映像が前進しながらアイテムを取得するような映像である場合に、仮にユーザが右方向にあるアイテムを取ろうとして搭乗部２００上で右へ移動した際に、センサ４００がその動作に伴って変化した位置情報３０を取得する。取得された位置情報３０は、映像管理再生手段５１０に逐次伝送される。映像管理再生手段５１０は、取得した位置情報３０からＶＲ映像上における位置情報（後述する仮想位置情報３６）を計算して取得し、その位置から見えるであろうＶＲ映像データ１０の表示領域を計算処理する。
　また、例えば、ユーザが視聴するＶＲ映像が前進しながら障害物を飛び越えるような映像である場合に、仮にユーザが目の前の障害物を飛び越えるように搭乗部２００上でジャンプした際に、センサ４００がその動作に伴って変化した位置情報３０をジャンプから着地まで継続的に取得し、取得された位置情報３０は、映像管理再生手段５１０に逐次伝送される。映像管理再生手段５１０は、取得した位置情報３０からＶＲ映像上における位置情報（後述する仮想位置情報３６）を計算して取得し、ジャンプした際に見えるであろうＶＲ映像データ１０の表示領域を計算処理する。
　計算取得されたＶＲ映像データ１０は、ＶＲ映像表示部３００に送信され、表示される。この構成とすることにより、センサ４００が検知したユーザの動きに応じて、ＶＲ映像表示部３００に表示されるＶＲ映像データ１０の制御を動的に行うことが可能となり、ユーザがＶＲ映像表示部３００を観ながら任意の動きをするだけで、ＶＲ映像への没入感が得られるとともに、表示されるＶＲ映像の変化を制御するだけで、ユーザが臨場感ある動きを体感することが可能となった。
　センサ４００は、本実施例では、深度センサ４１０からなる構成である。深度センサとは、検知対象を立体的にとらえることを可能としたセンサであり、本実施例では、ユーザの位置情報から身振り手振りに係る情報まで、深度センサによってユーザ深度画像を取得した上で、制御部５００に送信し、映像管理再生手段５１０やコンピュータ６００がその情報を計算処理してＶＲ映像を制御したり、ユーザが映像中のアイテムを取得したり、送風部１１０による送風処理を行うなどの処理を行う構成である。
　本実施例では、ユーザの正確な位置情報３０として、センサ４００は、ユーザの頭部を基にＸ値、Ｙ値、Ｚ値からなる座標値として計算処理して取得するとともに、その他の手や足などの動き情報も併せて取得する構成である。なお、位置情報３０は、ユーザの頭部に限らず、他の情報を基に取得する構成とすることも、もちろん可能である。
　センサ４００は、更に、ユーザの一定時間内の移動量３４を取得する構成である。移動量とは、ユーザが一定の時間内にどれくらいの移動を行ったかを数値化したものであり、この情報を基に、ＶＲ映像表示部３００に表示される映像を制御する構成である。例えば、狭い搭乗部２００上で素早く大きく動いた場合には、ＶＲ映像上では、相当な距離を移動したような大袈裟なデフォルメを行うことが可能となり、ユーザにインパクトを与えるとともに高い没入感を付与することが可能となる。
　映像管理再生手段５１０は、センサ４００によって取得されたＸ値、Ｙ値、Ｚ値からなるユーザの位置情報３０や、その他付随する手足等の深度画像情報を基に、仮想位置情報３６を生成する。仮想位置情報３６は、ユーザの位置情報３０に係数を掛けたものであり、ＶＲ映像データ１０に応じて、この係数は変えることが可能である。
　映像管理再生手段５１０は、更に、センサ４００によって取得されたユーザの移動量３４を基に、移動量値３８を生成する。移動量値３８は、センサ４００が取得した移動量３４に移動係数と旋回係数を掛けたものであり、ＶＲ映像データ１０に応じて、これらの係数は変えることが可能である。ここで、移動係数とは、ユーザの直線的な移動をデフォルメするための係数であり、旋回係数とは、ヨーイング、ピッチング、ローリングを加味したユーザの円を描くような移動をデフォルメするための係数である。これらを移動量３４に掛け合わせて処理することにより、デフォルメされたユーザの移動量値３８を生成する。
　映像管理再生手段５１０は、更に、生成した仮想位置情報３６および移動量値３８から、ＶＲ映像表示部３００に表示されるＶＲ映像データ１０の表示領域の計算処理を行ったうえで、ＶＲ映像表示部３００にＶＲ映像データ１０を送信する。この処理された表示領域は、ユーザの実際の動作よりもかなりデフォルメされた位置および移動量（直線・旋回）となっているため、例えば、ユーザが少しの横移動をした際でも、表示されるＶＲ映像は、何メートルも横移動したり、ジャンプしたり、或いは、ある物を中心にその物を観ながら勢いよく旋回する映像とすることが可能となる。すなわち、ユーザの通常の動作を臨場感ある動きに変換し、ＶＲ映像に反映させることで、ユーザに高い没入感を付与することが可能となった。
　映像管理再生手段５１０は、図２に示すように、例えば、ユーザが頭を左右に動かすと、センサ４００がユーザの位置情報３０と移動量３４を取得するとともに仮想位置情報３６および移動量値３８（旋回）を生成した上で、ＶＲ映像表示部３００に表示されるＶＲ映像データ１０の表示領域が計算処理される。各値はデフォルメされているため、ユーザの実際の動きは、少しであっても、ＶＲ映像表示部３００に表示される主観映像は、実際よりも大きく左右に動くとともに、映像の中心部を観るようにヨー旋回（ヨーイング旋回：図２（１））するという挙動を表現することが出来る。
　また、ユーザが立ったりしゃがんだりすることで頭を上下に動かすと、ＶＲ映像表示部３００に表示されるＶＲ映像データ１０の表示領域が計算処理され、ユーザの実際の動きは、少しであっても、ＶＲ映像表示部３００に表示される主観映像は、実際よりも大きく昇降しつつ、映像の中心部を観るようにピッチ旋回（図２（２））するという挙動を表現することが出来る。
　更に、ユーザが頭を前後に動かすと、同様に、ＶＲ映像表示部３００に表示される主観映像は、実際よりも大きく前後に動くという挙動を表現することが出来る。すなわち、映像管理再生手段５１０は、現実にユーザが動作する移動量３４に対して係数を掛ける構成であるため、動きのデフォルメができ、映像上の動作を臨場感のあるものとすることが可能となった。
　ＶＲ用搭乗装置１は、本実施例では、ＶＲ映像表示部設置高調整手段３１０が設置される。ＶＲ映像表示部３００は、搭乗部２００の前部であってユーザの視点となる高さ位置に設置されるものである。ＶＲ映像表示部設置高調整手段３１０は、本体１００上におけるＶＲ映像表示部３００の設置する高さを自動または手動で調整可能とする装置であり、本実施例では、図１に示すように、本体１００に設置されるハンドル状の部材を左右に回転させることにより、ＶＲ映像表示部３００の設置高を調整する。
　従来は、壁面にＶＲ映像を描写する構成のものが多く、ユーザによっては、見えづらくＶＲ映像への没入感が不十分なケースがあるという問題点があった。ＶＲ用搭乗装置１は、上記構成とすることにより、ユーザの身長に合わせてＶＲ映像表示部３００を昇降させることが可能となり、ユーザに最適な高さとなるようにＶＲ映像表示部を調整可能となり、低コストで、あらゆるユーザにＶＲ映像への高い没入感を付与することが可能となった。
　搭乗部２００は、本実施例では、振動発生部２１０を備える構成である。振動発生部２１０は、振動を発生して搭乗部２００を振動させるための装置であり、ＶＲ映像表示部３００に表示されるＶＲ映像データ１０との同期をとりながら、又は、該搭乗部におけるセンサが検知するユーザの動きに対応して、振動発生部２１０による搭乗部２００への振動処理を行う。
　統合制御手段５２０は、映像管理再生手段５１０から送信されたイベント情報２０を受信し、受信したイベント情報２０に沿って、又は、ユーザの動きに沿って、振動発生部２１０による搭乗部２００への振動量の制御を行うことにより、振動発生部２１０の動作の指示・制御を行う構成である。
　この構成とすることにより、ＶＲ用搭乗装置１が、ＶＲ映像表示部３００に表示されるＶＲ映像とほぼ正確な同期をとりながら、又は、ユーザの動きに沿って、振動発生部２１０による振動処理を行うことが可能となる。
　イベント情報２０は、より詳細には、ユーザが視聴するＶＲ映像データ１０の特定の再生箇所において発生する様々なイベントの有無や種類を示す複数の種類からなるイベントフラグデータである。本実施例では、イベント情報２０は、少なくとも送風フラグ２２を含む構成である。また、振動発生装置２１０を設置するために、振動フラグ２４を含む構成とすることも可能である。
　映像管理再生手段５１０は、再生中すなわちＶＲ映像表示装置３００に表示されユーザが視聴するＶＲ映像データ１０の現在の再生箇所におけるイベントフラグデータを記憶手段５３０に管理保存されたデータファイルから抽出し、イベント情報２０として統合制御手段５２０に送信する。
　統合制御手段５２０は、送信されて来たイベント情報２０を受信し、その内容に応じて送風部１１０を制御する。振動発生装置２１０を設置する場合には、更に、振動発生装置２１０を制御する。すなわち、イベント情報２０が送風フラグ２２である場合には、統合制御手段５２０は、送風部１１０に対して、搭乗部２００に向けて一定時間送風をするように指示・制御する。また、イベント情報２０が振動フラグ２４である場合には、振動発生装置２１０に対して搭乗部２００を振動するように指示・制御する構成である。
　この構成とすることにより、イベント情報２０に基づいた統合制御手段５２０による制御により、前進中や揺れなど映像に応じたイベントを、ＶＲ映像に同期して発生することが可能となり、ユーザがそのようなイベントとＶＲ映像を視聴しながら視聴していると同じ状況をリアルにかつ疑似的に体感することが可能となる。
　また、例えば、イベント情報２０が送風フラグ２２である場合、送風部１１０は、送風量を増加させる前に予め、搭乗部２００に向けた送風動作中の送風量を徐々に減少させる処理を一定時間行う構成とすることが可能である。これにより、無限の加速に類似する体験を疑似的に再現することが可能になる。すなわち、あるＶＲ映像位置で、送風部１１０によって送風処理を行った後、徐々に送風量を抑え、その次に、再度送風部１１０によって送風処理を行う。これを繰り返すことにより、実際の機械的風速はあまり変わらないままでも、更に加速されたような感覚（体感）を得ることができる。また、振動フラグ２４も同様に利用可能である。
　以上の構成とする事により、ユーザは、あたかもＶＲ映像の空間内にいるかのような体感を得ることが可能となるとともに、更にデフォルメされた臨場感のある動きを送風と合わせて体感し楽しむことが可能となる。すなわち、本発明に係るＶＲ用搭乗装置１を用いることにより、ダイナミックな動きを体感してＶＲ映像への高い没入感を得るとともに、予期しないＶＲ酔いを抑制することを可能としたＶＲ用の搭乗装置を提供することが可能となった。
本発明に係るＶＲ用搭乗装置の概略図 ＶＲ映像の表示例を示す概略図 制御部の動作を示す概念図
　１　　ＶＲ用搭乗装置
　１０　　ＶＲ映像データ
　２０　　イベント情報
　２２　　送風フラグ
　２４　　振動フラグ
　３０　　位置情報
　３４　　移動量
　３６　　仮想位置情報
　３８　　移動量値
　１００　　本体
　１１０　　送風部
　２００　　搭乗部
　２１０　　振動発生部
　３００　　ＶＲ映像表示部
　３１０　　ＶＲ映像表示部設置高調整手段
　４００　　センサ
　５００　　制御部
　５１０　　映像管理再生手段
　５２０　　統合制御手段
　５３０　　記憶手段
　６００　　コンピュータ

Claims (9)

  1. 　ＶＲ（バーチャルリアリティ）に用いる搭乗装置の本体(100)と、ユーザが搭乗するための搭乗部(200)と、前記搭乗部前方に該搭乗部へ向けて設置されるＶＲ映像を視聴するためのＶＲ映像表示部(300)と、前記搭乗部前方に設置されるユーザの動きが検知できるセンサ(400)と、前記本体に設置される制御部(500)と、からなるＶＲ用搭乗装置(1)において、
    　前記本体(100)は、前記搭乗部に対向するように設置される前記搭乗部に向けて風を送風するための送風部(110)を備え、
    　前記制御部(500)は、ＶＲ映像を管理するとともに、ＶＲ映像表示部(300)に対する再生処理を行う映像管理再生手段(510)と、前記送風部(110)の動作の指示・制御を行う統合制御手段(520)と、を装備し、前記センサ(400)からの情報を基に前記映像管理再生手段(510)および前記統合制御手段(520)の制御を行うことを特徴とするＶＲ用搭乗装置。
  2. 　前記ＶＲ用搭乗装置は、
    　前記ＶＲ映像表示部(300)に表示されるＶＲ映像(10)との同期をとりながら、前記送風部(110)による送風処理を行うため、
    　前記映像管理再生手段(510)は、記憶手段(530)にＶＲ映像データ(10)とイベント情報(20)とを記録し、前記ＶＲ映像データ(10)をＶＲ映像表示部(300)に送信するとともに、前記ＶＲ映像データ(10)の再生箇所におけるイベントの有無の記録を含むイベント情報(20)を統合制御手段(520)に送信し、
    　前記統合制御手段(520)は、受信した前記イベント情報(20)に沿って、送風部(110)による搭乗部(200)に向けた送風量の制御を行うことを特徴とする請求項１記載のＶＲ用搭乗装置。
  3. 　前記ＶＲ用搭乗装置(1)は、
    　前記センサ(400)が検知したユーザの動きに応じて、前記ＶＲ映像表示部(300)に表示されるＶＲ映像データ(10)の制御を行うため、
    　前記センサ(400)は、ユーザの位置情報(30)を取得するとともに、前記映像管理再生手段(510)は、該取得した位置情報(30)から前記ＶＲ映像表示部(300)に表示されるＶＲ映像データ(10)の表示領域を計算処理した上で、前記ＶＲ映像表示部(300)にＶＲ映像データ(10)を送信することを特徴とする請求項１または請求項２記載のＶＲ用搭乗装置。
  4. 　前記センサ(400)は、深度センサ(410)からなり、該深度センサによってユーザ深度画像を取得するとともに、
    　ユーザの正確な位置情報(30)を、ユーザの頭部を基にＸ値、Ｙ値、Ｚ値からなる座標値として計算処理して取得するとともに、ユーザの一定時間内の移動量(34)を取得することを特徴とする請求項１乃至請求項３の何れかに記載のＶＲ用搭乗装置。
  5. 　前記映像管理再生手段(510)は、センサ(400)によって取得された前記Ｘ値、Ｙ値、Ｚ値からなるユーザの位置情報(30)を基に、前記各値に係数を掛けたユーザの仮想位置情報(36)を生成するとともに、取得した移動量(34)に移動係数及び旋回係数を掛けた移動量値(38)を生成し、該仮想位置情報(36)および前記移動量値(38)から、前記ＶＲ映像表示部(300)に表示されるＶＲ映像データ(10)の表示領域を計算処理した上で、前記ＶＲ映像表示部(300)にＶＲ映像データ(10)を送信することを特徴とする請求項４に記載のＶＲ用搭乗装置。
  6. 　前記ＶＲ用搭乗装置(1)は、前記ＶＲ映像表示部(300)の設置高を自動または手動で調整可能とするＶＲ映像表示部設置高調整手段(310)を設置したことを特徴とする請求項１乃至請求項５の何れかに記載のＶＲ用搭乗装置。
  7. 　前記ＶＲ映像表示部(300)は、前記搭乗部(200)の前部であってユーザの視点となる高さ位置に設置されることを特徴とする請求項１乃至請求項６の何れかに記載のＶＲ用搭乗装置。
  8. 　前記搭乗部(200)は、振動を発生して該搭乗部(200)を振動するための振動発生部(210)を備えており、前記ＶＲ映像表示部(300)に表示されるＶＲ映像データ(10)との同期をとりながら、又は、該搭乗部におけるセンサが検知するユーザの動きに対応して、前記振動発生部(210)による前記搭乗部(200)への振動処理を行うため、
    　前記統合制御手段(520)は、受信した前記イベント情報(20)に沿って、又は、ユーザの動きに沿って、前記振動発生部(210)による前記搭乗部(200)への振動量の制御を行うことにより、前記振動発生部(210)の動作の指示・制御を行うことを特徴とする請求項２に記載のＶＲ用搭乗装置。
  9. 　前記イベント情報(20)は、前記ＶＲ映像データ(10)の特定の再生箇所におけるイベントの有無を示す各イベントフラグデータであって、少なくとも送風フラグ(22)を含み、
    　前記映像管理再生手段(510)は、前記ＶＲ映像データ(10)の現在の再生箇所におけるイベントフラグデータをイベント情報(20)として前記統合制御手段(520)に送信し、
    　前記統合制御手段(520)は、前記イベント情報(20)を受信するとともに、前記センサ(400)からのユーザの仮想位置情報(36)を取得して計算処理した上で、前記イベント情報(20)が送風フラグ(22)である場合には、前記送風部(110)に対して搭乗部(200)に向けて一定時間送風をするように指示・制御することを特徴とする請求項２乃至請求項８の何れかに記載のＶＲ用搭乗装置。
     
PCT/JP2019/044419 2019-11-12 2019-11-12 Ｖｒ用搭乗装置 WO2021095143A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/044419 WO2021095143A1 (ja) 2019-11-12 2019-11-12 Ｖｒ用搭乗装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/044419 WO2021095143A1 (ja) 2019-11-12 2019-11-12 Ｖｒ用搭乗装置

Publications (1)

Publication Number Publication Date
WO2021095143A1 true WO2021095143A1 (ja) 2021-05-20

Family

ID=75911495

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/044419 WO2021095143A1 (ja) 2019-11-12 2019-11-12 Ｖｒ用搭乗装置

Country Status (1)

Country Link
WO (1) WO2021095143A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04295371A (ja) * 1991-03-23 1992-10-20 Namco Ltd 環境シミュレータの自然風発生装置及びこれを用いた気分転換装置
JP2005021391A (ja) * 2003-07-02 2005-01-27 Sony Corp バーチャルサイクリング装置および電動アシスト自転車
JP2008079789A (ja) * 2006-09-27 2008-04-10 Taito Corp 風出力を伴うゲーム機における送風装置
JP2008212651A (ja) * 2007-02-05 2008-09-18 Sega Corp モーションデータ作成装置、及び、モーションデータ作成方法、並びに、モーションデータ作成プログラム
US20140211990A1 (en) * 2011-08-31 2014-07-31 Empire Technology Development Llc Position-setup for gesture-based game system
JP2017138914A (ja) * 2016-02-05 2017-08-10 株式会社バンダイナムコエンターテインメント 画像生成システム及びプログラム
WO2019188229A1 (ja) * 2018-03-26 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04295371A (ja) * 1991-03-23 1992-10-20 Namco Ltd 環境シミュレータの自然風発生装置及びこれを用いた気分転換装置
JP2005021391A (ja) * 2003-07-02 2005-01-27 Sony Corp バーチャルサイクリング装置および電動アシスト自転車
JP2008079789A (ja) * 2006-09-27 2008-04-10 Taito Corp 風出力を伴うゲーム機における送風装置
JP2008212651A (ja) * 2007-02-05 2008-09-18 Sega Corp モーションデータ作成装置、及び、モーションデータ作成方法、並びに、モーションデータ作成プログラム
US20140211990A1 (en) * 2011-08-31 2014-07-31 Empire Technology Development Llc Position-setup for gesture-based game system
JP2017138914A (ja) * 2016-02-05 2017-08-10 株式会社バンダイナムコエンターテインメント 画像生成システム及びプログラム
WO2019188229A1 (ja) * 2018-03-26 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Similar Documents

Publication Publication Date Title
US11782501B2 (en) System and method for presenting virtual reality content to a user based on body posture
JP6976424B2 (ja) 実世界会場で開催されたライブイベントで見せられるインタラクティブなゲーム世界の観客ビュー
US6179619B1 (en) Game machine for moving object
JP2019516159A (ja) Ｖｒ環境における観客ビュー視点
JP2019511781A (ja) 仮想現実（ｖｒ）環境におけるｖｒユーザの観客ビュー追跡
JP2019518261A (ja) 仮想現実（ｖｒ）ユーザインタラクティブ性に関連付けられた仮想現実環境の観戦
JP7021281B2 (ja) ゲーム装置、及びゲーム制御方法
JP6714625B2 (ja) コンピュータシステム
JP6957218B2 (ja) シミュレーションシステム及びプログラム
JP6774260B2 (ja) シミュレーションシステム
JP2008307091A (ja) 実物体干渉表示装置
KR101680142B1 (ko) 모션라이더 기반의 인터랙티브 제트스키 가상체험 시스템
JP6701357B2 (ja) Ｖｒアミューズメント用搭乗装置
WO2021095143A1 (ja) Ｖｒ用搭乗装置
JP6660321B2 (ja) シミュレーションシステム及びプログラム
US20210096361A1 (en) Information processing apparatus, information processing method, and program
TWI697848B (zh) 多人連線遊戲的體感遊戲系統及其方法
US20210339121A1 (en) Simulouz
KR20170115170A (ko) 실감형 레이싱 게임 시스템
Katz et al. Sport Technology Research Laboratory, University of Calgary

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19952816

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19952816

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP