JP2018010487A - シミュレーションシステム及びプログラム - Google Patents
シミュレーションシステム及びプログラム Download PDFInfo
- Publication number
- JP2018010487A JP2018010487A JP2016138928A JP2016138928A JP2018010487A JP 2018010487 A JP2018010487 A JP 2018010487A JP 2016138928 A JP2016138928 A JP 2016138928A JP 2016138928 A JP2016138928 A JP 2016138928A JP 2018010487 A JP2018010487 A JP 2018010487A
- Authority
- JP
- Japan
- Prior art keywords
- virtual camera
- image
- user
- change
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 75
- 238000012545 processing Methods 0.000 claims abstract description 369
- 230000008859 change Effects 0.000 claims abstract description 284
- 230000001133 acceleration Effects 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims description 280
- 230000008569 process Effects 0.000 claims description 223
- 238000005096 rolling process Methods 0.000 claims description 48
- 230000033001 locomotion Effects 0.000 claims description 47
- 230000000694 effects Effects 0.000 claims description 46
- 230000036544 posture Effects 0.000 description 132
- 206010025482 malaise Diseases 0.000 description 42
- 238000003860 storage Methods 0.000 description 42
- 239000011435 rock Substances 0.000 description 29
- 210000003128 head Anatomy 0.000 description 24
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 14
- 239000011295 pitch Substances 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 7
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 6
- 238000005562 fading Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 210000000887 face Anatomy 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 208000003443 Unconsciousness Diseases 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 238000007688 edging Methods 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 208000002173 dizziness Diseases 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000002480 semicircular canal Anatomy 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
- A63B69/18—Training appliances or apparatus for special sports for skiing
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
- A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
- A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/807—Gliding or sliding on surfaces, e.g. using skis, skates or boards
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0334—Foot operated pointing devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
- A63B2071/0638—Displaying moving images of recorded environment, e.g. virtual environment
- A63B2071/0644—Displaying moving images of recorded environment, e.g. virtual environment with display speed of moving landscape controlled by the user's performance
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8041—Skating using skis, skates or board
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Cardiology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physical Education & Sports Medicine (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【解決手段】シミュレーションシステムは、HMDを装着するユーザに対応する移動体を仮想空間において移動させる処理を行う移動体処理部と、移動体の移動に応じて移動する仮想カメラの制御を行う仮想カメラ制御部と、HMDの表示画像として、仮想空間において仮想カメラから見える画像を生成する表示処理部を含む。表示処理部は、移動体の加速度の変化又は仮想カメラの視線方向の変化が、所与の変化条件を満たしたと判断される場合に、HMDの表示画像を、仮想カメラから見える画像とは異なる画像に変化させる表示処理を行う。
【選択図】図29
Description
図1は、本実施形態のシミュレーションシステム(シミュレータ、ゲームシステム)の構成例を示すブロック図である。本実施形態のシミュレーションシステムは例えばバーチャルリアリティ(VR)をシミュレートするシステムであり、ゲームコンテンツを提供するゲームシステム、スポーツ競技シミュレータや運転シミュレータなどのリアルタイムシミュレーションシステム、映像等のコンテンツを提供するコンテンツ提供システム、或いは遠隔作業を実現するオペレーティングシステムなどの種々のシステムに適用可能である。なお、本実施形態のシミュレーションシステムは図1の構成に限定されず、その構成要素(各部)の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
次にトラッキング処理の例について説明する。図2(A)に本実施形態のシミュレーションシステムに用いられるHMD200の一例を示す。図2(A)に示すようにHMD200には複数の受光素子201、202、203(フォトダイオード)が設けられている。受光素子201、202はHMD200の前面側に設けられ、受光素子203はHMD200の右側面に設けられている。またHMDの左側面、上面等にも不図示の受光素子が設けられている。
次にシミュレーションシステムの具体例について説明する。図4は、シミュレーションシステムの一例であるスキーシミュレータの構成例を示す斜視図である。
次に本実施形態の手法について詳細に説明する。なお、以下では本実施形態の手法を図4のスキーシミュレータのスキーゲームに適用した場合を主に例にとり説明する。但し、本実施形態はこれに限定されず、種々のゲーム(RPG、ロボット対戦ゲーム、アクションゲーム、対戦ゲーム、競争ゲーム、スポーツゲーム、ホラー体験ゲーム、電車や飛行機等の乗り物のシミュレーションゲーム、パズルゲーム、コミュニケーションゲーム、或いは音楽ゲーム等)に適用でき、ゲーム以外にも適用可能である。また以下では、移動体が、仮想ユーザであるキャラクタである場合を例にとり説明するが、移動体は、仮想ユーザが搭乗するロボット、車、飛行機又は電車等の搭乗移動体であってもよい。
図8(A)では、仮想空間においてスキーヤー(仮想ユーザ)であるキャラクタCH(広義には移動体)がコース上を滑って走行している。そして仮想空間の仮想ユーザに対応するキャラクタCHの視点の位置に、仮想カメラが設定されており、この仮想カメラから見える画像が、図5に示すようにHMD200に表示(立体視表示)される。これにより、例えば一人称視点での画像をHMD200に表示できるようになり、あたかも仮想空間でのスキーヤーになってコースを走行しているかのような仮想現実感をユーザに与えることができる。
図18は、仮想空間においてスキーヤーであるキャラクタCHがコースCS上を滑って走行している様子を示す図である。図18において水平面HSは、仮想空間のワールド座標系での水平面(XZ平面)である。平坦なコースCSでは、図18のA1に示すようにキャラクタCHの進行方向DTは、水平面HSに平行(略平行。以下、同様)な方向になっている。そして仮想カメラVCの視線方向CVLも水平面HSに平行(略平行)な方向になっている。なお仮想カメラVCの視点位置CVPは、例えばキャラクタCHの視点の位置(例えば目の位置)に設定され、これにより一人称視点が実現される。
本実施形態では、図26に示すように、移動体(キャラクタ等)の進行方向の変化又は移動体が移動するコースの状況(状態)に応じて、図4、図6等で説明した可動筐体40がユーザのプレイ位置を変化させてもよい。或いは、移動体の進行方向の変化に応じた音又は移動体が移動するコースの状況に応じた出力音を生成してもよい。
次に本実施形態の処理例について図29のフローチャートを用いて説明する。
VC 仮想カメラ、VP、CVP 視点位置、VL、CVL 視線方向、
LP 足元位置、HS 水平面、RK 岩、CF 崖、
PL ユーザ、PPL プレイ位置、TP 経由点、CP ケーブル接続点、
20 ケーブル、40 可動筐体、41、42 ベース部、43 44 操作部材、
45、46 足台、50〜53 エアバネ部、60、62 ガイド部、
61、63 把持部、64 支持ガイド、65 ケーブル取り出し口、69 風洞部、
100 処理部、102 入力処理部、110 演算処理部、112 ゲーム処理部、
113 可動筐体処理部、114 移動体処理部、116 オブジェクト空間設定部、
118 仮想カメラ制御部、120 表示処理部、130 音処理部、
140 出力処理部、150 撮像部、151、152 カメラ、
160 操作部、161、162 操作レバー、163 アクセルペダル、
164 ブレーキペダル、165 ゲームコントローラ、
170 記憶部、172 空間情報記憶部、178 描画バッファ、
180 情報記憶媒体、192 音出力部、194 I/F部、
195 携帯型情報記憶媒体、196 通信部、
200 HMD(頭部装着型表示装置)、201〜203 受光素子、210 センサ部、
220 表示部、231〜236 発光素子、240 処理部、260 ヘッドバンド、
270 ヘッドホン、280、284 ステーション、
281、282、285、286 発光素子、
430、フレーム部、432 ガイド部、433 固定具、450 底部、
451 カバー部、452 ベース部、454、455 レール部、460 ライド部、
462 シート、464 シート支持部、470 移動部、472 支持部、
473 上面部、474 下面部
Claims (13)
- 頭部装着型表示装置を装着するユーザに対応する移動体を仮想空間において移動させる処理を行う移動体処理部と、
前記移動体の移動に応じて移動する仮想カメラの制御を行う仮想カメラ制御部と、
前記頭部装着型表示装置の表示画像として、前記仮想空間において前記仮想カメラから見える画像を生成する表示処理部と、
を含み、
前記表示処理部は、
前記移動体の加速度の変化又は前記仮想カメラの視線方向の変化が、所与の変化条件を満たしたと判断される場合に、前記頭部装着型表示装置の表示画像を、前記仮想カメラから見える画像とは異なる画像に変化させる表示処理を行うことを特徴とするシミュレーションシステム。 - 請求項1において、
前記表示処理部は、
前記所与の変化条件が満たされた場合に、前記頭部装着型表示装置の表示画像の全体を変化させる表示処理を行うことを特徴とするシミュレーションシステム。 - 請求項2において、
前記表示処理部は、
前記表示画像の全体を変化させる表示処理として、前記表示画像をフェードアウトさせる処理を行うことを特徴とするシミュレーションシステム。 - 請求項1乃至3のいずれかにおいて、
前記表示処理部は、
前記所与の変化条件が満たされた場合に、前記仮想カメラから見える画像に対して所与のエフェクト処理を施す表示処理を行うことを特徴とするシミュレーションシステム。 - 請求項1乃至4のいずれかにおいて、
前記表示処理部は、
前記移動体の進行方向を、前記進行方向とは異なる方向に変化させる加速度変化イベントが発生した場合に、前記所与の変化条件が満たされたと判断して、前記頭部装着型表示装置の表示画像を、前記仮想カメラから見える画像とは異なる画像に変化させる表示処理を行うことを特徴とするシミュレーションシステム。 - 請求項5において、
前記加速度変化イベントは、前記移動体の衝突イベント及び前記移動体の落下イベントの少なくとも1つであることを特徴とするシミュレーションシステム。 - 請求項1乃至6のいずれかにおいて、
前記表示処理部は、
前記仮想カメラから見える画像とは異なる画像に変化させる表示処理の処理開始タイミング及び処理度合いの少なくとも一方を、前記所与の変化条件を満たす第1のイベントの発生時と、前記所与の変化条件を満たす第2のイベントの発生時とで異ならせることを特徴とするシミュレーションシステム。 - 請求項1乃至7のいずれかにおいて、
前記仮想カメラ制御部は、
前記ユーザの一人称視点として設定される前記仮想カメラの制御を行うことを特徴とするシミュレーションシステム。 - 請求項1乃至8のいずれかにおいて、
前記頭部装着型表示装置を装着する前記ユーザの視点情報のトラッキング情報を取得する入力処理部を含み、
前記仮想カメラ制御部は、
前記トラッキング情報に基づいて前記仮想カメラの位置、姿勢を変化させる一方で、前記移動体の進行方向が変化した場合にも前記仮想カメラのピッチング及びローリングの少なくとも一方の姿勢変化については無効又は制限されるように、前記仮想カメラを設定することを特徴とするシミュレーションシステム。 - 請求項1乃至9のいずれかにおいて、
前記移動体が移動するコースの状況又は前記移動体の進行方向の変化に応じて、前記ユーザのプレイ位置を変化させる可動筐体を含むことを特徴とするシミュレーションシステム。 - 請求項1乃至10のいずれかにおいて、
前記移動体が移動するコースの状況に応じた音又は前記移動体の進行方向の変化に応じた出力音を生成する音処理部を含むことを特徴とするシミュレーションシステム。 - 請求項1乃至11のいずれかにおいて、
前記表示処理部は、
前記ユーザによる設定情報又は前記ユーザのプレイ履歴情報に基づいて、前記仮想カメラから見える画像とは異なる画像に変化させる表示処理の処理開始タイミング及び処理度合いの少なくとも一方を変化させることを特徴とするシミュレーションシステム。 - 頭部装着型表示装置を装着するユーザに対応する移動体を仮想空間において移動させる処理を行う移動体処理部と、
前記移動体の移動に応じて移動する仮想カメラの制御を行う仮想カメラ制御部と、
前記頭部装着型表示装置の表示画像として、前記仮想空間において前記仮想カメラから見える画像を生成する表示処理部として、
コンピュータを機能させ、
前記表示処理部は、
前記移動体の加速度の変化又は前記仮想カメラの視線方向の変化が、所与の変化条件を満たしたと判断される場合に、前記頭部装着型表示装置の表示画像を、前記仮想カメラから見える画像とは異なる画像に変化させる表示処理を行うことを特徴とするプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016138928A JP6719308B2 (ja) | 2016-07-13 | 2016-07-13 | シミュレーションシステム及びプログラム |
PCT/JP2017/024793 WO2018012394A1 (ja) | 2016-07-13 | 2017-07-06 | シミュレーションシステム、処理方法及び情報記憶媒体 |
CN201780043165.9A CN109478341A (zh) | 2016-07-13 | 2017-07-06 | 模拟***、处理方法及信息存储介质 |
US16/245,716 US10955909B2 (en) | 2016-07-13 | 2019-01-11 | Simulation system, processing method, and information storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016138928A JP6719308B2 (ja) | 2016-07-13 | 2016-07-13 | シミュレーションシステム及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018010487A true JP2018010487A (ja) | 2018-01-18 |
JP6719308B2 JP6719308B2 (ja) | 2020-07-08 |
Family
ID=60952521
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016138928A Active JP6719308B2 (ja) | 2016-07-13 | 2016-07-13 | シミュレーションシステム及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10955909B2 (ja) |
JP (1) | JP6719308B2 (ja) |
CN (1) | CN109478341A (ja) |
WO (1) | WO2018012394A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019175322A (ja) * | 2018-03-29 | 2019-10-10 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
JP2020004263A (ja) * | 2018-06-29 | 2020-01-09 | 株式会社コロプラ | 仮想体験をユーザに提供するためのプログラム、コンピュータ及び方法 |
WO2020054585A1 (ja) * | 2018-09-10 | 2020-03-19 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2021079766A1 (ja) * | 2019-10-25 | 2021-04-29 | 株式会社バーチャルキャスト | 表示制御装置、表示制御方法、および表示システム |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102374404B1 (ko) * | 2017-07-25 | 2022-03-15 | 삼성전자주식회사 | 콘텐트를 제공하기 위한 디바이스 및 방법 |
EP3779644B1 (en) * | 2018-03-26 | 2023-03-08 | Sony Group Corporation | Information processing device and information processing method |
DE102019002403A1 (de) * | 2019-04-02 | 2020-10-08 | Daimler Ag | Verfahren und Vorrichtung zur Beeinflussung einer optischen Ausgabe von Bilddaten auf einer Ausgabeeinrichtung in einem Fahrzeug |
US11699279B1 (en) * | 2019-06-28 | 2023-07-11 | Apple Inc. | Method and device for heading estimation |
US11301047B2 (en) * | 2020-04-24 | 2022-04-12 | Sony Interactive Entertainment Inc. | Hybrid wireless streaming solution, switching from 2D to 3D based on an intuitive hand gesture in virtual reality or augmented reality (AR) head-mounted displays (HMD) |
US11465031B2 (en) * | 2020-09-16 | 2022-10-11 | RevolutioNice, Inc. | Ambulation simulation systems, terrain simulation systems, treadmill systems, and related systems and methods |
CN112802166B (zh) * | 2021-01-18 | 2023-08-08 | 网易(杭州)网络有限公司 | 模拟虚拟植物受风摆动的显示方法、装置、存储介质及设备 |
US20220295040A1 (en) * | 2021-03-11 | 2022-09-15 | Quintar, Inc. | Augmented reality system with remote presentation including 3d graphics extending beyond frame |
CN112862935B (zh) * | 2021-03-16 | 2023-03-17 | 天津亚克互动科技有限公司 | 游戏角色的运动处理方法及装置、存储介质、计算机设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000339490A (ja) * | 1999-05-28 | 2000-12-08 | Mitsubishi Electric Corp | Vr酔い低減方法 |
JP2003066825A (ja) * | 2001-08-24 | 2003-03-05 | Mitsubishi Heavy Ind Ltd | 擬似体感装置 |
JP2015064868A (ja) * | 2013-08-29 | 2015-04-09 | キヤノンマーケティングジャパン株式会社 | 情報処理システムとその処理方法及びプログラム |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5354202A (en) * | 1990-08-01 | 1994-10-11 | Atari Games Corporation | System and method for driver training with multiple driver competition |
EP0696022A4 (en) * | 1993-04-20 | 1997-02-05 | Ace Denken Kk | DRIVING SIMULATOR SYSTEM |
JP3428151B2 (ja) * | 1994-07-08 | 2003-07-22 | 株式会社セガ | 画像表示装置を用いた遊戯装置 |
US5921780A (en) * | 1996-06-28 | 1999-07-13 | Myers; Nicole J. | Racecar simulator and driver training system and method |
TW469148B (en) * | 1996-10-09 | 2001-12-21 | Sega Enterprises Kk | Game apparatus, method of game processing, game execution method, and game system |
US6752716B1 (en) * | 1997-11-07 | 2004-06-22 | Kabushiki Kaisha Sega Enterprises | Game machine for simulating vibration |
US6010403A (en) * | 1997-12-05 | 2000-01-04 | Lbe Technologies, Inc. | System and method for displaying an interactive event |
JPH11309269A (ja) | 1998-04-27 | 1999-11-09 | Sony Corp | ゲーム装置、シミュレーション装置及びゲーム画像表示方法 |
JP3046578B2 (ja) * | 1998-06-11 | 2000-05-29 | 株式会社ナムコ | 画像生成装置及び情報記憶媒体 |
JP4957938B2 (ja) * | 2001-09-19 | 2012-06-20 | 株式会社セガ | ゲームプログラム、ゲーム装置及びネットワークサーバ |
WO2003088126A1 (en) * | 2002-04-05 | 2003-10-23 | Konstantin Sizov | Portable in-the-vehicle road simulator |
US7126607B2 (en) * | 2002-08-20 | 2006-10-24 | Namco Bandai Games, Inc. | Electronic game and method for effecting game features |
JP3822617B2 (ja) * | 2004-07-16 | 2006-09-20 | 株式会社コナミデジタルエンタテインメント | ゲーム機の衝撃体感装置およびこの装置を備えたゲーム機 |
US7625287B2 (en) * | 2005-10-05 | 2009-12-01 | Nintendo Co., Ltd. | Driving game steering wheel simulation method and apparatus |
JP4761528B2 (ja) * | 2005-10-11 | 2011-08-31 | 任天堂株式会社 | ゲームプログラムおよびゲーム装置 |
US8021270B2 (en) * | 2008-07-03 | 2011-09-20 | D Eredita Michael | Online sporting system |
US9418568B2 (en) * | 2009-09-29 | 2016-08-16 | Advanced Training System Llc | System, method and apparatus for driver training system with dynamic mirrors |
CN101780321B (zh) * | 2009-12-30 | 2012-01-25 | 永春至善体育用品有限公司 | 一种高临场感的运动健身器材虚拟实景的制作方法以及基于该虚拟实景的互动***和方法 |
JP5738569B2 (ja) * | 2010-10-15 | 2015-06-24 | 任天堂株式会社 | 画像処理プログラム、装置、システムおよび方法 |
US9179619B1 (en) * | 2012-03-01 | 2015-11-10 | Pioneer Hi-Bred International, Inc. | Soybean variety XB72D12 |
BR112015024910A2 (pt) * | 2013-03-26 | 2017-07-18 | Seiko Epson Corp | dispositivo de exibição montado na cabeça, método de controle de dispositivo de exibição montado na cabeça e sistema de exibição |
US9978202B2 (en) * | 2014-02-14 | 2018-05-22 | Igt Canada Solutions Ulc | Wagering gaming apparatus for detecting user interaction with game components in a three-dimensional display |
US9589384B1 (en) * | 2014-11-26 | 2017-03-07 | Amazon Technologies, Inc. | Perspective-enabled linear entertainment content |
US10013808B2 (en) * | 2015-02-03 | 2018-07-03 | Globus Medical, Inc. | Surgeon head-mounted display apparatuses |
CN105653020A (zh) * | 2015-07-14 | 2016-06-08 | 朱金彪 | 穿越时空的方法和装置以及使用其的眼镜或头盔 |
US10139902B2 (en) | 2015-09-16 | 2018-11-27 | Colopl, Inc. | Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display |
CN105320820A (zh) * | 2015-12-02 | 2016-02-10 | 上海航空电器有限公司 | 基于沉浸式虚拟现实平台的快速座舱设计***及方法 |
US10133343B2 (en) * | 2015-12-02 | 2018-11-20 | Tactonic Tecnologies, LLC | Foot operated navigation and interaction for virtual reality experiences |
US20170228931A1 (en) * | 2016-02-08 | 2017-08-10 | Google Inc. | Limited field of view in virtual reality |
JP5996814B1 (ja) * | 2016-02-08 | 2016-09-21 | 株式会社コロプラ | 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム |
US10338392B2 (en) | 2016-06-13 | 2019-07-02 | Microsoft Technology Licensing, Llc | Identification of augmented reality image display position |
JP6689694B2 (ja) * | 2016-07-13 | 2020-04-28 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
JP6714791B2 (ja) * | 2016-07-13 | 2020-07-01 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
JP6715192B2 (ja) * | 2017-01-06 | 2020-07-01 | 任天堂株式会社 | ゲームシステム、ゲームプログラム、情報処理装置およびゲーム制御方法 |
-
2016
- 2016-07-13 JP JP2016138928A patent/JP6719308B2/ja active Active
-
2017
- 2017-07-06 CN CN201780043165.9A patent/CN109478341A/zh active Pending
- 2017-07-06 WO PCT/JP2017/024793 patent/WO2018012394A1/ja active Application Filing
-
2019
- 2019-01-11 US US16/245,716 patent/US10955909B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000339490A (ja) * | 1999-05-28 | 2000-12-08 | Mitsubishi Electric Corp | Vr酔い低減方法 |
JP2003066825A (ja) * | 2001-08-24 | 2003-03-05 | Mitsubishi Heavy Ind Ltd | 擬似体感装置 |
JP2015064868A (ja) * | 2013-08-29 | 2015-04-09 | キヤノンマーケティングジャパン株式会社 | 情報処理システムとその処理方法及びプログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019175322A (ja) * | 2018-03-29 | 2019-10-10 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
JP7104539B2 (ja) | 2018-03-29 | 2022-07-21 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
JP2020004263A (ja) * | 2018-06-29 | 2020-01-09 | 株式会社コロプラ | 仮想体験をユーザに提供するためのプログラム、コンピュータ及び方法 |
WO2020054585A1 (ja) * | 2018-09-10 | 2020-03-19 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2021079766A1 (ja) * | 2019-10-25 | 2021-04-29 | 株式会社バーチャルキャスト | 表示制御装置、表示制御方法、および表示システム |
JP2021068269A (ja) * | 2019-10-25 | 2021-04-30 | 株式会社バーチャルキャスト | 表示制御装置、表示制御方法、および表示システム |
US11790588B2 (en) | 2019-10-25 | 2023-10-17 | Dwango Co., Ltd. | Display control device, display control method, and display system |
Also Published As
Publication number | Publication date |
---|---|
US20190220088A1 (en) | 2019-07-18 |
WO2018012394A1 (ja) | 2018-01-18 |
CN109478341A (zh) | 2019-03-15 |
US10955909B2 (en) | 2021-03-23 |
JP6719308B2 (ja) | 2020-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10915166B2 (en) | Simulation system, processing method, and information storage medium | |
JP6719308B2 (ja) | シミュレーションシステム及びプログラム | |
US11493990B2 (en) | Simulation system, processing method, and information storage medium | |
US10639557B2 (en) | Synchronized motion simulation for virtual reality | |
US11014000B2 (en) | Simulation system, processing method, and information storage medium | |
US11865453B2 (en) | Simulation system, process method, and information storage medium | |
JP6761340B2 (ja) | シミュレーションシステム及びプログラム | |
US11090554B2 (en) | Simulation system, image processing method, and information storage medium | |
JP6712423B2 (ja) | シミュレーションシステム | |
JP6849317B2 (ja) | ゲームシステム | |
JP6774260B2 (ja) | シミュレーションシステム | |
JP6910809B2 (ja) | シミュレーションシステム、プログラム及びコントローラ | |
JP7072441B2 (ja) | シミュレーションシステム及びプログラム | |
JP2019213764A (ja) | シミュレーションシステム | |
JP2018126341A (ja) | シミュレーションシステム及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200501 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200519 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200616 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6719308 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |