JP4040609B2 - Moving body simulation apparatus and moving body simulation program - Google Patents
Moving body simulation apparatus and moving body simulation program Download PDFInfo
- Publication number
- JP4040609B2 JP4040609B2 JP2004207014A JP2004207014A JP4040609B2 JP 4040609 B2 JP4040609 B2 JP 4040609B2 JP 2004207014 A JP2004207014 A JP 2004207014A JP 2004207014 A JP2004207014 A JP 2004207014A JP 4040609 B2 JP4040609 B2 JP 4040609B2
- Authority
- JP
- Japan
- Prior art keywords
- moving body
- viewpoint
- line
- turning
- sight direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004088 simulation Methods 0.000 title claims description 22
- 230000001133 acceleration Effects 0.000 claims description 73
- 238000000034 method Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 description 46
- 230000008859 change Effects 0.000 description 28
- 238000012545 processing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000005484 gravity Effects 0.000 description 9
- 210000003128 head Anatomy 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000004800 psychological effect Effects 0.000 description 8
- 206010047555 Visual field defect Diseases 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 208000019901 Anxiety disease Diseases 0.000 description 3
- 230000036506 anxiety Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、航空機の模擬操縦装置（フライトシミュレータ）のような移動体の移動シミュレーション装置及び移動体シミュレーションプログラムに関する。 The present invention relates to a moving body moving simulation apparatus and a moving body simulation program such as a simulated aircraft flight control device (flight simulator).
フライトシミュレータなどの訓練用模擬操縦装置は、航空機を模した箱に乗ったオペレータの操作入力に応答して所定の画像処理を行い、コックピットからの映像を作成する画像生成ユニットとともに、加速度、重力、遠心力などをオペレータに与えるために油圧ジャッキなどでオペレータが乗った箱を駆動する駆動ユニットを有する。駆動ユニットは、オペレータに加速度、重力、遠心力をオペレータに与えるために、オペレータが乗った箱を前後、上下、左右に駆動する。このように、オペレータの乗った箱を油圧ジャッキなどで駆動することで、その駆動が本来の加速度、重力、遠心力であるかのような誤認識を生じさせ、実際にその乗り物に乗っているかのような工夫がされている。このような手法は、一般的な手法として従来から用いられているが、装置自体が大規模となり、コスト面でも高額となる。さらに、汎用のパーソナルコンピュータやワークステーションによりフライトシミュレータを実現する場合、このような駆動ユニットを設けることは現実的でない。そのため、パーソナルコンピュータなどで実現される従来のフライトシミュレータは、オペレータに、加速度、重力、遠心力のような力学的感覚を与えることができず、実物の操縦とはかけ離れたフライトシミュレーションしか提供することができない。 A simulator for training, such as a flight simulator, performs predetermined image processing in response to an operation input of an operator on a box simulating an aircraft, and generates an image from the cockpit along with acceleration, gravity, A drive unit for driving a box on which the operator rides with a hydraulic jack or the like is provided to apply centrifugal force or the like to the operator. The drive unit drives the box on which the operator is placed forward, backward, up, down, left and right in order to give the operator acceleration, gravity, and centrifugal force. In this way, by driving the box on which the operator is riding with a hydraulic jack or the like, it causes misrecognition as if the driving is the original acceleration, gravity, centrifugal force, etc., and whether it is actually on the vehicle It is devised like this. Such a method has been conventionally used as a general method, but the apparatus itself is large-scale and expensive in terms of cost. Further, when a flight simulator is realized by a general-purpose personal computer or workstation, it is not realistic to provide such a drive unit. Therefore, a conventional flight simulator realized by a personal computer or the like cannot provide the operator with a mechanical feeling such as acceleration, gravity, and centrifugal force, and only provides a flight simulation far from the actual operation. I can't.
駆動ユニットを使わずに画像処理だけで、実物の移動体に乗っている感覚にできるだけ近づけるための画像処理を行うシミュレーション装置として、下記の特許文献に開示される技術が知られている。 Techniques disclosed in the following patent documents are known as a simulation apparatus that performs image processing to make it as close as possible to a sense of being on a real moving body by using only image processing without using a drive unit.
下記特許文献１は、頭部センサにより実空間内の頭部位置を検出し、実空間の視点の移動と連動して仮想空間における模擬視界画像が変化する模擬視界装置について開示している。
下記特許文献２は、観者又は観者の搭乗する移動体の位置、方向の操作と独立に、視点位置、視線方向を操作できる３次元シミュレータ装置について開示している。 The following Patent Document 2 discloses a three-dimensional simulator device that can operate the viewpoint position and the line-of-sight direction independently of the operation of the position or direction of the viewer or the moving body on which the viewer is boarded.
下記特許文献３は、視点を基準にしたオブジェクトの速度に応じて、オブジェクトのスピード感を表現する属性を動的に変更し、これにより、モーションブラーのように映像を複数作成することなしに、動きによるブレを表現することができるシミュレーション装置について開示している。 Patent Document 3 below dynamically changes an attribute that expresses a sense of speed of an object according to the speed of the object based on the viewpoint, thereby creating a plurality of videos as in motion blur, A simulation apparatus capable of expressing motion blur is disclosed.
下記特許文献４は、移動体の移動速度により視線ベクトルを制御して画像を生成し表示することで、より自然に近い感覚で違和感のない三次元空間内のウォークスルーを提供する三次元シミュレーション装置について開示している。 The following Patent Document 4 discloses a three-dimensional simulation apparatus that provides a walk-through in a three-dimensional space with a more natural feeling and no sense of incongruity by generating and displaying an image by controlling a line-of-sight vector according to the moving speed of a moving object Is disclosed.
下記特許文献５は、運転者の頭部の位置を検出し、検出された頭部位置と運転操作情報に基づいた画像を、ヘッドマウントディスプレイに表示する４輪車運転シミュレータについて開示している。 Patent Document 5 listed below discloses a four-wheeled vehicle driving simulator that detects the position of a driver's head and displays an image based on the detected head position and driving operation information on a head-mounted display.
下記特許文献６は、車掌の所定の立ち位置に応じてその視点から見た情景を発生し、より現実に近い映像を表示することができる電車シミュレータ用側方車掌映像システムについて開示している。
しかしながら、上記特許文献に開示される技術は、オペレータに、実物の移動体に乗っている場合に感じる加速度、重力、遠心力のような力学的感覚を与えることができない。 However, the technique disclosed in the above-mentioned patent document cannot give the operator a mechanical feeling such as acceleration, gravity, and centrifugal force that is felt when riding on a real moving body.
一方で、人間は、映画やビデオなどで単に２次元平面に投影された映像を見ているときでも、めまいや酔いなどの感覚を覚える場合がある。これは、人間が実際に外力を受けなくても、目に入る映像のみによっても同様の感覚を心理的に感じてしまうために起きる現象である。 On the other hand, human beings sometimes feel dizziness or sickness even when watching images projected on a two-dimensional plane in movies or videos. This is a phenomenon that occurs because even if humans do not actually receive external force, a similar sensation is felt psychologically only by the image that enters the eye.
そこで、本発明の目的は、油圧ジャッキなどの駆動ユニットを用いることなく、視覚効果によりオペレータに力学的感覚を与えることができる移動体シミュレーション装置及び移動体シミュレーションプログラムを提供することにある。 Accordingly, an object of the present invention is to provide a moving body simulation apparatus and a moving body simulation program capable of giving a mechanical sense to an operator by a visual effect without using a drive unit such as a hydraulic jack.
上記目的を達成するための本発明の移動体シミュレーション装置は、三次元仮想空間内に配置された移動体の内部に設定され且つ前記移動体の移動に伴って移動する視点から所定の視線方向を中心として広がる所定の視野範囲を二次元画像で表示する移動体シミュレーション装置において、
前記視線方向が前記移動体の前方を向いており、前記移動体が、前記視線方向に対して左右方向に旋回しながら移動し、さらに旋回中に前記左右方向に傾斜している場合に、前記移動体の旋回方向、向心加速度及び傾斜角を検出する検出手段と、
前記移動体の前記向心加速度に基づいて、前記視点を前記移動体に対して、前記移動体の旋回により発生する遠心力の方向に移動させて設定し、前記視点を前記遠心力の方向に移動させた後、前記向心加速度に応じて、前記視線方向を前記移動体の旋回方向に回転させて設定し、さらに前記移動体の旋回時の傾斜に応じて前記視線方向を前記移動体の傾斜方向に回転させる場合において、前記移動体が傾斜し始めたときに前記視線方向を水平に維持した後、前記移動体の傾斜角に応じて、前記視線方向を前記移動体の傾斜方向に回転させて設定する設定手段と、
前記設定手段により設定された前記視点に基づいた前記二次元画像を生成する画像生成手段とを備えることを特徴とする。また、コンピュータを上記各手段として機能させるための移動体シミュレーションプログラムが提供される。
In order to achieve the above object, a moving body simulation apparatus according to the present invention provides a predetermined line-of-sight direction from a viewpoint set inside a moving body arranged in a three-dimensional virtual space and moving as the moving body moves. In a mobile object simulation apparatus that displays a predetermined visual field range spreading as a center in a two-dimensional image,
When the line-of-sight direction faces the front of the movable body, the movable body moves while turning in the left-right direction with respect to the line-of-sight direction, and further tilted in the left-right direction during the turn, Detecting means for detecting the turning direction, centripetal acceleration and inclination angle of the moving body;
Based on the centripetal acceleration of the moving body, the viewpoint is set by moving the viewpoint in the direction of the centrifugal force generated by the turning of the moving body, and the viewpoint is set in the direction of the centrifugal force. After the movement, according to the centripetal acceleration, the line-of-sight direction is set to rotate in the turning direction of the moving body, and the line-of-sight direction is set according to the inclination of the moving body during turning. In the case of rotating in the tilt direction, after the moving body starts to tilt, the line-of-sight direction is kept horizontal, and then the line-of-sight direction is rotated in the tilt direction of the moving body according to the tilt angle of the moving body. Setting means to set and
And image generating means for generating the two-dimensional image based on the viewpoint set by the setting means. In addition, a moving body simulation program for causing a computer to function as each of the above means is provided.
上記構成によれば、油圧ジャッキなどの駆動ユニットを用いることなく、視覚効果により移動体に加えられる加速度又は向心加速度などの力学的感覚を実空間で画像を見る人に体感させることができ、よりリアルなシミュレーションが実現され、向心加速度に基づいた心理的影響による視野の変化を画像表現することができ、さらに、移動体の旋回時における移動体の傾斜による視野の変化を画像表現することができる。 According to the above configuration, without using a drive unit such as a hydraulic jack, it is possible to let a person viewing an image in real space experience a mechanical sensation such as acceleration or centripetal acceleration that is applied to a moving object by visual effects, Realistic simulation is realized , visual change of the visual field due to psychological influence based on centripetal acceleration can be imaged, and further, visual change of the visual field due to the tilt of the mobile object when the mobile object turns It is Ru can.
以下、図面を参照して本発明の実施の形態について説明する。しかしながら、かかる実施の形態例が、本発明の技術的範囲を限定するものではない。 Embodiments of the present invention will be described below with reference to the drawings. However, such an embodiment does not limit the technical scope of the present invention.
図１は、三次元仮想空間を説明する図である。三次元仮想空間は、互いに直交する３軸上の座標（ｘ、ｙ、ｚ）により一意に位置が特定される数学的立体空間である。三次元仮想空間では、これら点の集合を線で連結し、時にはこれを面として表現することにより空間内に立体物を定義したり、その移動を行ったりすることができる。例えば、本発明の実施の形態の一例としてフライトシミュレータを実現する場合は、三次元仮想空間内に航空機のような移動体が配置される。 FIG. 1 is a diagram illustrating a three-dimensional virtual space. The three-dimensional virtual space is a mathematical three-dimensional space whose position is uniquely specified by coordinates (x, y, z) on three axes orthogonal to each other. In a three-dimensional virtual space, a set of these points is connected by a line, and sometimes this is expressed as a surface, so that a three-dimensional object can be defined in the space or moved. For example, when a flight simulator is realized as an example of an embodiment of the present invention, a moving body such as an aircraft is arranged in a three-dimensional virtual space.
この三次元仮想空間から二次元の投影画像を得るためには、少なくとも一つの視点が必要となる。そして、仮想空間内の所定の位置座標を視点として設定し、その位置座標における３軸の回転角度を定義することにより、あらゆる方向を視線方向として設定することができる。本実施の形態の一例としてフライトシミュレータを実現する場合は、上記移動体の内部に視点を設定することで、移動体に乗っている乗員から見える画像を生成することとなる。 In order to obtain a two-dimensional projection image from this three-dimensional virtual space, at least one viewpoint is required. Any direction can be set as the line-of-sight direction by setting a predetermined position coordinate in the virtual space as a viewpoint and defining a rotation angle of three axes at the position coordinate. When a flight simulator is realized as an example of the present embodiment, an image that can be seen by an occupant on a moving body is generated by setting a viewpoint inside the moving body.
図２は、本発明の実施の形態における移動体シミュレーション装置のブロック構成図である。本実施の形態例の移動体シミュレーション装置は、例えば、パーソナルコンピュータのような汎用コンピュータ装置であってもよいし、移動体シミュレーション専用のコンピュータ装置であってもよい。移動体シミュレーション装置は、三次元仮想空間に設定された視点から視線方向の画像を二次元画像として表示する。 FIG. 2 is a block configuration diagram of the moving body simulation apparatus according to the embodiment of the present invention. The moving body simulation apparatus according to the present embodiment may be a general-purpose computer apparatus such as a personal computer, or may be a computer apparatus dedicated to moving body simulation. The moving body simulation apparatus displays an image in the line-of-sight direction as a two-dimensional image from the viewpoint set in the three-dimensional virtual space.
シミュレータプログラム格納部１０２は、本実施の形態例における画像処理を実行するためのシミュレータプログラムを記憶する記憶手段であり、ＣＰＵ１００が、本実施の形態に特徴的なシミュレータプログラムを実行する。ＲＡＭ１０４を一時的なデータを格納する記憶手段であり、表示制御部１０６は、シミュレータプログラムの実行により生成された画像データをアナログ信号に変換し、ディスプレイ１０８に出力する。これにより、画像がディスプレイ１０８に表示される。
The simulator
視点からの視線方向を向いた二次元画像を生成するには、次の３段階の演算処理が必要であり、シミュレータプログラムは、当該演算処理プログラムを有する。 In order to generate a two-dimensional image facing the line of sight from the viewpoint, the following three stages of arithmetic processing are required, and the simulator program has the arithmetic processing program.
第一に、仮想三次元空間のすべての座標位置を、視点を原点とした座標系に置き換える視野変換処理が行われる。この視野変換処理により、視点座標が仮想三次元空間の原点となる。 First, visual field conversion processing is performed in which all coordinate positions in the virtual three-dimensional space are replaced with a coordinate system with the viewpoint as the origin. By this visual field conversion process, the viewpoint coordinates become the origin of the virtual three-dimensional space.
第二に、視点から視線方向に見える三次元空間座標を、２次元座標に投影するための透視変換処理が行われる。 Second, perspective transformation processing for projecting the three-dimensional spatial coordinates that are visible from the viewpoint in the line-of-sight direction to the two-dimensional coordinates is performed.
第三に、二次元座標に変換された座標を、画像として表示するための描画処理（レンダリング）が行われる。描画処理により生成された画像は、ＲＡＭ１０４に一旦記憶され、その後、表示制御部１０６によりビデオ信号に変換されて、ディスプレイ１０８に出力される。なお、本実施の形態の移動体シミュレーション装置が専用装置の場合は、ＲＡＭ１０４とは別に、生成された画像データを記憶するためのフレームバッファを備えていてもよい。さらに、上記各処理を含むすべての画像処理が、ＣＰＵ１００により行われてもよいが、ＣＰＵ１００の負荷を軽減するために、移動体シミュレーション装置は、視野変換処理及び透視変換処理における座標変換を行う座標変換プロセッサや描画処理のためのレンダリングプロセッサをさらに備えていてもよい。
Third, drawing processing (rendering) for displaying the coordinates converted into the two-dimensional coordinates as an image is performed. The image generated by the drawing process is temporarily stored in the
また、三次元仮想空間内に配置された移動体を操作するための入力部１１２が設けられてもよい。入力部１１２からの操作信号は、インターフェースを介して入力され、その操作信号に基づいて、移動体は三次元仮想空間内を移動する。移動体の移動に応じて、その内部に設定されている視点も移動するので、視点の移動に伴い、画像が刻々と変化する。 Moreover, the input part 112 for operating the mobile body arrange | positioned in the three-dimensional virtual space may be provided. An operation signal from the input unit 112 is input via the interface, and the moving body moves in the three-dimensional virtual space based on the operation signal. As the moving object moves, the viewpoint set in the moving body also moves, so that the image changes every moment as the viewpoint moves.
本実施の形態例の移動体シミュレーション装置では、三次元仮想空間内に移動体とそれに乗る乗員が配置され、その移動体が三次元仮想空間内を移動する場合において、移動体内部にいる乗員の頭部付近に視点を設定することで、移動体に乗っている乗員から見える画像が表示される。 In the moving body simulation apparatus according to the present embodiment, when a moving body and an occupant riding on the moving body are arranged in the three-dimensional virtual space, and the moving body moves in the three-dimensional virtual space, the occupants inside the moving body By setting the viewpoint in the vicinity of the head, an image that can be seen by an occupant on the moving body is displayed.
移動体が前方に移動し、移動体の中にいる乗員が移動体の移動方向を向いている場合、すなわち、視点からの視線方向が移動体の移動方向（この場合、前方）である場合、乗員は、移動方向に広がる移動体の外の風景と、移動体内部の乗員のすぐ前にあるハンドルや計器類など内部構造物が見える。乗員は、視線方向を中心にある一定の範囲を見ることができる。この見える範囲が視野である。 When the moving body moves forward and the occupant in the moving body faces the moving direction of the moving body, that is, when the line-of-sight direction from the viewpoint is the moving direction of the moving body (in this case, forward) The occupant can see the scenery outside the moving body spreading in the moving direction and the internal structures such as the handle and instruments immediately in front of the occupant inside the moving body. The occupant can see a certain range around the line-of-sight direction. This visible range is the field of view.
移動体の移動に伴って、移動体の位置が変動すると、それに追従して乗員の視点も移動する。この際、移動体に加速度、遠心力、重力のような外力が加えられると、それに乗っている乗員は、物理法則により、その場に置いておかれようとするため、乗員は移動体に対して相対的に移動する。すなわち、視点が移動体に対して相対的に移動する。例えば、移動体が前方に加速を始めた場合、乗員の頭部が、その反力により座席の背中部分に押しつけられ（移動方向と反対方向に移動し）、その結果、乗員の視点は、移動体の内部構造物に対して相対的に後退し、視野が変化する。同様に、移動体が左方向に旋回する場合、乗員の頭部は、遠心力により右方向に移動する。その結果、乗員の視点は、移動体の内部構造物に対して相対的に右方向にずれる。さらに、移動体が上方向に加速する場合、乗員は下方向に押しつけられ、その結果、乗員の視点は、移動体の内部構造物に対して相対的に下方向に移動する。 If the position of the moving body fluctuates with the movement of the moving body, the occupant's viewpoint moves accordingly. At this time, if an external force such as acceleration, centrifugal force, or gravity is applied to the moving body, the occupant riding on the mobile body tries to be placed on the spot according to the laws of physics. Move relatively. That is, the viewpoint moves relative to the moving body. For example, when the moving body starts accelerating forward, the passenger's head is pressed against the back part of the seat by the reaction force (moving in the direction opposite to the moving direction), and as a result, the occupant's viewpoint moves. Retreat relative to the internal structure of the body, changing the field of view. Similarly, when the moving body turns leftward, the occupant's head moves rightward by centrifugal force. As a result, the occupant's viewpoint is shifted to the right relative to the internal structure of the moving body. Further, when the moving body accelerates upward, the occupant is pressed downward, and as a result, the viewpoint of the occupant moves downward relative to the internal structure of the moving body.
本発明の実施の形態例は、移動体に加えられる外力に伴う移動体に対する乗員の視点の移動を画像で表現することで、実空間でその画像を見る人に、あたかも外力が加わったかのような感覚を与える手法を提供する。 In the embodiment of the present invention, the movement of the occupant's viewpoint with respect to the moving body due to the external force applied to the moving body is represented by an image, as if an external force is applied to a person viewing the image in real space. Provide a way to give a sense.
さらに、乗員の視点は、外力そのものに起因するものだけでなく、外力が加えられたことによる心理的作用によっても変化する。例えば、移動体が前方（視線方向と一致）へ加速する場合、乗員は、視線方向の中央部分だけを認識しようとする状況、すなわち、視野が狭まった状態となる。この現象は、医学上「外力ストレスによる視野狭窄」と呼ばれている。しかし、乗員である人の眼球には、視野角を変化させる機能はなく、視野狭窄の現象は心理的作用として起きる現象である。また、移動体が左右どちらかの方向に旋回する場合や、上昇又は下降する場合、乗員は、無意識に移動体の移動する方向を向こうとする傾向がある。すなわち移動体の移動方向に視線方向が変化する。視線方向が変化することでも、視野も変化する。このように、加速度や遠心力などの外力は、乗員に心理的変化をもたらし、その結果、認識上の視野の変化を生じさせる。 Furthermore, the occupant's viewpoint changes not only due to the external force itself but also due to psychological effects caused by the application of the external force. For example, when the moving body accelerates forward (coincides with the line-of-sight direction), the occupant is in a situation where only the center part in the line-of-sight direction is recognized, that is, the field of view is narrowed. This phenomenon is medically called "field narrowing due to external force stress". However, the eyeball of a passenger is not capable of changing the viewing angle, and the phenomenon of visual field narrowing is a phenomenon that occurs as a psychological action. Further, when the moving body turns in either the left or right direction, or when it rises or descends, the occupant tends to unconsciously move in the direction in which the moving body moves. That is, the line-of-sight direction changes in the moving direction of the moving body. Changing the line of sight also changes the field of view. Thus, external forces such as acceleration and centrifugal force cause a psychological change in the occupant, resulting in a change in the visual field of recognition.
本発明の実施の形態例では、外力、さらにはそれによる心理的影響により変化する視野に対応する画像を作り出すことで、実空間でその画像を見る人に、あたかも外力が加わったかのような感覚を与える手法を提供する。 In the embodiment of the present invention, by creating an image corresponding to a visual field that changes due to external force and further psychological influence, it is possible to feel as if external force has been applied to a person viewing the image in real space. Provide a technique to give.
以下、（１）移動体が前後方向に加減速する場合、（２）移動体が左右方向に旋回する場合、（３）移動体が上下方向に加減速する場合に分けて、本実施の形態例について詳しく説明する。 Hereinafter, the present embodiment is divided into (1) when the moving body accelerates and decelerates in the front-rear direction, (2) when the moving body turns in the left-right direction, and (3) when the moving body accelerates and decelerates in the vertical direction. An example will be described in detail.
図３は、本実施の形態例を説明する上でのモデルを示す図である。移動体１０の内部に乗員１２がいる。視点Ｍは、乗員１２の頭部付近に設定され、視点Ｍから視線方向Ｓを見ると、視線方向Ｓの視野範囲にある移動体内部構造物１０ａと移動体１０からの外景がみえる。初期状態として、乗員１２の視線方向Ｓは、移動体１０の前方を向いており、移動体は、静止状態又は前方に向かって直線定速で移動しているものとする。 FIG. 3 is a diagram showing a model for explaining the present embodiment. An occupant 12 is inside the moving body 10. The viewpoint M is set near the head of the occupant 12, and when the line-of-sight direction S is viewed from the viewpoint M, the moving object internal structure 10 a and the outside view from the moving object 10 in the visual field range of the line-of-sight direction S can be seen. As an initial state, it is assumed that the line-of-sight direction S of the occupant 12 faces the front of the moving body 10, and the moving body is moving at a linear constant speed toward the stationary state or the front.
（１）移動体が前後方向に加減速する場合
図４は、移動体１０が前方に加速する場合の視点の変化を示す図である。図４に示されるように、移動体１０が前方へ加速する場合、慣性の法則により乗員１２はその場に置いておかれようとするため、乗員１２の視点Ｍは、移動体１０に対して相対的に後退する（移動体の移動方向と反対方向にずれる。
(1) When the moving body accelerates / decelerates in the front-rear direction FIG. 4 is a diagram illustrating a change in viewpoint when the moving body 10 accelerates forward. As shown in FIG. 4, when the moving body 10 accelerates forward, the occupant 12 tends to be placed on the spot due to the law of inertia. Retreats relatively (shifts in the direction opposite to the moving direction of the moving body.
図５は、移動体１０が前方加速前と前方加速中の視野を説明する図である。図５に示されるように、後退した視点Ｍから視線方向Ｓ（移動体の前方）を見た視野は、後退前の視点Ｍからの視野よりも広くなる。移動体の前方への加速時の加速度をαとすれば、乗員の視点にかかる力Ｆは、
Ｆ[N]＝ｍ[kg]×α［m/s2］（ｍは、乗員の重さ）
と示され、視野の後退は、この力Ｆによって引き起こされるので、それに伴う視野の拡大は、加速度αにも比例することになる。従って、静止時又は一定速度状態時の視野対角線長をｗとすると、加速時の視野対角線長Ｗは、
Ｗ[m]＝ｎ×ｗ[m]×α［m/s2］ （ｎは、任意の倍率定数） …（１）
と定義することができる。すなわち、移動体１０が前方に加速している状況を画像で表現するには、乗員の視点を後方にＷ−ｗだけずらせばよい。ただし、現実的には、加速度変化により視野範囲が瞬時に変化するわけではないので、加速時は、倍率定数ｎを時間変化とともに徐々に大きくし、加速終了時も、瞬時に視点を元の状態（静止時又は一定速度状態時の視野対角線長ｗ）に戻すのではなく、所定時間をかけて戻す。
FIG. 5 is a diagram for explaining the field of view of the moving body 10 before forward acceleration and during forward acceleration. As shown in FIG. 5, the field of view when viewing the line-of-sight direction S (in front of the moving body) from the retracted viewpoint M is wider than the field of view from the viewpoint M before the retract. If the acceleration at the time of acceleration of the moving body is α, the force F applied to the occupant's viewpoint is
F [N] = m [kg] x α [m / s2] (m is the weight of the passenger)
Since the field retraction is caused by this force F, the accompanying field expansion is also proportional to the acceleration α. Therefore, when the diagonal line length of the visual field at rest or in a constant speed state is w, the diagonal line length of visual field W during acceleration is
W [m] = n × w [m] × α [m / s2] (n is an arbitrary magnification constant) (1)
Can be defined as That is, in order to represent the situation in which the moving body 10 is accelerating forward with an image, the occupant's viewpoint may be shifted backward by Ww. However, in reality, the field of view does not change instantaneously due to changes in acceleration. Therefore, during acceleration, the magnification constant n is gradually increased with time. Instead of returning to the diagonal length w of visual field at rest or at a constant speed, it is returned over a predetermined time.
さらに、移動体が前方に加速しているとき、乗員の意識は、前方へ集中し、前方の一点を注視しようとするため、視野狭窄現象が生じる。人の眼球には、視野範囲を可変的に変化させる能力はないので、これは、心理的作用であって、実際に視野が狭まっているわけではないが、意図的に視野を狭めた画像を生成することで、実空間でその画像を見る人が体感する加速感をさらに強調することができる。 Furthermore, when the moving body is accelerating forward, the occupant's consciousness concentrates forward and tries to gaze at one point in the front, resulting in a visual field constriction phenomenon. Since the human eyeball does not have the ability to variably change the field of view, this is a psychological effect and does not mean that the field of view is actually narrowed. By generating, it is possible to further emphasize the acceleration feeling experienced by a person viewing the image in real space.
なお、上記移動体の前方加速に基づいた視点の後退により視野が拡がり（第一段階）、この心理的作用により視野が狭まる（第二段階）のは、相反するものであり、合算すると結果的に変化がないかのようであるが、第一段階の処理で生成される画像は、視点移動前の画像とは、移動体内部構造物までの視点距離が異なるため、第二段階の処理により視野が狭められても、立体透視（パースペクティブ）は全く異なるものとなり、生成される画像も別の見え方となる。以下、第一段階及び第二段階の処理による画像の見え方の相違について、具体的に説明する。 In addition, it is contradictory that the field of view expands due to the backward movement of the viewpoint based on the forward acceleration of the moving body (first stage), and the field of view narrows due to this psychological action (second stage). However, the image generated by the first stage process is different from the image before the viewpoint movement because the viewpoint distance to the moving object internal structure is different. Even if the field of view is narrowed, the stereoscopic perspective (perspective) is completely different, and the generated image has a different view. Hereinafter, the difference in the appearance of the image by the process of a 1st step and a 2nd step is demonstrated concretely.
図６乃至図９は、第一段階及び第二段階の処理による画像の見え方について説明する図である。一例として、図６に示すような視点側に口の開いた立方体が３つあるとする。これを加速前の視点からみると、図７のように見える。すなわち、視点から中央の立方体までの距離と視点から左右の立方体までの距離の比が比較的大きいことから、左右の立方体は歪んで見える。 FIGS. 6 to 9 are diagrams for explaining how the image is seen by the first stage process and the second stage process. As an example, assume that there are three cubes with open mouths on the viewpoint side as shown in FIG. From a viewpoint before acceleration, it looks like FIG. That is, since the ratio of the distance from the viewpoint to the center cube and the distance from the viewpoint to the left and right cubes is relatively large, the left and right cubes appear to be distorted.
一方、加速時に乗員の視点が後退した場合は、図８のように見える。すなわち、視点が後退しているために、３つの立方体はともに小さく見えているが、視点から中央の立方体までの距離と視点から左右の立方体までの距離との比は、前方加速前の場合より小さいことから、左右の立方体の歪みは、認識しづらくなる。ここで、視野狭窄現象が生じると、見えているものが拡大されたように見える。すなわち、視野狭窄の状況を画像表現するには、図８の画像を拡大すればよい。すなわち、図９（ｂ）に示すように、図８に示される立方体の大きさを、加速前の視点からの画像（図９（ａ）の画像（図７と同様の画像））における立方体の大きさとほぼ同程度になるように拡大する。図９（ａ）と（ｂ）の画像は、同一視野範囲のものであるが、左右の立方体の歪み具合が異なり、異なる立体透視となっていることがわかる。 On the other hand, when the occupant's viewpoint moves backward during acceleration, it looks like FIG. That is, because the viewpoint is retreating, all three cubes appear small, but the ratio of the distance from the viewpoint to the center cube and the distance from the viewpoint to the left and right cubes is greater than that before the forward acceleration. Because it is small, the distortion of the left and right cubes is difficult to recognize. Here, when the visual field constriction phenomenon occurs, what is visible appears to be enlarged. That is, the image in FIG. 8 may be enlarged to express the situation of the visual field narrowing. That is, as shown in FIG. 9B, the size of the cube shown in FIG. 8 is set to the size of the cube in the image from the viewpoint before acceleration (the image in FIG. 9A (the same image as FIG. 7)). Enlarge to be approximately the same size. Although the images in FIGS. 9A and 9B are in the same visual field range, it can be seen that the left and right cubes are different in distortion and have different stereoscopic perspectives.
図１０は、上述の説明を数学的に検証するための図である。３次元仮想空間内の１点をスクリーン上に投影する場合を考える。図１０において、今、視点UはＺ軸上の原点から距離Ｌの位置にあり、画像を投影すべきスクリーンは、ＸＹ平面と仮定する。検証を簡単にするため、３次元仮想空間をＹ座標上空から見下ろしたＸＺ座標に限定すると、仮想空間上の任意の点P(x,y)は、スクリーン上の座標P1(L/(L＋z)・x,0)に投影される。 FIG. 10 is a diagram for mathematically verifying the above description. Consider a case where one point in a three-dimensional virtual space is projected on a screen. In FIG. 10, it is assumed that the viewpoint U is at a distance L from the origin on the Z axis, and the screen on which an image is to be projected is the XY plane. In order to simplify the verification, if the three-dimensional virtual space is limited to the XZ coordinates looking down from above the Y coordinate, an arbitrary point P (x, y) in the virtual space is represented by the coordinate P1 (L / (L + z) on the screen. Projected to x, 0)
この視点をさらにΔL後退した視点Vを考えるとき、任意点Pの投影座標P2は、
P2＝(((L＋ΔL)/(L＋ΔL＋z))・x,0)
となる。座標P1に関わる係数L/(L＋z)と座標P2に関わる係数(L＋ΔL)/(L＋ΔL＋z)とは、明らかに比例関係にないから、視点Vから見て投影された画像をいくら拡大・縮小しても、視点Uから見える画像とは同一となり得ないことがわかる。
When considering a viewpoint V that is further ΔL backward from this viewpoint, the projected coordinate P2 of the arbitrary point P is
P2 = (((L + ΔL) / (L + ΔL + z)) x, 0)
It becomes. The coefficient L / (L + z) related to the coordinate P1 and the coefficient (L + ΔL) / (L + ΔL + z) related to the coordinate P2 are clearly not in a proportional relationship. It can also be seen that the image seen from the viewpoint U cannot be the same.
なお、前方に移動している移動体１０が減速する場合（加速度が負）や、移動体１０が後方（視線方向と反対方向）に加速する場合は、上述の場合とは反対に、乗員１２は、前のめり状態になるので、乗員１２の視点Ｍは、移動体１０に対して前方にずれる。視点Ｍをずらす距離は、上記前方に加速する場合と同じである。視点Ｍが前方にずれた画像を生成することで、移動体１０の内部構造物１０ａが大きくなるような画像が表示される。この場合は、視野狭窄現象は生じないので、上記第二段階の処理は行われない。また、後方に移動体１０が移動している状態から減速する場合は、上述の前方への加速と同じであり、乗員１２の視点Ｍは、移動体１０に対して相対的に後退する。ただし、この場合も、視野狭窄現象は生じない。 In addition, when the moving body 10 moving forward decelerates (acceleration is negative) or when the moving body 10 accelerates backward (opposite direction of the line of sight), the occupant 12 is opposite to the above case. Is in a forward-turned state, the viewpoint M of the occupant 12 is shifted forward with respect to the moving body 10. The distance by which the viewpoint M is shifted is the same as in the case of accelerating forward. By generating an image in which the viewpoint M is shifted forward, an image in which the internal structure 10a of the moving body 10 is enlarged is displayed. In this case, since the visual field narrowing phenomenon does not occur, the second stage process is not performed. Further, when decelerating from the state in which the moving body 10 is moving backward, the viewpoint M of the occupant 12 moves backward relative to the moving body 10 in the same manner as the above-described forward acceleration. In this case, however, the visual field narrowing phenomenon does not occur.
（２）移動体が左右方向に旋回する場合
図１１は、移動体１０が左方向に旋回する場合の視点及び視線方向の変化を示す図である。まず、移動体１０が左方向に旋回を始めると、乗員１２は遠心力により右方向に移動する。これにより、乗員１２の視点Ｍも右方向に移動する。
(2) When the moving body turns left and right FIG. 11 is a diagram illustrating changes in the viewpoint and the line-of-sight direction when the moving body 10 turns leftward. First, when the moving body 10 starts turning leftward, the occupant 12 moves rightward by centrifugal force. As a result, the viewpoint M of the occupant 12 also moves in the right direction.
図１２は、移動体１０の旋回前と旋回中の視野の変化を説明する図である。図１２に示されるように、視点Ｍが右方向に移動することにより、視野も右方向にずれる。視野が右にずれることで、特に、乗員１２の手前にある移動体内部構造物１０ａの位置が相対的に大きく左方向にずれることで、視野が右にずれたことを明確に認識することができる。 FIG. 12 is a diagram for explaining changes in the field of view before and during the turning of the moving body 10. As shown in FIG. 12, when the viewpoint M moves to the right, the visual field is also shifted to the right. It is possible to clearly recognize that the field of view has shifted to the right by shifting the field of view of the movable body internal structure 10a in front of the occupant 12 to a relatively large left direction by shifting the field of view to the right. it can.
速度ｖの移動体が半径ｒで旋回を始めたとき、視点である乗員には、
Ｆ[N]＝ｍ[kg]×（ｖ[m/s]2／ｒ[m]） （ｍは乗員の重さ）
の力がかかるが、この式は、向心加速度をαとすれば、
Ｆ[N]＝ｍ[kg]×α[m/s2]）
とも表すことができる。旋回が水平面にあるとき、遠心力は、向心力の反力であるから、遠心力による視点Ｍの移動は、向心加速度αに比例することになる。従って、上記（１）式に従って、視点Ｍの移動距離を求めることができる。旋回の場合についても、直線の速度変化と同様に、視野範囲が瞬時に変化することはないので、同じ向心加速度αが一定時間加えられる場合であっても、視点Ｍは所定時間をかけて徐々に遠心力方向に移動し、旋回運動から直線運動に戻る場合も、視点Ｍは所定時間をかけて徐々に向心力方向に移動し、旋回の終了とともに、旋回前の元の位置に戻る。
When a moving body with a velocity v starts turning with a radius r,
F [N] = m [kg] × (v [m / s] 2 / r [m]) (m is the weight of the passenger)
However, if this equation is
F [N] = m [kg] × α [m / s 2 ])
Can also be expressed. When the turn is in the horizontal plane, the centrifugal force is a reaction force of the centripetal force, and therefore the movement of the viewpoint M by the centrifugal force is proportional to the centripetal acceleration α. Therefore, the moving distance of the viewpoint M can be obtained according to the above equation (1). In the case of a turn, the visual field range does not change instantaneously as in the case of a linear speed change. Therefore, even when the same centripetal acceleration α is applied for a certain time, the viewpoint M takes a predetermined time. When moving gradually in the centrifugal force direction and returning from the turning motion to the linear motion, the viewpoint M gradually moves in the centripetal force direction over a predetermined time, and returns to the original position before the turning as the turning ends.
また、視点Ｍが遠心力方向に移動した後、さらに、旋回が続いている場合は、視点Ｍの移動とともに、視線方向Ｓも変化する。乗員１２は、心理的に旋回方向を注視しようとする意識が働くため、例えば、乗員１２は、左旋回時は、左方向を向こうとする。これを画像表現するために、遠心力の大きさ、すなわち向心加速度の大きさに応じて、視線方向Ｓを左方向に回転させる（最大４０度〜６０度程度）。これにより、視線方向Ｓは、前方斜め左方向となる。この視線方向Ｓの変化も、遠心力による視点の変化と同様に、所定時間をかけて徐々に変化させるようにすることが好ましい。 Further, after the viewpoint M moves in the centrifugal force direction, when the turning continues, the line-of-sight direction S changes as the viewpoint M moves. Since the occupant 12 is conscious of trying to watch the turning direction psychologically, for example, the occupant 12 tries to turn to the left when turning left. In order to express this image, the line-of-sight direction S is rotated to the left (up to about 40 to 60 degrees) in accordance with the magnitude of the centrifugal force, that is, the magnitude of centripetal acceleration. As a result, the line-of-sight direction S is a diagonally left front direction. The change in the line-of-sight direction S is preferably gradually changed over a predetermined time, similarly to the change in the viewpoint due to the centrifugal force.
このように、視点Ｍを遠心力方向へ移動し、さらにその後、旋回方向へ視線方向を回転させた画像を生成することで、この画像を見る実空間の人は、遠心力に抗しながら旋回する感覚を体感することができる。 In this way, by moving the viewpoint M in the centrifugal force direction and then generating an image in which the line-of-sight direction is rotated in the turning direction, a person in real space who sees this image turns while resisting the centrifugal force. You can experience the feeling of doing.
さらに、移動体１０が左右方向に旋回するときに移動体１０が傾く場合は、その傾斜による視線方向Ｓの変化も考慮されることが好ましい。移動体１０が航空機又は鉄道の場合、遠心力に抗し、向心力を積極的に発生させるため、移動体が旋回する方向へ意図的な傾斜が行われる。 Furthermore, when the moving body 10 tilts when the moving body 10 turns in the left-right direction, it is preferable to consider the change in the line-of-sight direction S due to the tilt. In the case where the moving body 10 is an aircraft or a railroad, intentional tilting is performed in a direction in which the moving body turns in order to resist centrifugal force and positively generate centripetal force.
図１３乃至図１５は、移動体１０が旋回方向に傾斜する場合の視野の変化を説明する図である。図１３（ａ）に示すように、一例として、航空機のような移動体１０が左方向に旋回すると、乗員１２は、旋回当初、移動体１０が傾く心理的不安感から外景を水平に保とうと試みる。すなわち、乗員１２はその頭部を水平に維持しようとする。これを画像表現するには、移動体が傾斜し始めた場合に、視線方向をそれに追従させず、すなわち、視線方向を移動体の傾斜方向に回転させず、視線方向を水平に維持する。これにより、図１３（ｂ）に示すように、外景は水平に見えるが、移動体１０は傾斜しているので、乗員の目の前の移動体内部構造物１０ａが傾いて見えるような視野に対応する画像を再現することができる。 FIGS. 13 to 15 are diagrams for explaining changes in the visual field when the moving body 10 is tilted in the turning direction. As shown in FIG. 13 (a), as an example, when the moving body 10 such as an aircraft turns leftward, the occupant 12 tries to keep the outside scene horizontal from the psychological anxiety that the moving body 10 tilts at the beginning of turning. Try. That is, the occupant 12 tries to keep its head level. In order to express this, when the moving body starts to tilt, the line-of-sight direction is not followed, that is, the line-of-sight direction is not rotated in the tilting direction of the moving body, and the line-of-sight direction is kept horizontal. As a result, as shown in FIG. 13B, the outside scene looks horizontal, but the moving body 10 is tilted, so that the moving body internal structure 10a in front of the occupant's eyes is tilted. The corresponding image can be reproduced.
さらに、旋回が安定状態に入るにつれ、乗員１２は、遠心力の移動体垂直方向への分力が重力の一部であるかのように誤認するようになり、心理的不安感が減少するために、移動体１０の傾きに追従しようとするようになる。図１４は、移動体１０が旋回方向に傾斜する場合に乗員１２にかかる力を示し、乗員１２にかかる遠心力を、傾斜している移動体の水平方向成分と垂直方向成分とに分ける。旋回が安定状態に入ると、その垂直方向成分が、乗員１２が重力と感じる分力となり、水平方向成分が、乗員１２が遠心力と感じる分力となる。すなわち、乗員１２は傾斜を感じなくなり、移動体１０の傾斜に視線方向をあわせようとする。その結果、図１５（ａ）に示されるように、視線方向Ｓは移動体１０の傾斜方向に回転し、図１５（ｂ）に示すように、乗員１２の視野において、乗員１２の視点Ｍから見える移動体内部構造物の傾きはなくなり、今度は、外景の方が傾いて見えるようになる。これを画像表現するには、視線方向を移動体１０の傾斜角度だけ移動体の傾斜方向に回転させる。このように、移動体１０の傾斜を考慮して視線方向を回転させた画像を生成、表示することで、実空間でその画像を見る人は、旋回中の移動体１０の傾斜を体感することができる。 Further, as the turn enters a stable state, the occupant 12 misidentifies that the component force of the centrifugal force in the vertical direction of the moving body is a part of gravity, and the psychological anxiety decreases. In addition, the mobile body 10 tries to follow the inclination of the mobile body 10. FIG. 14 shows the force applied to the occupant 12 when the moving body 10 is inclined in the turning direction, and the centrifugal force applied to the occupant 12 is divided into a horizontal component and a vertical component of the inclined moving body. When the turning enters a stable state, the vertical component becomes a component force that the occupant 12 feels as gravity, and the horizontal component becomes a component force that the occupant 12 feels as centrifugal force. That is, the occupant 12 does not feel the inclination and tries to match the line-of-sight direction with the inclination of the moving body 10. As a result, as shown in FIG. 15 (a), the line-of-sight direction S rotates in the tilt direction of the moving body 10, and as shown in FIG. 15 (b), from the viewpoint M of the occupant 12 in the sight of the occupant 12. The visible internal structure of the moving object disappears, and this time, the outside scene appears to tilt. In order to express this image, the line-of-sight direction is rotated in the tilt direction of the moving body by the tilt angle of the moving body 10. Thus, by generating and displaying an image in which the direction of the line of sight is rotated in consideration of the inclination of the moving body 10, a person viewing the image in real space can experience the inclination of the moving body 10 while turning. Can do.
なお、航空機や鉄道のような移動体１０は、上述したように、移動体１０の旋回方向に傾斜するが、例えば、自動車などは、遠心力の影響を受け、旋回方向とは反対方向に傾斜する。 As described above, the moving body 10 such as an aircraft or a railway is inclined in the turning direction of the moving body 10. However, for example, an automobile is affected by centrifugal force and is inclined in a direction opposite to the turning direction. To do.
図１６及び１７は、移動体１０が旋回方向と反対方向に傾斜する場合の視野の変化を説明する図である。図１６は、左旋回中の自動車を後方から見た図であって、自動車が右方向に傾斜している状態が示されている。このとき、上述同様に、乗員は、旋回当初、移動体が傾く心理的不安感から外景を水平に保とうと試みる。従って、これを画像表現する場合は、移動体が旋回方向と反対方向に傾斜する場合であっても、移動体が傾斜し始めた場合に、視線方向をそれに追従させず、すなわち、視線方向を移動体の傾斜方向に回転させず、視線方向を水平に維持する。これにより、図１７に示すように、外景は水平に見えるが、移動体は傾斜しているので目の前の移動体構造物が傾いて見えるような視野に対応する画像を再現することができる。旋回が安定状態に入った場合も、上述同様である。すなわち、視線方向を移動体の傾斜角度だけ視線方向軸周りに移動体の傾斜方向（この場合、右方向）に回転させればよい。 16 and 17 are diagrams for explaining changes in the visual field when the moving body 10 is inclined in the direction opposite to the turning direction. FIG. 16 is a view of the left-turning automobile viewed from the rear, and shows a state in which the automobile is inclined in the right direction. At this time, as described above, the occupant attempts to keep the outside scene horizontal from the psychological anxiety that the moving body tilts at the beginning of the turn. Therefore, when this is expressed as an image, even if the moving body is inclined in the direction opposite to the turning direction, when the moving body starts to be inclined, the line-of-sight direction is not followed. Keep the line-of-sight direction horizontal without rotating in the tilt direction of the moving body. As a result, as shown in FIG. 17, the outside scene looks horizontal, but the moving body is tilted, so an image corresponding to a field of view in which the moving body structure in front of the eyes appears to tilt can be reproduced. . The same applies to the case where the turn enters a stable state. That is, the line-of-sight direction may be rotated around the line-of-sight direction axis by the inclination angle of the moving body in the inclination direction of the moving body (in this case, rightward).
（３）移動体が上下に加減速する場合
図１８は、移動体１０が上方向に加速する場合の視点の変化を示す図である。図１８に示されるように、例えば、移動体１０が上方向へ加速する場合、慣性の法則により乗員はその場に置いておかれようとするため、乗員１２の視点Ｍは、移動体１０に対して相対的に下方向に移動する。このため、視野も下方向にずれることになる。
(3) When the moving body accelerates or decelerates up and down FIG. 18 is a diagram illustrating a change in viewpoint when the moving body 10 accelerates upward. As shown in FIG. 18, for example, when the moving body 10 accelerates upward, the occupant tries to be placed on the spot according to the law of inertia. Move relatively downward. For this reason, the visual field is also shifted downward.
図１９は、移動体１０の上昇前と上昇中の視野の変化を説明する図である。図１９に示されるように、視点が下方向に移動することにより、視野も下方向にずれる。視野が下にずれることで、特に、乗員１２の手前にある移動体内部構造物１０ａの位置が相対的に大きく下方向にずれることで、視野が下にずれたことを明確に認識することができる。 FIG. 19 is a diagram for explaining changes in the field of view before and during the ascent of the moving body 10. As shown in FIG. 19, the visual field shifts downward as the viewpoint moves downward. It is possible to clearly recognize that the field of view has shifted downward, particularly when the position of the moving body internal structure 10a located in front of the occupant 12 is relatively large and shifted downward due to the field of view being shifted downward. it can.
移動体の下方向への加速時の加速度をαとすれば、乗員にかかる力Ｆは、
Ｆ[N]＝ｍ[kg]×ｇ［m/s2］＋ｍ[kg]×α［m/s2］（ｇは重力加速度、ｍは乗員の重さ）
と示される。ただし、乗員は、日常重力の影響を認識しておらず、また、これにより、視点の変化も起こしていないことから、視点変化に影響のある実質的力ｆは、力Ｆから重力加速度ｇｎによる影響を除いた値
ｆ[N]＝ｍ[kg]×α［m/s2］
となり、それに伴う乗員１２の視点Ｍの移動は、加速度αに比例する。従って、上記（１）に従って、視点の移動距離を求めることができる。上述同様に、速度変化の開始（加速度発生）により視野が瞬時に変化するわけではないので、この場合も、視点Ｍは所定時間をかけて徐々に移動させることが好ましい。
If the acceleration at the time of the downward acceleration of the moving body is α, the force F applied to the occupant is
F [N] = m [kg] x g [m / s2] + m [kg] x α [m / s2] (g is gravitational acceleration, m is the weight of the passenger)
It is indicated. However, since the occupant is not aware of the influence of daily gravity, and no change in the viewpoint is caused thereby, the substantial force f that affects the change in the viewpoint depends on the gravitational acceleration gn from the force F. Value excluding influence f [N] = m [kg] × α [m / s2]
Accordingly, the movement of the viewpoint M of the occupant 12 associated therewith is proportional to the acceleration α. Therefore, according to the above (1), the moving distance of the viewpoint can be obtained. As described above, since the visual field does not change instantaneously due to the start of the speed change (acceleration), the viewpoint M is preferably moved gradually over a predetermined time in this case.
また、移動体１０の旋回の場合と同様に、視点Ｍが下方向に移動した後、さらに、下方向への移動が続いている場合は、視点Ｍの移動とともに、視線方向Ｓも変化する。乗員１２は、心理的に移動方向を注視しようとする意識が働くため、例えば、上昇時は、前方から上方向を向こうとし、加速度の大きさに応じて視線方向Ｓを上方向に回転させる（最大４０度〜６０度程度）。従って、視線方向Ｓは、前方斜め上方向を向くことになる。この視線方向Ｓの変化も、所定時間をかけて徐々に変化させるようにする。すなわち、上昇開始前は、前方を向いている視線方向（上方向に対する角度０度）を、上方向への加速開始とともに、視線方向の上方向への角度を徐々に大きくする（所定角度に達したら、その角度で固定）。その状態から減速する場合は、逆に、角度を徐々に小さくし、上方向への角度０度の状態に戻す。
Similarly to the turning of the moving body 10, when the viewpoint M moves downward and further continues to move downward, the line-of-sight direction S changes as the viewpoint M moves. Since the occupant 12 is psychologically conscious of gazing at the moving direction, for example, when ascending, the occupant 12 tries to move upward from the front and rotates the line-of-sight direction S upward according to the magnitude of acceleration ( 40 degrees to 60 degrees at maximum). Therefore, the line-of-sight direction S is directed obliquely upward in the forward direction. The change in the line-of-sight direction S is also gradually changed over a predetermined time. That is, before the start of ascent, the upward direction of the sight line direction (
上方に移動している移動体１０が減速する場合（加速度が負）や、移動体１０が下方に加速する場合は、上述の場合とは反対に、乗員１２の視点Ｍは、移動体１０に対して上方にずれる。視点Ｍをずらす距離は、上記上方に加速する場合と同じである。また、下方に移動体１０が移動している状態から減速する場合は、上述の前方への加速と同じであり、乗員１２の視点Ｍは、移動体１０に対して下方移動する。 When the moving body 10 moving upward decelerates (acceleration is negative) or when the moving body 10 accelerates downward, the viewpoint M of the occupant 12 moves to the moving body 10, contrary to the above case. It is shifted upwards. The distance by which the viewpoint M is shifted is the same as in the case of accelerating upward. Further, when decelerating from the state in which the moving body 10 is moving downward, the viewpoint M of the occupant 12 moves downward with respect to the moving body 10 in the same manner as the above-described forward acceleration.
このように、視点を上下方向へ移動し、さらにその後、上下方向へ視線方向を回転させた画像を生成することで、この画像を見る実空間の人は、移動体が上下動する感覚を体感することができる。 In this way, by moving the viewpoint up and down, and then generating an image in which the line-of-sight direction is rotated up and down, a person in real space who sees this image can feel the sense that the moving body moves up and down. can do.
図２０及び図２１は、本発明の実施の形態における視点及び視線方向の制御フローチャートである。図示される処理フローは、フレーム期間毎に繰り返される。図２０において、まず、乗員の視点は、移動体内部の所定位置に位置決めされるよう、移動体の移動に追従して移動する（Ｓ１０）。そして、移動体が前後方向、上下方向に加速することによる加速度、又は左右方向に旋回することによる向心加速度を検知すると（Ｓ１２）、以下の処理により、視点の位置をさらに移動させ、また、視線方向を回転させる。ステップＳ１４は、移動体の前後方向に加速度を検知した場合であって、上述した（１）移動体が前後方向に加減速する場合の処理に対応する。この場合、正の加速度（速度増大）であれば、その加速度の大きさに応じて、移動体の移動方向と反対方向に視点を移動させ、負の加速度（速度減少）であれば、その加速度の大きさに応じて、移動方向に視点を移動させる。また、図２１のステップＳ３６にあるように、移動体が前方への速度増大であれば、上述した視野狭窄現象を画像表現するため、ステップＳ３５で生成された画像を所定倍率に拡大し、その中心領域を含むフレーム画像を生成し（Ｓ３７）、ディスプレイ１０８に表示される（Ｓ４０）。 20 and 21 are control flowcharts of the viewpoint and the line-of-sight direction according to the embodiment of the present invention. The illustrated processing flow is repeated for each frame period. In FIG. 20, first, the occupant's viewpoint moves following the movement of the moving body so as to be positioned at a predetermined position inside the moving body (S10). When detecting the acceleration caused by the moving body accelerating in the front-rear direction, the up-down direction, or the centripetal acceleration caused by turning in the left-right direction (S12), the position of the viewpoint is further moved by the following processing, Rotate the gaze direction. Step S14 corresponds to the process in the case where acceleration is detected in the front-rear direction of the moving body, and (1) the above-described processing in the case where the moving body accelerates or decelerates in the front-rear direction. In this case, if the acceleration is positive (speed increase), the viewpoint is moved in the direction opposite to the moving direction of the moving body according to the magnitude of the acceleration. If the acceleration is negative (speed decrease), the acceleration The viewpoint is moved in the moving direction according to the size of the. Further, as shown in step S36 of FIG. 21, if the moving body increases forward, the image generated in step S35 is enlarged to a predetermined magnification to express the above-described visual field constriction phenomenon. A frame image including the central region is generated (S37) and displayed on the display 108 (S40).
ステップＳ１６乃至Ｓ２６は、移動体の左右方向に向心加速度を検知した場合であって、上述した（２）移動体が左右方向に旋回する場合の処理に対応する。この場合、まず、向心加速度に応じて、視点を移動体に対して、その向心加速度の方向と反対の方向（遠心力の方向）に移動させる（Ｓ１６）。そして、ステップＳ１２において向心加速度の検知が継続し、それが所定時間経過した場合は（Ｓ１８）、向心加速度に応じて視線方向を旋回方向に所定角度回転させる（Ｓ２０）。さらに、移動体が傾斜しており（Ｓ２２）、それがステップＳ１２において向心加速度の検知開始から所定時間経過した場合は（Ｓ２４）は、移動体の傾斜角に応じて、視線方向を傾斜方向に回転させる（Ｓ２６）。なお、上記ステップＳ１８及びＳ２０の処理と、上記ステップＳ２２、Ｓ２４及びＳ２６の処理は、その順序が逆であってもよい。 Steps S <b> 16 to S <b> 26 correspond to the case where the centripetal acceleration is detected in the left-right direction of the moving body, and corresponds to the above-described processing (2) when the moving body turns in the left-right direction. In this case, first, according to the centripetal acceleration, the viewpoint is moved relative to the moving body in a direction opposite to the centripetal acceleration direction (centrifugal force direction) (S16). If the detection of the centripetal acceleration continues in step S12 and a predetermined time has elapsed (S18), the line-of-sight direction is rotated by a predetermined angle in the turning direction according to the centripetal acceleration (S20). Furthermore, when the moving body is inclined (S22) and it has passed a predetermined time from the start of detection of centripetal acceleration in step S12 (S24), the line-of-sight direction is changed to the inclined direction according to the inclination angle of the moving body. (S26). Note that the order of the processes in steps S18 and S20 and the processes in steps S22, S24, and S26 may be reversed.
ステップＳ２８乃至Ｓ３２は、移動体の上下方向に加速度を検知した場合であって、上述した（３）移動体が上下方向に加速する場合の処理に対応する。この場合、正の加速度（速度増大）であれば、その加速度の大きさに応じて、移動体の移動方向と反対方向に視点を移動させ、負の加速度（速度減少）であれば、その加速度の大きさに応じて、移動方向に視点を移動させる（Ｓ２８）そして、ステップＳ１２において上下方向の加速度の検知開始から定時間経過した場合は（Ｓ３０）、加速度に応じて視線方向を移動方向（上下方向）に所定角度回転させる（Ｓ３２）。 Steps S <b> 28 to S <b> 32 correspond to the case where acceleration is detected in the vertical direction of the moving body, and corresponds to the above-described processing in (3) acceleration of the moving body in the vertical direction. In this case, if the acceleration is positive (speed increase), the viewpoint is moved in the direction opposite to the moving direction of the moving body according to the magnitude of the acceleration. If the acceleration is negative (speed decrease), the acceleration The viewpoint is moved in the moving direction according to the size of the image (S28). If a fixed time has elapsed from the start of detection of the acceleration in the vertical direction in step S12 (S30), the line-of-sight direction is changed in the moving direction ( A predetermined angle is rotated in the vertical direction (S32).
図２１において、このようにして設定された視点及び視線方向に基づく二次元画像が生成され（Ｓ３４）、ディスプレイ装置に表示される（Ｓ４０）。そして、シミュレーションが終了するまで（Ｓ４２）、上記ステップＳ１０乃至Ｓ４０の処理がフレーム期間（例えば１／６０秒）毎に繰り返される。 In FIG. 21, a two-dimensional image based on the viewpoint and line-of-sight direction set in this way is generated (S34) and displayed on the display device (S40). Until the simulation is completed (S42), the processes of steps S10 to S40 are repeated every frame period (for example, 1/60 seconds).
本実施の形態例においては、フライトシミュレータのように、実空間にいる人が画像を見ながら操縦桿のような入力手段を操作して、仮想空間内の移動体を移動させてもよいし、また、ジェットコースターを模擬体感するシミュレーション装置のように、実空間にいる人は、何の操作も必要とせずに、仮想空間内の移動体があらかじめ決められた所定の移動を行うようにしてもよい。 In the present embodiment, like a flight simulator, a person in the real space may move the moving body in the virtual space by operating an input means such as a control stick while viewing the image, Further, like a simulation device that simulates a roller coaster, a person in real space may perform a predetermined movement of a moving body in a virtual space without requiring any operation. Good.
１０：移動体、１０ａ：移動体構造物、１２：乗員、Ｍ：視点、Ｓ：視線方向、１００：ＣＰＵ、１０２：シミュレータプログラム、１０２：ＲＡＭ、１０６：表示制御部、１０８：ディスプレイ、１１２：入力部 10: moving body, 10a: moving body structure, 12: occupant, M: viewpoint, S: line-of-sight direction, 100: CPU, 102: simulator program, 102: RAM, 106: display control unit, 108: display, 112: Input section
Claims (2)
前記視線方向が前記移動体の前方を向いており、前記移動体が、前記視線方向に対して左右方向に旋回しながら移動し、さらに旋回中に前記左右方向に傾斜している場合に、前記移動体の旋回方向、向心加速度及び傾斜角を検出する検出手段と、
前記移動体の前記向心加速度に基づいて、前記視点を前記移動体に対して、前記移動体の旋回により発生する遠心力の方向に移動させて設定し、前記視点を前記遠心力の方向に移動させた後、前記向心加速度に応じて、前記視線方向を前記移動体の旋回方向に回転させて設定し、さらに前記移動体の旋回時の傾斜に応じて前記視線方向を前記移動体の傾斜方向に回転させる場合において、前記移動体が傾斜し始めたときに前記視線方向を水平に維持した後、前記移動体の傾斜角に応じて、前記視線方向を前記移動体の傾斜方向に回転させて設定する設定手段と、
前記設定手段により設定された前記視点に基づいた前記二次元画像を生成する画像生成手段とを備えることを特徴とする移動体シミュレーション装置。 A moving body which is set inside a moving body arranged in a three-dimensional virtual space and which displays a predetermined field of view in a two-dimensional image extending from a viewpoint moving with the movement of the moving body around a predetermined gaze direction. In the simulation device,
When the line-of-sight direction faces the front of the movable body, the movable body moves while turning in the left-right direction with respect to the line-of-sight direction, and further tilted in the left-right direction during the turn, Detecting means for detecting the turning direction, centripetal acceleration and inclination angle of the moving body;
Based on the centripetal acceleration of the moving body, the viewpoint is set by moving the viewpoint in the direction of the centrifugal force generated by the turning of the moving body, and the viewpoint is set in the direction of the centrifugal force. After the movement, according to the centripetal acceleration, the line-of-sight direction is set to rotate in the turning direction of the moving body, and the line-of-sight direction is set according to the inclination of the moving body during turning. In the case of rotating in the tilt direction, after the moving body starts to tilt, the line-of-sight direction is kept horizontal, and then the line-of-sight direction is rotated in the tilt direction of the moving body according to the tilt angle of the moving body. Setting means to set and
A moving body simulation apparatus comprising: an image generation unit configured to generate the two-dimensional image based on the viewpoint set by the setting unit.
前記視線方向が前記移動体の前方を向いており、前記移動体が、前記視線方向に対して左右方向に旋回しながら移動し、さらに旋回中に前記左右方向に傾斜している場合に、前記移動体の旋回方向、向心加速度及び傾斜角を検出する検出手段、
前記移動体の前記向心加速度に基づいて、前記視点を前記移動体に対して、前記移動体の旋回により発生する遠心力の方向に移動させて設定し、前記視点を前記遠心力の方向に移動させた後、前記向心加速度に応じて、前記視線方向を前記移動体の旋回方向に回転させて設定し、さらに前記移動体の旋回時の傾斜に応じて前記視線方向を前記移動体の傾斜方向に回転させる場合において、前記移動体が傾斜し始めたときに前記視線方向を水平に維持した後、前記移動体の傾斜角に応じて、前記視線方向を前記移動体の傾斜方向に回転させて設定する設定手段、及び、
前記設定処理により設定された前記視点に基づいた前記二次元画像を生成する画像生成手段、
として機能させる移動体シミュレーションプログラム。 To display a predetermined field-of-view range that is set inside a moving body arranged in a three-dimensional virtual space and spreads around a predetermined line-of-sight direction as a two-dimensional image from a viewpoint that moves as the moving body moves Computer
When the line-of-sight direction faces the front of the movable body, the movable body moves while turning in the left-right direction with respect to the line-of-sight direction, and further tilted in the left-right direction during the turn, Detecting means for detecting the turning direction, centripetal acceleration and inclination angle of the moving body;
Based on the centripetal acceleration of the moving body, the viewpoint is set by moving the viewpoint in the direction of the centrifugal force generated by the turning of the moving body, and the viewpoint is set in the direction of the centrifugal force. After the movement, according to the centripetal acceleration, the line-of-sight direction is set to rotate in the turning direction of the moving body, and the line-of-sight direction is set according to the inclination of the moving body during turning. In the case of rotating in the tilt direction, after the moving body starts to tilt, the line-of-sight direction is kept horizontal, and then the line-of-sight direction is rotated in the tilt direction of the moving body according to the tilt angle of the moving body. And setting means for setting , and
Image generating means for generating the two-dimensional image based on the viewpoint set by the setting process ;
A moving body simulation program that functions as
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004207014A JP4040609B2 (en) | 2004-07-14 | 2004-07-14 | Moving body simulation apparatus and moving body simulation program |
| PCT/JP2005/012787 WO2006006570A1 (en) | 2004-07-14 | 2005-07-11 | Mobile body simulation apparatus and mobile body simulation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004207014A JP4040609B2 (en) | 2004-07-14 | 2004-07-14 | Moving body simulation apparatus and moving body simulation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006031229A JP2006031229A (en) | 2006-02-02 |
| JP4040609B2 true JP4040609B2 (en) | 2008-01-30 |
Family
ID=35783911
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004207014A Active JP4040609B2 (en) | 2004-07-14 | 2004-07-14 | Moving body simulation apparatus and moving body simulation program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP4040609B2 (en) |
| WO (1) | WO2006006570A1 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4815606B2 (en) * | 2007-03-14 | 2011-11-16 | 国立大学法人浜松医科大学 | Motion sickness training equipment |
| JP2011133695A (en) * | 2009-12-24 | 2011-07-07 | Okayama Prefecture Industrial Promotion Foundation | Driving simulating device |
| JP5304760B2 (en) * | 2010-09-21 | 2013-10-02 | 株式会社Ｊｖｃケンウッド | Stereoscopic imaging device and stereoscopic imaging method |
| KR101209113B1 (en) | 2012-02-13 | 2012-12-06 | 주식회사 포스앤필 | Electronic circuit apparatus with dynamics system and verification functions |
| JP6966246B2 (en) * | 2017-07-12 | 2021-11-10 | 株式会社コロプラ | An information processing method, a device, and a program for causing a computer to execute the information processing method. |
| JP7051374B2 (en) * | 2017-11-06 | 2022-04-11 | 株式会社タイトー | Image processing device, image processing program |
| KR102203371B1 (en) * | 2018-11-30 | 2021-01-15 | 삼성물산 주식회사 | Method and device to visualize image while operating ride in amusement park and method and device to manage corresponding device |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4035867B2 (en) * | 1997-09-11 | 2008-01-23 | 株式会社セガ | Image processing apparatus, image processing method, and medium |
| JPH11146978A (en) * | 1997-11-17 | 1999-06-02 | Namco Ltd | Three-dimensional game unit, and information recording medium |
| JP4114822B2 (en) * | 1997-12-05 | 2008-07-09 | 株式会社バンダイナムコゲームス | Image generating apparatus and information storage medium |
| JP3583995B2 (en) * | 2000-01-21 | 2004-11-04 | 株式会社ソニー・コンピュータエンタテインメント | Entertainment device, storage medium, and object display method |
| JP3442736B2 (en) * | 2000-11-30 | 2003-09-02 | コナミ株式会社 | Image processing apparatus, image processing method, and information storage medium |
-
2004
- 2004-07-14 JP JP2004207014A patent/JP4040609B2/en active Active
-
2005
- 2005-07-11 WO PCT/JP2005/012787 patent/WO2006006570A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2006006570A1 (en) | 2006-01-19 |
| JP2006031229A (en) | 2006-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2957991B1 (en) | Method and system for reducing motion sickness in virtual reality systems | |
| CN104932677B (en) | Interactive more driver's virtual realities drive system | |
| JP3635729B2 (en) | Image processing method, image processing apparatus, and simulated experience apparatus | |
| US9558676B2 (en) | Method for simulating specific movements by haptic feedback, and device implementing the method | |
| WO2006006570A1 (en) | Mobile body simulation apparatus and mobile body simulation program | |
| CN110300994B (en) | Image processing apparatus, image processing method, and image system | |
| JPH1118025A (en) | Image display device | |
| JP2013257524A (en) | Acceleration driving experience machine | |
| KR102205691B1 (en) | Method and apparatus for motion sickness decrease in vr motion platform | |
| Bouyer et al. | Inducing self-motion sensations in driving simulators using force-feedback and haptic motion | |
| JP2017102401A (en) | Virtual Reality System | |
| JP4482666B2 (en) | Motion sickness reduction information presentation device and presentation method | |
| US11262848B1 (en) | Method and head-mounted device for reducing motion sickness in virtual reality | |
| CN111316342B (en) | Automatic brake simulation experience device of four-wheel automobile | |
| JP4493575B2 (en) | MOBILE BODY SIMULATOR, ITS CONTROL METHOD, AND CONTROL PROGRAM | |
| JPH08131659A (en) | Virtual reality generating device | |
| JPH1039743A (en) | Movement function adjusting device | |
| US11480787B2 (en) | Information processing apparatus and information processing method | |
| CN113112888A (en) | AR real scene interactive simulation driving method | |
| JP7174525B2 (en) | Display device, display control program, and display control method that encourage posture opposite to inertial force | |
| JP4228373B2 (en) | Spatial display device | |
| EP4215398A1 (en) | Method of operating a display device, vehicle and system | |
| JP2923497B1 (en) | Motion sensation generator | |
| JP4039287B2 (en) | Motor function activation device | |
| JP3638669B2 (en) | Image composition method and game device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070409 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070605 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070806 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071016 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071107 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4040609 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131116 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |