JP2000330714A - Device for inputting spatial graphic - Google Patents
Device for inputting spatial graphicInfo
- Publication number
- JP2000330714A JP2000330714A JP11142364A JP14236499A JP2000330714A JP 2000330714 A JP2000330714 A JP 2000330714A JP 11142364 A JP11142364 A JP 11142364A JP 14236499 A JP14236499 A JP 14236499A JP 2000330714 A JP2000330714 A JP 2000330714A
- Authority
- JP
- Japan
- Prior art keywords
- input
- operator
- line
- coordinates
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、空間図形入力装置
にかかり、特に、仮想立体空間内に仮想物体を表示する
立体画像表示装置に用いて好適な、空間内に図形を入力
するための空間図形入力装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a space graphic input device, and more particularly to a space for inputting a graphic in a space, which is suitable for use in a stereoscopic image display device for displaying a virtual object in a virtual stereoscopic space. The present invention relates to a graphic input device.
【０００２】[0002]
【従来の技術】車両の車体の形状や部品等を設計や評価
する場合、設計値による部材（設計値と同一の値である
実物）を作成して評価や検討そして再設計という処理を
繰り返し行っていた。ところが、実物を作成して検討や
再設計を繰り返すことは、膨大な時間を必要とする。こ
のため、実物である部材を製作することなく、評価や検
討することを可能とする装置の必要性が叫ばれている。2. Description of the Related Art When designing or evaluating the shape or parts of a vehicle body, a member based on design values (a real object having the same value as the design value) is created, and evaluation, examination, and redesign are repeatedly performed. I was However, it takes an enormous amount of time to create a real product and repeat examination and redesign. For this reason, a need has arisen for a device that can be evaluated and examined without producing a real member.
【０００３】このような装置として、設計値により形成
されるべき実物に相当する仮想物体を仮想空間上に表示
させる、コンピュータグラフィック（ＣＧ）の立体画像
により再現して検討を行うことや再設計の情報を得るこ
とが注目されている。すなわち、最近では、設計段階か
らＣＡＤを用いたコンピュータ設計が行われており、こ
のＣＡＤデータを用いて立体画像用のデータを生成し、
立体画像を表示させることが可能となってきている。一
例としては、立体視眼鏡を用いて、３次元空間を生成
し、その仮想空間内の仮想物体を操作することにより、
ＣＡＤの操作性を向上させる立体表示装置が知られてい
る（特開平６−１３１４４２号公報参照）。[0003] As such an apparatus, a virtual object corresponding to a real object to be formed by design values is displayed in a virtual space, and is reproduced by a three-dimensional image of a computer graphic (CG) for examination or redesign. Obtaining information has attracted attention. That is, recently, computer design using CAD has been performed from the design stage, and data for a three-dimensional image is generated using the CAD data.
It is becoming possible to display a stereoscopic image. As an example, by generating a three-dimensional space using stereoscopic glasses and operating a virtual object in the virtual space,
A stereoscopic display device that improves the operability of CAD is known (see Japanese Patent Application Laid-Open No. Hei 6-131442).
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、３次元
的に物体（仮想物体）を表示する場合、その物体を目視
する方向（視線方向）と交差する方向とでは、位置入力
をするオペレータの入力許容誤差が異なる場合がある。
例えば、視線方向に対する入力誤差すなわち奥行き方向
の入力誤差が視線方向に交差する方向の誤差より大きい
場合がある。この場合、オペレータが意図する位置の空
間座標を入力した場合であっても、奥行き方向に意図す
る位置からずれた位置で入力されることがある。However, when an object (virtual object) is displayed three-dimensionally, an operator who inputs a position in a direction intersecting with a direction in which the object is viewed (a line of sight) is allowed. The error may be different.
For example, the input error in the line of sight, that is, the input error in the depth direction may be larger than the error in the direction intersecting the line of sight. In this case, even when the operator inputs the spatial coordinates of the intended position, the spatial coordinates may be shifted from the intended position in the depth direction.
【０００５】本発明は、上記事実を考慮して、入力した
空間座標が視線方向でばらつくことなく入力することが
できる空間図形入力装置を得ることが目的である。An object of the present invention is to provide a spatial graphic input device capable of inputting input spatial coordinates without variation in the line of sight in consideration of the above fact.
【０００６】[0006]
【課題を解決するための手段】上記目的を達成するため
に請求項１に記載の発明の空間図形入力装置は、実空間
内に仮想物体を表示する表示手段と、前記仮想物体を表
示するための実空間内の空間座標を入力する入力手段
と、前記入力手段に対して予め定められた特定方向情報
を設定する設定手段と、前記入力された空間座標と、前
記設定された特定方向情報とに基づいて平面または曲面
を生成する生成手段と、前記入力された空間座標につい
て、前記生成された平面上または曲面上の成分のみを入
力座標に前記空間座標を変換する変換手段と、を備えて
いる。According to one aspect of the present invention, there is provided a space graphic input apparatus for displaying a virtual object in a real space, and for displaying the virtual object. Input means for inputting spatial coordinates in the real space, setting means for setting predetermined specific direction information for the input means, the input space coordinates, and the set specific direction information Generating means for generating a plane or a curved surface on the basis of, and for the input spatial coordinates, converting means for converting only the generated components on the plane or the curved surface into the input coordinates and the spatial coordinates. I have.
【０００７】本発明の空間図形入力装置は、表示手段に
より、実空間内に仮想物体が表示される。この実空間内
位置の空間座標は、入力手段により入力される。入力手
段には、設定手段により予め定められた特定方向情報が
設定される。特定方向情報には、入力手段に向かう方向
ベクトルや入力手段により指示する方向ベクトルがあ
る。生成手段は、設定された特定方向情報と入力された
空間座標とに基づいて、平面または曲面を生成する。例
えば、入力された空間座標を通過し、特定方向情報によ
る方向または交差する方向に平面または曲面が生成され
る。変換手段は、生成された平面上または曲面上の成分
のみを入力座標に空間座標を変換する。すなわち、入力
された３次元の空間座標は、前記生成された平面上また
は曲面上の座標値のみ入力が可能となり、平面または曲
面から逸脱した方向例えば奥行き方向の入力が除外され
る。このように、空間座標と特定方向情報とにより生成
された平面または曲面の上でのみ入力が可能となり、視
線方向に対する入力誤差すなわち奥行き方向の入力誤差
が解消されて、オペレータが意図する位置の空間座標、
すなわち、奥行き方向に意図する位置からずれた位置と
なることなく入力することができる。これにより、入力
した空間座標が視線方向でばらつくことなく入力するこ
とができる。In the space graphic input device according to the present invention, the display means displays a virtual object in a real space. The space coordinates of the position in the real space are input by the input means. Specific direction information predetermined by the setting unit is set in the input unit. The specific direction information includes a direction vector toward the input unit and a direction vector specified by the input unit. The generating unit generates a plane or a curved surface based on the set specific direction information and the input spatial coordinates. For example, a plane or a curved surface is generated in a direction passing through the input spatial coordinates and in a direction or an intersecting direction according to the specific direction information. The transformation means transforms only the generated components on the plane or the curved surface into the input coordinates in the spatial coordinates. That is, as for the input three-dimensional spatial coordinates, only the generated coordinate values on the plane or the curved surface can be inputted, and the input in the direction deviating from the plane or the curved surface, for example, the depth direction is excluded. As described above, the input can be performed only on the plane or the curved surface generated by the spatial coordinates and the specific direction information, and the input error in the line-of-sight direction, that is, the input error in the depth direction is eliminated. Coordinate,
That is, the input can be performed without being shifted from the intended position in the depth direction. As a result, the input spatial coordinates can be input without variation in the viewing direction.
【０００８】請求項２に記載の発明は、請求項１に記載
の空間図形入力装置において、前記表示手段は、左眼用
画像及び右眼用画像を切り換えて仮想物体を表示するこ
とを特徴とする。According to a second aspect of the present invention, in the spatial graphic input device according to the first aspect, the display means displays a virtual object by switching between a left-eye image and a right-eye image. I do.
【０００９】物体を立体的に表示するためには、左眼用
画像及び右眼用画像を用意して、切り換えて表示するこ
とにより、容易に仮想物体を表示することができる。そ
こで、表示手段において、左眼用画像及び右眼用画像を
切り換えて仮想物体を表示すれば、実空間内の予め定め
た所定空間に仮想物体を表示することができる。In order to display an object three-dimensionally, a virtual object can be easily displayed by preparing a left-eye image and a right-eye image and switching and displaying them. Therefore, when the display means switches the left-eye image and the right-eye image to display the virtual object, the virtual object can be displayed in a predetermined space in the real space.
【００１０】請求項３に記載の発明は、請求項１または
２に記載の空間図形入力装置において、前記表示手段
は、各々入力された信号に基づいて光の透過及び非透過
を切り換え可能な左眼用光学素子及び右眼用光学素子を
備えた立体視眼鏡を含むことを特徴とする。According to a third aspect of the present invention, in the spatial graphic input device according to the first or second aspect, the display means is capable of switching light transmission and non-transmission based on each input signal. It is characterized by including stereoscopic glasses provided with an optical element for the eye and an optical element for the right eye.
【００１１】左眼用画像及び右眼用画像を切り換えて仮
想物体を表示するためには、入力された信号に基づいて
光の透過及び非透過を切り換え可能な左眼用光学素子及
び右眼用光学素子を備えた立体視眼鏡を用いることが好
ましい。これによって、立体視眼鏡では、左眼用光学素
子及び右眼用光学素子の各々が、光の透過及び未透過に
切り換えられ、実空間内の予め定めた所定空間内に表示
された実際の物体に相当する仮想物体をオペレータに容
易に認知させることができる。In order to display a virtual object by switching between the left-eye image and the right-eye image, a left-eye optical element and a right-eye optical element capable of switching light transmission and non-transmission based on an input signal. It is preferable to use stereoscopic glasses provided with an optical element. Thereby, in the stereoscopic glasses, each of the optical element for the left eye and the optical element for the right eye is switched between light transmission and non-transmission, and the actual object displayed in a predetermined space in a real space. Can be easily recognized by the operator.
【００１２】請求項４に記載の発明は、請求項１乃至請
求項３の何れか１項に記載の空間図形入力装置におい
て、オペレータの眼球位置を含む所定位置を検出する検
出手段をさらに備え、前記設定手段は前記所定位置と前
記入力された空間座標とに基づいて特定方向情報を設定
することを特徴とする。According to a fourth aspect of the present invention, there is provided the spatial graphic input device according to any one of the first to third aspects, further comprising a detecting means for detecting a predetermined position including an eyeball position of the operator, The setting means sets specific direction information based on the predetermined position and the input spatial coordinates.
【００１３】図形入力する場合、オペレータは、目視し
ながら行うことが一般的である。このため、常にオペレ
ータは入力手段を目視することになる。そこで、検出手
段によって、オペレータの眼球位置を含む所定位置を検
出することにより、オペレータの視線方向を求めること
ができる。そして、設定手段により所定位置と入力され
た空間座標とに基づいて特定方向情報を設定すなわち視
線方向を設定すれば、オペレータの視線方向を正確に特
定し、オペレータが指示した指示位置を正確に特定する
ことができ、正確に位置入力をすることができる。In general, when inputting a graphic, the operator visually performs the input. Therefore, the operator always looks at the input means. Therefore, by detecting a predetermined position including the position of the eyeball of the operator by the detection means, it is possible to obtain the direction of the line of sight of the operator. If the specific direction information is set based on the predetermined position and the input spatial coordinates by the setting means, that is, the line-of-sight direction is set, the line-of-sight direction of the operator is accurately specified, and the specified position specified by the operator is accurately specified. Can be input accurately.
【００１４】ここで、上記説明したように図形入力をす
る場合、オペレータは目視しながら行うが、その図形入
力例えば線画や面画を入力したり修正したりするときに
は、逐次その入力が正確に反映される好ましい。本発明
の空間図形入力装置では、入力された３次元の空間座標
は、生成された平面上または曲面上の座標値のみ入力が
可能となり、平面または曲面から逸脱した方向例えば奥
行き方向の入力が除外される。この平面または曲面は、
視線方向に対する入力を無視するように視線方向と交差
（直交）する平面または曲面を設定することができる。
この平面または曲面の設定を、入力手段の移動または指
示により行うことで、逐次その入力に対する視線方向の
入力誤差を無視できるようにすることができる。従っ
て、逐次生成された平面または曲面の上でのみ入力が可
能となり、リアルタイムで視線方向に対する入力誤差す
なわち奥行き方向の入力誤差を解消して、オペレータが
意図する位置で入力することができ、入力した空間座標
が視線方向でばらつくことなく入力することができる。As described above, when inputting a graphic as described above, the operator visually checks the input. However, when inputting or correcting a graphic, for example, a line drawing or a face drawing, the input is sequentially reflected accurately. Is preferred. In the spatial graphic input device according to the present invention, it is possible to input only the generated coordinate values on the plane or the curved surface, and exclude the input in the direction deviating from the plane or the curved surface, for example, the depth direction. Is done. This plane or curved surface
A plane or a curved surface that intersects (orthogonally) with the line of sight can be set so as to ignore the input for the line of sight.
By performing the setting of the plane or the curved surface by moving or instructing the input means, it is possible to sequentially ignore the input error in the line-of-sight direction with respect to the input. Therefore, the input can be performed only on a sequentially generated plane or curved surface, and the input error in the line-of-sight direction, that is, the input error in the depth direction can be eliminated in real time, and the input can be performed at the position intended by the operator. Space coordinates can be input without variation in the line of sight.
【００１５】[0015]
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態の一例を詳細に説明する。本実施の形態は、オ
ペレータ（観察者）に対して立体画像を提示しながら空
間図形入力する場合に本発明を適用したものである。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings. In the present embodiment, the present invention is applied to a case where a spatial graphic is input while presenting a stereoscopic image to an operator (observer).
【００１６】図２に示すように、本実施の形態の立体画
像表示装置１０は、暗室６０内に、表示手段としてのス
クリーン１６に画像を投影するプロジェクタ１２を備え
ている。プロジェクタ１２は、台座１３上に取り付けら
れている。なお、プロジェクタ１２は、立体表示のため
の画像を生成する制御装置１４に接続されている。プロ
ジェクタ１２とスクリーン１６との間で、プロジェクタ
１２により投影するときの光線を遮光しない位置には、
スクリーン１６側へ赤外線を照射する赤外線発信機１５
が設けられている。As shown in FIG. 2, the three-dimensional image display device 10 according to the present embodiment includes a projector 12 that projects an image on a screen 16 as display means in a dark room 60. The projector 12 is mounted on a pedestal 13. Note that the projector 12 is connected to a control device 14 that generates an image for stereoscopic display. Between the projector 12 and the screen 16, at a position where light rays when projected by the projector 12 are not blocked,
Infrared transmitter 15 that irradiates infrared light to screen 16
Is provided.
【００１７】プロジェクタ１２の投影側でスクリーン１
６より下流側にはオペレータＯＰが着座するためのシー
ト２４が位置している。シート２４は台座２６上に設け
られ、この台座２６は蛇腹２８Ａを介してモータ２８に
連結されている。モータ２８は床上を移動可能な台車２
８Ｂに固定されており、モータ２８の駆動によって、蛇
腹２８Ａが伸縮する。この蛇腹２８Ａの伸縮により、台
座２６が上下方向（図２の矢印ＵＤ方向）に移動され、
シート２４に着座したオペレータＯＰが昇降する。この
シート２４に着座したオペレータＯＰの昇降は、車種に
応じた車高の調整に用いられるものである。なお、オペ
レータＯＰの昇降では、スクリーン１６に対してオペレ
ータＯＰの位置が上下変動するため、台座２６の昇降量
を考慮することが好ましい。この場合、台座２６の昇降
量を検出する測定装置を設けることや、数値入力により
昇降量を特定できる。The screen 1 on the projection side of the projector 12
The seat 24 on which the operator OP sits is located downstream of the seat 6. The seat 24 is provided on a pedestal 26, and the pedestal 26 is connected to a motor 28 via a bellows 28A. The motor 28 is a cart 2 movable on the floor.
8B, and the bellows 28A expands and contracts by driving the motor 28. Due to the expansion and contraction of the bellows 28A, the pedestal 26 is moved in the vertical direction (the direction of the arrow UD in FIG. 2),
The operator OP sitting on the seat 24 moves up and down. The elevation of the operator OP sitting on the seat 24 is used for adjusting the vehicle height according to the type of the vehicle. When the operator OP moves up and down, the position of the operator OP moves up and down with respect to the screen 16. In this case, it is possible to provide a measuring device for detecting the amount of elevation of the pedestal 26 or to specify the amount of elevation by inputting numerical values.
【００１８】上記台車２８Ｂは、床上を所定方向（前後
方向として図２の矢印ＦＲ方向、及び左右方向として図
２の矢印ＲＬ方向）に移動可能である。この台車２８Ｂ
の移動により、スクリーン１６に対してオペレータＯＰ
の位置が変動するため、台車２８Ｂの移動量を考慮する
ことが好ましい。この場合、台車２８Ｂの移動量を検出
する測定装置を設けることや、数値入力により移動量を
特定できる。The bogie 28B is movable on the floor in a predetermined direction (the direction of arrow FR in FIG. 2 as the front-back direction and the direction of arrow RL in FIG. 2 as the left-right direction). This cart 28B
Movement of the operator OP with respect to the screen 16
Is fluctuated, it is preferable to consider the amount of movement of the cart 28B. In this case, it is possible to provide a measuring device for detecting the amount of movement of the cart 28B or to specify the amount of movement by inputting numerical values.
【００１９】オペレータＯＰは、位置座標等を入力する
ための位置入力装置１８（詳細は後述）を所持してい
る。この位置入力装置１８は本発明の入力手段として機
能する。また、オペレータＯＰの頭部には、本発明の立
体視眼鏡としての液晶シャッタ眼鏡２０が取り付けられ
ており、この液晶シャッタ眼鏡２０には本発明の検出手
段としての位置センサ２２が設けられている。位置セン
サ２２は、磁界検出センサであり、オペレータＯＰの後
方に設けられた磁界発生装置３０から発生された磁界を
検出して、位置センサ２２が位置する３次元座標及び方
向を検出するためのものである。The operator OP has a position input device 18 (details will be described later) for inputting position coordinates and the like. This position input device 18 functions as the input means of the present invention. Further, liquid crystal shutter glasses 20 as stereoscopic glasses of the present invention are attached to the head of the operator OP, and the liquid crystal shutter glasses 20 are provided with a position sensor 22 as detecting means of the present invention. . The position sensor 22 is a magnetic field detection sensor for detecting a magnetic field generated from a magnetic field generator 30 provided behind the operator OP and detecting three-dimensional coordinates and a direction in which the position sensor 22 is located. It is.
【００２０】なお、台座２６には、磁界発生装置３１が
設けられている。この磁界発生装置３１は、高精度で空
間座標を検出することが必要な空間、例えばオペレータ
ＯＰが操作可能な空間である操作空間の磁気座標を検出
するために用いられる。この磁界発生装置３１は、必要
に応じて設ければよく、必須のものではない。The pedestal 26 is provided with a magnetic field generator 31. The magnetic field generator 31 is used to detect magnetic coordinates of a space in which space coordinates need to be detected with high accuracy, for example, an operation space that is a space in which the operator OP can operate. The magnetic field generator 31 may be provided as needed, and is not essential.
【００２１】オペレータＯＰの周囲で離間した位置に
は、光学測定装置１７が設けられている。光学測定装置
１７は、ＴＶカメラ１７Ａ，１７Ｂ，１７Ｃを備えてお
り、ＴＶカメラ１７Ａ〜１７Ｃは市中７Ｄ及び台座１７
Ｅを介して床に固定されている。An optical measuring device 17 is provided at a position spaced around the operator OP. The optical measuring device 17 includes TV cameras 17A, 17B, and 17C, and the TV cameras 17A to 17C are a city 7D and a pedestal 17.
It is fixed to the floor via E.
【００２２】図３に示すように、制御装置１４は、単数
または複数のＣＰＵ３４，ＲＡＭ３６，ＲＯＭ３８、及
び入出力ポート４０を含んだマイクロコンピュータで構
成され、各々コマンドやデータ授受が可能なようにバス
４２によって接続されている。この入出力ポート４０に
は、ドライバ５５を介して赤外線発信機１５が接続さ
れ、ドライバ５７を介して光学測定装置１７が接続され
ている。また、入出力ポート４０にはドライバ４４を介
して位置入力装置１８が接続され、ドライバ４６を介し
て液晶シャッタ眼鏡２０が接続され、ドライバ４８を介
して位置センサ２２が接続されている。また、プロジェ
クタ１２は、ドライバ５０を介して入出力ポート４０に
接続されている。さらに、入出力ポート４０には、ドラ
イバ５２を介してモータ２８が接続され、ドライバ５４
を介して磁界発生装置３０が接続されている。また、入
出力ポート４０にはドライバ５６を介してキーボード３
２が接続されている。また、ＲＯＭ３８には、後述する
処理ルーチンが記憶されている。As shown in FIG. 3, the control device 14 is constituted by a microcomputer including one or more CPUs 34, a RAM 36, a ROM 38, and an input / output port 40. 42. The infrared transmitter 15 is connected to the input / output port 40 via a driver 55, and the optical measuring device 17 is connected via a driver 57. The position input device 18 is connected to the input / output port 40 via a driver 44, the liquid crystal shutter glasses 20 are connected via a driver 46, and the position sensor 22 is connected via a driver 48. The projector 12 is connected to the input / output port 40 via the driver 50. Further, the motor 28 is connected to the input / output port 40 via a driver 52.
The magnetic field generator 30 is connected via the. The keyboard 3 is connected to the input / output port 40 via the driver 56.
2 are connected. The ROM 38 stores a processing routine described later.
【００２３】また、入出力ポート４０には、記録媒体と
してのフロッピーディスク３７が挿抜可能なフロッピー
デュスクユニット（ＦＤＵ）３５が接続されている。な
お、後述する処理ルーチン等は、ＦＤＵ３５を用いてフ
ロッピーディスク３７に対して読み書き可能である。従
って、後述する処理ルーチンは、ＲＯＭ３８に記憶する
ことなく、予めフロッピーディスク３７に記録してお
き、ＦＤＵ３５を介してフロッピーディスク３７に記録
された処理プログラムを実行してもよい。また、制御装
置１４にハードディスク装置等の大容量記憶装置（図示
省略）を接続し、フロッピーディスク３７に記録された
処理プログラムを大容量記憶装置（図示省略）へ格納
（インストール）して実行するようにしてもよい。ま
た、記録媒体としては、ＣＤ−ＲＯＭ等の光ディスク
や、ＭＤ，ＭＯ等の光磁気ディスクがあり、これらを用
いるときには、上記ＦＤＵ３５に代えてまたはさらにＣ
Ｄ−ＲＯＭ装置、ＭＤ装置、ＭＯ装置等を用いればよ
い。The input / output port 40 is connected to a floppy disk unit (FDU) 35 into which a floppy disk 37 as a recording medium can be inserted and removed. The processing routine and the like described later can be read from and written to the floppy disk 37 using the FDU 35. Therefore, a processing routine to be described later may be recorded on the floppy disk 37 in advance without being stored in the ROM 38, and the processing program recorded on the floppy disk 37 via the FDU 35 may be executed. Also, a large-capacity storage device (not shown) such as a hard disk device is connected to the control device 14, and the processing program recorded on the floppy disk 37 is stored (installed) in the large-capacity storage device (not shown) and executed. It may be. As a recording medium, there is an optical disk such as a CD-ROM or a magneto-optical disk such as an MD or MO. When these are used, instead of the above-mentioned FDU 35 or C
A D-ROM device, MD device, MO device, or the like may be used.
【００２４】図４に示すように、位置入力装置１８は、
ペン型形状のボデー６２を有しており、先端部に磁界を
検出する検出部６４が取り付けられると共に、検出する
タイミングを指示するための指示部６６が取り付けられ
ている。検出部６４の先端には、オペレータＯＰによる
座標指示を容易とするために、針状の突起６４Ａが設け
られている。また、位置入力装置１８は、法線方向の指
定等のために利用することが可能なダイヤル６８を備え
ている。この位置入力装置１８は制御装置１４に接続さ
れている。As shown in FIG. 4, the position input device 18
It has a pen-shaped body 62, and a detection unit 64 for detecting a magnetic field is attached to a tip end thereof, and an instruction unit 66 for instructing detection timing is attached. A needle-like projection 64A is provided at the tip of the detection unit 64 in order to facilitate the operator OP to designate a coordinate. The position input device 18 includes a dial 68 that can be used for designating a normal direction, and the like. This position input device 18 is connected to the control device 14.
【００２５】次に、本実施の形態の作用を説明する。Next, the operation of the present embodiment will be described.
【００２６】立体画像表示装置１０に電源が投入される
と、制御装置１４において、図５の処理ルーチンが実行
される。まず、ステップ１００では立体画像表示ために
スクリーン位置設定やオペレータＯＰの視点位置設定を
含む初期設定がなされる。次のステップ１０２では実空
間内における実際の空間位置と位置センサで検出した仮
想空間となり得べき空間位置との誤差を補正するための
空間補正処理による補正行列が求められる。そして、次
のステップ１１０では、上記求めた補正行列を基にして
実際の空間位置と位置センサで検出した空間位置との誤
差が補正（空間補正）された仮想空間上に立体画像表示
がなされる。なお、このステップ１１０では、図形入力
もなされる。When the power of the stereoscopic image display device 10 is turned on, the control device 14 executes the processing routine of FIG. First, in step 100, initial settings including a screen position setting and a viewpoint position setting of the operator OP are performed for displaying a stereoscopic image. In the next step 102, a correction matrix by a space correction process for correcting an error between an actual space position in the real space and a space position to be a virtual space detected by the position sensor is obtained. Then, in the next step 110, a stereoscopic image is displayed on the virtual space in which the error between the actual spatial position and the spatial position detected by the position sensor is corrected (spatial correction) based on the obtained correction matrix. . In this step 110, a figure is also input.
【００２７】上記ステップ１００ではスクリーン１６上
に表示する画像の３次元位置を正確に把握するためのス
クリーン位置設定及びオペレータＯＰの実際の視点位置
を定めるための視点位置設定を含む初期設定がなされ
る。この初期設定は、スクリーン１６の実空間上の位置
を設定する。例えば、スクリーン１６は固定されている
ため、スクリーン１６を実空間の基準位置とするように
座標系を設定する。オペレータＯＰの位置は、上記のよ
うに、台車の移動や昇降により変動するため、標準的な
オペレータＯＰが着座したことを想定して設定する。In step 100, initial settings including a screen position setting for accurately grasping the three-dimensional position of the image displayed on the screen 16 and a viewpoint position setting for determining the actual viewpoint position of the operator OP are performed. . This initial setting sets the position of the screen 16 in the real space. For example, since the screen 16 is fixed, a coordinate system is set so that the screen 16 is used as a reference position in the real space. As described above, since the position of the operator OP changes due to the movement or the elevation of the bogie, the position is set on the assumption that the standard operator OP is seated.
【００２８】上記の視点位置設定処理の詳細を説明す
る。図６に示すように、視点位置設定処理では、ステッ
プ１４０においてスクリーン１６上に十字カーソル８１
（図７）を表示させ、次のステップ１４２においてキー
ボード３２の入力に応じて十字カーソル８０を移動させ
る。ステップ１４２では、オペレータＯＰは、スクリー
ン１６上に写し出された自己の左右の瞳像８３Ｌ，８３
Ｒ上に各々十字カーソル８１を移動させ（図７）、座標
読み取り指示を行う。次のステップ１４４では、自己の
左右の瞳像８３Ｌ，８３Ｒ上に合致された十字カーソル
８１の位置を各々読み取り、次のステップ１４６におい
て、視点位置を演算する。このステップ１４４で読みと
った座標値から正視状態（略無限遠を目視した状態）の
瞳孔間距離ＰＤを求めることができる。なお、ステップ
１４６で求める視点位置は、オペレータＯＰの頭部に位
置する位置センサ２２からの標準的な頭部形状から定ま
る距離で求めることができる。また、ペン型の位置入力
装置１８の先端部の検出部６４をオペレータＯＰの眼球
付近に位置させて入力した座標値から頭部形状を求め、
その頭部形状から定まる距離を採用してもよい。The details of the above viewpoint position setting processing will be described. As shown in FIG. 6, in the viewpoint position setting process, a cross cursor 81 is displayed on the screen 16 in step 140.
(FIG. 7) is displayed, and in the next step 142, the cross cursor 80 is moved in accordance with the input from the keyboard 32. In step 142, the operator OP makes his or her left and right pupil images 83L and 83 projected on the screen 16.
The cross cursors 81 are moved over R (FIG. 7), and a coordinate reading instruction is issued. In the next step 144, the positions of the cross cursor 81 matched on the left and right pupil images 83L and 83R are read, and in the next step 146, the viewpoint position is calculated. From the coordinate values read in step 144, the interpupillary distance PD in a normal viewing state (a state in which substantially infinity is viewed) can be obtained. Note that the viewpoint position determined in step 146 can be determined by a distance determined from a standard head shape from the position sensor 22 located at the head of the operator OP. Further, the detection unit 64 at the tip of the pen-type position input device 18 is positioned near the eyeball of the operator OP, and the head shape is obtained from the input coordinate values,
A distance determined from the shape of the head may be adopted.
【００２９】なお、上記実施の形態では、スクリーン１
６上に写し出された自己の瞳像に十字カーソルを合わせ
込む場合を説明したが、スクリーン１６上に自己の瞳が
写し出されない場合には、オペレータＯＰとスクリーン
１６との間にハーフミラー等の反射部材を設けて写し出
すようにすればよい。In the above embodiment, the screen 1
Although the case where the cross cursor is aligned with the image of the pupil projected on the screen 6 has been described, when the pupil of the image is not projected on the screen 16, a half mirror or the like is provided between the operator OP and the screen 16. What is necessary is just to provide a reflection member and to make it project.
【００３０】上記では、スクリーンを用いて視点位置を
求めた場合を説明したが、眼球運動を直接検出して視線
方向を求めることもできる。この眼球運動を直接検出す
るものとしては、瞳の回転運動や角膜の反射率変化から
眼球の回転運動を検出するアイトラッカ（図示省略）が
ある。この場合、この図示しないアイトラッカからの出
力信号が制御装置１４に入力するようにすればよい。ま
た、このアイトラッカは液晶シャッタ眼鏡２０に取り付
けることが好ましい。In the above description, the case where the viewpoint position is obtained using the screen has been described. However, it is also possible to obtain the direction of the line of sight by directly detecting the eyeball movement. An eye tracker (not shown) for directly detecting the eye movement is an eye tracker (not shown) for detecting the rotation movement of the eye from the rotation movement of the pupil or the change in the reflectance of the cornea. In this case, an output signal from the eye tracker (not shown) may be input to the control device 14. It is preferable that the eye tracker is attached to the liquid crystal shutter glasses 20.
【００３１】次に、ステップ１０２（図５）の詳細を説
明する。このステップ１０２では、実空間内の空間補正
処理をする。実空間とは、磁界発生装置３０（及び３
１）による位置検出可能な空間を少なくとも含むオペレ
ータＯＰ周辺の領域をいう。Next, the details of step 102 (FIG. 5) will be described. In this step 102, space correction processing in the real space is performed. The real space is the magnetic field generator 30 (and 3)
The area around the operator OP including at least the space where the position can be detected according to 1).
【００３２】図５のステップ１０２では、図８の空間補
正処理が実行される。まず、図８のステップ１１２にお
いて、図示しない格子プレートを実空間内に設置する。
この格子プレートは、透明板に一定間隔の目盛が付与さ
れており、光学測定装置１７で計測が可能に構成されて
いる。例えば、透明板に直交する方向にすなわち格子状
に所定間隔ｄで打点する。そして、スクリーン１６とオ
ペレータＯＰとの間の距離が計測できる方向に設置す
る。In step 102 of FIG. 5, the space correction process of FIG. 8 is performed. First, in step 112 of FIG. 8, a lattice plate (not shown) is set in a real space.
This grating plate is provided with graduations at regular intervals on a transparent plate, and is configured to be able to measure by the optical measuring device 17. For example, the dots are formed at a predetermined interval d in a direction perpendicular to the transparent plate, that is, in a lattice shape. And it installs in the direction which can measure the distance between the screen 16 and the operator OP.
【００３３】次にステップ１１４では位置入力装置１８
を用いて、格子プレート上で複数の点を指示（指示部６
６により検出を指示）する。次のステップ１１６では光
学測定装置１７のＴＶカメラ１７Ａ〜１７Ｃにより位置
入力装置１８（例えば先端部）を撮像することにより、
光学的位置検出を行う。次のステップ１１８では、ＴＶ
カメラ１７Ａ〜１７Ｃにより撮像した画像を画像処理し
て位置入力装置１８の先端部から空間座標値（光学座標
値）を求める。次のステップ１２０では、位置入力装置
１８の指示部６６による指示で磁界を検出することによ
り、指示した先端部の座標値を入力する。これにより、
磁界検出による座標値を算出することができる。Next, at step 114, the position input device 18
Are used to indicate a plurality of points on the grid plate (indicating section 6
6 to instruct detection). In the next step 116, the position input device 18 (for example, the tip) is imaged by the TV cameras 17A to 17C of the optical measurement device 17,
Perform optical position detection. In the next step 118, the TV
Images captured by the cameras 17A to 17C are image-processed to obtain spatial coordinate values (optical coordinate values) from the tip of the position input device 18. In the next step 120, the coordinate value of the pointed end point is input by detecting the magnetic field according to the instruction from the instruction unit 66 of the position input device 18. This allows
Coordinate values can be calculated by magnetic field detection.
【００３４】上記ステップ１１２乃至ステップ１２０の
処理は、全体空間である３次元空間を網羅するように、
格子プレートを設置して繰り返すことが望ましい。な
お、光学的な検出は、複数のＴＶカメラによって画像処
理により求めることができる場合には、省略が可能であ
る。The processing of the above steps 112 to 120 covers the three-dimensional space which is the entire space.
It is desirable to place and repeat the grid plate. The optical detection can be omitted if it can be obtained by image processing using a plurality of TV cameras.
【００３５】上記光学的に実空間の座標導出と、磁界検
出により座標導出とが終了すると、次のステップ１２２
において、実空間の座標値（光学座標値）と、磁界検出
の座標値（磁気座標値）とを用いて、これらの対応関係
を求める。すなわち、磁気座標値を光学座標値に変換す
る４×４行列を求める。この４×４行列は、複数の対応
関係から最小二乗法によって求めることができる。４×
４行列を求めた後には、各行列成分を正規化し、また直
交化し、補正行列とする。なお、行列成分の正規化や直
交化は省略することもできる。When the derivation of the coordinates in the optically real space and the derivation of the coordinates by detecting the magnetic field are completed, the next step 122
In step (1), the correspondence between these coordinates is obtained using the coordinate values (optical coordinate values) of the real space and the coordinate values (magnetic coordinate values) of the magnetic field detection. That is, a 4 × 4 matrix for converting magnetic coordinate values into optical coordinate values is obtained. This 4 × 4 matrix can be obtained by the least square method from a plurality of correspondences. 4x
After obtaining the four matrices, each matrix component is normalized and orthogonalized to obtain a correction matrix. Note that normalization and orthogonalization of matrix components can be omitted.
【００３６】なお、上記補正行列は、実空間を複数の空
間に分割したり分類したりして、各空間毎に補正行列を
求めることができる。この場合、隣合う空間や重複する
空間についてお互いの補正行列を補間したり補正したり
する緩衝領域を設定することが好ましい。すなわち、実
空間内において複数の空間が重複したり隣り合ったりす
るときに、座標変換による座標値が不連続になることが
ある。The correction matrix can be obtained by dividing or classifying a real space into a plurality of spaces, and obtaining a correction matrix for each space. In this case, it is preferable to set a buffer region for interpolating and correcting the correction matrices of adjacent spaces or overlapping spaces. That is, when a plurality of spaces overlap or are adjacent to each other in the real space, the coordinate values obtained by the coordinate conversion may be discontinuous.
【００３７】図９に示すように、実空間内には、仮想物
体を表示可能な全体空間８０、視点空間８４及び操作空
間８２が含まれている。視点空間８４は視点の移動範囲
すなわち頭部の移動範囲を網羅した空間であり、操作空
間８２はオペレータＯＰの操作が可能な範囲すなわち腕
の旋回や上下移動範囲を網羅した空間である。このよう
な空間で、立体画像を表示させる場合、オペレータＯＰ
が目視するときの視点が移動したり、立体画像上に描画
等を行うためにオペレータＯＰの例えば手による操作が
移動したりする。これらの移動はその許容範囲内におい
て大きさ及びその移動量や精度が異なるものとなる。こ
のため、実空間と、磁界検出による検出位置とを一義的
に対応させたのでは、誤差が多いことがある。そこで、
本実施の形態では、実空間における実際の空間位置と位
置センサで検出した仮想空間となり得べき空間位置との
対応について、複数の空間を設定しその空間毎に補正す
ることが好ましい。As shown in FIG. 9, the real space includes an entire space 80 in which a virtual object can be displayed, a viewpoint space 84, and an operation space 82. The viewpoint space 84 is a space that covers the moving range of the viewpoint, that is, the moving range of the head, and the operation space 82 is a space that covers the range in which the operator OP can operate, that is, the turning and vertical movement of the arm. When displaying a stereoscopic image in such a space, the operator OP
Of the operator OP, for example, a hand operation of the operator OP to perform drawing or the like on the stereoscopic image moves. These movements differ in size, movement amount and accuracy within the allowable range. For this reason, if the real space is uniquely associated with the position detected by the magnetic field detection, there may be many errors. Therefore,
In the present embodiment, it is preferable to set a plurality of spaces and correct each space for the correspondence between the actual space position in the real space and the space position that can be a virtual space detected by the position sensor.
【００３８】また、上記空間補正処理では、格子プレー
トを用いることなく、空間フレーム座標データを予め用
意し、そのデータによりフレームを表示することによっ
ても可能である。例えば、空間フレーム座標データは、
３次元空間上にて所定間隔ｄの座標値をＸＹＺの各方向
に所定個（例えばｍ個）有する座標データとして、各座
標点を直線で結ぶことにより、辺の長さｄの所定の大き
さの小立方体が積み重ねられた辺の長さｍｄの立方体を
構成することができる。この空間フレーム座標データに
よるフレーム表示は、長さｄの間隔で糸やレーザ光線
（図示省略）をＸＹＺの各方向に直交するように配置す
ることにより形成することができる。In the space correction processing, it is also possible to prepare space frame coordinate data in advance and display a frame based on the data without using a grid plate. For example, spatial frame coordinate data is
As coordinate data having a predetermined number (for example, m) of coordinate values of a predetermined interval d in each direction of XYZ in a three-dimensional space, by connecting each coordinate point with a straight line, a predetermined size of a side length d is obtained. Can be configured as a cube having a side length md in which the small cubes are stacked. The frame display based on the spatial frame coordinate data can be formed by arranging yarns and laser beams (not shown) at intervals of the length d so as to be orthogonal to the XYZ directions.
【００３９】この場合、表示されたフレームの交点座標
を入力する、すなわち、位置入力装置１８の先端部の検
出部６４を表示されたフレームの複数の交点に位置させ
て、各々で指示部６６により検出を指示して磁界を検出
することにより、表示されたフレームの交点座標を入力
することができる。In this case, the coordinates of the intersections of the displayed frames are input, that is, the detecting section 64 at the tip of the position input device 18 is positioned at a plurality of intersections of the displayed frames, and each of them is designated by the instruction section 66. By instructing the detection and detecting the magnetic field, the coordinates of the intersection of the displayed frame can be input.
【００４０】次に、ステップ１１０（図５）の詳細を説
明する。このステップ１１０では、上記補正行列を用い
て得た空間座標により立体画像を表示すると共に、図形
入力による画像を表示する。Next, the details of step 110 (FIG. 5) will be described. In step 110, a three-dimensional image is displayed based on the spatial coordinates obtained using the correction matrix, and an image based on graphic input is displayed.
【００４１】図１０を参照して、まず立体画像の表示に
ついて簡単に説明する。瞳孔間距離ＰＤのオペレータＯ
Ｐは、左眼の視点Ｌ、及び右眼の視点Ｒからスクリーン
１６を目視する。このスクリーン１６上には、画像デー
タによる画像が表示される。この画像データから瞳孔間
距離ＰＤ及びスクリーン１６までの距離が考慮されて、
視差を含んだ左眼用画像ＧＬ及び右眼用画像ＧＲが生成
され、左眼用画像ＧＬ及び右眼用画像ＧＲが交互に表示
される。瞳孔間距離ＰＤは、予め計測してもよく、ま
た、標準的な数値を用いても良い。Referring to FIG. 10, first, the display of a stereoscopic image will be briefly described. Operator O of interpupillary distance PD
P views the screen 16 from the viewpoint L of the left eye and the viewpoint R of the right eye. An image based on the image data is displayed on the screen 16. In consideration of the distance between the pupil distance PD and the screen 16 from this image data,
A left-eye image GL and a right-eye image GR including parallax are generated, and the left-eye image GL and the right-eye image GR are displayed alternately. The interpupillary distance PD may be measured in advance, or a standard numerical value may be used.
【００４２】上記の左眼用画像ＧＬ及び右眼用画像ＧＲ
の表示の切り換えに同期して、液晶シャッタ眼鏡２０の
左眼部と右眼部との光の透過が切り換えられる。これに
よって、左眼により目視される左眼用画像ＧＬまでの領
域と、右眼により目視される右眼用画像ＧＲまでの領域
との重複領域が仮想物体を表示できる仮想空間Ｖｒとな
り、左眼用画像ＧＬ及び右眼用画像ＧＲの表示による仮
想物体が立体表示される。The left-eye image GL and the right-eye image GR described above.
The transmission of light between the left eye and the right eye of the liquid crystal shutter glasses 20 is switched in synchronization with the switching of the display. As a result, the overlapping area of the region up to the left-eye image GL viewed by the left eye and the region up to the right-eye image GR viewed by the right eye becomes a virtual space Vr capable of displaying a virtual object, and the left eye The virtual object is stereoscopically displayed by displaying the image for use GL and the image for right eye GR.
【００４３】なお、立体画像の表示は、スクリーン１６
上に表示する左眼用画像ＧＬ及び右眼用画像ＧＲの重複
領域を変化させることで、左眼により目視される左眼用
画像ＧＬまでの領域と、右眼により目視される右眼用画
像ＧＲまでの領域との重複領域を変化させることがで
き、仮想物体を表示できる仮想空間Ｖｒの大きさを変更
することができる。The display of the three-dimensional image is performed on the screen 16.
By changing the overlapping area of the left-eye image GL and the right-eye image GR displayed above, the area up to the left-eye image GL viewed by the left eye and the right-eye image viewed by the right eye The overlapping area with the area up to GR can be changed, and the size of the virtual space Vr in which the virtual object can be displayed can be changed.
【００４４】図５のステップ１１０の処理では、図１に
示す立体画像表示処理ルーチンが実行される。なお、本
ルーチンは、仮想立体空間内に立体画像を表示させると
共に位置入力装置１８により線画等の描画修正を行うも
のである。まず、ステップ２００において仮想空間上に
仮想物体を表示するための画像データを読み取り、次の
ステップ２０２において立体画像を表示する。このステ
ップ２０２では、位置センサ２２を読み取ってオペレー
タＯＰの位置を読み取って位置センサ２２の座標値（磁
気座標値）を実空間の座標値に変換し、変換された座標
値を元にして画像データを補正した後に、立体画像を表
示する。In the process of step 110 in FIG. 5, the stereoscopic image display processing routine shown in FIG. 1 is executed. In this routine, a stereoscopic image is displayed in the virtual stereoscopic space, and the position input device 18 performs drawing correction such as a line drawing. First, in step 200, image data for displaying a virtual object in a virtual space is read, and in the next step 202, a stereoscopic image is displayed. In this step 202, the position sensor 22 is read, the position of the operator OP is read, the coordinate values (magnetic coordinate values) of the position sensor 22 are converted into the coordinate values of the real space, and the image data is converted based on the converted coordinate values. After the correction, the stereoscopic image is displayed.
【００４５】次のステップ２０４では、位置入力装置１
８５により線をドラッグ等のようにつかんだか否かを判
別することによって図形入力の開始か否かを判断し、図
形入力が開始（ステップ２０４で肯定）されるまで、ス
テップ２０２へ戻り画像表示を繰り返す。図形入力が開
始（ステップ２０４で肯定）されると、ステップ２０６
へ進み、位置入力装置１８により指示されている磁気座
標を読み取り、次のステップ２０８において位置入力装
置１８の座標値（磁気座標値）を実空間の座標値に変換
する。なお、ステップ２０６では、位置センサ２２を読
み取ってオペレータＯＰの位置を読み取る。次のステッ
プ２１０では、読み取った位置センサ２２の座標値（磁
気座標値）から視点位置を演算し、次のステップ２１２
において視線方向を設定する。このステップ２１２の視
線方向の設定は、本発明の設定手段に相当する。In the next step 204, the position input device 1
It is determined whether or not the graphic input has been started by determining whether or not the line has been grasped by dragging or the like at 85, and the flow returns to step 202 to display the image until the graphic input is started (Yes at step 204). repeat. When graphic input is started (Yes in step 204), step 206
Then, the magnetic coordinates designated by the position input device 18 are read, and in the next step 208, the coordinate values (magnetic coordinate values) of the position input device 18 are converted into the coordinate values in the real space. In step 206, the position sensor 22 is read to read the position of the operator OP. In the next step 210, the viewpoint position is calculated from the read coordinate values (magnetic coordinate values) of the position sensor 22, and in the next step 212
Sets the line of sight direction. The setting of the line of sight in step 212 corresponds to the setting means of the present invention.
【００４６】図１１に示すように、上記の視線方向は、
位置入力装置１８により指示されている磁気座標点Ｐ１
と、視点位置Ｐ２とを通過する直線９０に沿う方向を方
向ベクトルとするものである。この場合、視点位置は、
右眼位置または左眼位置、もしくは右眼位置及び左眼位
置で定まる所定位置（例えば中心位置）で定める。As shown in FIG. 11, the above line-of-sight direction is
The magnetic coordinate point P1 specified by the position input device 18
And a direction along a straight line 90 passing through the viewpoint position P2 is defined as a direction vector. In this case, the viewpoint position is
The position is determined by a right eye position or a left eye position, or a predetermined position (for example, a center position) determined by the right eye position and the left eye position.
【００４７】次のステップ２１４では、入力平面９２を
生成する。この入力平面９２は、図１１に示すように、
直線９０を法線とすると共に、位置入力装置１８で指示
した座標点Ｐ１を通過する平面を入力平面９２に設定す
る。このステップ２１４の入力平面の設定は、本発明の
生成手段に相当する。In the next step 214, the input plane 92 is generated. This input plane 92, as shown in FIG.
The straight line 90 is set as a normal line, and a plane passing through the coordinate point P1 specified by the position input device 18 is set as an input plane 92. The setting of the input plane in step 214 corresponds to the generating means of the present invention.
【００４８】次のステップ２１６では、上記ステップ２
１４で設定した入力平面９２により、入力する座標を制
限する。すなわち、空間座標は、３次元的であるため、
オペレータＯＰが目視している位置であっても、奥行き
方向にずれていることがある。このため、本実施の形態
では、空間座標を入力平面９２に投影し、その入力平面
９２上における座標のみ入力可能としている。このステ
ップ２１６の座標変換は、本発明の変換手段に相当す
る。そして、次のステップ２１８で座標を出力する。こ
のステップ２１８では、出力した座標に伴って図形を変
形する処理も行う。次のステップ２２０では、オペレー
タＯＰの指示により図形入力が終了したか否かを判断
し、否定されたときは、ステップ２０６へ戻り、肯定さ
れたときは本ルーチンを終了する。In the next step 216, step 2
The input coordinates are restricted by the input plane 92 set in step S14. That is, since the spatial coordinates are three-dimensional,
Even in the position where the operator OP is watching, the position may be shifted in the depth direction. For this reason, in the present embodiment, the spatial coordinates are projected on the input plane 92, and only the coordinates on the input plane 92 can be input. The coordinate conversion in step 216 corresponds to the conversion means of the present invention. Then, in the next step 218, the coordinates are output. In this step 218, processing for deforming the figure according to the output coordinates is also performed. In the next step 220, it is determined whether or not the graphic input has been completed according to the instruction of the operator OP. If the result is negative, the process returns to step 206, and if the result is affirmative, this routine ends.
【００４９】従って、図形入力処理中は、オペレータＯ
Ｐの座標入力位置を通過する視線方向を軸として交差
（直交）する入力平面での入力に制限し、奥行き方向の
入力を無視するように図形入力している。このため、図
形入力処理中に、オペレータＯＰの視点や視線方向が変
更された場合であっても、その変更に応じた入力平面が
設定され、オペレータが意図する位置で入力することが
でき、入力した空間座標が視線方向でばらつくことなく
入力することができる。Therefore, during the graphic input processing, the operator O
Input is restricted to an input plane that intersects (orthogonally) with a line of sight passing through the coordinate input position of P as an axis, and graphic input is performed such that inputs in the depth direction are ignored. For this reason, even if the viewpoint or the line-of-sight direction of the operator OP is changed during the graphic input processing, an input plane corresponding to the change is set, and the input can be performed at a position intended by the operator. The input spatial coordinates can be input without variation in the viewing direction.
【００５０】ところで、オペレータによる座標入力で
は、オペレータＯＰの視線方向に交差（直交）するの入
力座標成分に比べて視線方向の入力座標成分が、誤差が
大きいことが知られている。これは、オペレータＯＰが
所望の入力位置を指示した場合であっても、視線方向の
入力座標成分が意図した位置よりずれて入力される場合
があることを意味している。これによって、奥行き方向
にずれた入力となることがあり、入力した位置が視線方
向でばらついて入力される場合がある。本実施の形態で
は、上記のように入力を入力平面で制限し、奥行き方向
の入力を無視するように図形入力しているので、奥行き
方向の入力誤差を解消して、オペレータが意図する位置
で入力することができる。Incidentally, it is known that in the coordinate input by the operator, the input coordinate component in the line of sight has a larger error than the input coordinate component intersecting (orthogonal) with the line of sight of the operator OP. This means that, even when the operator OP indicates a desired input position, the input coordinate component in the line-of-sight direction may be input with a deviation from the intended position. As a result, the input may be shifted in the depth direction, and the input position may vary in the line of sight and may be input. In the present embodiment, the input is limited by the input plane as described above, and the graphic input is performed so as to ignore the input in the depth direction, so that the input error in the depth direction is eliminated, and the input is performed at the position intended by the operator. Can be entered.
【００５１】また、本実施の形態では、位置入力装置１
８により指示された位置（磁気座標点Ｐ１）と、視線方
向（視点位置Ｐ２を通過する直線９０に沿う方向）とに
より入力平面９２を設定するので、逐次その入力に対す
る視線方向の入力誤差を無視できるようにすることがで
きる。従って、逐次生成された平面または曲面の上での
み入力が可能となり、リアルタイムで視線方向に対する
入力誤差すなわち奥行き方向の入力誤差を解消して、オ
ペレータが意図する位置で入力することができ、入力し
た空間座標が視線方向でばらつくことなく入力すること
ができる。In this embodiment, the position input device 1
Since the input plane 92 is set based on the position (magnetic coordinate point P1) designated by 8 and the line of sight direction (the direction along the straight line 90 passing through the viewpoint position P2), the input error of the line of sight to the input is sequentially ignored. You can do it. Therefore, the input can be performed only on a sequentially generated plane or curved surface, and the input error in the line-of-sight direction, that is, the input error in the depth direction can be eliminated in real time, and the input can be performed at the position intended by the operator. Space coordinates can be input without variation in the line of sight.
【００５２】次に、上記処理に従った入力平面９２にお
ける図形の修正を説明する。図１２に示すように、オペ
レータＯＰの前方には、仮想物体ＶＭが表示されてい
る。オペレータの指示により位置入力装置１８で仮想物
体ＶＭを構成するフレーム線９４上の座標点Ｐ１が指示
される。また、位置センサ２２によりオペレータＯＰの
位置が読み取られ、視点位置が演算されて、視点位置Ｐ
２と、座標点Ｐ１とにより視線方向（図１１の直線９
０）が設定される。そして、視線方向を法線としかつ、
座標点Ｐ１を通過する入力平面９２が設定される。これ
により、奥行き方向の入力を無視するように入力でき、
視線方向（奥行き方向）の入力誤差を解消して、オペレ
ータが意図する位置で入力することができる。すなわ
ち、入力平面９２上における方向（図１２の矢印Ｘ方向
及び逆方向と、図１２の矢印Ｙ方向及び逆方向）のみ入
力が可能となり、奥行き方向（図１２の矢印Ｚ方向及び
逆方向）の入力が制限される。これによって、視線方向
にばらつきのない入力が可能となる。Next, the correction of a figure on the input plane 92 according to the above processing will be described. As shown in FIG. 12, a virtual object VM is displayed in front of the operator OP. The coordinate point P1 on the frame line 94 constituting the virtual object VM is indicated by the position input device 18 according to the instruction of the operator. Further, the position of the operator OP is read by the position sensor 22, the viewpoint position is calculated, and the viewpoint position P is calculated.
2 and the coordinate point P1, the line-of-sight direction (straight line 9 in FIG. 11).
0) is set. And the line of sight is the normal line, and
An input plane 92 passing through the coordinate point P1 is set. This allows you to ignore the input in the depth direction,
It is possible to eliminate an input error in the line of sight (depth direction) and input at a position intended by the operator. That is, it is possible to input only the directions on the input plane 92 (the direction of the arrow X and the opposite direction in FIG. 12 and the direction of the arrow Y and the opposite direction in FIG. 12), and the depth direction (the direction of the arrow Z and the opposite direction in FIG. 12). Input is restricted. Thereby, input without variation in the line of sight becomes possible.
【００５３】次に、オペレータＯＰは、仮想物体ＶＭを
構成するフレーム線９４を指示しながら移動させ、フレ
ーム線９４を変形させ、変形フレーム線９４Ａを得る
（表示される）。この場合、位置入力装置１８の移動に
より視線方向（図１１の直線９０）が変更されるが、視
点位置Ｐ２と、移動された座標点とにより新規の視線方
向が設定され、その視線方向を法線としかつ、移動され
た座標点を通過する新規の入力平面が設定される。これ
により、位置入力装置１８の移動の移動先での奥行き方
向の入力を無視するように入力でき、視線方向（奥行き
方向）の入力誤差を解消して、オペレータが意図する位
置で入力することができる。このとき、変形フレーム線
９４Ａは、位置入力装置１８の移動の移動先で入力され
た視線方向（奥行き方向）の入力誤差が解消されている
位置座標を用いて補間処理等により求めることができ
る。Next, the operator OP moves the frame line 94 constituting the virtual object VM while pointing it, and deforms the frame line 94 to obtain a deformed frame line 94A (displayed). In this case, the line-of-sight direction (the straight line 90 in FIG. 11) is changed by the movement of the position input device 18, but a new line-of-sight direction is set based on the viewpoint position P2 and the moved coordinate point. A new input plane is set as a line and passing through the moved coordinate point. As a result, the input in the depth direction at the destination of the movement of the position input device 18 can be ignored so that the input error in the line of sight (the depth direction) can be eliminated and the input can be performed at the position intended by the operator. it can. At this time, the deformed frame line 94A can be obtained by an interpolation process or the like using the position coordinates in which the input error in the line-of-sight direction (depth direction) input at the destination of the movement of the position input device 18 has been eliminated.
【００５４】さらにオペレータＯＰは、フレーム線９４
を変形させ、変形フレーム線９４Ｂを得て、修正を完了
とする。この場合も上記と同様に、位置入力装置１８の
移動により視線方向は変更されるが、視点位置Ｐ２と、
移動された座標点とにより設定された視線方向を法線と
しかつ、移動された座標点を通過する新規の入力平面が
設定される。これにより、位置入力装置１８の移動の移
動先での奥行き方向の入力を無視するように入力でき、
視線方向（奥行き方向）の入力誤差を解消して、オペレ
ータが意図する位置で入力することができる。Further, the operator OP sets the frame line 94
Is deformed to obtain a deformed frame line 94B, and the correction is completed. In this case as well, the line-of-sight direction is changed by the movement of the position input device 18 in the same manner as described above.
A new input plane that sets the line of sight set by the moved coordinate point as a normal line and passes through the moved coordinate point is set. Thereby, the input in the depth direction at the destination of the movement of the position input device 18 can be input so as to be ignored,
It is possible to eliminate an input error in the line of sight (depth direction) and input at a position intended by the operator.
【００５５】このように、位置入力装置１８の移動によ
り視線方向が変化する場合であっても、リアルタイムで
入力平面が生成され、視線方向（奥行き方向）の入力を
無視するように入力でき、視線方向（奥行き方向）の入
力誤差を解消して、オペレータが意図する位置で視線方
向にばらつきのない入力をすることができる。As described above, even when the direction of the line of sight changes due to the movement of the position input device 18, an input plane is generated in real time, and the input of the direction of the line of sight (depth direction) can be ignored. An input error in the direction (depth direction) can be eliminated, and an input can be made at a position intended by the operator without variation in the line of sight.
【００５６】なお、上記実施の形態では、リアルタイム
で入力平面を生成し、逐次視線方向（奥行き方向）の入
力を無視するようにしたが、本発明はこれに限定される
ものではなく、所定時間毎に平面を生成したり基準平面
について上記処理を行っても良い。例えば、フレーム線
９４は、最初の入力平面９２を基準としてこの平面上で
のみ移動させるようにしてもよい。このようにすると、
変形フレーム線９４Ａ，９２Ｂは入力平面９２上に存在
することになる。この場合にも、入力平面９２上におけ
る方向（図１２の矢印Ｘ方向及び逆方向と、図１２の矢
印Ｙ方向及び逆方向）のみ入力が可能となり、奥行き方
向（図１２の矢印Ｚ方向及び逆方向）の入力が制限され
る。これによって、視線方向にばらつきのない入力が可
能となる。In the above-described embodiment, the input plane is generated in real time, and the input in the line-of-sight direction (depth direction) is ignored sequentially. However, the present invention is not limited to this. A plane may be generated every time, or the above processing may be performed on a reference plane. For example, the frame line 94 may be moved only on the first input plane 92 with reference to the plane. This way,
The deformed frame lines 94A and 92B will be on the input plane 92. Also in this case, it is possible to input only in the direction on the input plane 92 (the direction of the arrow X and the reverse direction in FIG. 12 and the direction of the arrow Y and the reverse direction in FIG. 12), and the depth direction (the direction of the arrow Z and the reverse direction in FIG. 12). Direction) is restricted. Thereby, input without variation in the line of sight becomes possible.
【００５７】このように、本実施の形態では、座標入力
を、視線方向を法線とする平面上でのみ可能すなわち入
力平面上の座標成分のみ入力を可能としたため、奥行き
方向にぶれやばらつきが無く、安定して入力することが
できる。これによって、操作精度を向上させることがで
きる。As described above, in the present embodiment, coordinate input can be performed only on a plane whose normal is the line of sight, that is, only a coordinate component on the input plane can be input. There is no input and it can be input stably. Thereby, the operation accuracy can be improved.
【００５８】なお、上記実施の形態では、位置入力装置
により指示した座標点を通過する平面を入力平面とした
場合を説明したが、本発明はこれに限定されるものでは
なく、予め定めた位置を通過する平面を入力平面として
定めてもよい。また、視線方向を法線とする平面を入力
平面として定めたが、本発明は、これに限定されるもの
ではなく、視線方向から任意の角度を有する方向を法線
とする平面を入力平面として定めても良い。In the above embodiment, the case where the plane passing through the coordinate point designated by the position input device is used as the input plane has been described. However, the present invention is not limited to this. May be defined as an input plane. In addition, although the plane having the line of sight as the normal is defined as the input plane, the present invention is not limited to this, and the plane having the direction having an arbitrary angle from the line of sight as the normal is set as the input plane. May be determined.
【００５９】また、上記実施の形態では、視線方向を求
めてその視線方向を用いた場合を説明したが、本発明は
これに限定されるものではなく、オペレータが任意に設
定した方向を用いてもよい。Further, in the above-described embodiment, a case has been described in which the line-of-sight direction is obtained and the line-of-sight direction is used. However, the present invention is not limited to this. Is also good.
【００６０】[0060]
【発明の効果】以上説明したように本発明によれば、空
間座標と特定方向情報とにより生成された平面または曲
面の上でのみ入力が可能となり、視線方向に対する入力
誤差すなわち奥行き方向の入力誤差が解消され、オペレ
ータが意図する位置の空間座標、すなわち、奥行き方向
に意図する位置からずれた位置となることなく入力する
ことができ、入力した空間座標が視線方向でばらつくこ
となく入力することができる、という効果がある。As described above, according to the present invention, an input can be made only on a plane or a curved surface generated by spatial coordinates and specific direction information, and an input error with respect to the line of sight, that is, an input error in the depth direction. Is resolved, and the spatial coordinates of the position intended by the operator can be input without being shifted from the position intended in the depth direction, and the input spatial coordinates can be input without variation in the line of sight. There is an effect that it can be done.
【００６１】また、オペレータの眼球位置を含む所定位
置を検出することにより、オペレータの視線方向を求め
ることができるので、設定手段により所定位置と入力さ
れた空間座標とに基づいて特定方向情報を設定すなわち
視線方向を設定すれば、オペレータの視線方向を正確に
特定し、オペレータが指示した指示位置を正確に特定す
ることができ、正確に位置入力をすることができる、と
いう効果がある。The direction of the operator's line of sight can be determined by detecting the predetermined position including the position of the eyeball of the operator. Therefore, the specific direction information is set by the setting means based on the predetermined position and the input spatial coordinates. In other words, setting the line-of-sight direction has the effect of accurately specifying the line-of-sight direction of the operator, accurately specifying the pointed position specified by the operator, and enabling accurate position input.
【図１】本発明の実施の形態にかかる立体画像表示の処
理の流れを示すフローチャートである。FIG. 1 is a flowchart illustrating a flow of a stereoscopic image display process according to an embodiment of the present invention.
【図２】本実施の形態にかかる立体画像表示装置の概略
構成を示すブロック図である。FIG. 2 is a block diagram illustrating a schematic configuration of a stereoscopic image display device according to the present embodiment.
【図３】本実施の形態にかかる立体画像表示装置の制御
装置の概略構成を示すブロック図である。FIG. 3 is a block diagram illustrating a schematic configuration of a control device of the stereoscopic image display device according to the present embodiment.
【図４】位置入力装置の概略構成を示すイメージ図であ
る。FIG. 4 is an image diagram showing a schematic configuration of a position input device.
【図５】立体画像表示装置で立体画像を表示させる処理
の流れを示すフローチャートである。FIG. 5 is a flowchart illustrating a flow of a process of displaying a stereoscopic image on the stereoscopic image display device.
【図６】視点位置設定処理の流れを示すフローチャート
である。FIG. 6 is a flowchart illustrating a flow of a viewpoint position setting process.
【図７】視点位置設定処理の過程を説明するためのイメ
ージ図である。FIG. 7 is an image diagram for explaining a process of a viewpoint position setting process.
【図８】立体画像表示処理における補正行列演算処理の
流れを示すフローチャートである。FIG. 8 is a flowchart illustrating a flow of a correction matrix calculation process in the stereoscopic image display process.
【図９】全体空間、視点空間及び操作空間を示すイメー
ジ図である。FIG. 9 is an image diagram showing an entire space, a viewpoint space, and an operation space.
【図１０】立体画像表示の過程を説明するためのイメー
ジ図である。FIG. 10 is an image diagram for explaining a process of displaying a stereoscopic image.
【図１１】奥行き方向を制限する入力平面を生成するた
めの視線方向の説明図である。FIG. 11 is an explanatory diagram of a line-of-sight direction for generating an input plane for limiting a depth direction.
【図１２】奥行き方向を制限する入力平面を説明するた
めの説明図である。FIG. 12 is an explanatory diagram for describing an input plane for limiting a depth direction.
１０ 立体画像表示装置 １２ プロジェクタ １４ 制御装置 １６ スクリーン １８ 位置入力装置 ２０ 液晶シャッタ眼鏡 ２２ 位置センサ ３０ 磁界発生装置 Reference Signs List 10 stereoscopic image display device 12 projector 14 control device 16 screen 18 position input device 20 liquid crystal shutter glasses 22 position sensor 30 magnetic field generation device
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 15/62 ３５０Ａ Ｆターム(参考） 5B046 FA18 GA10 HA01 HA08 HA09 5B050 BA09 EA28 FA06 FA09 FA16 FA17 5B087 AA07 AE00 BC12 BC13 CC02 CC26 CC33 DJ03 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G06F 15/62 350A F-term (Reference) 5B046 FA18 GA10 HA01 HA08 HA09 5B050 BA09 EA28 FA06 FA09 FA16 FA17 5B087 AA07 AE00 BC12 BC13 CC02 CC26 CC33 DJ03
Claims (4)
と、 前記仮想物体を表示するための実空間内の空間座標を入
力する入力手段と、 前記入力手段に対して予め定められた特定方向情報を設
定する設定手段と、 前記入力された空間座標と、前記設定された特定方向情
報とに基づいて平面または曲面を生成する生成手段と、 前記入力された空間座標について、前記生成された平面
上または曲面上の成分のみを入力座標に前記空間座標を
変換する変換手段と、 を備えた空間図形入力装置。A display unit for displaying a virtual object in a real space; an input unit for inputting spatial coordinates in the real space for displaying the virtual object; and a specification predetermined for the input unit Setting means for setting direction information; generating means for generating a plane or a curved surface based on the input spatial coordinates and the set specific direction information; and the generated spatial coordinates A conversion means for converting the space coordinates into input coordinates only on the components on the plane or the curved surface.
画像を切り換えて仮想物体を表示することを特徴とする
請求項１に記載の空間図形入力装置。2. The spatial graphic input device according to claim 1, wherein said display means switches between a left-eye image and a right-eye image to display a virtual object.
基づいて光の透過及び非透過を切り換え可能な左眼用光
学素子及び右眼用光学素子を備えた立体視眼鏡を含むこ
とを特徴とする請求項１または２に記載の空間図形入力
装置。3. The display means includes stereoscopic spectacles provided with a left-eye optical element and a right-eye optical element capable of switching transmission and non-transmission of light based on each input signal. The spatial graphic input device according to claim 1 or 2, wherein
検出する検出手段をさらに備え、前記設定手段は前記所
定位置と前記入力された空間座標とに基づいて特定方向
情報を設定することを特徴とする請求項１乃至請求項３
の何れか１項に記載の空間図形入力装置。4. A method according to claim 1, further comprising detecting means for detecting a predetermined position including an eyeball position of the operator, wherein the setting means sets specific direction information based on the predetermined position and the input spatial coordinates. Claims 1 to 3
The spatial graphic input device according to any one of claims 1 to 4.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14236499A JP3680250B2 (en) | 1999-05-21 | 1999-05-21 | Spatial graphic input device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14236499A JP3680250B2 (en) | 1999-05-21 | 1999-05-21 | Spatial graphic input device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000330714A true JP2000330714A (en) | 2000-11-30 |
| JP3680250B2 JP3680250B2 (en) | 2005-08-10 |
Family
ID=15313676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14236499A Expired - Fee Related JP3680250B2 (en) | 1999-05-21 | 1999-05-21 | Spatial graphic input device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3680250B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005280396A (en) * | 2004-03-29 | 2005-10-13 | Alpine Electronics Inc | Operation instruction device |
| JP2009169693A (en) * | 2008-01-16 | 2009-07-30 | Mazda Motor Corp | Vehicle plan support device |
| WO2011001952A1 (en) * | 2009-07-01 | 2011-01-06 | Nakaishi Shigeo | Electronic function graph display device, coordinate acquisition device, electronic function graph display method, coordinate acquisition method, and program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03175525A (en) * | 1989-12-04 | 1991-07-30 | Sanyo Electric Co Ltd | Three-dimensional coordinate input device |
| JPH075978A (en) * | 1993-06-18 | 1995-01-10 | Sony Corp | Input device |
| JPH10187341A (en) * | 1996-12-26 | 1998-07-14 | Brother Ind Ltd | Image recognizing device |
| JPH10333819A (en) * | 1997-05-28 | 1998-12-18 | Nippon Telegr & Teleph Corp <Ntt> | Method for inputting three-dimensional position |
-
1999
- 1999-05-21 JP JP14236499A patent/JP3680250B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03175525A (en) * | 1989-12-04 | 1991-07-30 | Sanyo Electric Co Ltd | Three-dimensional coordinate input device |
| JPH075978A (en) * | 1993-06-18 | 1995-01-10 | Sony Corp | Input device |
| JPH10187341A (en) * | 1996-12-26 | 1998-07-14 | Brother Ind Ltd | Image recognizing device |
| JPH10333819A (en) * | 1997-05-28 | 1998-12-18 | Nippon Telegr & Teleph Corp <Ntt> | Method for inputting three-dimensional position |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005280396A (en) * | 2004-03-29 | 2005-10-13 | Alpine Electronics Inc | Operation instruction device |
| US7782299B2 (en) | 2004-03-29 | 2010-08-24 | Alpine Electronics, Inc. | Apparatus and method for inputting commands |
| JP4566596B2 (en) * | 2004-03-29 | 2010-10-20 | アルパイン株式会社 | Operation instruction device |
| JP2009169693A (en) * | 2008-01-16 | 2009-07-30 | Mazda Motor Corp | Vehicle plan support device |
| WO2011001952A1 (en) * | 2009-07-01 | 2011-01-06 | Nakaishi Shigeo | Electronic function graph display device, coordinate acquisition device, electronic function graph display method, coordinate acquisition method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3680250B2 (en) | 2005-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3651204B2 (en) | Stereoscopic image display device, stereoscopic image display method, and recording medium | |
| JP3717653B2 (en) | Head mounted image display device | |
| US6389153B1 (en) | Distance information generator and display device using generated distance information | |
| EP0845737B1 (en) | Image display method and apparatus therefor | |
| JP6723738B2 (en) | Information processing apparatus, information processing method, and program | |
| KR100494540B1 (en) | System, method and program for perspective projection image creation, and recording medium storing the same program | |
| US11969215B2 (en) | System and method for integrated visualization camera and optical coherence tomography | |
| JP2001526792A (en) | Microscope, especially stereo microscope and method of superimposing two images | |
| JP6921973B2 (en) | Microscope device for capturing and displaying 3D images of samples | |
| CN105074617A (en) | Three-dimensional user interface device and three-dimensional operation processing method | |
| JP5441527B2 (en) | Stereoscopic image forming apparatus for stereoscopic video display apparatus | |
| JPH0676073A (en) | Method and apparats for generating solid three- dimensional picture | |
| JPH08279059A (en) | Real-time three-dimensional indication apparatus and method for support of operator in confirmation of three-dimensionalposition at inside of object to be inspected | |
| CN104094162A (en) | Wide field-of-view 3d stereo vision platform with dynamic control of immersive or heads-up display operation | |
| US11986240B2 (en) | Surgical applications with integrated visualization camera and optical coherence tomography | |
| CN106772996B (en) | A kind of augmented reality operating method and system | |
| JP5467683B2 (en) | Stereoscopic caliper image forming device and program for stereoscopic video display device | |
| JP4715719B2 (en) | Video display system | |
| JP3680250B2 (en) | Spatial graphic input device | |
| JP3546756B2 (en) | Spatial coordinate input device | |
| JP2006011145A (en) | Binocular microscope apparatus | |
| JP5582958B2 (en) | 3D pointer device | |
| JP2006085375A (en) | Image processing method and image processor | |
| JP2000112334A (en) | Driving operation training device | |
| CN111651043A (en) | Augmented reality system supporting customized multi-channel interaction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040203 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040402 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050419 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050502 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080527 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090527 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100527 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110527 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110527 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120527 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120527 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130527 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140527 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |