JP3344499B2 - Object operation support device - Google Patents
Object operation support deviceInfo
- Publication number
- JP3344499B2 JP3344499B2 JP18939993A JP18939993A JP3344499B2 JP 3344499 B2 JP3344499 B2 JP 3344499B2 JP 18939993 A JP18939993 A JP 18939993A JP 18939993 A JP18939993 A JP 18939993A JP 3344499 B2 JP3344499 B2 JP 3344499B2
- Authority
- JP
- Japan
- Prior art keywords
- command
- display
- operator
- return
- virtual space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
Description
【0001】[0001]
【産業上の利用分野】本発明は、ディスプレイ上に構成
された3次元仮想空間に表示されているオブジェクトを
オペレータが仮想の手などにより操作する際の支援を行
うブジェクト操作支援装置に関する。The present invention relates to relates the object displayed in the three-dimensional virtual space, which is configured on a display object operation support equipment to provide support when operated by a hand of an operator virtual.
【0002】[0002]
【従来の技術】ディスプレイ上に構成された3次元仮想
空間にオブジェクトを表示し、オペレータがコマンドを
入力してオブジェクトを操作する技術は、CADシステ
ムや、運転訓練のためのシミュレータシステムなどに応
用されている。この場合、3次元仮想空間に例えば仮想
的な手を表示し、その手の表示をオペレータによるコマ
ンド入力により動かして、操作対象であるオブジェクト
を移動させたり掴んだりといった操作を行うことが行わ
れる。2. Description of the Related Art The technique of displaying an object in a three-dimensional virtual space formed on a display and operating the object by inputting a command by an operator is applied to a CAD system, a simulator system for driving training, and the like. ing. In this case, for example, a virtual hand is displayed in the three-dimensional virtual space, and the display of the hand is moved by a command input by the operator to perform an operation such as moving or grasping the object to be operated.
【0003】しかし、現在の技術ではディスプレイ上で
手が表示された位置からオブジェクトまでの距離感覚を
オペレータがとらえることが難しいため、手をオブジェ
クトの位置まで移動させて掴むといった操作は容易でな
い。このためオブジェクトの操作に時間がかかり、オペ
レータの負担が大きい。[0003] However, it is difficult for an operator to grasp the sense of distance from the position where the hand is displayed on the display to the object with the current technology, and thus it is not easy to move the hand to the position of the object and grasp it. Therefore, it takes time to operate the object, and the burden on the operator is large.
【0004】[0004]
【発明が解決しようとする課題】上述したように、従来
の技術ではディスプレイ上の3次元仮想空間に表示され
た手などの表示位置から操作対象のオブジェクトまでの
距離感覚を捉えることが難しいため、オブジェクトの操
作が容易でなく操作に時間がかかり、オペレータの負担
が大きいという問題があった。As described above, in the prior art, it is difficult to capture a sense of distance from a display position of a hand or the like displayed in a three-dimensional virtual space on a display to an object to be operated. There is a problem in that the operation of the object is not easy, the operation takes a long time, and the burden on the operator is large.
【0005】本発明の目的は、オブジェクトの操作が簡
単で、オペレータの負担を軽減することができるオブジ
ェクト操作支援装置を提供することにある。An object of the present invention, the operation of the object is simple, is to provide an object operation support equipment that can reduce the burden of the operator.
【0006】[0006]
【課題を解決するための手段】上記の課題を解決するた
め、本発明はディスプレイ上に構成された3次元仮想空
間に表示されたオペレータの手などによる操作位置は固
定として、従来とは逆に操作対象のオブジェクトを操作
位置に向けて移動させることで操作を行い、また必要に
応じて操作をしてから操作対象のオブジェクトを元の位
置に返還するようにしたことを骨子とする。In order to solve the above-mentioned problems, according to the present invention, an operation position by an operator's hand or the like displayed in a three-dimensional virtual space formed on a display is fixed. The operation is performed by moving the operation target object toward the operation position, and the operation is performed as necessary, and then the operation target object is returned to the original position.
【0007】すなわち、本発明によるオブジェクト操作
支援装置は、オブジェクトの操作のためのコマンドを入
力するコマンド入力手段と、3次元仮想空間内の前記オ
ペレータによる操作位置の位置データを入力するための
位置データ入力手段と、コマンド入力手段により入力さ
れたコマンドを判定するコマンド判定手段と、コマンド
判定手段により判定されたコマンドがオブジェクト返還
コマンドである場合にオブジェクトを予め登録された元
の位置に返還させるオブジェクト返還手段とを備えたこ
とを特徴とする。That is, the object operation support apparatus according to the present invention comprises: command input means for inputting a command for operating an object; and position data for inputting position data of an operation position by the operator in a three-dimensional virtual space. Input means, command determining means for determining a command input by the command input means, and, when the command determined by the command determining means is an object return command, the object is returned to a previously registered original position. characterized in that a object return means for returning.
【0008】また、本発明によるオブジェクト操作支援
装置は、ディスプレイ上に構成された3次元仮想空間に
表示され、かつ操作可能と定義されている複数のオブジ
ェクトの中から操作位置との距離が最も短いオブジェク
トを操作対象のオブジェクトとして判定するオブジェク
ト判定手段をさらに備えたことを特徴とする。The object operation support device according to the present invention is displayed in a three-dimensional virtual space formed on a display and has the shortest distance to an operation position from among a plurality of objects defined as operable. An object determining means for determining an object as an operation target object is further provided.
【0009】また、本発明によるオブジェクト操作支援
装置は、オブジェクト返還手段が操作位置と操作対象の
オブジェクトとの間に設定された直線パスに沿って該操
作対象のオブジェクトを返還させる際の移動速度を設定
するためのオブジェクト移動速度設定手段をさらに備え
たことを特徴とする。Further, in the object operation support device according to the present invention, the object returning means controls the moving speed when the operation target object is returned along the linear path set between the operation position and the operation target object. An object moving speed setting means for setting is further provided.
【0010】このオブジェクト移動速度設定手段は、上
記の移動時間をオペレータが操作感が良いと感じる1乃
至2秒程度の固定の時間に設定するようにしてもよい
し、オペレータの好みによって任意に設定できるように
してもよい。The object moving speed setting means may set the moving time to a fixed time of about 1 to 2 seconds at which the operator feels that the operation feeling is good, or arbitrarily sets it according to the operator's preference. You may be able to.
【0011】[0011]
【0012】[0012]
【作用】本発明においては、予め定義したコマンド入力
によって操作対象のオブジェクトからオペレータの手な
どによる操作位置に近付いてくるので、オペレータと操
作対象のオブジェクトとの正確な距離が分からなくとも
確実に操作を行うことができる。従って、オペレータの
負担が軽減され、かつディスプレイ上に表示された3次
元仮想空間における作業効率が向上する。According to the present invention, since an operation target object comes close to an operation position by an operator's hand or the like by a predefined command input, operation can be reliably performed even if the exact distance between the operator and the operation target object is not known. It can be performed. Therefore, the burden on the operator is reduced, and the work efficiency in the three-dimensional virtual space displayed on the display is improved.
【0013】[0013]
【実施例】以下、本発明の実施例を図面を参照して説明
する。図1は、本発明のオブジェクト操作支援装置を採
用したシステムの全体構成を示すブロック図である。Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing the overall configuration of a system employing the object operation support device of the present invention.
【0014】図1において、コマンド入力部1はオペレ
ータがディスプレイ14上に構成された3次元仮想空間
に表示されているオブジェクトを移動させたり、予め登
録された元の位置に返還するなどの操作のためのコマン
ドを入力するためのものであり、例えばデータグロー
ブ、キーボード、音声入力装置、あるいはマウスなどの
ポインティングデバイスが使用される。In FIG. 1, a command input unit 1 is used by an operator to perform operations such as moving an object displayed in a three-dimensional virtual space formed on a display 14 and returning the object to a previously registered original position. For example, a data glove, a keyboard, a voice input device, or a pointing device such as a mouse is used.
【0015】位置データ入力部2は、オペレータが3次
元仮想空間上のオブジェクトを操作する位置(以下、操
作位置いう)、言い換えればグラフィック表示された仮
想の手などの表示位置の位置データを入力するためのも
のであり、オペレータの手に装着された磁気センサまた
は超音波センサなどが用いられる。The position data input unit 2 inputs position data of a position where an operator operates an object in a three-dimensional virtual space (hereinafter, referred to as an operation position), in other words, a display position of a virtual hand or the like displayed as a graphic. For example, a magnetic sensor or an ultrasonic sensor mounted on an operator's hand is used.
【0016】コマンド判定部3は、コマンド入力部1か
らのオペレータによるコマンド入力を判定して、オブジ
ェクト移動コマンドまたはオブジェクト返還コマンドを
出力するものであり、これらのコマンドは座標判定部4
とオブジェクト判定部6に入力される。The command judging section 3 judges the command input by the operator from the command input section 1 and outputs an object moving command or an object returning command.
Is input to the object determination unit 6.
【0017】座標判定部4は、コマンド判定部3からの
オブジェクト移動コマンドまたはオブジェクト返還コマ
ンドを受けたとき、位置データ入力部2より出力される
位置データから3次元仮想空間における操作位置の座標
を判定するものであり、判定結果として操作位置の座標
データをオブジェクト距離計算部7に出力する。When receiving an object movement command or an object return command from the command determination unit 3, the coordinate determination unit 4 determines the coordinates of the operation position in the three-dimensional virtual space from the position data output from the position data input unit 2. The coordinate data of the operation position is output to the object distance calculation unit 7 as the determination result.
【0018】オブジェクト座標記憶部5は、各オブジェ
クトの初期登録座標データと現在の座標データをそのオ
ブジェクトが移動可能なオブジェクトかどうかを示すフ
ラグと共に予め記憶したメモリであり、その内容はオブ
ジェクト判定部6に読み出される。The object coordinate storage unit 5 is a memory in which the initial registration coordinate data and the current coordinate data of each object are stored in advance together with a flag indicating whether the object is a movable object. Is read out.
【0019】オブジェクト判定部6は、コマンド判定部
3から出力されるオブジェクト移動コマンドまたはオブ
ジェクト返還コマンドと、オブジェクト座標記憶部5か
ら読み出される各オブジェクトの初期登録座標データ、
現在の座標データおよびフラグを基に、ディスプレイ1
4において表示され、かつ移動可能と定義されているオ
ブジェクトを検索して判定し、該オブジェクトの初期登
録座標データと現在の座標データをオブジェクト距離計
算部7に出力する。The object determination unit 6 includes an object movement command or an object return command output from the command determination unit 3, initial registration coordinate data of each object read from the object coordinate storage unit 5,
Display 1 based on the current coordinate data and flag
In step 4, an object that is displayed and defined as movable is searched for and determined, and the initial registration coordinate data and the current coordinate data of the object are output to the object distance calculation unit 7.
【0020】オブジェクト距離計算部7は、座標判定部
4から出力される3次元仮想空間における操作位置の座
標データと、オブジェクト判定部6から出力される移動
可能なオブジェクトの現在の座標データとから、オペレ
ータの指示する操作位置と各オブジェクトとの距離を計
算すると共に、この距離が最も近いオブジェクトを操作
対象のオブジェクトと判定するものであり、その計算結
果と判定結果はオブジェクト速度計算部9に出力され
る。The object distance calculation unit 7 calculates the coordinate data of the operation position in the three-dimensional virtual space output from the coordinate determination unit 4 and the current coordinate data of the movable object output from the object determination unit 6. The distance between the operation position designated by the operator and each object is calculated, and the object having the shortest distance is determined as the operation target object. The calculation result and the determination result are output to the object speed calculation unit 9. You.
【0021】オブジェクト移動時間記憶部8は、操作対
象のオブジェクトを移動させる際の予め設定されたオブ
ジェクトの移動時間を示す移動時間データを記憶したメ
モリであり、その内容はオブジェクト速度計算部9に読
み出される。The object moving time storage unit 8 is a memory for storing moving time data indicating a predetermined moving time of the object when the object to be operated is moved, and the contents thereof are read out to the object speed calculating unit 9. It is.
【0022】オブジェクト速度計算部9は、オブジェク
ト距離計算部7から出力されるオペレータの指示する操
作位置とこれに最も近いオブジェクトとの距離と、オブ
ジェクト移動時間記憶部8から読み出された移動時間デ
ータにより、操作対象のオブジェクトを移動させる際の
移動速度を計算するものであり、その計算結果はオブジ
ェクト移動/返還処理部10に出力される。The object speed calculator 9 outputs the operation position indicated by the operator output from the object distance calculator 7, the distance between the nearest object, and the movement time data read from the object movement time storage 8. Is used to calculate the moving speed when the object to be operated is moved, and the calculation result is output to the object moving / return processing unit 10.
【0023】オブジェクト移動/返還処理部10は、操
作位置までの距離が最も近いオブジェクトつまり操作対
象のオブジェクトと、操作位置との間の直線パスを設定
し、そのオブジェクトを操作位置までオブジェクト速度
計算部9により求められた移動速度で移動させたり、元
の位置まで変換するための処理を行うものであり、その
処理結果はオブジェクト表示データ生成部12に出力さ
れる。The object movement / return processing unit 10 sets a linear path between the object closest to the operation position, that is, the object to be operated, and the operation position, and transfers the object to the operation position by the object speed calculation unit. 9 to perform a process of moving at the moving speed obtained by the step 9 or converting the image to the original position. The processing result is output to the object display data generating unit 12.
【0024】オブジェクト形状記憶部11は、3次元仮
想空間に表示される各オブジェクトの形状を記憶したも
のであり、その内容はオブジェクト表示データ生成部1
2に読み出される。The object shape storage unit 11 stores the shape of each object displayed in the three-dimensional virtual space.
2 is read.
【0025】オブジェクト表示データ生成部12は、オ
ブジェクト移動/返還処理部10の処理結果とオブジェ
クト形状記憶部11から読み出されるデータを基に、オ
ブジェクトの表示データを生成して表示制御部13に出
力する。The object display data generation unit 12 generates display data of the object based on the processing result of the object movement / return processing unit 10 and the data read from the object shape storage unit 11 and outputs the display data to the display control unit 13. .
【0026】表示制御部13は、オブジェクト表示デー
タ生成部12で生成された表示データをディスプレイ1
4に表示するための制御を行う表示制御部である。ま
た、オペレータによる操作位置に表示される仮想の手な
どの表示物の表示データも表示制御部13により生成さ
れる。The display controller 13 displays the display data generated by the object display data generator 12 on the display 1.
4 is a display control unit that performs control for display on the display unit 4. The display control unit 13 also generates display data of a display object such as a virtual hand displayed at an operation position by the operator.
【0027】次に、本実施例のオブジェクト操作支援装
置の具体的な応用例として、CAD(計算機支援設計)
システムを例にとり説明する。Next, as a specific application example of the object operation support device of this embodiment, CAD (computer support design)
The system will be described as an example.
【0028】図1におけるコマンド入力部1のコマンド
入力方法としては、前述したようにキーボードによるキ
ー入力、マウスによるメニュー選択、データグローブを
使用してのジェスチャ入力などがあるが、ここではデー
タグローブによるジェスチャ入力を用いるものとする。
図2は、データグローブによるジェスチャ入力の一例で
あり、(a)は操作対象のオブジェクトを操作位置に移
動させる場合、(b)は操作対象に移動させたオブジェ
クトを元の位置に変換する場合をそれぞれ示している。As a command input method of the command input unit 1 in FIG. 1, there are a key input by a keyboard, a menu selection by a mouse, and a gesture input by using a data glove as described above. It is assumed that a gesture input is used.
2A and 2B show an example of gesture input using a data glove. FIG. 2A shows a case where an operation target object is moved to an operation position, and FIG. 2B shows a case where an object moved to the operation target is converted to an original position. Each is shown.
【0029】また、図1における位置データ入力部2に
おけるオペレータによる操作位置の位置データの入力方
法は、図3に示すような磁気センサによるものとする。
さらに、ディスプレイ14としては、CRTディスプレ
イを想定する。The method of inputting the position data of the operation position by the operator in the position data input unit 2 in FIG. 1 is based on a magnetic sensor as shown in FIG.
Further, a CRT display is assumed as the display 14.
【0030】図4は、計算機によって作られ、ディスプ
レイ14上に構成されたCADの3次元仮想空間の表示
例であり、幾つかのオブジェクトA,B,Cが表示され
ている。これらのオブジェクトA,B,Cは、オペレー
タによって直接移動操作が可能なものと、不可能なもの
とに予め定義されており、この例ではA,Bが移動操作
可能なオブジェクト、Cが不可能なオブジェクトである
とする。このような定義を行う理由は、例えば加工など
の操作を加えたいオブジェクトと、全ての加工などの操
作が終った状態で現在の位置から動かしたくないオブジ
ェクトとがオペレータの手の表示位置(操作位置)から
等距離の位置にあるような場合に、動かしたくないオブ
ジェクトまで移動させてしまうことにより操作が煩雑に
なるのを避けるためである。FIG. 4 is a display example of a three-dimensional virtual space of CAD created by a computer and configured on the display 14, in which several objects A, B, and C are displayed. These objects A, B, and C are defined in advance as those that can be directly moved by the operator and those that cannot be moved. In this example, the objects A and B can be moved and the object C cannot be moved. Object. The reason why such a definition is made is that, for example, an object to which an operation such as processing is to be added and an object which the user does not want to move from the current position after all the operations such as processing are completed are displayed positions (operation positions) of the operator's hand. This is to prevent the operation from being complicated by moving to an object that the user does not want to move when the object is located at the same distance from the object.
【0031】図5は、この場合の図1におけるオブジェ
クト座標記憶部5の内容を示した図であり、オブジェク
トA,B,Cの各々の初期登録座標と現在の座標のデー
タおよび各々のオブジェクトが移動可能なものか移動不
可能なものかどうかを示す移動フラグが記憶されてい
る。FIG. 5 is a diagram showing the contents of the object coordinate storage unit 5 in FIG. 1 in this case. The data of the initial registration coordinates and the current coordinates of each of the objects A, B, and C and the data of each object are A movement flag indicating whether the object is movable or not is stored.
【0032】今、移動可能なオブジェクトA,Bのうち
のある一つを操作するとする。例えば、オペレータがオ
ブジェクトAを3次元仮想空間内にグラフィック表示さ
れた手によって掴み、加工を施そうとしている場合を考
える。この場合、従来の技術に従えば、オペレータは手
の表示をオブジェクトAまで移動し、その手を伸ばして
オブジェクトAを掴もうとする。ところが、現在のディ
スプレイによる3次元仮想空間の表示では奥行きや距離
を捉えることが難しいので、この操作は本来の目的であ
る加工作業以前に、オブジェクトを掴んで引き寄せるこ
と自体が困難であるという問題がある。Now, assume that one of the movable objects A and B is operated. For example, consider a case where an operator grasps an object A with a hand graphically displayed in a three-dimensional virtual space and intends to perform processing. In this case, according to the related art, the operator moves the hand display to the object A, reaches the object A, and tries to grasp the object A. However, it is difficult to grasp the depth and distance in the current display of the three-dimensional virtual space on the display, and this operation has a problem that it is difficult to grasp and pull the object before the original processing operation. is there.
【0033】これに対し、本発明に従い操作対象のオブ
ジェクトAに向かってコマンド入力部1のデータグロー
ブで、予め定義した図2(a)に示すようなジェスチャ
を行うことにより、図6(a)に示すようにオブジェク
トAの方をオペレータの仮想の手の表示位置(操作位
置)に引き寄せる形で移動すれば、オブジェクトAを掴
むという作業は非常に簡単なものとなる。On the other hand, by performing a gesture as shown in FIG. 2A defined in advance with the data glove of the command input unit 1 toward the object A to be operated in accordance with the present invention, FIG. When the object A is moved toward the display position (operation position) of the virtual hand of the operator as shown in (2), the work of grasping the object A becomes very simple.
【0034】また、操作位置に一度移動させ引き寄せ
後、加工を施したオブジェクトAを予め登録された元の
位置に返還したい場合には、コマンド入力部1のデータ
グローブで、別に定義した図2(b)に示すようなジェ
スチャを行うことにより、図6(b)に示すように返還
することで、加工作業の効率化がより促進される。Further, when it is desired to return the processed object A to the original position registered in advance after moving the object A once to the operation position and drawing the same, the data glove of the command input unit 1 is used to separately define the object A shown in FIG. By performing the gesture as shown in FIG. 6B, by returning as shown in FIG. 6B, the efficiency of the machining operation is further promoted.
【0035】なお、操作対象のオブジェクトAの移動や
返還を単なる座標変換で行った時には、オブジェクトA
がディスプレイ14の表示画面から突然消えて、どこに
移動あるいは返還したかが分からなくなるというような
混乱を来すことがある。そこで移動あるいは返還の通り
道として、操作位置とオブジェクトAの元の位置とを直
線で結んだ直線パスを設定し、その直線パスに沿って予
め設定された時間でオブジェクトAの移動や返還を行え
ば、このような混乱を避けることができる。When the movement or return of the operation target object A is performed by simple coordinate conversion, the object A
May suddenly disappear from the display screen of the display 14, and confusion such as where it has been moved or returned may not be known. Therefore, as a path for movement or return, a straight path connecting the operation position and the original position of the object A with a straight line is set, and the movement or return of the object A is performed along the straight path at a preset time. , Such confusion can be avoided.
【0036】次に、オブジェクトを操作位置に移動する
場合の手順を図7に示すフローチャートを参照して説明
する。Next, a procedure for moving an object to an operation position will be described with reference to a flowchart shown in FIG.
【0037】まず、コマンド入力部1から図2(a)に
示したようなジェスチャによりオブジェクト移動コマン
ドを入力し、これをコマンド判定部3が判定すると、オ
ブジェクト判定部6がディスプレイ14上の3次元仮想
空間内に表示されているオブジェクト中に移動可能なオ
ブジェクトがあるかどうかをオブジェクト座標記憶部5
内の移動フラグにより判定する(S101)。また、オ
ブジェクト移動コマンドの入力をコマンド判定部3が判
定すると、位置データ入力部2によって座標判定部4か
ら3次元仮想空間内の手の座標、つまり操作位置の座標
H(Xh,Yh,Zh)が読み出される。First, an object movement command is input from the command input unit 1 by a gesture as shown in FIG. 2A, and when the command determination unit 3 determines this, the object determination unit 6 The object coordinate storage unit 5 determines whether there is a movable object among the objects displayed in the virtual space.
(S101). When the command determination unit 3 determines the input of the object movement command, the position data input unit 2 sends the coordinates of the hand in the three-dimensional virtual space from the coordinate determination unit 4, that is, the coordinates H (Xh, Yh, Zh) of the operation position. Is read.
【0038】ここで、S101において移動可能なオブ
ジェクトがあると判定された場合、移動可能と判定され
た各オブジェクトの座標と手の座標H(Xh,Yh,Z
h)との間の距離Dをオブジェクト距離計算部7により
計算する(S102)。この例では、移動可能なオブジ
ェクトはA,Bであり、例えばオブジェクトAの座標
(Xa,Ya,Za)と手の座標H(Xh,Yh,Z
h)間の距離Daは、次式(1) で計算される。If it is determined in S101 that there is a movable object, the coordinates of each object determined to be movable and the coordinates H (Xh, Yh, Z) of the hand are determined.
h) is calculated by the object distance calculator 7 (S102). In this example, the movable objects are A and B. For example, the coordinates (Xa, Ya, Za) of the object A and the coordinates H (Xh, Yh, Z) of the hand A
The distance Da between h) is calculated by the following equation (1).
【0039】 Da={(Xa−Xh)2 +(Ya−Yh)2 +(Za−Zh)2 }1/2 …(1) さらに、オブジェクト距離計算部7はS102で算出し
た距離Dを基に、最小のDを持つオブジェクト(この例
ではオブジェクトA、最小の距離はD=Da)を決定
し、オブジェクトAの座標と手の座標Hを通る直線Lを
次式(2) 〜(5) により求める(S103)。Da = {(Xa−Xh) 2 + (Ya−Yh) 2 + (Za−Zh) 2 } 1/2 (1) Further, the object distance calculation unit 7 calculates the distance D based on the distance D calculated in S102. Then, an object having the minimum D (the object A in this example, the minimum distance is D = Da) is determined, and a straight line L passing through the coordinates of the object A and the coordinates H of the hand is expressed by the following equations (2) to (5). (S103).
【0040】 Xl=t(Xa−Xh)+Xa …(2) Yl=t(Ya−Yh)+Ya …(3) Zl=t(Za−Zh)+Za …(4) 但し、−1≦t≦0 …(5) 次に、オブジェクト移動速度計算部9において、式(1)
で求められた距離Daとオブジェクト移動時間記憶部8
に記憶されている移動時間Tから、次式(6) により移動
速度Vを求める(S104)。X1 = t (Xa−Xh) + Xa (2) Y1 = t (Ya−Yh) + Ya (3) Z1 = t (Za−Zh) + Za (4) where −1 ≦ t ≦ 0 (5) Next, in the object moving speed calculation unit 9, the expression (1)
Da and object movement time storage unit 8 obtained in
The moving speed V is calculated from the moving time T stored in the following equation (6) (S104).
【0041】 V=Da/T …(6) そして、オブジェクト移動/返還処理部10において、
式(2) 〜(5) で得られた直線Lの式の係数tを変化させ
てゆき、オブジェクトAの座標を変換することによっ
て、オブジェクトAをディスプレイ14上の3次元仮想
空間内に表示された手の座標H(Xh,Yh,Zh)の
位置(操作位置)まで、式(6) によって求められた速度
Vで移動させる処理を行う(S105)。V = Da / T (6) Then, in the object movement / return processing unit 10,
By changing the coefficient t of the equation of the straight line L obtained by the equations (2) to (5) and converting the coordinates of the object A, the object A is displayed in the three-dimensional virtual space on the display 14. A process of moving the hand to the position (operation position) of the coordinates H (Xh, Yh, Zh) of the hand at the speed V obtained by Expression (6) is performed (S105).
【0042】このオブジェクト移動/返還処理部10の
処理結果をオブジェクト表示データ生成部11および表
示制御部12を経てディスプレイ14に供給することに
より、図6(a)に示したような表示を行う。すなわ
ち、オブジェクトAが破線で示す元の位置である初期登
録座標A(Xa,Ya,Za)から、実線で示す操作位
置である座標H(Xh,Yh,Zh)まで移動する(引
き寄せられる)。By supplying the processing result of the object movement / return processing unit 10 to the display 14 via the object display data generation unit 11 and the display control unit 12, the display as shown in FIG. 6A is performed. That is, the object A moves (becomes drawn) from the initial registration coordinates A (Xa, Ya, Za), which are the original positions indicated by the broken lines, to the coordinates H (Xh, Yh, Zh), which are the operation positions indicated by the solid lines.
【0043】上述のように操作対象のオブジェクトAを
操作位置に移動させた後、オブジェクトAに何らかの加
工作業を施す。そして、必要があれば加工作業が終了し
たオブジェクトAを初期登録された元の位置に返還す
る。After moving the object A to be operated to the operation position as described above, the object A is subjected to some processing operation. Then, if necessary, the object A for which the processing operation has been completed is returned to the original position where it was initially registered.
【0044】そこで、次に加工作業の終了したオブジェ
クトを操作位置から元の位置に返還する場合の手順を図
8に示すフローチャートを参照して説明する。Next, a procedure for returning the processed object from the operation position to the original position will be described with reference to the flowchart shown in FIG.
【0045】まず、コマンド入力部1から図2(b)に
示したようなジェスチャによりオブジェクト返還コマン
ドを入力し、これをコマンド判定部3が判定すると、オ
ブジェクト判定部6がディスプレイ14上の3次元仮想
空間内に表示されているオブジェクト中に、現在の座標
が初期登録座標と異なるオブジェクトがあるかどうかを
オブジェクト座標記憶部5を参照して判定する(S20
1)。また、オブジェクト返還コマンドの入力をコマン
ド判定部3が判定すると、位置データ入力部2によって
座標判定部4から3次元仮想空間内の手の座標、つまり
操作位置の座標H(Xh,Yh,Zh)が読み出され
る。First, an object return command is input from the command input unit 1 by a gesture as shown in FIG. 2B, and when the command determination unit 3 determines this, the object determination unit 6 It is determined with reference to the object coordinate storage unit 5 whether or not any of the objects displayed in the virtual space has an object whose current coordinates are different from the initial registration coordinates (S20).
1). When the command determination unit 3 determines the input of the object return command, the position data input unit 2 sends the coordinates of the hand in the three-dimensional virtual space from the coordinate determination unit 4, that is, the coordinates H (Xh, Yh, Zh) of the operation position. Is read.
【0046】ここで、S201において現在の座標が初
期登録座標と異なるオブジェクトがあると判定された場
合、その各オブジェクトの現在の座標と手の座標H(X
h,Yh,Zh)との間の距離Dをオブジェクト距離計
算部7により計算する(S202)。この場合、現在の
座標が初期登録座標と異なるオブジェクトはAのみであ
り、このオブジェクトAの現在の座標A′(Xa′,Y
a′,Za′)と手の座標H(Xh,Yh,Zh)間の
距離Daは、次式(7) で計算される。Here, if it is determined in S201 that there are objects whose current coordinates are different from the initial registration coordinates, the current coordinates of each object and the hand coordinates H (X
h, Yh, Zh) is calculated by the object distance calculator 7 (S202). In this case, the only object whose current coordinates are different from the initial registration coordinates is A, and the current coordinates A '(Xa', Y
The distance Da between a ', Za') and the coordinates H (Xh, Yh, Zh) of the hand is calculated by the following equation (7).
【0047】 Da={(Xa′−Xh)2 +(Ya′−Yh)2 +(Za′−Zh)2 }1/2 …(7) さらに、オブジェクト距離計算部7はS202で計算し
た距離Dを基に、最小のDを持つオブジェクト(この例
ではオブジェクトA、最小の距離はD=Da)を決定
し、オブジェクトAの現在の座標A′(Xa′,Y
a′,Za′)と初期登録座標A(Xa,Ya,Za)
との距離D′および両座標を通る直線L′を次式(8) 〜
(12)により求める(S203)。Da = {(Xa′−Xh) 2 + (Ya′−Yh) 2 + (Za′−Zh) 2 } 1/2 (7) Further, the object distance calculation unit 7 calculates the distance calculated in S202. Based on D, the object having the minimum D (the object A in this example, the minimum distance is D = Da) is determined, and the current coordinates A ′ (Xa ′, Y) of the object A are determined.
a ', Za') and the initial registration coordinates A (Xa, Ya, Za)
And the straight line L 'passing through both coordinates are expressed by the following equation (8)
It is obtained by (12) (S203).
【0048】 D′={(Xa′−Xa)2 +(Ya′−Ya)2 +(Za′−Za)2 }1/2 …(8) Xl′=t(Xa′−Xa)+Xa′ …(9) Yl′=t(Ya′−Ya)+Ya′ …(10) Zl′=t(Za′−Za)+Za′ …(11) 但し、−1≦t≦0 …(12) 次に、オブジェクト移動速度計算部9において、式(8)
で求められた距離D′とオブジェクト移動時間記憶部8
に記憶されている移動時間Tから、次式(13)により移動
速度V′を求める(S204)。D ′ = {(Xa′−Xa) 2 + (Ya′−Ya) 2 + (Za′−Za) 2 } 1/2 (8) X1 ′ = t (Xa′−Xa) + Xa ′ ... (9) Yl '= t (Ya'-Ya) + Ya' ... (10) Zl '= t (Za'-Za) + Za' ... (11) where -1≤t≤0 ... (12) In the object moving speed calculation unit 9, the expression (8)
D ′ and object moving time storage unit 8
The moving speed V 'is calculated from the moving time T stored in the following equation (13) (S204).
【0049】 V′=D′/T …(13) そして、オブジェクト移動/返還処理部10において、
式(9) 〜(10)で得られた直線L′の式の係数tを変化さ
せてゆき、オブジェクトAの座標を変換することによっ
て、オブジェクトAをディスプレイ14上の3次元仮想
空間内において現在の座標A′(Xa′,Ya′,Z
a′)から初期登録座標A(Xa,Ya,Za)の位置
まで、式(13) によって求められた速度V′で移動させ
て返還する処理を行う(S205)。V ′ = D ′ / T (13) Then, in the object movement / return processing unit 10,
By changing the coefficient t of the equation of the straight line L 'obtained by the equations (9) to (10) and transforming the coordinates of the object A, the object A is displayed in the three-dimensional virtual space on the display 14 at present. Coordinates A '(Xa', Ya ', Z
a) is moved from the position a ') to the position of the initial registration coordinates A (Xa, Ya, Za) at the speed V' determined by the equation (13) and returned (S205).
【0050】このオブジェクト移動/返還処理部10の
処理結果を先と同様にオブジェクト表示データ生成部1
1および表示制御部12を経てディスプレイ14に供給
することにより、図6(b)に示したような表示を行
う。すなわち、加工作業の終わったオブジェクトAが破
線で示す現在の座標A(Xa′,Ya′,Za′)の位
置(操作位置)から、実線で示す初期登録座標A(X
a,Ya,Za)の位置まで移動する(返還される)。The processing result of the object movement / return processing unit 10 is converted into the object display data generation unit 1 in the same manner as described above.
By supplying the data to the display 14 via the display control unit 1 and the display control unit 12, a display as shown in FIG. That is, from the position (operation position) of the current coordinates A (Xa ', Ya', Za ') indicated by the broken line of the object A after the machining operation, the initial registration coordinates A (X
a, Ya, Za) (returned).
【0051】次に、本発明によるオブジェクト操作支援
装置の他の応用例として、バーチャル・リアリティ(V
R)技術を利用した運転訓練シミュレータシステムに応
用した場合の動作を説明する。Next, as another application example of the object operation support device according to the present invention, virtual reality (V
R) An operation when applied to a driving training simulator system using technology will be described.
【0052】この場合も、コマンド入力部1におけるコ
マンドの入力方法は、データグローブをデバイスとした
ジェスチャによる入力方法とし、位置データ入力部2に
おけるオペレータによる位置データの入力方法は、磁気
センサによるものとする。一方、ディスプレイ14とし
てはヘッドマウントディスプレイを用いる。In this case as well, the command input method in the command input unit 1 is a gesture input method using a data glove as a device, and the position data input method by the operator in the position data input unit 2 is a magnetic sensor. I do. On the other hand, a head mounted display is used as the display 14.
【0053】バーチャル・リアリティを利用した運転訓
練シミュレータシステムは、計算機によって操作空間、
操作状況、操作対象をシミュレートし、訓練生はそこで
実際の現場の空間配置や、現場において起こり得るトラ
ブル状況、および操作物の操作方法などの訓練を行うも
のである。従来の技術では、このようなシミュレータシ
ステムにおいても、3次元仮想空間内でのオブジェクト
の操作、例えばレバーやドアのノブなどを掴むといった
操作を行うことが困難であり、これが操作方法を短時間
で習得するという本来の目的を遂行する上で妨げとなっ
ている。The driving training simulator system using virtual reality is based on an operation space,
The trainee simulates the operation situation and the operation target, and trainees then perform training on the actual spatial arrangement of the site, trouble situations that can occur on the site, and the operation method of the operation object. In the prior art, even in such a simulator system, it is difficult to perform an operation of an object in a three-dimensional virtual space, for example, an operation of grasping a lever, a door knob, or the like. It hinders the achievement of the original purpose of learning.
【0054】そこで、例えばレバーを操作しようとする
際、ディスプレイ上の3次元仮想空間内にグラフィック
表示されている訓練生の仮想の手とレバーとの距離感覚
が把握できないためにレバーを掴めないような場合、先
と同様の方法で操作対象のオブジェクトであるレバーを
操作位置つまり手の表示位置の方に移動させるようにす
ると、レバーを掴むという操作を簡単に行うことが可能
となる。レバーの操作を終了した後、レバーを元の登録
位置に戻せば、3次元仮想空間内の各オブジェクト間の
関係が崩れることもない。Therefore, for example, when trying to operate the lever, it is difficult to grasp the lever because the trainee's sense of distance between the virtual hand and the lever graphically displayed in the three-dimensional virtual space on the display cannot be grasped. In such a case, if the lever, which is the object to be operated, is moved to the operation position, that is, the display position of the hand, in the same manner as described above, the operation of grasping the lever can be easily performed. If the lever is returned to the original registration position after the operation of the lever is completed, the relationship between the objects in the three-dimensional virtual space does not collapse.
【0055】本発明は、次のように種々変形して実施す
ることができる。例えば、実施例ではオブジェクトの移
動時間を予め設定された値に固定したが、この値はオペ
レータにとって操作感の良い1乃至2秒といった値に設
定すれば、オペレータにより良い操作感を与えることが
できる。さらに、この時間をオプションとしてオペレー
タが自由に設定可能とすることもできる。The present invention can be implemented with various modifications as follows. For example, in the embodiment, the moving time of the object is fixed to a predetermined value. However, if this value is set to a value such as 1 to 2 seconds that gives the operator a good operational feeling, a better operational feeling can be given to the operator. . Further, this time can be optionally set by the operator.
【0056】また、オブジェクトを選択する際に、選択
されたオブジェクトの表示形態を他のオブジェクトのそ
れと異ならせる(例えば、色を変える、点滅させるな
ど)ことにより、どのオブジェクトが選択されたかをオ
ペレータが認識し易いようにすることもできる。When an object is selected, the display form of the selected object is made different from that of another object (for example, the color is changed or blinked), so that the operator can determine which object is selected. It can also be easy to recognize.
【0057】さらに、実施例ではコマンドの入力方法と
してはデータグローブを使ったジェスチャによる入力、
オペレータの位置データの入力方法としては磁気センサ
による方法を用いたが、他の入力デバイスを使った方法
でも本発明を実施することができる。また、ディスプレ
イに関してもCRTやヘッドマウントディスプレイ以外
のデバイスを利用することが可能である。Further, in the embodiment, as a command input method, there are gesture input using a data glove,
Although a method using a magnetic sensor is used as a method for inputting the position data of the operator, the present invention can be implemented by a method using another input device. As for the display, a device other than the CRT and the head mounted display can be used.
【図1】本発明の一実施例に係るオブジェクト操作支援
装置の構成を説明するためのブロック図FIG. 1 is a block diagram illustrating a configuration of an object operation support device according to an embodiment of the present invention.
【図2】図1におけるコマンド入力部によるオブジェク
トの移動時および返還時の入力方法を説明するための図FIG. 2 is a view for explaining an input method when an object is moved and returned by a command input unit in FIG. 1;
【図3】図1における位置データ入力部の一例を示す図FIG. 3 is a diagram showing an example of a position data input unit in FIG.
【図4】同実施例におけるオブジェクトの操作状況を説
明するための図FIG. 4 is an exemplary view for explaining an operation state of an object in the embodiment.
【図5】図1におけるオブジェクト座標記憶部の内容の
一例を示す図FIG. 5 is a diagram showing an example of the contents of an object coordinate storage unit in FIG. 1;
【図6】図1におけるディスプレイ上でのオブジェクト
の移動時および返還時の表示例を示す図FIG. 6 is a diagram showing a display example when an object is moved and returned on the display in FIG. 1;
【図7】同実施例におけるオブジェクト移動/返還処理
の手順を示すフローチャートFIG. 7 is a flowchart showing the procedure of object movement / return processing in the embodiment.
【図8】同実施例におけるオブジェクト返還処理の手順
を示すフローチャートFIG. 8 is a flowchart showing the procedure of an object return process in the embodiment.
1…コマンド入力部 2…位置データ入
力部 3…コマンド判定部 4…座標判定部 5…オブジェクト座標記憶部 6…オブジェクト
判定部 7…オブジェクト距離計算部 8…オブジェクト
移動時間記憶部 9…オブジェクト速度計算部 10…オブジェクト
移動/返還処理部 11…オブジェクト形状記憶部 12…オブジェク
ト表示データ生成部 13…表示制御部 14…ディスプレ
イREFERENCE SIGNS LIST 1 command input unit 2 position data input unit 3 command determination unit 4 coordinate determination unit 5 object coordinate storage unit 6 object determination unit 7 object distance calculation unit 8 object movement time storage unit 9 object speed calculation Unit 10: Object movement / return processing unit 11: Object shape storage unit 12: Object display data generation unit 13: Display control unit 14: Display
フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06T 11/80 G06F 3/00 G06F 3/03 G06F 3/033 G06F 17/50 Continuation of the front page (58) Field surveyed (Int.Cl. 7 , DB name) G06T 11/80 G06F 3/00 G06F 3/03 G06F 3/033 G06F 17/50
Claims (3)
間に表示されている操作対象のオブジェクトをオペレー
タが操作する際の支援を行うオブジェクト操作支援装置
において、 前記オブジェクトの操作のためのコマンドを入力するコ
マンド入力手段と、 前記3次元仮想空間内の前記オペレータによる操作位置
の位置データを入力するための位置データ入力手段と、 前記コマンド入力手段により入力されたコマンドを判定
するコマンド判定手段と、 前記コマンド判定手段により判定されたコマンドがオブ
ジェクト返還コマンドである場合に前記オブジェクトを
予め登録された元の位置に返還させるオブジェクト返還
手段とを備えたことを特徴とするオブジェクト操作支援
装置。An object operation support device for assisting an operator in operating an operation target object displayed in a three-dimensional virtual space configured on a display, wherein a command for operating the object is input. Command input means for inputting position data of an operation position by the operator in the three-dimensional virtual space; command determination means for determining a command input by the command input means; object operation support apparatus being characterized in that a object return means which is determined by the command determination means command to return to the pre-registered original position the object if it is of <br/> object return command .
想空間に表示され、かつ移動可能と定義されている複数
のオブジェクトの中から、前記操作位置との距離が最も
短いオブジェクトを前記操作対象のオブジェクトとして
判定するオブジェクト判定手段を備えたことを特徴とす
る請求項1記載のオブジェクト操作支援装置。2. An object which is displayed in a three-dimensional virtual space formed on the display and is defined as movable and which has the shortest distance from the operation position is selected as an object to be operated. claim 1 Symbol mounting object operation support apparatus characterized by comprising an object determining means for determining as an object.
と前記操作対象のオブジェクトとの間に設定された直線
パスに沿って該操作対象のオブジェクトを返還させる際
の移動速度を設定するためのオブジェクト移動速度設定
手段を備えたことを特徴とする請求項1記載のオブジェ
クト操作支援装置。Wherein objects for setting the moving speed at the time of Kaesa return the object of the operation target in accordance with the set straight line paths between the object return means of the operation target and the operation position objects claim 1 Symbol mounting object operation support apparatus comprising the moving speed setting means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18939993A JP3344499B2 (en) | 1993-06-30 | 1993-06-30 | Object operation support device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18939993A JP3344499B2 (en) | 1993-06-30 | 1993-06-30 | Object operation support device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0785303A JPH0785303A (en) | 1995-03-31 |
JP3344499B2 true JP3344499B2 (en) | 2002-11-11 |
Family
ID=16240649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP18939993A Expired - Fee Related JP3344499B2 (en) | 1993-06-30 | 1993-06-30 | Object operation support device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3344499B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3392080B2 (en) * | 1999-09-02 | 2003-03-31 | キヤノン株式会社 | User interface method, user interface device, space drawing device, workstation device, and program storage medium |
JP4100195B2 (en) | 2003-02-26 | 2008-06-11 | ソニー株式会社 | Three-dimensional object display processing apparatus, display processing method, and computer program |
US9141202B2 (en) | 2007-06-08 | 2015-09-22 | Sony Corporation | Information processing apparatus, input apparatus, information processing system, information processing method, and program |
JP5924407B2 (en) * | 2012-05-22 | 2016-05-25 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
-
1993
- 1993-06-30 JP JP18939993A patent/JP3344499B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH0785303A (en) | 1995-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH0668758B2 (en) | Cursor control method and three-dimensional graphic display device | |
US6078329A (en) | Virtual object display apparatus and method employing viewpoint updating for realistic movement display in virtual reality | |
JPH0756971A (en) | Method and device for generating assembling drawing | |
GB2270788A (en) | Robot operation training system | |
JPH06266330A (en) | Virtual three-dimensional window display control method | |
JP3501456B2 (en) | 3D figure editing device | |
JP3344499B2 (en) | Object operation support device | |
JPH0342780A (en) | Three-dimensional graphic input system | |
JP3263140B2 (en) | Three-dimensional pointing support system and method | |
EP0980556A1 (en) | Three dimensional graphical display generating system and method | |
JP2854174B2 (en) | Enlargement drawing method in numerical controller | |
JP2571178B2 (en) | 3D graphics processor | |
JP3027905B2 (en) | Operability evaluation device | |
JPH06119430A (en) | Graphic display device | |
JP3691105B2 (en) | 3D image processing system | |
JP3315156B2 (en) | Image processing apparatus and image processing method | |
JP2812861B2 (en) | Graphic specific part movement control method | |
JPH1097646A (en) | Method and device for obtaining three dimensional space coordinate value in three-dimensional space display system | |
JPH06243266A (en) | Perspective drawing generating device | |
JPH06250777A (en) | Three-dimensional position indicating device | |
JP2786098B2 (en) | Figure enlargement editing method | |
JPH0573123A (en) | Working locus teaching device for robot | |
JPH056230B2 (en) | ||
JP2575658B2 (en) | String layout device | |
CN112703093A (en) | Control device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070830 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080830 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090830 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |