JP7475948B2 - Training system, method and program - Google Patents
Training system, method and program Download PDFInfo
- Publication number
- JP7475948B2 JP7475948B2 JP2020077609A JP2020077609A JP7475948B2 JP 7475948 B2 JP7475948 B2 JP 7475948B2 JP 2020077609 A JP2020077609 A JP 2020077609A JP 2020077609 A JP2020077609 A JP 2020077609A JP 7475948 B2 JP7475948 B2 JP 7475948B2
- Authority
- JP
- Japan
- Prior art keywords
- training
- user
- operation target
- unit
- training object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims description 211
- 238000000034 method Methods 0.000 title claims description 90
- 230000008569 process Effects 0.000 claims description 57
- 238000001514 detection method Methods 0.000 claims description 44
- 238000011156 evaluation Methods 0.000 claims description 15
- 238000007619 statistical method Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 24
- 230000008859 change Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、ＶＲ（Virtual Reality，仮想現実）、ＡＲ（Augmented Reality，拡張現実）、あるいはＭＲ（Mixed Reality, 複合現実，混合現実）等（以下単に「ＶＲ」という。）の技術を用いて行う訓練システム、方法及びプログラムに関する。 The present invention relates to a training system, method, and program that uses technology such as VR (Virtual Reality), AR (Augmented Reality), or MR (Mixed Reality) (hereinafter simply referred to as "VR").
従来、ＶＲの技術を用いて、受講者（ユーザ）の訓練を行うシステムが提案されている。たとえば、特許文献１では、熟練者に対してもヒューマンエラーの防止を効果的に訓練できるようにするため、ヒューマンエラーを誘発するトラップを設けた訓練シナリオをシミュレーション手段で展開することによって訓練対象となる事象を擬似的に再現し、ヒューマンエラーが発生した一連の作業が終了した時点又はヒューマンエラーによって作業が継続できなくなる時点でヒューマンエラーの発生を告知する訓練システムが提案されている。
Conventionally, systems have been proposed that use VR technology to train trainees (users). For example,
しかしながら、上記の特許文献１の技術は、訓練によりヒューマンエラーの発生を防ぐことが目的であり、操作対象の設備や装置（以下、「訓練対象物」という。）の操作方法の効率的な習得を目的とするものではない。特に、効率の良い訓練を実現するために、どのような情報を仮想空間に表示するか、あるいはユーザの操作内容をどのように判定して習熟度を高めていくかが問題となる。
However, the technology of
本発明はかかる従来の事情に対処してなされたものであり、ユーザの習熟度を効率的に高めることができ、また訓練対象物に対するユーザの動きを精度よく評価することのできる訓練システム、方法及びプログラムを提供することを目的とする。 The present invention was made to address these conventional problems, and aims to provide a training system, method, and program that can efficiently improve a user's proficiency and accurately evaluate the user's movements relative to a training object.
上記目的を達成するため、本発明に係る訓練システムは、仮想空間に三次元表示される訓練対象物の操作方法を教育・訓練する訓練システムであって、
前記訓練対象物を表示装置に仮想表示させる三次元表示制御部（３Ｄ－ＣＧ表示制御部）と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知部と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定部と、を備え、
前記三次元表示制御部は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠（操作対象識別枠）を表示する一方、前記操作検知部によって検知された操作情報に基づいて、前記操作対象部位を操作するための手段を示す操作手段識別画像を表示することを特徴とする。ここで、訓練シナリオとは、操作順序認識可能に操作対象部位と制限時間などの判定条件とを関連付けた情報である。
In order to achieve the above object, a training system according to the present invention is a training system for educating and training a user on a method of operating a training object displayed in three dimensions in a virtual space, comprising:
A three-dimensional display control unit (3D-CG display control unit) that virtually displays the training object on a display device;
an operation detection unit that detects operation information including a user's operation position and operation direction;
an operation determination unit that evaluates a user's operation based on an operation target portion of the training object and the operation information,
The three-dimensional display control unit displays a frame (operation target identification frame) that identifies an operation target part to be operated according to the progress of the training scenario, while displaying an operation means identification image that indicates a means for operating the operation target part based on the operation information detected by the operation detection unit. Here, the training scenario is information that associates the operation target parts with judgment conditions such as a time limit so that the operation sequence can be recognized.
好ましくは、操作検知部は、ヘッドトラッキング、ポジショントラッキング、ハンドトラッキング、アイトラッキングの少なくとも一つのトラッキング方法により、操作情報を検知するのがよい。 Preferably, the operation detection unit detects operation information using at least one of the following tracking methods: head tracking, position tracking, hand tracking, and eye tracking.
また、本発明に係る訓練システムは、一又は二以上の操作対象部位を記憶すると共に、夫々の前記操作対象部位とその操作対象部位を操作するための手段（操作手段）の座標を記憶する訓練シナリオ記憶部を備え、
前記三次元表示制御部は、前記訓練シナリオ記憶部を参照して、訓練シナリオの進行にしたがって操作すべき操作対象部位に関連付けられた操作手段識別画像を、前記操作検知部で検知された操作情報によって決定される位置および向きで表示することを特徴とする。これにより仮想空間上で操作対象部位ごとに異なる操作手段（ツール）を用いて操作を行う訓練を効率的に行うことができる。
The training system according to the present invention further comprises a training scenario storage unit that stores one or more operation target parts and stores coordinates of each of the operation target parts and a means (operation means) for operating the operation target parts,
The three-dimensional display control unit refers to the training scenario storage unit and displays an operation means identification image associated with an operation target part to be operated as the training scenario progresses, at a position and orientation determined by the operation information detected by the operation detection unit. This allows efficient training in which different operation means (tools) are used for each operation target part in the virtual space.
また、本発明に係る訓練システムは、訓練対象物の前記操作対象部位ごとに、それぞれの前記操作対象部位からの距離に応じて、前記操作手段識別画像が通過すべき又は通過すべきでない判定領域を保存する手段を備え、前記操作判定部は、前記操作手段識別画像の位置が前記判定領域を通過したか否かによって、ユーザが前記操作対象部位に正しくアクセスしたか否かを判定することを特徴とする。これにより、仮想空間においても実空間での訓練に近い精度のよい訓練が可能となる。 The training system according to the present invention is also characterized in that it includes means for saving a judgment area through which the operation means identification image should or should not pass, depending on the distance from each of the operation target parts of the training object, and the operation judgment unit judges whether or not the user has correctly accessed the operation target part based on whether or not the position of the operation means identification image has passed through the judgment area. This makes it possible to perform training in a virtual space with high accuracy similar to training in a real space.
なお上記の判定領域は仮想空間上に表示されるものではないが、動作モードあるいはユーザの習熟度によって表示させるようにしてもよい。例えば、ユーザの習熟度が所定値以下の場合は表示させる等である。 The above judgment area is not displayed in the virtual space, but may be displayed depending on the operation mode or the user's proficiency. For example, it may be displayed when the user's proficiency is below a certain value.
この訓練システムには複数の動作モードを設け、いずれの動作モードで動くかを選択可能できるようにするのが好ましい。動作モードとしては、例えば、ユーザは操作せず、操作手順をＶＲ上で訓練シナリオ通りに再現する学習モード、ユーザが訓練シナリオに沿って操作するが評価（採点）はしない操作モード、ユーザが訓練シナリオに沿って操作を行い、操作内容を記録して採点する採点モードがある。 It is preferable to provide this training system with multiple operation modes, and to allow the user to select which operation mode to use. Examples of operation modes include a learning mode in which the user does not operate the system, but instead reproduces the operation procedure in VR according to the training scenario, an operation mode in which the user operates according to the training scenario but is not evaluated (scored), and a scoring mode in which the user operates according to the training scenario, records the operation content, and scores it.
そして、選択されたモードにより、操作対象識別枠の表示／非表示を決定する。例えば学習モード，操作モードが選択された場合は、操作対象識別枠を表示し、採点モードが選択された場合は操作対象識別枠を表示しない等である。なお、操作対象識別枠の表示／非表示はこれに限らず、ユーザの習熟度や他の条件との組合せによって決定するようにしてもよい。 Then, depending on the selected mode, it is determined whether the operation target identification frame is displayed or not. For example, if the learning mode or operation mode is selected, the operation target identification frame is displayed, and if the scoring mode is selected, the operation target identification frame is not displayed. Note that whether the operation target identification frame is displayed or not is not limited to this, and may be determined based on the user's level of proficiency or a combination with other conditions.
たとえば、採点モードのときに操作検知部がユーザの視線を検知した場合、前記三次元表示制御部はその視線ベクトルが前記訓練対象物の前記操作対象部位の所定範囲と一定時間以上交差することにより、操作対象識別枠を表示する等である。 For example, when the operation detection unit detects the user's line of sight during scoring mode, the three-dimensional display control unit displays an operation target identification frame when the line of sight vector intersects with a specified range of the operation target part of the training object for a certain period of time or more.
また、前記操作検知部は、ユーザの視線を検知し、前記操作判定部はその視線ベクトルが前記訓練対象物の前記操作対象部位の所定範囲と一定時間以上交差することにより、当該操作対象部位が選択又は操作されたと認定するようにしてもよい。
これにより、ユーザは操作対象部位を容易に特定し、あるいは選択、操作をすることができる。
In addition, the operation detection unit may detect the user's gaze, and the operation determination unit may determine that the operation target part of the training object has been selected or operated when the gaze vector intersects with a specified range of the operation target part of the training object for a certain period of time or more.
This allows the user to easily identify, select, and operate the area to be operated.
なお、操作対象部位を識別するための操作対象識別枠は上記以外の種々の条件でそれぞれ異なる識別表示をすることができる。例えば、操作手段識別画像と操作対象部位との位置関係から、操作対象識別画像が操作対象部位に到達したと判定した場合は、その操作対象部位が選択されたことを知らせるために、操作対象識別枠を色替えなどの識別表示をするとか、操作手段識別画像と操作対象部位との位置関係から、操作手段識別画像が操作対象部位に正しいルートを通って到達した場合は、操作対象識別枠をさらに異なる態様で識別表示する等である。 The operation target identification frame for identifying the operation target area can be displayed differently depending on various conditions other than those mentioned above. For example, if it is determined that the operation target identification image has reached the operation target area based on the positional relationship between the operation means identification image and the operation target area, the operation target identification frame can be displayed in a different color or other way to indicate that the operation target area has been selected. If it is determined that the operation means identification image has reached the operation target area via the correct route based on the positional relationship between the operation means identification image and the operation target area, the operation target identification frame can be displayed in a different manner.
また、本発明に係る訓練システムの前記操作判定手段は、複数のユーザの判定結果に基づいて、操作対象部位ごとに操作内容の正解／不正解、操作するまでの時間に関する統計データを演算し、その演算結果を出力する統計分析部と、前記統計分析部の出力に基づいて前記訓練シナリオを変更するシナリオ変更編集部を備えたことを特徴とする。 The operation judgment means of the training system according to the present invention is characterized by comprising a statistical analysis unit that calculates statistical data on the correctness/incorrectness of the operation content for each operation target part and the time it takes to perform the operation based on the judgment results of multiple users, and outputs the calculation results, and a scenario change editing unit that changes the training scenario based on the output of the statistical analysis unit.
本発明に係る訓練方法は仮想空間に三次元表示される訓練対象物の操作方法を教育・訓練する方法であって、
前記訓練対象物を表示装置に仮想表示する三次元表示処理と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知処理と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定処理と、を含み、
前記三次元表示部は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠を表示する一方、前記操作検知部によって検知された操作情報に基づいて、前記操作対象部位を操作するための手段を示す操作手段識別画像を表示することを特徴とする。
The training method according to the present invention is a method for educating and training a user on how to operate a training object displayed in three dimensions in a virtual space, comprising:
A three-dimensional display process for virtually displaying the training object on a display device;
An operation detection process for detecting operation information including a user's operation position and operation direction;
and an operation determination process for evaluating a user's operation based on an operation target portion of the training object and the operation information,
The three-dimensional display unit displays a frame identifying the target area to be operated as the training scenario progresses, while displaying an operation means identification image indicating the means for operating the target area based on operation information detected by the operation detection unit.
また、本発明に係るプログラムは、仮想空間に三次元表示される訓練対象物の操作方法を教育・訓練するプログラムであって、
前記訓練対象物を表示装置に仮想表示する三次元表示処理と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知処理と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定処理と、を実行し、
前記三次元表示処理は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠を表示する一方、前記操作検知処理によって検知された操作情報に基づいて、前記操作対象部位を操作するための手段を示す操作手段識別画像を表示することを特徴とする。
The program according to the present invention is a program for educating and training a user on a method of operating a training object displayed in three dimensions in a virtual space, comprising:
A three-dimensional display process for virtually displaying the training object on a display device;
An operation detection process for detecting operation information including a user's operation position and operation direction;
an operation determination process for evaluating a user's operation based on the operation target portion of the training object and the operation information;
The three-dimensional display process is characterized in that it displays a frame identifying the target area to be operated as the training scenario progresses, while displaying an operation means identification image indicating the means for operating the target area based on operation information detected by the operation detection process.
また、本発明に係るプログラムは、訓練対象物の操作対象部位ごとに、それぞれの前記操作対象部位からの距離に応じて、前記操作対象部位を操作するための手段を示す操作手段識別画像が通過すべき又は通過すべきでない判定領域を保存する手段を備え、仮想空間に三次元表示される訓練対象物の操作方法を教育・訓練する訓練システムのプログラムであって、
前記訓練対象物を表示装置に仮想表示する三次元表示処理と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知処理と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定処理と、を実行し、
前記三次元表示処理は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠を表示する一方、前記操作検知処理によって検知された操作情報に基づいて、前記操作手段識別画像を表示し、
前記操作判定処理は、前記操作手段識別画像の位置が前記判定領域を通過したか否かによって、ユーザが前記操作対象部位に正しくアクセスしたか否かを判定することを特徴とする。
The program according to the present invention is a training system program for educating and training a user on how to operate a training object displayed in three dimensions in a virtual space, the program comprising: a means for saving a judgment area through which an operation means identification image showing a means for operating the operation target portion of a training object should or should not pass, depending on a distance from each of the operation target portions of the training object;
A three-dimensional display process for virtually displaying the training object on a display device;
An operation detection process for detecting operation information including a user's operation position and operation direction;
an operation determination process for evaluating a user's operation based on the operation target portion of the training object and the operation information;
the three-dimensional display process displays a frame for identifying an operation target part to be operated as the training scenario progresses, while displaying the operation means identification image based on the operation information detected by the operation detection process;
The operation determination process determines whether or not the user has correctly accessed the operation target portion depending on whether or not the position of the operation means identification image has passed through the determination area.
本発明によれば、ユーザの習熟度を効率的に高めることができ、また訓練対象物に対するユーザの動きを精度よく評価することがでる。 The present invention makes it possible to efficiently improve a user's proficiency and accurately evaluate the user's movements relative to a training object.
以下に本発明の実施の形態に係る訓練システムについて図面を参照しながら説明する。
図１において、訓練システム１は、バーチャルコンテンツ表示装置１０、操作用装置５０、訓練シナリオ／操作記録判定装置６０で構成される。訓練シナリオ／操作記録判定装置６０とＨＭＤ１０は有線又は無線の通信回線を介して接続される。
A training system according to an embodiment of the present invention will be described below with reference to the drawings.
1, the
バーチャルコンテンツ表示装置１０として、たとえばヘッドマウントディスプレイ（以下、単に「ＨＭＤ」という。）を用いることができる。以下、このＨＭＤを用いた場合を例に説明する。
As the virtual
訓練シナリオ／操作記録判定装置（以下単に「判定装置」という。）６０は、ＨＭＤ１０へ送信するための訓練対象物の三次元データや、訓練対象物の操作手順データなどを記憶する。また、判定装置６０は、ＨＭＤ１０から送られてくる操作情報に基づいてユーザの操作内容に関する判定や統計分析を行う。そして、統計分析の結果に基づいて操作手順や判定基準などの訓練シナリオの変更を行う。
The training scenario/operation record judgment device (hereinafter simply referred to as the "judgment device") 60 stores three-dimensional data of the training object to be transmitted to the
操作用装置５０は、ユーザが所持あるいは装着するコントローラや、ユーザの手指の動きを検知するハンドトラッキングなどで構成することができる。この操作用装置５０は、ユーザの動きを検知することができれば足り、ユーザの視線で訓練対象物の操作が可能であれば、視線を検知する装置なども含まれる。
The
ＨＭＤ１０は、判定装置６０から渡される訓練対象物の三次元データをもとに、訓練対象物を三次元仮想空間に表示し、操作用装置５０から渡される検知信号をもとに、訓練対象物を操作する手段（例えば手指や後述するレンチ等）の位置や操作内容（例えばボタン押下やレンチの回転等）などの操作情報を得る。この操作情報は、判定装置６０へ送られ、操作内容に関して判定が行われる。
The
より詳細には、判定装置６０は、訓練対象物の三次元データを保存する３Ｄモデル記憶部６１、操作手順などユーザを訓練するためのシナリオ（訓練シナリオ）を保存する訓練シナリオ記憶部６２、操作判定された結果を保存する操作判定記憶部６３を備える。
判定装置６０は、また、３Ｄモデル記憶部６１と訓練シナリオ記憶部６２に保存されているデータをもとに、訓練対象物や訓練シナリオに従った操作指示などの情報をＨＭＤ１０に仮想表示させる３Ｄ－ＣＧ表示制御部７１、ＨＭＤ１０から送られてくる操作情報をもとにユーザの操作内容を評価し、評価結果を操作判定記憶部６３に書き込む操作判定部７２、操作判定記憶部６３に保存されている評価結果を出力する操作判定出力部７３、当該評価結果をもとに統計・分析を行う統計分析部７４、この統計分析の結果に基づいて訓練シナリオのデータを編集するシナリオ変更編集部７５を備える。シナリオ変更編集部７５は、図示しないユーザインタフェースによって人間系で訓練シナリオを編集してもよいが、後述する手順によって、統計分析の結果に基づいて自動的に編集処理を行うようにしてもよい。
More specifically, the
The
ＨＭＤ１０は、判定装置６０の３Ｄ－ＣＧ表示制御部７１から送られてくる情報を仮想表示する３Ｄ－ＣＧ表示部１１、操作用装置５０から渡されるユーザの動きなどの操作に関するデータをもとに所定の操作手段を表す画像（操作手段識別画像）を三次元仮想空間に表示する操作内容表示部１２、操作判定に用いられる座標（例えば操作手段の座標）を検知する操作座標検知部１３、操作内容（例えば、ユーザの手の位置や訓練対象物へのアプローチルートなど）を検知する操作内容検知部１４を備える。
The
操作用装置５０は、ユーザの動きなど操作判定に必要なデータを検知して、ＨＭＤ１０の操作内容表示部１２に渡す操作検知部５１を備えている。
ここで、各手段１２～１４，５１，７１～７５はコンピュータの機能としてプログラムによって実現可能である。
この判定装置６０は、汎用コンピュータで実現することもできるが、ＨＭＤ１０と一体として実現してもよい。また、操作用装置５０についても、ＨＭＤ１０の機能を用いて実現することもできる。
The
Here, each of the
The
訓練システム１の装置構成例およびＨＭＤ１０に表示される訓練対象物のイメージを図２に示す。
例えば、鉄道車両の運転台の操作訓練を行う場合、ＨＭＤ１０には、訓練対象物１１ａとして運転台の機器が三次元仮想表示される。ユーザの動きをトラッキングする方法としては、ヘッドトラッキング、ポジショントラッキング、ハンドトラッキング、アイトラッキングなど既知の方法を用いることができる。
FIG. 2 shows an example of the device configuration of the
For example, when training is given on the operation of a driver's cab of a railway vehicle, the equipment in the driver's cab is virtually displayed in three dimensions as a training object 11a on the
訓練シナリオ記憶部６２のデータ例を図３に示す。訓練シナリオは、操作手順ごとの判定条件からなる。訓練シナリオは、学習題材ごとに複数設けられる。なお訓練シナリオは各作業項目の判定結果によって分岐させるようにしてもよい。
図３において、操作手順の順番に作業項目が記憶され、各作業項目には、動作（ガイダンス）の内容、操作判定の対象か否かを設定するフラグ、視線判定の対象か否かを設定するフラグ、操作対象部位の座標、操作時の挙動（操作対象部位の変化）、操作対象識別枠の座標、判定領域の座標、制限時間、判定対象の採点を有効とするか否かを設定するフラグが関連付けられて記憶される。判定領域は、操作対象部位からの距離に応じて、ユーザの操作手段が通過する範囲を示す領域であり、各操作対象部位にユーザがアクセスすべきルートを規定する情報（ルート情報）である。なお、この判定領域はユーザがアクセスすべきでないルートとして設定してもよい。また、図３において、作業項目ごとに動作（ガイダンス）を行うか否かを設定するフラグを設けるようにしてもよい。
An example of data in the training
In Fig. 3, the work items are stored in the order of the operation procedure, and each work item is associated with and stored with the contents of the operation (guidance), a flag for setting whether or not it is a target for operation judgment, a flag for setting whether or not it is a target for gaze judgment, the coordinates of the operation target part, the behavior during operation (change in the operation target part), the coordinates of the operation target identification frame, the coordinates of the judgment area, the time limit, and a flag for setting whether or not the scoring of the judgment target is enabled. The judgment area is an area indicating the range through which the user's operating means passes depending on the distance from the operation target part, and is information (route information) that specifies the route that the user should access each operation target part. Note that this judgment area may be set as a route that the user should not access. Also, in Fig. 3, a flag for setting whether or not to perform an operation (guidance) for each work item may be provided.
図４は、操作判定記憶部６３のデータ構成例である。ユーザＩＤ、訓練シナリオＩＤごとに、各作業項目の結果が保存されている。
３Ｄモデル記憶部６１には、訓練対象物の３Ｄモデルを表示するための三次元座標が保存されている。なお、図３に示した操作対象識別枠や判定領域の座標あるいは操作手段識別画像の座標は、３Ｄモデル記憶部６１に保存するようにしてもよい。
4 shows an example of the data configuration of the operation
Three-dimensional coordinates for displaying a 3D model of a training object are stored in the 3D
次に上述した構成を有する訓練システム１の動作を説明する。
（１）訓練モード
本実施の形態では、訓練システム１の訓練モードとして、１）学習モード、２）操作モード、３）採点モード、の３種類のモードを設ける。
Next, the operation of the
(1) Training Modes In this embodiment, the
学習モードは、ユーザの操作なしで、操作手順を仮想空間上でシナリオ通りに再現する動作モードである。すなわち、ユーザは操作をせず、仮想空間上に表示される操作対象物と、操作対象識別枠およびガイダンスを見て操作内容を記憶することを主な目的とする。なお、このとき訓練シナリオに基づいて動く操作手段識別画像ないしアバターを表示するようにしてもよい。 The learning mode is an operating mode in which the operating procedures are reproduced in a virtual space according to a scenario, without the user's operation. In other words, the main purpose of the user is to memorize the operation contents by looking at the operation object, operation object identification frame, and guidance displayed in the virtual space, without performing any operation. Note that at this time, an operating means identification image or avatar that moves based on the training scenario may be displayed.
操作モードは、ユーザが訓練シナリオに沿って操作する動作モードである。この動作モードでは、ユーザの操作内容に対して採点はしない。
採点モードも、ユーザが訓練シナリオに沿って操作を行う動作モードであるが、操作モードと異なり、ユーザの操作内容を記録して採点して評価を行う。
The operation mode is an operation mode in which the user operates according to a training scenario. In this operation mode, the user's operation is not scored.
The scoring mode is also an operation mode in which the user performs operations according to a training scenario, but unlike the operation mode, the user's operations are recorded, scored, and evaluated.
訓練は、１）学習モード→２）操作モード→３）採点モード、のように段階を踏んで行うのが好ましい。また、訓練対象物において、どこを操作するかを示す操作対象識別枠は、学習モード、操作モードでは表示するが、採点モードでは表示しないなどの表示制御を行うことにより、効果的な訓練を行うことができる。勿論、操作対象識別枠は、訓練モードのみでなくユーザの習熟度などの条件も含めて表示／非表示を決定するようにしてもよい。 It is preferable that training be carried out in stages, such as 1) learning mode → 2) operation mode → 3) scoring mode. Furthermore, effective training can be carried out by controlling the display of the operation object identification frame, which indicates which part of the training object is to be operated, so that it is displayed in the learning mode and operation mode, but not displayed in the scoring mode. Of course, the display/non-display of the operation object identification frame may be determined based not only on the training mode, but also on other conditions such as the user's proficiency.
（２）操作対象ガイド機能（図５）
３Ｄ－ＣＧ表示制御部７１は、訓練開始時に訓練対象物の三次元画像を３Ｄ－ＣＧ表示部１１に表示させる。そして、学習モード、操作モードのときには、図５に示すように訓練シナリオの進行に伴って、訓練対象物の３Ｄモデルに重ねて、そのときの操作対象部位を視認し易くするための枠（操作対象識別枠）２１を表示する。ユーザが当該操作対象部位の操作を終えると、その操作対象識別枠は消去し、次の操作対象部位に対する操作対象識別枠を表示する。
(2) Operation target guide function (Fig. 5)
At the start of training, the 3D-CG
以下、図６を用いて、３Ｄ－ＣＧ表示制御部７１の操作対象識別枠表示処理の手順を詳述する。
訓練開始時、３Ｄ－ＣＧ表示制御部７１は起動されると、訓練対象物をＨＭＤ１０の３Ｄ－ＣＧ表示部１１に表示する（Ｓ５０１）。そして、訓練モードが採点モードか否かを判定し（Ｓ５０２）、採点モードの場合は終了する。採点モードでない場合、すなわち学習モード又は操作モードの場合は、訓練シナリオの全ての操作対象部位について次の処理を実行する（Ｓ５０３ａ，Ｓ５０３ｂ）。まず訓練シナリオ記憶部６２にアクセスして操作対象項目の操作対象識別枠情報を抽出する（Ｓ５０４）。この操作対象識別枠情報は、操作対象識別枠の色、動作（例えばフリッカ）などの表示態様や位置を決める情報である。３Ｄ－ＣＧ表示制御部７１は、この操作対象識別枠情報にしたがって３Ｄ－ＣＧ表示部１１の仮想空間上に操作対象識別枠を表示する（Ｓ５０５）。ちなみに、操作対象識別枠の座標は、その操作項目の操作対象部位に関連付けられて予め訓練シナリオ記憶部６２又は３Ｄモデル記憶部６１に保存される。
The procedure of the operation target identification frame display process of the 3D-CG
When the training starts, the 3D-CG
次に３Ｄ－ＣＧ表示制御部７１は訓練モードを判定し（Ｓ５０６）、訓練モードが学習モードの場合は、訓練シナリオ記憶部６２に予め保存されている設定時間（制限時間）の経過後に（Ｓ５０７）、当該操作対象識別枠を消去する（Ｓ５１０）。一方、訓練モードが操作モードの場合は、操作が終了したか否かを判定し、操作が終了した場合（Ｓ５０８）あるいはタイムアウト後（Ｓ５０９）に当該操作対象識別枠を消去する（Ｓ５１０）。
The 3D-CG
上記処理は、操作対象識別枠の表示／非表示に関する手順であり、例えば訓練シナリオにしたがって行うガイダンス表示（図７）や音声による指示などは別のステップによって３Ｄ－ＣＧ表示部１１に表示される。
以上の手順で表示制御される操作対象識別枠により、ユーザは容易に操作対象部位を認識することができる。また、ユーザの視点や姿勢が代わっても、分かり易く表示することができるので、訓練効率を上げることができる。
The above process is a procedure for displaying/hiding the operation target identification frame. For example, guidance display (FIG. 7) according to the training scenario and voice instructions are displayed on the 3D-
The operation target identification frame, which is display-controlled according to the above procedure, allows the user to easily recognize the operation target area. In addition, even if the user's viewpoint or posture changes, the display can be made easy to understand, improving training efficiency.
なお、操作対象識別枠は、上述した訓練モードに限らず、たとえばユーザの操作内容や習熟度など他の要素を加えてそれぞれどのような状況かがわかるように識別表示するようにしてもよい。また、個々の操作対象部位ごとに表示／非表示とするのではなく、一連の訓練単位ごとに、複数の操作対象部位の操作対象識別枠を表示制御するようにしてもよい。 The operation target identification frame is not limited to the above-mentioned training mode, and other elements such as the user's operation content and proficiency may be added to identify and display the respective situations. Also, instead of displaying/hiding each individual operation target part, the display of the operation target identification frames for multiple operation target parts may be controlled for each series of training units.
（３）訓練機器の操作（図８）
訓練シナリオにしたがって、ユーザは仮想空間内で機器（操作対象部位）を操作するが、この機器操作は、図８に示すコントローラを使用して操作することができる。
(3) Operation of training equipment (Figure 8)
According to the training scenario, the user operates equipment (operation target part) in the virtual space, and this equipment operation can be performed using the controller shown in FIG.
コントローラを使用した場合、コントローラの備える操作検知部５１によって、コントローラの位置や向き（方向）に関する情報がＨＭＤ１０に送られ、操作内容表示部１２により、その操作対象部位を操作するのに用いられる手段（ツール）を示す画像（操作手段識別画像）が仮想空間上に表示される。
When the controller is used, the
なお、このときの操作手段識別画像の表示位置は、予めセットされたデフォルトの位置（例えば、ＨＭＤ１０の位置からの相対距離）を基準として、その位置からコントローラの移動量、移動方向によって操作手段識別画像を移動させてもよいし、あるいはコントローラの種類によって別の表示のさせ方をしてもよい。例えば、コントローラがレーザなどの光を照射する装置の場合は、コントローラの位置、向きによって発射される光の軌跡を演算し、その軌跡と、訓練対象物との交点に操作手段識別画像を表示させるようにしてもよい。 The display position of the operation means identification image at this time may be based on a preset default position (e.g., a relative distance from the position of the HMD 10) and the operation means identification image may be moved from that position depending on the amount and direction of movement of the controller, or it may be displayed in a different way depending on the type of controller. For example, if the controller is a device that emits light such as a laser, the trajectory of the emitted light may be calculated based on the position and orientation of the controller, and the operation means identification image may be displayed at the intersection of that trajectory and the training object.
以下、コントローラを用いて、訓練対象物を選択、操作する手順について説明する。
なお、コントローラの仮想空間上の位置座標や向き等のデータは、既存のポジショントラッキング技術が用いて取得することができる。コントローラ５０の操作検知部５１は、取得した位置座標や向き等のデータをＨＭＤ１０の操作内容表示部１２に渡す。
The procedure for selecting and manipulating a training object using the controller will be described below.
The position coordinates, orientation, and other data of the controller in the virtual space can be acquired using existing position tracking technology. The
操作内容表示部１２は、コントローラ５０の位置及び向きから仮想空間内において一定方向に延長線を引く。この延長線は、仮想空間内に表示させてもよいし、表示させなくてもよいが、コントローラ５０から訓練対象物の交点まで仮想空間上に延長線を表示することにより、ユーザには、その延長線があたかもレーザ光線のように認識され、操作性の向上が期待できる。
The operation
そして、この延長線と訓練対象物の３Ｄモデル上の交点にポインタ５０ａを表示する。
このポインタ５０ａの座標は、操作座標検知部１３により判定装置６０の操作判定部７２に送られる。
また、ユーザはポインタ５０ａが訓練対象物の所望の位置に来たときに、所定のアクション（例えば、コントローラ５０のボタンを押すなど）を行う。このアクションは、操作内容検知部１４によって検出され、判定装置６０の操作判定部７２に送られる。
A pointer 50a is then displayed at the intersection of this extension line and the 3D model of the training object.
The coordinates of this pointer 50 a are sent by the operation coordinate
Furthermore, when the pointer 50a reaches a desired position on the training object, the user performs a predetermined action (for example, pressing a button on the controller 50). This action is detected by the operation
操作判定部７２は、ポインタ５０ａが判定用の座標（面又は立体）内に入り、所定のアクションが行われることにより、当該操作対象部位に対するユーザの操作の判定は正常に完了したと判定する。操作判定部７２は、この判定結果に加え、当該操作に要した時間や、ポインタ５０ａの軌跡、すなわち操作対象部位へのアプローチのルート等などの操作内容等も含めてユーザの当該操作対象部位に対する評価を演算し、当該評価結果を操作判定記憶部６３に保存する。
When the pointer 50a enters the judgment coordinates (plane or solid) and a specified action is performed, the
（他の手段による機器操作）
以上、コントローラによって操作を行う場合について説明したが、操作用装置５０はこれに限らず、既知の技術を用いることができる。例えば、操作用装置５０としてハンドトラッキング装置を用いてユーザの手指の動きをトラッキングし、これを三次元仮想空間上に表示させてもよい。この場合も、上述したように、三次元仮想空間上でデフォルトの表示位置を予め決めておき、ハンドトラッキング装置の検知した移動量、移動方向に従って、三次元仮想空間上での操作手段識別画像を移動させることができる。
(Operation of equipment by other means)
Although the above describes a case where the operation is performed by a controller, the
具体的には、操作内容表示部１２は、ハンドトラッキング装置から渡される操作データを取り込み、操作座標検知部１３によって仮想空間上の座標（バーチャルハンド座標）を演算する。このバーチャルハンド座標は操作判定部７２に渡される。操作判定部７２は、バーチャルハンド座標が操作対象部位に関連つけて予め設定されている判定用の座標（面または立体）内に入り、操作内容検知部１４を介して所定のアクション（ハンドジェスチャー・ボタン）が実行されたことを検知すると、操作完了と判定する。
Specifically, the operation
なお、上記の操作判定例は、ハンドトラッキング技術を利用してバーチャル空間内にバーチャルハンドを表示し、仮想空間内のオブジェクトを操作し操作判定するというものである。これに対して、図９に示すように、バーチャルハンドではなく、ハンドトラッキング技術でとらえた実空間の自分の手の位置（座標・方向）をもとに仮想空間内に治具（ツール）２２を表示して、仮想空間内の対象物（オブジェクト）１１ａを操作・判定するようにしてもよい。
この操作判定では、ハンドトラッキング技術でユーザの手の位置・向きをトラッキングして、座標・方向・角度を取得する。操作内容表示部１２は、取得したデータをもとに実空間の手に治具が把持されたとして、当該治具の画像（操作手段識別画像）２２を仮想空間に表示する。
In the above example of operation determination, a virtual hand is displayed in a virtual space using hand tracking technology, and an object in the virtual space is operated and determined. Alternatively, as shown in Fig. 9, instead of a virtual hand, a tool 22 may be displayed in the virtual space based on the position (coordinates and direction) of one's own hand in the real space captured by hand tracking technology, and an object 11a in the virtual space may be operated and determined.
In this operation determination, the position and orientation of the user's hand are tracked using hand tracking technology to obtain the coordinates, direction, and angle. Based on the obtained data, the operation
図９は、機器の組み立て分解作業において、治具２２としてレンチを用いて、仮想空間上に表示された機器（訓練対象物）のナット（操作対象部位）の取り外し・取り付け作業を行う場合の例を示すものである。なお、図９では、治具２２としてレンチを記載するが、治具２２はレンチに限定するものではない。治具２２の操作は、コントローラを移動・回転させる、あるいはボタンを押す、その他ハンドジェスチャなどの所定のアクション（例：手を握るなど）によって行う。この治具２２の画像は、いわゆる治具本体（図中Ｂ）の画像に、訓練対象物の操作対象部位（図中Ａ）と係合する部分を示す画像（図中Ｃの○印）を合成するのが好ましい。これにより、ユーザは治具２２において、操作対象部位と係合する位置を正確に認識することができるので、仮想空間の訓練対象物に対して正しい位置に治具２２をセットすることができる。なお、作業項目ないし操作対象部位ごとに異なる治具を用いる場合があるが、訓練シナリオ記憶部６２の作業項目番号に関連つけて、当該作業で用いる治具（操作手段識別画像）２２の３Ｄ座標を保存しておき、ハンドトラッキング等によって取得した手指の位置とこの３Ｄ座標を用いて、仮想空間上に作業ごとに異なる治具の画像２２を表示することができる。
9 shows an example of a case where a wrench is used as the jig 22 to remove and install nuts (operation target parts) of equipment (training object) displayed in a virtual space in the assembly and disassembly of equipment. In FIG. 9, a wrench is shown as the jig 22, but the jig 22 is not limited to a wrench. The jig 22 is operated by moving and rotating the controller, pressing a button, or by a predetermined action such as a hand gesture (e.g., clenching the hand). It is preferable that the image of the jig 22 is a composite image of the so-called jig body (B in the figure) and an image (circle mark C in the figure) showing the part that engages with the operation target part of the training object (A in the figure). This allows the user to accurately recognize the position of the jig 22 that engages with the operation target part, so that the jig 22 can be set in the correct position with respect to the training object in the virtual space. In some cases, different tools are used for each task or each part to be operated. The 3D coordinates of the tool (operation means identification image) 22 used for that task are stored in association with the task item number in the training
以下、図９を用いて、この処理手順について詳述する。
（ステップ１）３Ｄ－ＣＧ表示制御部７１により、仮想空間に操作対象となる機器などの３Ｄモデルを表示する。
（ステップ２）機器には操作対象となる部位（Ａ）を予め設定しておく。操作対象部位が判るようにガイド（枠）を表示してもよいし、あえて表示しなくてもよい。このデータは、図３に示す訓練シナリオ記憶部６２に予め保存しておく。設定情報は、例えば操作対象部位の座標、操作対象部位に対する治具の方向・角度などである。また、操作時の挙動・正しい操作（例：レンチを右回し）等、操作手段によって決まる操作内容を設定しておく。
（ステップ３）実空間でハンドトラッキング技術により取得したユーザの手の座標情報をもとに、仮想空間に当該手の座標からの相対位置（予め設定）にバーチャル治具（Ｂ）を表示する。治具には、操作検知部分（Ｃ）が設定されている。後述する処理により、この操作検知部分（Ｃ）が正しいルートを通って操作対象部位にアクセスしたか否かが判定される。
（ステップ４）治具２２の操作検知部分（Ｃ）と操作対象部位の座標（ある程度の範囲）と治具の角度（予め設定：操作対象部位に対する相対角度）が一致した状態で指定のアクション（右回しなど）を行った場合、正しい操作として記録し、正しく操作が行われたことを示すバーチャルモデルを表示する。
なお、アクションは、手の動作あるいはコントローラのボタンなどでの操作が可能とする。
This processing procedure will be described in detail below with reference to FIG.
(Step 1) The 3D-CG
(Step 2) The part (A) to be operated is set in advance on the equipment. A guide (frame) may be displayed so that the part to be operated can be identified, but it is not necessary to display it. This data is stored in advance in the training
(Step 3) Based on the coordinate information of the user's hand acquired in the real space by the hand tracking technology, a virtual tool (B) is displayed in the virtual space at a relative position (preset) from the coordinates of the hand. An operation detection part (C) is set in the tool. By the process described later, it is determined whether or not this operation detection part (C) has accessed the operation target part via the correct route.
(Step 4) When a specified action (such as turning right) is performed while the coordinates (within a certain range) of the operation detection portion (C) of the jig 22, the area to be operated, and the angle of the jig (pre-set: relative angle to the area to be operated) match, this is recorded as a correct operation, and a virtual model is displayed indicating that the operation was performed correctly.
Actions can be performed using hand movements or controller buttons.
（視線トラッキング）（図１０）
操作手段識別画像２２の移動は、ＨＭＤ１０の有するヘッドトラッキング機能及び視線（アイ）トラッキング機能を用いて実行することもできる。すなわち、ヘッドトラッキング機能により、仮想空間上の頭の位置及び向きを取得し、視線トラッキング機能により眼球の動き（視線）をトラッキングして操作手段識別画像２２を移動させる。この場合、ヘッドの動きや視線の動きをトラッキングする操作検知部５１はＨＭＤ１０に組み込むことができる。
(Eye tracking) (Figure 10)
The movement of the operation means identification image 22 can also be executed using a head tracking function and a gaze (eye) tracking function of the
以下、図１０（ａ）を参照しながら、視線トラッキングの手順について説明する。
操作内容表示部１２は、操作検知部５１から渡されるトラッキングデータをもとに、視線もしくは頭の位置・向き情報から一定方向に延長線（レーザポインタ）２３を表示する。この表示はしなくてもよいが、表示をすることにより、ユーザはどの方向を向いているかを容易に知ることができる。そして、延長線（レーザポインタ）２３と訓練対象物の３Ｄモデル上の交点にポインタ画像２２を表示する。操作判定部７２は、ポインタ画像の座標が判定用の座標（面または立体）内に入り、所定のアクション（ボタン・一定時間以上注視）が行われたことを検知することで操作完了と判定する。この判定用の座標として、操作対象識別枠２１の座標を用いることができるが、判定用の座標を別に設けるようにしてもよい。
The procedure for eye gaze tracking will be described below with reference to FIG.
The operation
操作判定部７２は、訓練モードが採点モードの場合は、訓練シナリオの作業項目ごとに採点有効フラグがセットされているものについて判定を行い、その判定結果は、操作判定記憶部６３に保存する。図１０（ｂ）に判定結果の例を示す。なお、判定結果は、合否のみではなく、例えば操作時間などユーザの評価（習熟度の算定）に用いる情報を含めることができる。また、判定結果をもとにポイント値を求めて、これを習熟度としてユーザの評価を行うようにしてもよい。このとき、作業項目ごとにポイントに重み付けをすることもできる。
When the training mode is the scoring mode, the
（４）操作判定処理
操作判定部７２は、採点モードのとき、ユーザが予め設定された時間内で、正しいルートで操作対象部位にアクセスして操作を行ったか否かの判定（アクセスルート判定処理）を行い、その結果によって評価を行う。
(4) Operation Judgment Processing In the scoring mode, the
図１１は、操作判定部７２のアクセスルート判定処理の概念説明図である。この図において、操作手段識別画像２２が、複数の判定領域で規定されるルートを通って操作対象部位に到達した場合は正しくアプローチしたと判定する。本実施の形態では、操作対象部位への到達は、操作対象識別枠２１に到達したかどうかで判定する。また、この操作対象識別枠２１は、図１１（ａ）に示すように平面で表すこともできるが、図１１（ｂ）に示すように立体で表すようにしてもよい。また、操作対象識別枠の座標に代えて、他の判定用座標、たとえば操作対象部位の画像の座標を用いることもできる。
Figure 11 is a conceptual diagram of the access route determination process of the
図１２にアクセスルート判定処理に用いる判定領域の具体例を示す。この図に示すように操作対象部位を囲むように設定された操作対象識別枠２１からの垂直距離（高さ）に応じて、所定の広さの判定領域を複数設ける。各判定領域は操作対象識別枠２１と平行に設けられる。図１２では、判定領域１～ｎが設けられている。この図において、Ｈ１は操作対象識別枠から最も離れた位置にある判定領域１までの距離、ｔは操作手段識別画像２２の位置の座標(点座標)、Ｄは操作対象識別枠２１から操作手段識別画像２２までの距離である。
Figure 12 shows a specific example of a judgment area used in the access route judgment process. As shown in this figure, multiple judgment areas of a specified size are provided according to the vertical distance (height) from the operation object identification frame 21 that is set to surround the operation object part. Each judgment area is provided parallel to the operation object identification frame 21. In Figure 12,
次に、図１３を用いて操作判定部７２のアクセスルート判定処理の手順について説明する。
操作判定部７２は、操作手段識別画像の座標（ｔ）を取得する（Ｓ６０１）。また、操作手段識別画像と操作対象識別枠との間の距離（Ｄｔ）を計算する（Ｓ６０２）。そして、距離Ｄｔと距離Ｈ１とを比較して（Ｓ６０３）、距離Ｄｔが距離Ｈ１以上の場合は、ステップＳ６０１に戻り以降の処理を繰り返す。一方、ステップＳ６０３において、距離Ｄｔが距離Ｈ１よりも小さい場合は、次に判定領域ｉ（ｉ＝１～ｎ）を通過したか否かを判定する（Ｓ６０４）。この判定処理は、例えば判定領域ごとに、操作手段識別画像の高さが、その判定領域の高さ以上か以下かを判定して、判定領域よりも低くなった直後の高さと直前の高さの位置情報から移動ベクトルを求めてそのベクトルが判定領域と交わるかどうかを確認することにより行うことができる。ステップＳ６０４の判定の結果、ＹＥＳの場合は、判定領域ｉを通過したことを示す通過フラグを記録（セット）する（Ｓ６０５）。以上の処理を操作手段識別画像が操作対象識別枠に到達するまで繰り返す（Ｓ６０６）。その後、全ての判定領域ｉ（i＝１～ｎ）について通過フラグがセットされているか否かを判定し（Ｓ６０７）、セットされていれば合格（Ｓ６０８）、すなわちユーザは、正しく操作対象部位にアクセスしたと判定する。一方、ステップＳ６０７の判定の結果、セットされていない判定領域ｉが存在する場合は不合格と判定する（Ｓ６０９）。なお、この判定において、例えば、判定領域ごとに重みをつけて、例えば操作対象識別枠に近い判定領域ほど重みを大きくして点数付けを行い、この点数によってユーザの操作の評価を行うようにしてもよい。
Next, the procedure of the access route determination process performed by the
The
（他の実施例）
上記のアクセスルート判定処理では、操作対象識別枠に平行に複数の判定領域を設けるようにしたが、図１４に示すように、操作対象識別枠ではなく操作対象部位からの距離に応じて判定領域を複数設けるようにしてもよい。この場合、夫々の判定領域は、操作対象部位から略等距離の曲面を形成する。このときの処理手順は、図１３のステップＳ６０２において、操作手段識別画像と操作対象部位までの距離を計算する。
Other Examples
In the above access route determination process, multiple determination areas are provided parallel to the operation object identification frame, but as shown in Fig. 14, multiple determination areas may be provided according to the distance from the operation object part, rather than the operation object identification frame. In this case, each determination area forms a curved surface at approximately the same distance from the operation object part. In this case, the processing procedure is as follows: in step S602 in Fig. 13, the distance from the operation means identification image to the operation object part is calculated.
（５）統計処理および訓練シナリオ変更処理
次に、図１５を用いて、訓練システム１の統計処理と、その統計結果に基づく訓練シナリオ変更処理について説明する。
統計分析部は、操作対象項目ごとの操作時間を抽出する（Ｓ３０１）。次に、操作対象項目ごとの操作時間でばらつき（標準偏差）が一定値より大きい項目を抽出する（Ｓ３０２）。そして、訓練シナリオ記憶部６２において、ステップＳ３０２で抽出した操作対象項目にシナリオ調整フラグ（図示せず）を付与する（Ｓ３０３）。
(5) Statistical Processing and Training Scenario Change Processing Next, the statistical processing of the
The statistical analysis unit extracts the operation time for each operation target item (S301). Next, items whose variation (standard deviation) in the operation time for each operation target item is greater than a certain value are extracted (S302). Then, in the training
続いて、シナリオ変更編集部７５は、シナリオ調整フラグが付与されている操作項目に変更情報を書き込む（Ｓ３０４）。変更情報は、例えば、操作対象識別枠２１の色を変える等である。
上記の処理は、例えば、操作項目の操作に成功（合格）したが、操作に至るまで時間がかかっている、もしくは、早く操作できる人と、時間がかかる人がいる（ばらつき）場合、これを解決するために訓練シナリオを変更するというものである。
Next, the scenario
The above process involves, for example, changing the training scenario to resolve cases where a person successfully (passes) operates an operational item but takes a long time to perform the operation, or where there are some people who can perform the operation quickly and others who take a long time (variation).
また、上述したステップＳ３０１～Ｓ３０３は、操作に正解した人を母集団にして統計処理をする例であるが、全ユーザを母集団として、正解率が低い項目にシナリオ調整フラグを付与するようにしてもよい。
特に、採点モードで測定した採点データ（操作データ）を、学習モード・操作モードで表示する操作対象識別枠表示などを変えることによって、学習効果を向上させることができる。
In addition, the above-mentioned steps S301 to S303 are an example of performing statistical processing on a population of people who answered the operation correctly, but it is also possible to use all users as the population and assign a scenario adjustment flag to items with a low rate of correct answers.
In particular, the learning effect can be improved by changing the operation object identification frame display displayed in the learning mode and operation mode based on the scoring data (operation data) measured in the scoring mode.
一例として図１６に３Ｄ－ＣＧ表示制御部７１の操作モード時の処理手順を示す。
３Ｄ－ＣＧ表示制御部７１は、訓練シナリオ全ての操作対象部位について以下の処理を実行する（Ｓ４０１ａ，Ｓ４０１ｂ）。まず、操作対象項目の変更情報を抽出する（Ｓ４０２）。そして、変更情報の有無を判定し（Ｓ４０３）、変更情報がある場合は、操作対象識別枠２１を注意枠として表示する（Ｓ４０４）。一方変更情報がない場合は、操作対象識別枠２１を通常枠として表示する（Ｓ４０５）。ここで、注意枠、通常枠は、色や点滅などその表示態様の違いをユーザが識別できれば足りる。
As an example, FIG. 16 shows a processing procedure in the operation mode of the 3D-CG
The 3D-CG
ちなみに、学習モードのときは、ステップＳ４０６の分岐判定がタイマーになる。例えば、訓練シナリオ記憶部６２の操作項目ごとの表示時間を経過したか否かで遷移するようにしてもよい。
Incidentally, in learning mode, the branching decision in step S406 is a timer. For example, the transition may be made depending on whether the display time for each operation item in the training
（他の実施例）
次に図１７、図１８を用いて統計処理、訓練シナリオ変更処理の他の実施例を説明する。この実施例は操作対象項目間の評価結果の相関を演算して、訓練時に効果的に操作対象識別枠ないしガイダンスを表示するものである。
Other Examples
Next, another embodiment of the statistical processing and training scenario change processing will be described with reference to Figures 17 and 18. This embodiment calculates the correlation of the evaluation results between operation target items and effectively displays an operation target identification frame or guidance during training.
図１７において、訓練システム１の統計分析部７４は、ユーザの訓練終了後あるいは予め設定された周期で起動されると、操作判定記憶部６３にアクセスして、各ユーザの評価結果を抽出する。そして、抽出したデータをもとに、訓練シナリオにおける各操作対象部位の評価結果の相関を演算する（Ｓ１０１）。たとえば、操作対象部位ａについて評価が悪い場合は、操作対象部位ｂについても評価が悪くなる等である。このように夫々の操作対象部位の評価結果について相関係数を求める。そして、相関係数が一定値以上の操作対象部位の組合せにグループ番号を付与する（Ｓ１０２）。このとき、一つの操作対象部位について複数のグループ番号が付される場合もある。
そして、シナリオ変更編集部７５は、訓練シナリオ記憶部６２の操作対象部位に関連付けて、グループ番号を書き込む（Ｓ１０３）。
In Fig. 17, when the
Then, the scenario
（６）訓練画像表示処理
次に３Ｄ－ＣＧ制御部の処理を中心した訓練画像表示処理の手順を説明する。
３Ｄ－ＣＧ制御部は、訓練開始により起動されると、３Ｄ－ＣＧ表示部に訓練対象物の３Ｄ画像を表示させるとともに、訓練シナリオ記憶部６２に記載された全ての操作対象部位について次の処理を実行する（Ｓ２０１ａ、Ｓ２０１ｂ）。
３Ｄ－ＣＧ制御部は、まず、訓練シナリオ記憶部６２の操作対象部位の注意表示フラグ（図示せず）を抽出する（Ｓ２０２）。この注意表示フラグは、ユーザごとに設けられ、そのユーザの最初の訓練時には予めリセットされている。
(6) Training Image Display Processing Next, a procedure for training image display processing centering on the processing of the 3D-CG control unit will be described.
When the 3D-CG control unit is activated by the start of training, it displays a 3D image of the training object on the 3D-CG display unit and executes the following processing for all operation target parts listed in the training scenario memory unit 62 (S201a, S201b).
The 3D-CG control unit first extracts (S202) a warning display flag (not shown) for the operation target body part from the training
そして、注意表示フラグがセットされていなければ、当該操作対象部位について通常の識別枠を表示する（Ｓ２０４）。注意表示フラグがセットされていれば、当該操作対象部位について注意表示用の識別枠を表示する（Ｓ２０５）。ここで、注意表示は、例えば通常表示と異なる色の枠で表示され、ユーザに特に注意喚起を促すものである。 If the warning display flag is not set, a normal identification frame is displayed for the operation target area (S204). If the warning display flag is set, an identification frame for a warning display is displayed for the operation target area (S205). Here, the warning display is displayed, for example, in a frame of a different color from the normal display, to call the user's special attention.
そして、操作判定部は、ユーザの操作が所定時間内に終了したか否かを判定し（Ｓ２０６，Ｓ２０７）、操作が終了した場合は、操作結果が合格か否かを判定する（Ｓ２０８）。その結果、合格の場合は、次の操作対象部位についてステップＳ２０２以降の処理を実行する。一方、ステップＳ２０８の判定の結果、不合格の場合は、訓練シナリオ記憶部６２の当該操作対象部位と相関のある、すなわち当該操作対象部位と同じグループに属する操作対象部位の注意表示フラグをセットして（Ｓ２０９）、次の操作対象部位の処理に移行する。
上記において、ステップＳ２０６～Ｓ２０８は操作判定部の処理として、またステップＳ２０９は操作判定出力部の処理として実行される。
The operation determination unit then determines whether the user's operation has been completed within a predetermined time (S206, S207), and if the operation has been completed, determines whether the operation result is pass or not (S208). If the operation result is pass, the process from step S202 onwards is carried out for the next operation target part. On the other hand, if the result of the determination in step S208 is fail, the caution display flag of the operation target part that is correlated with the operation target part in the training
In the above, steps S206 to S208 are executed as processing by the operation determination section, and step S209 is executed as processing by the operation determination output section.
以上の処理手順により、ユーザは、評価の低い、ある操作対象部位の操作と相関のある他の操作対象部位について、当該部位の操作時に注意喚起表示されるので、特に注意して操作を行うことができ、訓練効率を上げることができる。 By following the above processing steps, the user is alerted when operating a certain operation target part that has a low rating and is correlated with the operation of the other operation target part, so that the user can pay particular attention when operating the other operation target part, thereby improving training efficiency.
以上、本実施の形態によれば、訓練モードやユーザの習熟度によって、訓練対象物に重ねて表示される操作対象識別枠の表示／非表示を切り換え、あるいは操作対象識別枠の表示態様を変更し、また操作対象識別枠や操作対象部位からの距離によって設定した判定領域を用いて、訓練対象物の操作対象部位へアプローチするルートなどユーザの動きを詳細に評価するので、訓練効果を向上させることができる。さらに、ユーザの操作内容の評価結果によって訓練シナリオを変更するので、ユーザの習熟度を効率的に高めることができるのみならず、ヒューマンエラーが発生したときの再発防止にも効果が期待できる。 As described above, according to this embodiment, depending on the training mode and the user's proficiency, the display/non-display of the operation target identification frame displayed superimposed on the training object is switched, or the display mode of the operation target identification frame is changed, and the user's movements, such as the route taken to approach the operation target portion of the training object, are evaluated in detail using a judgment area set according to the distance from the operation target identification frame or the operation target portion, thereby improving the training effect. Furthermore, since the training scenario is changed according to the evaluation results of the user's operation content, not only can the user's proficiency be efficiently improved, but it is also expected to be effective in preventing recurrence when a human error occurs.
１ 訓練システム
１０ バーチャルコンテンツ表示装置（ＨＭＤ）
１１ ３Ｄ－ＣＧ表示部
１２ 操作内容表示部
１３ 操作座標検知部
１４ 操作内容検知部
５０ 操作用装置
５１ 操作検知部
６０ 訓練シナリオ／操作記録判定装置（判定装置）
６１ ３Ｄモデル記憶部
６２ 訓練シナリオ記憶部
６３ 操作判定記憶部
７１ ３Ｄ－ＣＧ表示制御部（三次元表示制御部）
７２ 操作判定部
７３ 操作判定出力部
７４ 統計分析部
７５ シナリオ変更編集部
1
11 3D-
61 3D
72
Claims (8)
前記訓練対象物を表示装置に仮想表示させる三次元表示制御部と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知部と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定部と、
を備え、
前記三次元表示制御部は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠を表示する一方、前記操作検知部によって検知された操作情報に基づいて、前記操作対象部位を操作するための手段を示す操作手段識別画像を表示し、
さらに、前記訓練対象物の前記操作対象部位ごとに、それぞれの前記操作対象部位からの距離に応じて、前記操作手段識別画像が通過すべき又は通過すべきでない判定領域を保存する手段を備え、
前記操作判定部は、前記操作手段識別画像の位置が前記判定領域を通過したか否かによって、ユーザが前記操作対象部位に正しくアクセスしたか否かを判定することを特徴とする訓練システム。 A training system for educating and training a user on how to operate a training object displayed in three dimensions in a virtual space, comprising:
A three-dimensional display control unit that virtually displays the training object on a display device;
an operation detection unit that detects operation information including a user's operation position and operation direction;
an operation determination unit that evaluates a user's operation based on an operation target portion of the training object and the operation information;
Equipped with
the three-dimensional display control unit displays a frame that identifies an operation target portion to be operated as the training scenario progresses , while displaying an operation means identification image that indicates a means for operating the operation target portion based on operation information detected by the operation detection unit;
Further, a means for storing a judgment area through which the operation means identification image should or should not pass, for each of the operation target parts of the training object, according to a distance from each of the operation target parts,
The training system according to the present invention, wherein the operation determination unit determines whether or not the user has correctly accessed the operation target area based on whether or not the position of the operation means identification image has passed through the determination area .
前記訓練対象物を表示装置に仮想表示させる三次元表示制御部と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知部と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定部と、
を備え、
前記三次元表示制御部は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠を表示する一方、前記操作検知部によって検知された操作情報に基づいて、前記操作対象部位を操作するための手段を示す操作手段識別画像を表示し、
前記操作検知部は、ユーザの視線を検知し、前記操作判定部はその視線ベクトルが前記訓練対象物の前記操作対象部位の所定範囲と一定時間以上交差することにより、当該操作対象部位が選択又は操作されたと認定することを特徴とする訓練システム。 A training system for educating and training a user on how to operate a training object displayed in three dimensions in a virtual space, comprising:
A three-dimensional display control unit that virtually displays the training object on a display device;
an operation detection unit that detects operation information including a user's operation position and operation direction;
an operation determination unit that evaluates a user's operation based on an operation target portion of the training object and the operation information;
Equipped with
the three-dimensional display control unit displays a frame that identifies an operation target portion to be operated as the training scenario progresses , while displaying an operation means identification image that indicates a means for operating the operation target portion based on operation information detected by the operation detection unit;
A training system characterized in that the operation detection unit detects the user's gaze, and the operation determination unit determines that the operation target portion has been selected or operated when the gaze vector intersects with a specified range of the operation target portion of the training object for a certain period of time or more .
前記三次元表示制御部は、前記訓練シナリオ記憶部を参照して、訓練シナリオの進行にしたがって操作すべき操作対象部位に関連付けられた操作手段識別画像を、前記操作検知部で検知された操作情報によって決定される位置および向きで表示することを特徴とする請求項１または２に記載の訓練システム。 a training scenario storage unit that stores one or more operation target portions and an operation means for operating each of the operation target portions;
The training system described in claim 1 or 2, characterized in that the three-dimensional display control unit refers to the training scenario memory unit and displays an operation means identification image associated with an operation target part to be operated as the training scenario progresses, at a position and orientation determined by the operation information detected by the operation detection unit .
前記訓練対象物を表示装置に仮想表示する三次元表示処理と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知処理と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定処理と、
を含み、
前記三次元表示処理は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠を表示する一方、前記操作検知処理によって検知された操作情報に基づいて、前記操作対象部位を操作するための手段を示す操作手段識別画像を表示し、
前記操作検知処理は、ユーザの視線を検知し、前記操作判定処理はその視線ベクトルが前記訓練対象物の前記操作対象部位の所定範囲と一定時間以上交差することにより、当該操作対象部位が選択又は操作されたと認定することを特徴とする訓練方法。 A method for educating and training a user on how to operate a training object displayed in three dimensions in a virtual space, comprising:
A three-dimensional display process for virtually displaying the training object on a display device;
An operation detection process for detecting operation information including a user's operation position and operation direction;
an operation determination process for evaluating a user's operation based on an operation target portion of the training object and the operation information;
Including,
the three-dimensional display process displays a frame for identifying an operation target part to be operated as the training scenario progresses, while displaying an operation means identification image showing a means for operating the operation target part based on operation information detected by the operation detection process ;
A training method characterized in that the operation detection process detects the user's gaze, and the operation judgment process determines that the operation target part has been selected or operated when the gaze vector intersects with a specified range of the operation target part of the training object for a certain period of time or more .
前記訓練対象物を表示装置に仮想表示する三次元表示処理と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知処理と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定処理と、
を実行し、
前記三次元表示処理は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠を表示する一方、前記操作検知処理によって検知された操作情報に基づいて、前記操作対象部位を操作するための手段を示す操作手段識別画像を表示し、
前記操作検知処理は、ユーザの視線を検知し、前記操作判定処理はその視線ベクトルが前記訓練対象物の前記操作対象部位の所定範囲と一定時間以上交差することにより、当該操作対象部位が選択又は操作されたと認定することを特徴とするコンピュータ実行可能なプログラム。 A program for educating and training a user on how to operate a training object displayed in three dimensions in a virtual space,
A three-dimensional display process for virtually displaying the training object on a display device;
An operation detection process for detecting operation information including a user's operation position and operation direction;
an operation determination process for evaluating a user's operation based on an operation target portion of the training object and the operation information;
Run
the three-dimensional display process displays a frame for identifying an operation target part to be operated as the training scenario progresses, while displaying an operation means identification image showing a means for operating the operation target part based on operation information detected by the operation detection process ;
A computer-executable program characterized in that the operation detection process detects the user's gaze, and the operation judgment process determines that the operation target part of the training object has been selected or operated when the gaze vector intersects with a specified range of the operation target part of the training object for a certain period of time or more .
前記訓練対象物を表示装置に仮想表示する三次元表示処理と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知処理と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定処理と、
を実行し、
前記三次元表示処理は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠を表示する一方、前記操作検知処理によって検知された操作情報に基づいて、前記操作手段識別画像を表示し、
前記操作判定処理は、前記操作手段識別画像の位置が前記判定領域を通過したか否かによって、ユーザが前記操作対象部位に正しくアクセスしたか否かを判定することを特徴とするコンピュータ実行可能なプログラム。 A training system program for educating and training a user on how to operate a training object displayed in three dimensions in a virtual space, the training system comprising: a means for saving a judgment area through which an operation means identification image showing a means for operating the operation target area of a training object should or should not pass, depending on a distance from each of the operation target areas, the training system comprising:
A three-dimensional display process for virtually displaying the training object on a display device;
An operation detection process for detecting operation information including a user's operation position and operation direction;
an operation determination process for evaluating a user's operation based on an operation target portion of the training object and the operation information;
Run
the three-dimensional display process displays a frame for identifying an operation target part to be operated as the training scenario progresses, while displaying the operation means identification image based on the operation information detected by the operation detection process;
The operation determination process determines whether or not a user has correctly accessed the operation target area depending on whether or not a position of the operation means identification image has passed through the determination area.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020077609A JP7475948B2 (en) | 2020-04-24 | 2020-04-24 | Training system, method and program |
| JP2024019028A JP2024036699A (en) | 2020-04-24 | 2024-02-09 | Training systems, methods and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020077609A JP7475948B2 (en) | 2020-04-24 | 2020-04-24 | Training system, method and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024019028A Division JP2024036699A (en) | 2020-04-24 | 2024-02-09 | Training systems, methods and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021173867A JP2021173867A (en) | 2021-11-01 |
| JP7475948B2 true JP7475948B2 (en) | 2024-04-30 |
Family
ID=78281657
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020077609A Active JP7475948B2 (en) | 2020-04-24 | 2020-04-24 | Training system, method and program |
| JP2024019028A Pending JP2024036699A (en) | 2020-04-24 | 2024-02-09 | Training systems, methods and programs |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024019028A Pending JP2024036699A (en) | 2020-04-24 | 2024-02-09 | Training systems, methods and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7475948B2 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017510826A (en) | 2013-12-20 | 2017-04-13 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Simulator system for medical procedure training |
-
2020
- 2020-04-24 JP JP2020077609A patent/JP7475948B2/en active Active
-
2024
- 2024-02-09 JP JP2024019028A patent/JP2024036699A/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017510826A (en) | 2013-12-20 | 2017-04-13 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Simulator system for medical procedure training |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024036699A (en) | 2024-03-15 |
| JP2021173867A (en) | 2021-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180286268A1 (en) | Virtual reality driver training and assessment system | |
| US6243054B1 (en) | Stereoscopic user interface method and apparatus | |
| JP6082101B2 (en) | Body motion scoring device, dance scoring device, karaoke device, and game device | |
| US20060281061A1 (en) | Sports Training Simulation System and Associated Methods | |
| CN108876046B (en) | Optimal path selection system for immersive virtual reality disaster survival rescue | |
| CN112105486B (en) | Augmented reality for industrial robots | |
| CN109144273A (en) | A kind of virtual fire-fighting experiential method based on VR technology | |
| JP2021114700A (en) | Work support system and work support method | |
| KR20190010468A (en) | Apparatus, methods, and computer program for providing billiards training using a projector and a robot arm | |
| KR101565472B1 (en) | Golf practice system for providing information on golf swing and method for processing of information on golf swing using the system | |
| JP2018045059A (en) | Education support device | |
| KR101633246B1 (en) | System and method for supporting offline billiard game based on beam-projector | |
| JP6319951B2 (en) | Railway simulator, pointing motion detection method, and railway simulation method | |
| JP2019135505A (en) | Program and train operation simulator | |
| KR102498002B1 (en) | Billiards training method and system using augmented reality | |
| JP7129839B2 (en) | TRAINING APPARATUS, TRAINING SYSTEM, TRAINING METHOD, AND PROGRAM | |
| JP7475948B2 (en) | Training system, method and program | |
| JP2001084375A (en) | Operation verification system and non-contact manipulation system | |
| JP2020003707A (en) | Content generation system | |
| EP3744461B1 (en) | Weld operation measurement system | |
| JPH11328243A (en) | Plant design support system | |
| JP2021032942A (en) | Simulator control device, train operation simulation system, train operation simulation method and program | |
| KR20150058111A (en) | Golf practice system for providing information on golf lesson and method for processing of information for providing golf lesson information using the system | |
| JP2021051301A (en) | Conductor simulation training system | |
| JP6981340B2 (en) | Display control programs, devices, and methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230309 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240319 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240417 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7475948 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |