JP2022022664A - Education assisting system, method and program - Google Patents
Education assisting system, method and program Download PDFInfo
- Publication number
- JP2022022664A JP2022022664A JP2020113655A JP2020113655A JP2022022664A JP 2022022664 A JP2022022664 A JP 2022022664A JP 2020113655 A JP2020113655 A JP 2020113655A JP 2020113655 A JP2020113655 A JP 2020113655A JP 2022022664 A JP2022022664 A JP 2022022664A
- Authority
- JP
- Japan
- Prior art keywords
- educational
- model
- student
- education
- event information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 45
- 230000008859 change Effects 0.000 claims abstract description 12
- 230000005540 biological transmission Effects 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 20
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract 1
- 230000001960 triggered effect Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 37
- 230000006870 function Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005315 distribution function Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000013075 data extraction Methods 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、ＶＲ（Virtual Reality，仮想現実）、ＡＲ（Augmented Reality，拡張現実）、あるいはＭＲ（Mixed Reality, 複合現実）等（以下単に「ＶＲ」という。）の技術を用いて、教師（先生）が遠隔から受講者（生徒）に対して教育や訓練を行うことのできる教育支援システム、方法およびプログラムに関する。 The present invention uses techniques such as VR (Virtual Reality), AR (Augmented Reality), MR (Mixed Reality), etc. (hereinafter simply referred to as "VR") to teach (teacher). ) Related to educational support systems, methods and programs that can remotely educate and train students.
従来、ＶＲ等の技術を用いて教育を行うシステムが提案されている。
例えば、特許文献１では、教師側の機器と生徒側の機器との間で、仮想空間を描画するための講義の信号を送受信するネットワーク手段を備え、講義資料のデータを仮想空間内の空間スクリーンに描画して、講義を行う学習システムが記載されている。
Conventionally, a system for providing education using a technique such as VR has been proposed.
For example, in
このシステムは、教師側のパーソナルコンピュータ（以下、「ＰＣ」又は「パソコン」ともいう。）で講義を開始する等の処理が行れたり、生徒側のＰＣで講義中に当てられてチャット形式で返答する等、各ＰＣで何らかのイベントが発生した際には、接続されたＰＣ間で仮想空間学習ソフトウェアのオブジェクトやデータについて同期をとり、他のＰＣでは受信したデータをもとに当該イベントを再現するというものである。 This system can perform processing such as starting a lecture on the teacher's personal computer (hereinafter, also referred to as "PC" or "personal computer"), or can be applied to the student's PC during the lecture in a chat format. When some event occurs on each PC such as replying, the objects and data of the virtual space learning software are synchronized between the connected PCs, and the event is reproduced on the other PCs based on the received data. It is to do.
ところで、特許文献１に記載の技術は、イベント発生時に、イベントの発生したＰＣから他のＰＣにそのイベント情報を送信して、各ＰＣ間の同期をとるというものである。しかしながら、ネットワークを介して接続されるＰＣ数（受講者数）が少ない場合や、イベント情報が比較的小容量の場合は、イベント発生の都度イベント情報を送信して各ＰＣ間の同期をとることも可能であるが、ＰＣ数（受講者数）やイベント情報が大きくなると、ネットワーク負荷が大きくなり、各ＰＣ間の同期が取りづらくなる。
By the way, the technique described in
本発明は、上述のかかる事情に鑑みてなされたものであり、仮想現実技術を利用した教育支援システムにおいて、受講者数やイベント情報の大きさの影響を低減し、イベント発生時に効率よく同期をとることのできる教育支援システム、方法およびプログラムを提供することを目的とする。 The present invention has been made in view of the above-mentioned circumstances, and in an education support system using virtual reality technology, it reduces the influence of the number of students and the size of event information, and efficiently synchronizes when an event occurs. The purpose is to provide educational support systems, methods and programs that can be taken.
上記目的を達成するため、本開示に係る教育支援システムは、受講者が装着し、仮想空間上に教育用モデルを表示するバーチャルコンテンツ表示装置と、教師側に設けられ、前記教育用モデルに対する動作指示を送信する教育指示装置とを有する教育支援システムであって、
前記バーチャルコンテンツ表示装置は、
前記教育用モデルを表示するためのデータを保存する教育用モデル記憶部と、
前記教育用モデルに変化を与えるイベント情報を保存するイベント情報記憶部と、
前記教育指示装置から送られてくる指示情報をトリガとして、前記イベント情報によって前記教育用モデルを変化させて仮想空間上に表示する教育用モデル表示部と、
を備えたことを特徴とする。
In order to achieve the above object, the education support system according to the present disclosure is provided on the teacher side with a virtual content display device worn by the student and displaying the education model on the virtual space, and operates on the education model. It is an educational support system that has an educational instruction device that sends instructions.
The virtual content display device is
An educational model storage unit that stores data for displaying the educational model,
An event information storage unit that stores event information that changes the educational model,
An educational model display unit that changes the educational model according to the event information and displays it on a virtual space by using the instruction information sent from the educational instruction device as a trigger.
It is characterized by being equipped with.
本開示では、教育用モデルに変化を与えるイベント情報を受講者側のバーチャルコンテンツ表示装置に保存しておき、教師側から送られてくる指示情報をトリガとして、このイベント情報に基づいて教育用モデルを変化させる。 In this disclosure, event information that changes the educational model is stored in the virtual content display device on the student side, and the instruction information sent from the teacher side is used as a trigger, and the educational model is based on this event information. To change.
好ましくは、前記教育用モデルは、一又は二以上の部品からなり、前記イベント情報は、前記部品に関連付けられた視聴覚的な変化を規定する変化定義情報を含み、前記教育用モデル表示部は、前記指示情報を受信すると、該指示情報に対応する前記変化定義情報に基づいて該当する部品を変化させることによって、前記教育用モデルを変化させるようにすると良い。 Preferably, the educational model comprises one or more parts, the event information includes change definition information that defines audiovisual changes associated with the parts, and the educational model display unit. When the instruction information is received, the educational model may be changed by changing the corresponding component based on the change definition information corresponding to the instruction information.
これにより、教育用モデルを、当該モデルを構成する部品単位で変化させることができる。ここで、部品に関連付けられた視聴覚的な変化とは、部品の縮小・拡大・回転・移動など（以下、総称して「アニメーション」という。）、部品自体のアニメーションのみならず、当該部品に限定されない例えば背景等を含めたアニメーションや音声など、ユーザ（教師や受講者）の五感を通して与える変化を含む趣旨である。また、部品は、ある装置を構成する部品に限らず、背景や気流など擬似的に部品として扱うものも含む。 As a result, the educational model can be changed for each component constituting the model. Here, the audiovisual changes associated with a part are limited to the part itself as well as the animation of the part itself, such as reduction / enlargement / rotation / movement of the part (hereinafter collectively referred to as “animation”). The purpose is to include changes given through the five senses of the user (teacher or student), such as animation and voice including background, etc. Further, the parts are not limited to the parts constituting a certain device, but also include the parts treated as pseudo parts such as the background and the air flow.
また、本開示による教育支援システムでは、前記教育指示装置は、前記教育用モデルの部品ごとにイベント情報を変更、追加、削除するイベント情報更新部と、前記イベント情報を前記バーチャルコンテンツ表示装置へ送信するイベント情報送信部を備え、
前記バーチャルコンテンツ表示装置は、前記イベント情報送信部から送られてくるイベント情報を受信すると、前記イベント情報記憶部に保存されているイベント情報を部品単位で更新するイベント情報受信部を備えたことを特徴とする。
Further, in the education support system according to the present disclosure, the education instruction device transmits the event information update unit for changing, adding, and deleting event information for each part of the education model, and the event information to the virtual content display device. Equipped with an event information transmission unit
The virtual content display device includes an event information receiving unit that updates event information stored in the event information storage unit for each component when receiving event information sent from the event information transmitting unit. It is a feature.
本開示によれば、必要により教師側で教育用モデルの変化を定義し、この定義データをイベント情報として受講者のバーチャルコンテンツ表示装置へ送信し、保存することができる。これにより、教育時にこのイベント情報を利用することにより、効率的に教育指示装置、バーチャルコンテンツ表示装置間の同期を取ることができる。 According to the present disclosure, changes in the educational model can be defined on the teacher side as necessary, and this definition data can be transmitted to the learner's virtual content display device as event information and stored. As a result, by using this event information at the time of education, it is possible to efficiently synchronize between the education instruction device and the virtual content display device.
また、本開示に係る教育支援システムでは、さらに、前記教育用モデルに対する受講者の動きを検知する操作検知部と、
前記操作検知部で検知した受講者の動きを前記教育指示装置へ送信するイベント送信部と、を備え、
前記教育用モデル表示部は、前記操作検知部によって検知する受講者の動きを表す映像を仮想空間上に表示し、
前記教育指示装置は、
教育用モデルを仮想空間上に表示する教師側教育用モデル表示部と、
前記バーチャルコンテンツ表示装置の前記イベント送信部から送られてくる受講者の動きを表示するイベント表示部と、
を備えたことを特徴とする。
In addition, the education support system according to the present disclosure further includes an operation detection unit that detects the movement of the learner with respect to the education model.
It is provided with an event transmission unit that transmits the movement of the learner detected by the operation detection unit to the education instruction device.
The educational model display unit displays an image showing the movement of the learner detected by the operation detection unit on the virtual space.
The education instruction device is
The teacher's educational model display unit that displays the educational model on the virtual space,
An event display unit that displays the movements of students sent from the event transmission unit of the virtual content display device, and an event display unit.
It is characterized by being equipped with.
本開示によれば、教師側の教育指示装置において、受講者の反応を知ることができる。
なお、操作検知部はバーチャルコンテンツ表示装置とは別の装置で実現しても良いし、バーチャルコンテンツ表示装置が有する機能、例えば視線トラッキング機能により受講者の視線を追うことにより受講者の動きを検知するようにしても良い。
According to the present disclosure, it is possible to know the reaction of the learner in the education instruction device on the teacher side.
The operation detection unit may be realized by a device different from the virtual content display device, or the movement of the student is detected by following the student's line of sight with a function of the virtual content display device, for example, a line-of-sight tracking function. You may try to do it.
また、本開示に係る教育支援システムは、前記教育用モデルには、複数の受講者に対してそれぞれ異なる着席位置を示す座標情報が関連付けられ、
各受講者が装着するバーチャルコンテンツ表示装置の前記教育用モデル表示部は、各受講者にそれぞれ割付けられた着席位置から見た教育用モデルを表示することを特徴とする。
Further, in the educational support system according to the present disclosure, the educational model is associated with coordinate information indicating different seating positions for a plurality of students.
The educational model display unit of the virtual content display device worn by each student is characterized in that the educational model viewed from the seating position assigned to each student is displayed.
本開示によれば、各受講者は、それぞれ異なる位置から教育用モデルを見ることができ、実際の教室での講義に近い、より臨場感のある教育が可能となる。 According to this disclosure, each student can see the educational model from different positions, and it is possible to provide a more realistic education that is close to the lecture in the actual classroom.
また、本開示に係るプログラムは、受講者が装着し、仮想空間上に教育用モデルを表示するバーチャルコンテンツ表示装置上、又は、教師側に設けられ、前記教育用モデルに対する動作指示を送信する教育指示装置の少なくとも一方で動作するプログラムであって、
前記教育用モデルを表示するためのデータを保存するステップと、
前記教育用モデルに変化を与えるイベント情報を保存するステップと、
前記イベント情報を特定するコマンドを入力するステップと、
前記コマンドを入力したとき、前記イベント情報によって前記教育用モデルを変化させて表示装置に表示するステップと、
をコンピュータに実行させることを特徴とする。
In addition, the program according to the present disclosure is provided on a virtual content display device that is worn by a student and displays an educational model on a virtual space, or on the teacher side, and is an education that transmits an operation instruction to the educational model. A program that runs on at least one of the indicator devices
The steps to save the data for displaying the educational model,
Steps to save event information that changes the educational model,
The step of inputting the command to specify the event information and
When the command is input, the step of changing the educational model according to the event information and displaying it on the display device, and
Is characterized by having a computer execute.
本発明によれば、仮想現実技術を利用した教育支援システムにおいて、受講者数やイベント情報の大きさの影響を低減し、イベント発生時に効率よく同期をとることが可能となる。 According to the present invention, in an education support system using virtual reality technology, it is possible to reduce the influence of the number of students and the size of event information, and to efficiently synchronize when an event occurs.
以下に本発明の実施の形態に係る教育支援システムについて図面を参照しながら説明する。図１において、教育支援システム１は、主に複数の受講者がそれぞれ装着するバーチャルコンテンツ表示装置１０と、教師が受講者のバーチャルコンテンツ表示装置１０に対して教育コンテンツの表示等に関して指示を行うための教育指示装置５０とで構成される。教育指示装置５０とバーチャルコンテンツ表示装置１０は有線又は無線の通信回線２を介して接続される。この教育支援システム１の受講者側にはバーチャルコンテンツ表示装置１０のほかバーチャル空間で操作するための操作用装置４０を備えることができる。
The education support system according to the embodiment of the present invention will be described below with reference to the drawings. In FIG. 1, the
この教育支援システム１の概要を図２に基づいて説明すると、バーチャルコンテンツ表示装置１０と教育指示装置５０には、仮想空間上に表示するための３次元（３Ｄ）モデルである教育用モデル（ＣＧ）を予め記憶させておく。ここで、教育用モデルとは、教育用のコンテンツであり、コンピュータグラフィックス技術を用いた３Ｄモデルをいう。そして教師側の教育指示装置５０からの指示により、受講者側の各バーチャルコンテンツ表示装置１０の教育用モデルを同時に表示・動作させる。更に教育指示装置５０からの仮想空間上での教師の指示（教育用モデルの動作やポインタなど）をイベント情報としてバーチャルコンテンツ表示装置１０へ送信して、同時に受講者が見ている教育用モデル上に表示等する。更に、各受講者が操作用装置４０を介してＶＲ空間内で操作した内容をイベント情報として教師指示装置５０へ送信する。教師はその内容を確認すると共に、受講者の各操作内容・イベントを教師指示装置５０に記憶保存する。
Explaining the outline of the
（構成）
図１において、教育指示装置５０は、教育用モデルのデータを格納する教育用モデル記憶部６１、教育用モデルの部品に関連付けられた視聴覚的に何らかの変化を発生させる情報（イベント情報）を格納するイベント情報記憶部６２、教育シナリオデータを格納する教育シナリオ記憶部６３、各受講者のバーチャルコンテンツ表示装置１０から送られてくる受講者の操作等に関する情報をイベント情報として保存する受講者イベント情報記憶部６４を備える。
(Constitution)
In FIG. 1, the
教育指示装置５０は、また、教育用モデルをディスプレイ（図示せず）に表示出力する教育用モデル表示部５４、教師から各バーチャルコンテンツ表示装置１０へ向けての指示情報（コマンド）を送信する指示情報送信部５３、各バーチャルコンテンツ表示装置１０から送られてくる受講者の操作等に関するイベント情報を受信するイベント情報受信部５５、受信したイベント情報をディスプレイに表示出力するイベント表示部５６、受講者のイベント情報の統計データを演算する受講データ計算処理部５７、教師の音声を検知したり、受信した音声データを再生する音声再生・検知部５１、および、バーチャルコンテンツ表示装置１０との間で音声データを送受信する音声送受信部５２を備えている。なお上記の教育用モデル表示部５４は、教師からの指示情報をもとに、当該指示情報に対応するイベント処理を実行してディスプレイに表示している教育用モデルを変化させる機能も有する。
The
一方、バーチャルコンテンツ表示装置１０は、教育指示装置５０と同様に、教育用モデルを格納する教育用モデル記憶部３１、イベント情報を格納するイベント情報記憶部３２を備えている。なお、受講者側の教育用モデルおよびイベント情報は教育の開始迄に教育指示装置５０から送られ、バーチャルコンテンツ表示装置１０の夫々の記憶部３１，３２に保存される。
On the other hand, the virtual
またバーチャルコンテンツ表示装置１０は、受講者の音声を検知したり、受信した音声データを再生する音声再生・検知部１１、教育指示装置５０との間で音声データを送受信する音声送受信部１２、教育指示装置５０から送られてくる指示情報を受信する指示情報受信部１３、教育用モデルをディスプレイに表示出力したり、受信した指示情報をもとに教育用モデルを変化させる教育用モデル表示部１４を備えている。
Further, the virtual
受講者側は、コントローラやハンドトラッキングなどの操作用装置４０を用いて、受講者の操作を受け付ける。この操作用装置４０は、受講者の操作内容を検知する操作検知部４１を備え、検知した操作内容をバーチャルコンテンツ表示装置１０へ送る。バーチャルコンテンツ表示装置１０では、操作受信部１５によって操作検知部４１から送られてきた操作内容を受信して、教育用モデル表示部１４を介してその操作内容をディスプレイ（図示せず）に表示出力する。また、操作受信部１５によって受信した受講者の操作内容は、イベント送信部１６によって教育指示装置５０へ送られる。この他、バーチャルコンテンツ表示装置１０は、視線判定部１７を備え、受講者の視線を検知して教育用モデル表示部１４を介してディスプレイに表示したり、イベント送信部１６によってこの視線情報を教育指示装置５０へ送信するようにしてもよい。
The student side accepts the student's operation by using the
上記において、バーチャルコンテンツ表示装置１０における各部１１～１７、および教育指示装置５０の各部５１～５７は、コンピュータの機能としてプログラムによって実現することができる。
In the above, each
教育指示装置５０は、前述したように汎用のパーソナルコンピュータのほか、頭部装着型ヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）で実現することができる。ＨＭＤを用いた場合は、受講生側と同様にコントローラやハンドトラッキングなどの操作用装置４０を用いて指示を行う。
As described above, the
バーチャルコンテンツ表示装置１０は、仮想空間上に３次元（３Ｄ）表示する機能を有するＨＭＤで実現することができる。本実施の形態では、受講者側は３次元で表示・指示されるのに対して、教師側は必ずしも３次元に限らず、パーソナルコンピュータを用いた場合は２次元表示によって教育コンテンツを確認し、バーチャルコンテンツ表示装置１０へ指示を送ることができる点や通信トラフィックを軽減して効率的な指示を可能にするためのデータベース（記憶部）の構成を特徴の一つとしている。
The virtual
以下、教師指示装置５０としてパーソナルコンピュータ（パソコン）を用い、バーチャルコンテンツ表示装置１０としてＨＭＤ（ヘッドマウントディスプレイ）を用いた場合を例にして説明する。
Hereinafter, a case where a personal computer (personal computer) is used as the
＜教育用モデル記憶部６１，３１のデータ構造＞
本実施の形態による教育コンテンツの３Ｄモデル（教育用モデル）は、図３に示すように複数の部品の３Ｄモデルの集合で構成される。具体的には、図３に示すように、教育コンテンツ（例えば、ある装置）を構成する部品のアセット番号（ＩＤ）および当該部品の名称、および部品の形態を３Ｄ仮想空間上で定義するための座標データや色彩データなどの属性情報（以下、単に「座標データ」という。）が互いに関連付けられて保存される。
<Data structure of educational
The 3D model (educational model) of the educational content according to the present embodiment is composed of a set of 3D models of a plurality of parts as shown in FIG. Specifically, as shown in FIG. 3, for defining the asset number (ID) of the component constituting the educational content (for example, a certain device), the name of the component, and the form of the component in the 3D virtual space. Attribute information such as coordinate data and color data (hereinafter, simply referred to as "coordinate data") is stored in association with each other.
なお、各部品は、さらに詳細の部品に分けることができる。この場合、その部品の階層構造がわかるように保存される。下位の部品に対する上位の部品は、それ自体座標データを有していても良し、有していなくても良い。たとえば、階層的に下位の複数の部品の集合で上位の部品が形成されることを示すような場合は、上位の部品の外形を半透明で仮想空間上に表するように属性情報を規定することができる。この属性情報は、３Ｄモデルのプラットフォーム（例えば、Ｕｎｉｔｙ（登録商標））側でデータを保有することができる。教育用モデルを用いて３次元表示した例を図９に示す。 In addition, each component can be further divided into detailed components. In this case, it is saved so that the hierarchical structure of the part can be understood. The upper part with respect to the lower part may or may not have the coordinate data itself. For example, when indicating that a higher-level component is formed by a set of multiple lower-level components, the attribute information is specified so that the outer shape of the upper-level component is translucently represented in the virtual space. be able to. This attribute information can be retained on the platform side of the 3D model (for example, Unity (registered trademark)). FIG. 9 shows an example of three-dimensional display using an educational model.
（３Ｄモデル構造の他の実施例）
なお、３Ｄモデルの部品の形状よりも更に細かい部分を受講者にチェックさせたいような場合は、実際には見えない（透明な）仮の部品を作って、３Ｄモデル上に配置するようにしてもよい。これであれば、更に細かい部分に範囲を絞って確認箇所を指定することができる。透明な部品もＵＮＩＴＹ上で管理し、ツリー構成（階層構造）上の確認対象部品の下位に配置される。
(Other Examples of 3D Model Structure)
If you want the students to check the parts that are smaller than the shape of the parts of the 3D model, you can make temporary parts that are not actually visible (transparent) and place them on the 3D model. good. In this case, it is possible to specify the confirmation points by narrowing down the range to a finer part. Transparent parts are also managed on UNITY and placed below the parts to be confirmed on the tree structure (hierarchical structure).
＜イベント情報記憶部６２，３２のデータ構造＞
図４に、イベント情報記憶部に保存されるイベント情報の構造を示す。
この図に示すように、イベント情報は、イベント番号ごとに、動作部位を示すアセット番号、動作（アニメーション）内容、解説テキスト、音響データなどが関連付けられて保存される。ここで、イベント情報のアセット番号は、教育用モデルデータのアセット番号に対応している。あるイベント番号が指定されると、受講者のＨＭＤ１０の仮想空間上に表示されている該当する部品（アセット）に対して、設定された動作（アニメーション）内容が実行され、また解説テキストが表示され、音響データが再生される。
<Data structure of event
FIG. 4 shows the structure of event information stored in the event information storage unit.
As shown in this figure, the event information is stored in association with the asset number indicating the operation part, the operation (animation) content, the explanation text, the acoustic data, etc. for each event number. Here, the asset number of the event information corresponds to the asset number of the educational model data. When a certain event number is specified, the set operation (animation) content is executed for the corresponding part (asset) displayed on the virtual space of the student's HMD10, and the explanation text is displayed. , Acoustic data is played.
＜教育シナリオ記憶部６３のデータの構造＞
図５に、教育シナリオ記憶部６３に保存されるシナリオデータの構造を示す。
この図に示すように、シナリオデータは、教育カリキュラムごとに、講義の順番にしたがって、シナリオ名、イベント番号、受講者チェック有無、正解データなどが保存される。イベント番号は、イベント情報記憶部のイベント番号に対応している。
<Data structure of educational
FIG. 5 shows the structure of the scenario data stored in the educational
As shown in this figure, the scenario data stores the scenario name, event number, student check presence / absence, correct answer data, etc. according to the order of lectures for each educational curriculum. The event number corresponds to the event number of the event information storage unit.
なお、本実施の形態では、受講者チェックの方法は、ポインタで答えの部品を指示することとしているが、複数の方法によって回答するような場合は、回答の種別（方法）を保存するようにしても良い。そして、ＨＭＤ１０は、回答の種別に応じて、どのよう回答するかのメッセージをディスプレイ上に表示して、受講生はその表示にしたがって回答を行う。
In addition, in this embodiment, the method of checking students is to indicate the part of the answer with a pointer, but when answering by multiple methods, the type (method) of the answer should be saved. May be. Then, the
＜機能概要＞
次に本実施の形態による教育支援システム１の機能概要を説明する。
（１）メニュー／ログイン機能
受講者は、ＨＭＤ１０を装着して起動すると、ＶＲ空間でシステムメニューが表示される。受講者はカリキュラム及び番号（受講者番号）を設定して、スタートボタンを選択する等のトリガによって教育カリキュラムが開始される。
<Function overview>
Next, the outline of the function of the
(1) Menu / login function When the student wears the HMD10 and starts it, the system menu is displayed in the VR space. The student sets the curriculum and number (student number), and the educational curriculum is started by a trigger such as selecting the start button.
（２）カリキュラム進行・イベント同期機能
受講者が装着するＨＭＤ１０には、上述したように予め各カリキュラムで使用する教育コンテンツ（教育用モデル）及びイベント情報（ＣＧ動作・解説説明再生など）を登録しておく。そして指示情報受信部１３が教師側のパソコン５０から送られてくるカリキュラムＩＤを含む開始指示を受信すると、教育用モデル表示部１４は該当するカリキュラムの教育用モデルをＨＭＤ１０のディスプレイに表示する。次にＨＭＤ１０は、教師指示装置５０から送られてくる指示情報に含まれているイベント番号を検出すると、イベント情報記憶部３２にアクセスして、該当するイベント番号の内容を実行する。これにより、教師指示装置５０は、ネットワークに負荷をかけずに複数台のＨＭＤ１０に同時に指示したり、教育コンテンツの再生等の制御をしたりすることができる。
(2) Curriculum progress / event synchronization function As described above, educational content (educational model) and event information (CG operation / explanatory explanation playback, etc.) used in each curriculum are registered in advance in the HMD10 worn by the students. Keep it. Then, when the instruction
（３）受講者イベント収集・収録機能
各受講者は、ＨＭＤ１０に表示されている３Ｄ教育用モデルに対して、操作用装置４０（例えば、コントローラ）を用いてアクションをすることができる。受講者は、教育用モデルのある部位に対してコントローラの向きによって移動するポインタをあてて、確認のアクション（例えば、コントローラボタンの押下）をする。これにより、ポインタのあてられた３Ｄ教育用モデル上の位置座標がイベント情報としてイベント送信部１６から教師側のパソコン５０へ送られる。パソコン５０のイベント受信部５５は、イベント情報を受け取ると、受講者イベント情報記憶部６４に保存する。またイベント表示部５６は、イベント情報に含まれている位置座標をもとに、パソコン５０のディスプレイ上に表示されている教育用モデルに対してポインタを表示する。これにより教師は、各受講者の確認状態を知ることができる。
(3) Student event collection / recording function Each student can take an action on the 3D educational model displayed on the
（４）教師用パソコン５０からの詳細指示機能
教師が教育用モデル上で指示している位置を教師用ポインタで表示する。その位置情報は教師用パソコン５０から各受講者のＨＭＤ１０に送られる。ＨＭＤ１０の指示情報受信部１３はこのポインタ位置情報を受信すると、教育用モデル表示部１４を介して受講者のＨＭＤ１０のディスプレイに表示されている教育用モデルに重ねて教師用ポインタを表示する。なお、教師側において、３Ｄ座標での正確なポインタの位置を指示する必要がある場合は、教師側もゴーグル（ＨＭＤ）をつけて指示することができる。
(4) Detailed instruction function from the teacher's
（５）音声配信機能
教育カリキュラムの中で、教師が表示されている教育用モデルのＣＧ画像を説明する場合は、音声を受講者側のＨＭＤ１０に配信する。具体的には、音声再生・検知部５１によって教師の音声を検知すると、音声送受信部５２によって音声データをＨＭＤ１０に送信する。ＨＭＤ１０では、音声送受信部１２によって音声データを受け取ると音声再生・検知部１１によって音声データを再生する。これにより、受講者は、教師の音声を聞くことができる。一方、受講者から質問がある場合は、逆の流れで受講者の音声が教師用パソコン５０に送られ教師側で再生される。
(5) Audio distribution function When explaining the CG image of the educational model displayed by the teacher in the educational curriculum, the audio is distributed to the HMD10 on the student side. Specifically, when the voice reproduction /
（６）コンテンツ配信機能
教育カリキュラムの追加や変更などに対して、容易に変更反映ができるように、コンテンツ（教育用モデルやイベント情報を含む）の配信機能を設ける。教師用のパソコン５０から複数台のＨＭＤ１０に対してコンテンツを配信してインストール可能に構成する。
(6) Content distribution function A content distribution function (including educational models and event information) will be provided so that changes can be easily reflected when additions or changes are made to the educational curriculum. The content is distributed from the teacher's
＜作用＞
次に上述した機能を実現するための教師用パソコン５０、ＨＭＤ１０の主な処理手順について説明する。
（１）教師用パソコン５０の処理手順
上記の動作を実行する教師用パソコン５０の処理手順を図６に示す。
教師用パソコン５０は起動されると、指示情報送信部５３は教育シナリオ記憶部６３にアクセスして、教育対象カリキュラムの全ての項目について以下の処理を実行する（Ｓ１０１ａ，１０１ｂ）。なお、教育シナリオのカリキュラムには、図５に示すようにシナリオ順に番号が付されており順に実行される。なお、あるシナリオの終了後自動的に次のシナリオが実行されるようにしてもよいし、教師の所定の確認アクションを検知して次のシナリオに進むようにしてもよい。図５に示すデータ例に、次のシナリオに進むための教師の確認アクションが必要かどうかを設定するフラグをシナリオごとに設けるようにしてもよい。教師用パソコン５０にはシナリオの進行状況が表示される。
<Action>
Next, the main processing procedures of the teacher's
(1) Processing procedure of the teacher's
When the teacher's
指示情報送信部５３は教育シナリオ中にイベント番号が存在する場合は（Ｓ１０２で「ＹＥＳ」）、そのイベント番号を指示情報(コマンド)として受講者のＨＭＤ１０に送信する（Ｓ１０３）。このとき、教育用モデル表示部５４も、送信されたイベント番号をコマンドとして指示情報送信部５３から受け取り、イベント情報記憶部６２に格納されている当該イベント番号のイベントを実行する。これにより、パソコン５０側と受講者のＨＭＤ１０側で、略同時にイベントが実行される。なお、指示情報送信部５３によってイベント番号を送信後、教師用パソコン５０側で同じイベント番号のイベントを実行する際、遅延時間を設定可能にしておいてもよい。指示情報送信部５３がＨＭＤ１０にイベント番号送信してから遅延時間後に教育用モデル表示部５４によってイベントを実行する等である。この遅延時間を教師用パソコン５０側で調整可能にすることにより、より精度良く教師用パソコン５０とＨＭＤ１０の同期をとることができる。
If the event number exists in the education scenario (“YES” in S102), the instruction
次に、指示情報送信部５３は、受講者チェック欄にフラグ「１」がセットされているかどうかかを判定して（Ｓ１０４）、フラグがセットされている場合は、各受講者からのイベント受信を待つ（Ｓ１０５、Ｓ１０９、Ｓ１１０）。そして受講者からのイベント情報を受信すると（Ｓ１０５で「ＹＥＳ」）、その情報を受講者イベント情報記憶部６４へ保存する（Ｓ１０６）。次に受講者ごとの正解判定処理を行い（Ｓ１０７）、またイベント表示部５６を介して、受講者のイベント情報を教師用パソコン５０のディスプレイに表示する（Ｓ１０８）。
Next, the instruction
（２）ＨＭＤ１０の処理手順
次に、上記の動作を実行する各受講者用ＨＭＤ１０の処理手順を図７，図８を用いて説明する。
（２－１）表示処理
受講者用ＨＭＤ１０は起動されると、指示情報受信部１３は教師用パソコン５０から送られてくる指示情報に含まれているカリキュラムＩＤを抽出する。そして教育用モデル表示部１４は対象カリキュラムの３ＤモデルをＨＭＤ１０のディスプレイに表示する（Ｓ３０１）。なお、対象カリキュラムは予め自身で選択して事前に教育用モデルを表示させるようにしてもよい。
そして指示情報受信部１３は教師用パソコン５０から送られてくるイベント番号を受信すると（Ｓ３０２）、イベント情報記憶部３２にアクセスして該当するイベントを実行する（Ｓ３０３）。
(2) Processing procedure of HMD10 Next, a processing procedure of HMD10 for each student who executes the above operation will be described with reference to FIGS. 7 and 8.
(2-1) Display processing When the
When the instruction
なお、図４に例示するイベント情報は、部品ごとにその動作内容が規定されているが、この部品は、ある装置を構成する物理的な部品に限らず、たとえば背景などであってもよい。たとえば図４において、部品ｂ１がタービンの場合、イベント番号００１を実行することにより、部品ｂ１を回転させると共に、当該部品の回転に伴って予め定められた表示範囲（背景）で流体（気体や液体）が流れるアニメーション（流体フロー）を合成して表示するようにしてもよい。装置を構成する部品以外のアニメーションであっても、イベント番号を付して部品として扱うことにより統一的な処理が可能となり、処理手順が簡素化される。
The event information exemplified in FIG. 4 defines the operation content for each component, but the component is not limited to the physical component constituting a certain device, and may be, for example, a background. For example, in FIG. 4, when the component b1 is a turbine, the component b1 is rotated by executing the
（２－２）操作検知処理
操作用装置４０の操作検知部４１はユーザによる操作を検知するとその操作情報（例えばポインタの位置や方向、ボタン押下などのデータ）を送信する。
図８において、ＨＭＤ１０の操作受信部１５は、操作用装置４０から送られてきた操作情報をもとにポインタの位置、方向を検出すると（Ｓ２０１）、教育用モデル表示部１４を介してディスプレイに表示されている教育用モデルと交差したか否かを判定する（Ｓ２０２）。ポインタが教育用モデルと交差した場合は、その交差位置をディスプレイ上に表示する（Ｓ２０３）。その後操作受信部１５は操作用装置４０のボタン押下などによってトリガを検出すると、交差位置をワールド座標から相対座標に変換して、ポインタのあてられた部品のアセット番号を特定する（Ｓ２０６）。そしてイベント送信部１６を介して、特定したアセット番号および交差位置の座標をイベント情報として教師用パソコン５０へ送信する（Ｓ２０７）。
教師用パソコン５０は、イベント受信部５５によってこれを受信すると、教師用パソコン５０のディスプレイ上に表示されている教育用モデルに重ねてポインタ位置を表示する。この表示例を図１０に示す。
(2-2) Operation detection processing When the
In FIG. 8, when the
When the teacher's
（３）教育用モデル表示部１４，５４の処理手順
次に、教師用パソコン５０の教育用モデル表示部５４、受講者用ＨＭＤ１０の教育用モデル表示部１４の３Ｄモデル表示処理について説明する。なお、両部５４，１４はこの他イベント情報をもとにアニメーション表示も行うがこの処理は３Ｄモデル表示後に独立して実行可能であるため説明を省略する。
(3) Processing procedure of the educational
図１１において、図１１（ａ）は教育用モデル表示部５４の処理手順、図１１（ｂ）は教育用モデル表示部１４の処理手順を示している。このフローチャートからわかるように、教育用モデル表示部５４，１４は同様の処理を実行し、教育用モデル表示部１４は最後にローカル座標をワールド座標に変換する点が異なっている。図１１（ｃ）は、教育用モデル表示部５４，１４の両方に共通のサブルーチンの処理手順を示している。
11A and 11A show a processing procedure of the educational
以下個々の処理手順について具体的に説明する。
教育用モデル表示部５４は起動されると、教育用モデル記憶部６１にアクセスして、教師によって指定された教育用モデルデータを順次抽出する。教育用モデルデータは、図３に示すように階層構造になっており、教育用モデル表示部５４は最上位階層の全ての部品ＩＤについて、ステップＳ４０２の座標データ抽出・表示ルーチンを呼び出して実行する（Ｓ４０１ａ，Ｓ４０１ｂ）。この座標データ抽出・表示ルーチンの処理は、図１１（ｃ）に示されているように、まず対象となっている部品ＩＤの一つしたの階層のデータフィールドにアクセスして（Ｓ５０１）、そのデータフィールドに座標データが有るか否かを判定する（Ｓ５０２）。その結果座標データが有る場合は、その座標データをもとに３Ｄモデルイメージを作成する（Ｓ５０３）。即ち対象部品の３ＤモデルデータをもとにレンダリングによりＣＧ化する。
Hereinafter, each processing procedure will be specifically described.
When the educational
一方、ステップＳ５０２の判定の結果、座標データが存在しない場合は、すなわちデータフィールドに座標データではなく下位の部品ＩＤが保存されている場合は、最終階層でない場合、対象部品ＩＤをその部品ＩＤに更新して（Ｓ５０７）、ステップＳ５０１に戻り以降の処理を繰り返す。なお最終階層（最も低い階層）に達しても座標データが存在していない場合はエラーメッセージを出力するなどのエラー処理を行う。 On the other hand, as a result of the determination in step S502, if the coordinate data does not exist, that is, if the lower component ID is stored in the data field instead of the coordinate data, and if it is not the final hierarchy, the target component ID is set as the component ID. After updating (S507), the process returns to step S501 and the subsequent processing is repeated. If the coordinate data does not exist even after reaching the final layer (lowest layer), error processing such as outputting an error message is performed.
ステップＳ５０３の処理の後、同じ階層に他の部品ＩＤが存在するか否かを判定し、存在する場合は（Ｓ５０４で「ＮＯ」）、部品ＩＤを当該他の部品ＩＤに更新して（Ｓ５０８）、ステップＳ５０１に戻り以降の処理を実行する。ステップＳ５０４でＹＥＳ、即ち同じ階層に他の部品ＩＤが存在しない場合は主ルーチンにリターンする。 After the process of step S503, it is determined whether or not another component ID exists in the same layer, and if it exists (“NO” in S504), the component ID is updated to the other component ID (S508). ), Return to step S501 and execute the subsequent processing. YES in step S504, that is, if no other component ID exists in the same layer, the process returns to the main routine.
以上の処理により、教育対象の３Ｄモデルを部品ごとにレンダリングして、ディスプレイに表示する。なお、教育用モデルデータは、固定の視点位置を基準にしたローカル座標系、すなわち当該視点位置からの相対座標で表されている。したがって、講師がパソコン５０を移動させたり向きを変えたりしても、画面に表示されている３Ｄモデルは変化しない。
By the above processing, the 3D model to be educated is rendered for each part and displayed on the display. The educational model data is represented by a local coordinate system based on a fixed viewpoint position, that is, relative coordinates from the viewpoint position. Therefore, even if the instructor moves or turns the
受講者ＨＭＤ１０の教育用モデル表示部１４の処理も、教育用モデル表示部５４の処理と同様に、まずローカル座標系で３Ｄモデルを作成し、その後ＨＭＤ１０の位置や向きを基準に３Ｄモデルの座標をワールド座標系に変換する（Ｓ４０３）。したがって、受講者が移動して視点を変えるとこれに伴い３Ｄモデルの見え方が変化する。
Similar to the processing of the educational
（４）教育用モデルの保存方法
教師用パソコン５０と受講者用ＨＭＤ１０に予め同じ教育用モデルとイベント情報が保存される。なお、教師用パソコン５０側で、教育用モデルやイベント情報が追加・更新された場合は、通信回線２を介して各受講者ＨＭＤ１０に送信される。
(4) Method of saving the educational model The same educational model and event information are saved in advance in the teacher's
（５）教育用モデルの表示方法
教師用パソコン５０と受講者用ＨＭＤ１０のそれぞれで教育用モデルを表示する。図１２に示すように、教師用パソコン５０と受講者用ＨＭＤ１０共に３Ｄモデル（教育用モデル）の配置と最初の視点・向き（視線ベクトル）は固定である。受講者用ＨＭＤ１０側の教育用モデル表示部１４は、その後本システムを起動したときのヘッドマウントの位置（実空間）を基準位置として、それからの移動は基準位置からの移動量で計算する。
(5) Display method of educational model The educational model is displayed on each of the teacher's
すなわち、ＨＭＤ１０では起動されたときの実空間上での座標（ワールド座標）を基準として、３ＤモデルをＨＭＤ１０の有するディスプレイ（表示装置）に投影する。その後、ＨＭＤ１０が向きを変えたり移動したりする場合は、その視点初期値からの移動量として視点の動きが反映されて３Ｄモデルの見え方が変わる。一方、教師用パソコン５０ではワールド座標系への変換は行われない。したがって、教師用パソコン５０の向きを変えても３Ｄモデルの見え方は変わらない。
このように、受講者側では３Ｄモデルの座標は、初期値の座標（予め定めた視点からの相対座標）がワールド座標系に変換されるのに対して、教師用パソコン５０ではワールド座標系への変換が行わないのが本実施の形態の特徴の一つである。
That is, in the
In this way, on the student side, the coordinates of the 3D model are converted to the world coordinate system by the initial value coordinates (relative coordinates from the predetermined viewpoint), whereas on the teacher's
なお、受講者側での３Ｄモデルの相対座標系からワールド座標系（絶対座標系）への変換は、受講者のアクション、例えば、コントローラ４０のボタンを押下するとか、ＨＭＤ１０に視線トラッキング機能がある場合は、一定時間視線を固定するなど、を検知したときに行うようにしてもよい。これにより、受講者は所望の位置に３Ｄモデル（教育用モデル）を配置することができる。そして、所望の位置に配置後は、受講者が自ら移動して、視点位置を変えることにより、３Ｄモデルを任意の位置から見ることができる。
教師側では、専ら教師用パソコン５０での操作によって３Ｄモデルを回転・移動させるが、この教師側での操作に関して、受講者側では次の２通りの反映のしかたがある。
The conversion from the relative coordinate system of the 3D model to the world coordinate system (absolute coordinate system) on the student side is an action of the student, for example, pressing a button on the
On the teacher side, the 3D model is rotated and moved exclusively by the operation on the teacher's
（ＶＲコンテンツ表示移動及び視点の移動パターン１）図１３
このパターンは、教師が各受講者側での３Ｄモデルの回転・移動を制御できるパターンであり、次のステップにより実現することができる。
（ステップａ１）教師用パソコン５０の操作（マウスなど）によりパソコンに表示されている３Ｄモデルを回転・移動させる。このとき視線位置・向きは固定である。即ち３Ｄモデルの座標は視点を基準とした相対座標（パソコン上のローカル座標）である。
（ステップａ２）３Ｄモデル表示位置情報を送信する。この表示位置情報は３Ｄモデルの新たな相対座標を送信するようにしてもよいが、初期値からの回転量・移動量で表すことにより通信時のデータ量を削減することができる。
(VR content display movement and viewpoint movement pattern 1) Fig. 13
This pattern is a pattern in which the teacher can control the rotation / movement of the 3D model on each student side, and can be realized by the following steps.
(Step a1) The 3D model displayed on the personal computer is rotated / moved by operating the teacher's personal computer 50 (mouse or the like). At this time, the line-of-sight position and direction are fixed. That is, the coordinates of the 3D model are relative coordinates (local coordinates on the personal computer) with respect to the viewpoint.
(Step a2) 3D model display position information is transmitted. This display position information may be transmitted with new relative coordinates of the 3D model, but the amount of data at the time of communication can be reduced by expressing it by the amount of rotation / movement from the initial value.
（ステップａ３）教師用パソコン５０の操作により回転・移動した３Ｄモデルの表示位置情報をもとに受講者用ＶＲ空間内で回転・移動させる。
（ステップａ４）その後、受講者が移動や頭の向きを変えた場合は、ジャイロセンサで移動量を検知して、その差分をＶＲ空間内で移動させる。
(Step a3) Rotate / move in the student VR space based on the display position information of the 3D model rotated / moved by the operation of the teacher's
(Step a4) After that, when the student moves or changes the direction of the head, the gyro sensor detects the amount of movement and moves the difference in the VR space.
これにより、教師用パソコン５０で、教師のマウス等の操作によって移動や回転をした３Ｄモデルは、各受講者用ＨＭＤ１０において、起動時のワールド座標を初期値として相対的に同じ量・方向へ移動する。
なお、受講者側のＶＲ空間内に教師の視点を表示するようにしてもよい。ちなみに、教師の視点位置は、ローカル座標系（講師側の座標系）での回転・移動量に基づいて変わる。これにより、受講者は常に教師がどの位置から３Ｄモデルを見ているかを把握することができる。
As a result, the 3D model that is moved or rotated by the operation of the teacher's mouse or the like on the teacher's
The teacher's viewpoint may be displayed in the VR space on the student side. By the way, the viewpoint position of the teacher changes based on the amount of rotation / movement in the local coordinate system (coordinate system on the instructor side). This allows the student to always know from which position the teacher is looking at the 3D model.
（ＶＲコンテンツ表示移動及び視点の移動パターン２）図１４
このパターンは、専ら受講者側が主体で３Ｄモデルを回転・移動させるものである。
（ステップｂ１）教師用パソコン５０の操作（マウスなど）によりパソコンに表示されている３Ｄモデルを回転・移動させる（視線位置・向きは固定）。
この移動操作はあくまでも教師がパソコンの画面で見て操作するための移動操作であって受講者が見るヘッドマウント側の見え方をコントロールするものではない。
(VR content display movement and viewpoint movement pattern 2) Fig. 14
In this pattern, the student mainly rotates and moves the 3D model.
(Step b1) The 3D model displayed on the personal computer is rotated / moved by operating the teacher's personal computer 50 (mouse or the like) (the line-of-sight position / orientation is fixed).
This movement operation is a movement operation for the teacher to see and operate on the screen of the personal computer, and does not control the appearance of the head mount side as seen by the student.
（ステップｂ２）受講者側での視線位置・向きは、上述したように初期は固定であるが、受講者が移動や頭の向きを変えた場合は、ジャイロセンサで移動量を検知して、その差分をＶＲ空間内で移動させる。
受講者側ではＶＲ座標系は絶対座標で表されるため、３Ｄモデルの座標は固定であり、その固定された３Ｄモデルの周りを自分（視点）が移動するというものである。この移動パターン２では、教師側の３Ｄモデルの移動・回転操作は、受講者用ＨＭＤ１０には反映しない。
(Step b2) The line-of-sight position / orientation on the student side is initially fixed as described above, but when the student moves or changes the direction of the head, the movement amount is detected by the gyro sensor, and the movement amount is detected. The difference is moved in the VR space.
On the student side, the VR coordinate system is represented by absolute coordinates, so the coordinates of the 3D model are fixed, and oneself (viewpoint) moves around the fixed 3D model. In this
上述した移動パターン１と移動パターン２の動作モードは、システムにおいて予め決めておいてもよいが、教師用パソコン５０側において、３Ｄモデルを回転・移動させる前にこの動作モードを選択できるようにしても良い。このようにすれば、移動パターン１が選択されている場合は、教師用パソコン５０側での３Ｄモデルの移動・回転操作に伴って、教師用パソコン５０側からＨＭＤ１０に移動量（基準点からの変化量）・移動方向が送られ、その結果ＨＭＤ１０側でも３Ｄモデルが教師側と同じ移動量・移動方向へ変位する。 一方、移動パターン２が選択されている場合は、教師用パソコン５０側での移動操作に係わらず、教師用パソコン５０から受講者用ＨＭＤ１０に移動量・方向等の情報は送信されない。その結果、教師用パソコン上で３Ｄモデルが変位をしても、受講者用ＨＭＤ１０上では変位しない。
The operation modes of the
（６）教育用モデルの動作制御方法（図１５）
次に、教師用パソコン５０から指示したタイミングで、受講者用ＨＭＤ１０に表示している教育用モデルを動作させる方法について説明する。
(6) Operation control method of the educational model (Fig. 15)
Next, a method of operating the educational model displayed on the
教師用パソコン５０において、イベントが指定されると（ステップｃ１）、そのイベント番号が対象の受講者用ＨＭＤ１０へ送信される（ステップｃ２）。このイベント番号は、図６で示したように教育シナリオの実行に伴って自動的に送信されるが、教師がイベント番号を指定して送信するようにしてもよい。 When an event is specified in the teacher's personal computer 50 (step c1), the event number is transmitted to the target student HMD 10 (step c2). This event number is automatically transmitted with the execution of the education scenario as shown in FIG. 6, but the teacher may specify the event number and transmit it.
受講者側のＨＭＤ１０においてイベント番号を受信すると、教育用モデル表示部１４はイベント情報記憶部３２を参照して、そのイベント番号に対応する動作を実行する（ステップｃ３）。
例えば、イベント番号００１を受信すると、３Ｄモデルにおいて、そのイベント番号に対応する部位（ブレード）が回転し、それに伴うフローの映像が表示される。
Upon receiving the event number in the
For example, when the
（７）教師用パソコン５０からＨＭＤ１０へのポインタ表示方法（図１６）
次の手順により、教師用パソコン５０からの指示（座標ポインタ）を受講者用ＨＭＤ１０へ送信して、受講者側の３Ｄモデル上の同じ位置にポインタを表示する。
（ステップｄ１）教師用パソコン画面（２Ｄ）に表示されている３Ｄモデル上に指示用ポインタを表示させる。
（ステップｄ２）パソコン画面は２Ｄのため、３Ｄモデルの裏側などを示したいときは、３Ｄモデル自体をマウスで回転させて、ポインタを投射する。そして、投射して３Ｄモデルにぶつかった位置をポインタの座標とし、その位置にポインタ表示をする。このとき、上述した移動パターン２を選択しておく。
(7) Pointer display method from the teacher's
According to the following procedure, an instruction (coordinate pointer) from the teacher's
(Step d1) The instruction pointer is displayed on the 3D model displayed on the teacher's personal computer screen (2D).
(Step d2) Since the personal computer screen is 2D, when you want to show the back side of the 3D model, rotate the 3D model itself with the mouse and project the pointer. Then, the position where the projection is projected and the 3D model is hit is set as the coordinates of the pointer, and the pointer is displayed at that position. At this time, the above-mentioned
（ステップｄ３）教師用パソコン５０の指示情報送信部５３は、受講者用ＨＭＤ１０へ指示情報としてポインタ位置情報（３Ｄモデル上の位置座標）を送信する。
（ステップｄ４）ＨＭＤ１０の支持情報受信部１３はポインタ位置情報を受信すると、教育用モデル表示部１４を介してそのポインタ位置情報に基づいてＶＲ空間上の３Ｄモデル上にポインタを表示させる（３Ｄ空間）。
これにより、教師は、２Ｄのパソコン画面上でポインタ位置を指定して、受講者用ＨＭＤ１０の仮想空間上に３Ｄ表示させることができる。
(Step d3) The instruction
(Step d4) When the support
As a result, the teacher can specify the pointer position on the 2D personal computer screen and display it in 3D on the virtual space of the
（８）受講者用ＨＭＤ１０から教師用パソコン５０へのイベント情報送信方法（図１７）
受講者の動作（操作）をトラッキングして、ＨＭＤ１０へ表示し、更にその操作情報を教師用パソコン５０へ送信して、受講者イベント情報として表示する。（Ｎ台分）
（ステップｅ１）まず、教師から設問（予め設定されている）を出題する。
（ステップｅ２）受講者はコントローラ４０を使用して、教師から指示された部位を指し示す。コントローラボタンを押下することにより部位が確定する。
(8) A method of transmitting event information from the
The movement (operation) of the student is tracked and displayed on the
(Step e1) First, the teacher asks a question (preset).
(Step e2) The student uses the
（ステップｅ３）指し示した部位の座標をイベント情報として受講者用ＨＭＤ１０から教師用パソコン５０へ送信する。
（ステップｅ４）教師用パソコン５０の教育シナリオデータには、設問に対する正解の位置（部位・アセット）が設定されており、ポインタが正解部位にフォーカスされたかを判定する。各受講者から送られてきたイベント情報や判定結果は受講者イベント情報記憶部６４に保存される。また、各受講者の判定結果はイベント表示部５６によりチェックリストとしてディスプレイに表示される。
(Step e3) The coordinates of the indicated portion are transmitted from the
(Step e4) The position (part / asset) of the correct answer to the question is set in the educational scenario data of the teacher's
（９）教師用パソコン５０でのイベント情報の処理方法
受講者イベント情報記憶部６４に保存されているイベント情報や設問に対する解答結果は、受講データ計算処理部５７の演算処理（例えば統計処理）によって集計される。
(9) Method of processing event information on the teacher's
（他の実施例）
上記の実施形態では、教育シナリオデータを教師用パソコン５０側にのみ持たせることとしたが、各受講者用ＨＭＤ１０にも同じ教育シナリオデータを持たせるようにしても良い。このようにすれば、教師側からの出題後、受講者の回答は、ＨＭＤ１０に保存されている教育シナリオデータによって判定し、その判定結果を教師用パソコン５０へ送信することができるので、教師用パソコン５０の負荷を軽減することができる。
(Other Examples)
In the above embodiment, the educational scenario data is provided only on the teacher's
以上、本実施の形態によれば、従来のＶＲ技術を使った教育支援システムでは実現できなかった、複数人が見ている教育用モデル（ＣＧ）を同期表示させて、教師からの指示を同時に全受講者へ配信・表示することができ、教育を同時進行、更には教師の説明とＣＧ映像を同期させて、受講者から見たら、教師の説明と自身が見ている教育用モデル（ＣＧ）映像が一致する。更に、受講者イベント（操作・視線など）を教師が確認しながら教育を進行することができ、受講者の理解を把握しながら、よりスムーズな教育をＶＲ空間で実現することができる。 As described above, according to the present embodiment, the educational model (CG) viewed by a plurality of people is displayed in synchronization, which cannot be realized by the educational support system using the conventional VR technology, and the instruction from the teacher is simultaneously displayed. It can be distributed and displayed to all students, education can proceed at the same time, and the teacher's explanation and CG video are synchronized. ) The images match. Furthermore, the teacher can proceed with the education while confirming the student event (operation, line of sight, etc.), and the smoother education can be realized in the VR space while grasping the understanding of the student.
次に本発明の第２の実施の形態を説明する。
本実施の形態は、教育用モデルの周りに複数の受講者の座席（すなわち異なる視点位置）を仮想的に設けるものである。各受講者は仮想空間内において、それぞれ異なる座席に座り、その席から３次元表示される教育用モデルを見る。
本実施の形態では、ＨＭＤ１０において、教育用モデルの座標の他、受講者の座席の座標を保存する。各受講者の座席の座標は次の方法で指定することができる。
Next, a second embodiment of the present invention will be described.
In this embodiment, seats for a plurality of learners (that is, different viewpoint positions) are virtually provided around the educational model. Each student sits in a different seat in the virtual space and sees the educational model displayed three-dimensionally from that seat.
In the present embodiment, in the
教師用パソコン５０と複数の受講者のＨＭＤ１０には、教育用モデルの座標のほか、対象となる全受講者の座席座標が保存される。各座席座標には、座席番号が付されている。この座席座標は教育用モデルとの相対的な位置関係が分かればよい。
すなわち、第１の実施の形態で説明したように、教育用モデルはある基準位置（例えば図１２の視点位置）からの相対座標で表されている。本実施の形態では、受講者の座席座標についても、この教育用モデルの基準位置からの相対座標で表すことを特徴の一つとしている。同じ基準位置を用いることにより後述するように各ＨＭＤ１０での教育用モデル表示処理を効率的に行うことができる。
In addition to the coordinates of the educational model, the seat coordinates of all the target students are stored in the teacher's
That is, as described in the first embodiment, the educational model is represented by relative coordinates from a certain reference position (for example, the viewpoint position in FIG. 12). One of the features of this embodiment is that the seat coordinates of the learner are also represented by the relative coordinates from the reference position of this educational model. By using the same reference position, the educational model display process in each
受講者がＨＭＤ１０を起動すると、受講者ＩＤが教師用パソコン５０に送られる。教師用パソコン５０では、受講者ＩＤを受信した順番に、座席番号に紐付けて保存し、その座席番号を対応する受講者のＨＭＤ１０に送信する。受講者のＨＭＤ１０は、教師用パソコン５０から送られてきた座席番号を受信すると、その座席番号に該当する座標を自装置の座標として記憶する。
When the student activates the
そして、各ＨＭＤ１０の教育用モデル表示部１４は、該当する座席座標を基準位置（視点位置）として、その位置から見た３Ｄ教育用モデルをディスプレイに表示する。このときの処理を説明すると、教育用モデル表示部１４は、教育用モデル記憶部３１から教育用モデルデータを抽出する。そして、（教育用モデルデータの座標－自身の座席座標）を演算して、この演算結果を図１１（ｃ）のステップＳ５０３の座標データとして用いて３Ｄモデルイメージを作成する。この処理により各受講者のＨＭＤ１０には自身の座席位置から見た３Ｄモデルイメージが表示される。
Then, the educational
なお、教師用パソコン５０で座席番号と参加する全ての受講者ＩＤとを関連付けた座席受講者対応テーブルを作成して保存することになるが、この座席受講者対応テーブルを全受講者のＨＭＤ１０に送信するようにしてもよい。他の受講者の座席も共通の基準位置からの相対座標で表されているので、（他の受講者の座席座標－自身の座席座標）を演算することにより、各受講者は自身の位置を基準にして他の受講者の位置を特定することができる。これにより、各受講者は、他の受講者がどの位置関係にいるかを知ることができる。そして、例えば、受講者ＩＤに対応するアバタをＨＭＤ１０のディスプレイに表示することにより、各受講者は、３Ｄ教育用モデル以外にアバタを通して他の受講者の受講状況を見ることができる。これによって、仮想空間を利用した教育により臨場感を与えることができる。
In addition, the seat student correspondence table that associates the seat number with all the student IDs participating will be created and saved on the teacher's
また、第１の実施の形態では、主に教師用パソコン５０側の教師と、夫々の受講者との質問応答について説明をしたが、その仕組みを利用して、他の受講者の情報を教師用パソコン（もしくは各ＨＭＤ１０から直接）を通して、他の受講者の回答情報および受講者ＩＤを各受講者のＨＭＤ１０に送信する。各受講者のＨＭＤ１０では、その情報を受信すると、受講者ＩＤの対応するアバタおよび回答情報（例えば回答したポインタ位置）を識別可能に表示することにより、他の受講者の回答状況を知ることができ、臨場感を更に増すことができる。
Further, in the first embodiment, the question answering between the teacher on the teacher's
なお、第１の実施の形態の作用を利用すれば、受講者の移動に伴い、３Ｄモデルと受講者の相対位置が変わるが、相対位置の変化に伴い、他の受講者のＨＭＤ１０上で移動した（席を離れた）受講者のアバタを移動させるようにしてもよい。
このようにすれば、共同で作業するような教育に対して、例えば、ある受講者がある部位を抑えている状態で、他の受講者が当該部位にあるオペレーション（例えばネジを嵌める等）をするような作業を行うといったより複雑な教育訓練も可能となる。
If the action of the first embodiment is used, the relative position between the 3D model and the student changes as the student moves, but the relative position changes and the student moves on the HMD10 of another student. You may want to move the student's avatar who has left the seat.
In this way, for education that involves collaborative work, for example, while one student is holding down a certain part, another student can perform an operation (for example, fitting a screw) in that part. More complicated education and training, such as performing such tasks, is also possible.
１ 教育支援システム
２ 通信回線
１０ バーチャルコンテンツ表示装置（ヘッドマウントディスプレイ，ＨＭＤ）
１１，５１ 音声再生・検知部
１２，５２ 音声送受信部
１３ 指示情報受信部
１４，５４ 教育用モデル表示部
１５ 操作受信部
１６ イベント送信部
１７ 視線判定部
４０ 操作用装置
４１ 操作検知部
５０ 教育指示装置（教師用パソコン）
５３ 指示情報送信部
５５ イベント受信部
５６ イベント表示部
５７ 受講データ計算処理部
３１，６１ 教育用モデル記憶部
３２，６２ イベント情報記憶部
６３ 教育シナリオ記憶部
６４ 受講者イベント情報記憶部
1
11,51 Voice playback /
53 Instruction
Claims (8)
前記バーチャルコンテンツ表示装置は、
前記教育用モデルを表示するためのデータを保存する教育用モデル記憶部と、
前記教育用モデルに変化を与えるイベント情報を保存するイベント情報記憶部と、
前記教育指示装置から送られてくる指示情報をトリガとして、前記イベント情報によって前記教育用モデルを変化させて仮想空間上に表示する教育用モデル表示部と、
を備えたことを特徴とする教育支援システム。 It is an educational support system that has a virtual content display device that is worn by the student and displays the educational model on the virtual space, and an educational instruction device that is provided on the teacher side and transmits operation instructions for the educational model. hand,
The virtual content display device is
An educational model storage unit that stores data for displaying the educational model,
An event information storage unit that stores event information that changes the educational model,
An educational model display unit that changes the educational model according to the event information and displays it on a virtual space by using the instruction information sent from the educational instruction device as a trigger.
An educational support system characterized by being equipped with.
前記イベント情報は、前記部品に関連付けられた視聴覚的な変化を規定する変化定義情報を含み、
前記教育用モデル表示部は、前記指示情報を受信すると、該指示情報に対応する前記変化定義情報に基づいて前記教育用モデルを変化させることを特徴とする。 The educational model consists of one or more parts.
The event information includes change definition information that defines audiovisual changes associated with the component.
The educational model display unit is characterized in that when it receives the instruction information, it changes the education model based on the change definition information corresponding to the instruction information.
前記バーチャルコンテンツ表示装置は、前記イベント情報送信部から送られてくるイベント情報を受信すると、前記イベント情報記憶部に保存されているイベント情報を部品単位で更新するイベント情報受信部を備えたことを特徴とする請求項２に記載の教育支援システム。 The education instruction device includes an event information update unit that changes and adds event information for each part of the education model, and an event information transmission unit that transmits the event information to the virtual content display device.
The virtual content display device includes an event information receiving unit that updates event information stored in the event information storage unit for each component when receiving event information sent from the event information transmitting unit. The educational support system according to claim 2, which is a feature.
前記操作検知部で検知した受講者の動きを前記教育指示装置へ送信するイベント送信部と、を備え、
前記教育用モデル表示部は、前記操作検知部によって検知する受講者の動きを表す映像を仮想空間上に表示し、
前記教育指示装置は、
教育用モデルを仮想空間上に表示する教師側教育用モデル表示部と、
前記バーチャルコンテンツ表示装置の前記イベント送信部から送られてくる受講者の動きを表示するイベント表示部と、
を備えたことを特徴とする請求項１乃至３のいずれか一項に記載の教育支援システム。 An operation detection unit that detects the movement of the learner with respect to the educational model,
It is provided with an event transmission unit that transmits the movement of the learner detected by the operation detection unit to the education instruction device.
The educational model display unit displays an image showing the movement of the learner detected by the operation detection unit on the virtual space.
The education instruction device is
The teacher's educational model display unit that displays the educational model on the virtual space,
An event display unit that displays the movements of students sent from the event transmission unit of the virtual content display device, and an event display unit.
The educational support system according to any one of claims 1 to 3, wherein the system is provided with.
各受講者が装着するバーチャルコンテンツ表示装置の前記教育用モデル表示部は、各受講者にそれぞれ割付けられた着席位置から見た教育用モデルを表示することを特徴とする請求項１乃至５のいずれか一項に記載の教育支援システム。 The educational model is associated with coordinate information indicating different seating positions for a plurality of students.
Any of claims 1 to 5, wherein the educational model display unit of the virtual content display device worn by each student displays an educational model viewed from a seating position assigned to each student. The education support system described in item 1.
前記バーチャルコンテンツ表示装置に、前記教育用モデルと、前記教育用モデルに変化を与えるイベント情報とを保存しておき、前記教育指示装置から送られてくる指示情報をトリガとして、前記イベント情報によって前記教育用モデルの一部又は全部を変化させて仮想空間上に表示することを特徴とする教育支援システム。 It is an educational method that is performed using a virtual content display device that is worn by the student and displays the educational model on the virtual space, and an educational instruction device that is provided on the teacher side and transmits operation instructions to the educational model. There,
The educational model and event information that changes the educational model are stored in the virtual content display device, and the instruction information sent from the educational instruction device is used as a trigger to obtain the event information. An educational support system characterized by changing a part or all of an educational model and displaying it in a virtual space.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020113655A JP2022022664A (en) | 2020-06-30 | 2020-06-30 | Education assisting system, method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020113655A JP2022022664A (en) | 2020-06-30 | 2020-06-30 | Education assisting system, method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022022664A true JP2022022664A (en) | 2022-02-07 |
Family
ID=80225130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020113655A Pending JP2022022664A (en) | 2020-06-30 | 2020-06-30 | Education assisting system, method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022022664A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023190093A1 (en) * | 2022-03-28 | 2023-10-05 | 矢崎総業株式会社 | Communication system |
| JP7432275B1 (en) | 2023-07-28 | 2024-02-16 | 株式会社計数技研 | Video display device, video display method, and program |
-
2020
- 2020-06-30 JP JP2020113655A patent/JP2022022664A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023190093A1 (en) * | 2022-03-28 | 2023-10-05 | 矢崎総業株式会社 | Communication system |
| JP7432275B1 (en) | 2023-07-28 | 2024-02-16 | 株式会社計数技研 | Video display device, video display method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Craig et al. | Developing virtual reality applications: Foundations of effective design | |
| US10529248B2 (en) | Aircraft pilot training system, method and apparatus for theory, practice and evaluation | |
| Stanney et al. | Extended reality (XR) environments | |
| CA2485610C (en) | Graphical user interface for a flight simulator based on a client-server architecture | |
| Bowman et al. | Evaluating effectiveness in virtual environments with MR simulation | |
| CA3097897A1 (en) | Interactive application adapted for use by multiple users via a distributed computer-based system | |
| US9472119B2 (en) | Computer-implemented operator training system and method of controlling the system | |
| Datcu et al. | On the usability of augmented reality for information exchange in teams from the security domain | |
| CN108389249A (en) | A kind of spaces the VR/AR classroom of multiple compatibility and its construction method | |
| Funk et al. | HoloCollab: a shared virtual platform for physical assembly training using spatially-aware head-mounted displays | |
| JP2022022664A (en) | Education assisting system, method and program | |
| US20230082741A1 (en) | Systems and methods for virtual and augmented reality | |
| KR20090003445A (en) | Service device for on-line child studying of used virtual reality technique and service method thereof | |
| KR20090003079A (en) | Secondary image painting training system and method | |
| JP2020080154A (en) | Information processing system | |
| Yu et al. | Developing an augmented reality-based interactive learning system with real-time location and motion tracking | |
| Doerner et al. | VR/AR case studies | |
| CA3092884A1 (en) | A media content planning system | |
| Nesamalar et al. | An introduction to virtual reality techniques and its applications | |
| KR102247808B1 (en) | Virtual training system with node-based scenario authoring | |
| Klico et al. | The role of immersive technologies in value creation in marketing | |
| Medeiros et al. | The Potential of VR-based Tactical Resource Planning on Spatial Data | |
| Cortés et al. | Evaluation of interaction methods in an extended reality training environment | |
| KR102668432B1 (en) | Extended reality-based education and training system | |
| Radhika et al. | 10 Augmented Reality and Virtual Reality in disaster management systems: A review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230526 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240312 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240510 |