JP6864041B2

JP6864041B2 - Information storage method and information storage system

Info

Publication number: JP6864041B2
Application number: JP2019120179A
Authority: JP
Inventors: 量生川上; 尚小嶋; 寛明齊藤
Original assignee: Dwango Co Ltd
Current assignee: Dwango Co Ltd
Priority date: 2019-06-27
Filing date: 2019-06-27
Publication date: 2021-04-21
Anticipated expiration: 2039-06-27
Also published as: JP2021005052A

Description

本発明は、授業コンテンツの配信方法、授業コンテンツの配信システム、端末及びプログラムに関する。 The present invention relates to a lesson content distribution method, a lesson content distribution system, a terminal, and a program.

近年、テレビ・ラジオを用いた通信教育だけでなく、情報通信技術（ＩＣＴ）を利用した通信教育システムが広まっている。 In recent years, not only correspondence education using television and radio, but also correspondence education systems using information and communication technology (ICT) have become widespread.

特開平１０−１７１３３７号公報Japanese Unexamined Patent Publication No. 10-171337 特許４３４６７４８号Patent No. 4346748 特許６３４７３７５号Patent No. 6347375

ＩＣＴを利用した通信教育システムの一つとして、没入感のある仮想現実（ＶＲ）技術を用い、例えば生徒がヘッドマウントディスプレイ（ＨＭＤ）を装着し、仮想空間内で授業を行うことが考えられる。没入感のある仮想空間内での授業に参加することにより、外界の情報をシャットダウンでき、テレビやパーソナルコンピュータなどを用いたときに比べて授業に集中できる。 As one of the correspondence education systems using ICT, it is conceivable to use immersive virtual reality (VR) technology, for example, a student wearing a head-mounted display (HMD) and giving a lesson in a virtual space. By participating in a lesson in an immersive virtual space, you can shut down information from the outside world and concentrate on the lesson compared to when using a TV or personal computer.

しかしながら、没入感のある仮想空間では、実空間内にある現実のノートに手書きで書き込むことは困難である。キーボードを用いて教師の言葉や板書を打ち込むことが考えられるが、生徒によっては、教師の発話のスピードや板書のスピードについていくことが難しい場合もある。授業に使われる資料を事前に配布することも考えられるが、資料を見ているだけでは授業の内容が身につかず、さらに、授業中、資料に書き込みたいという要望も考えられる。生徒が、自身でノートを作成したり、資料に書き込んだりすることで、より授業の理解が深まると考えられる。 However, in an immersive virtual space, it is difficult to write by hand on a real notebook in the real space. It is conceivable to use the keyboard to type in the teacher's words and writing on the board, but depending on the student, it may be difficult to keep up with the speed of the teacher's utterance and writing on the board. It is conceivable to distribute the materials used in the lesson in advance, but it is possible that the contents of the lesson cannot be learned just by looking at the materials, and there is also a desire to write in the materials during the lesson. It is thought that students will deepen their understanding of the lesson by making notes and writing in materials by themselves.

特許文献１は、インターネットを介したバーチャル教室システムにおいて、モニタに教師、生徒、および黒板を表示することが開示されている。生徒は、教師の言葉や黒板の文字を実空間内のノートに書き写すことができる。 Patent Document 1 discloses displaying teachers, students, and a blackboard on a monitor in a virtual classroom system via the Internet. Students can copy the teacher's words and letters on the blackboard into a notebook in real space.

特許文献２も、インターネットを介した教育システムである。特許文献２は、三次元仮想空間上で教師や学習者が自らのキャラクターを登場させて、そのキャラクターを通して文字、画像、音声による情報交換を行うことが開示されている。 Patent Document 2 is also an education system via the Internet. Patent Document 2 discloses that a teacher or a learner makes his / her own character appear in a three-dimensional virtual space and exchanges information by characters, images, and sounds through the character.

特許文献１，２の教育システムにＶＲ技術を用いることが考えられるが、仮想空間内でのノートの作成については記載も示唆もない。 It is conceivable to use VR technology for the educational system of Patent Documents 1 and 2, but there is no description or suggestion regarding the creation of notes in the virtual space.

特許文献３には、ユーザがＨＭＤを装着し、仮想空間を立体視する技術が開示されている。特許文献３には、仮想空間内にテキストに関する表示情報が含まれるオブジェクトを配置することが開示されている。特許文献３は、テキストの情報を含むオブジェクトを配置するだけであり、そのテキストをノートに書き写すことは記載も示唆もない。 Patent Document 3 discloses a technique in which a user wears an HMD and stereoscopically views a virtual space. Patent Document 3 discloses that an object including display information regarding text is arranged in a virtual space. Patent Document 3 only arranges an object containing text information, and copying the text into a notebook is neither described nor suggested.

本発明は、上記に鑑みてなされたものであり、没入感のある仮想空間内で行われる授業を視聴する際に、ノートの作成を容易にすることを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to facilitate the creation of notes when viewing a lesson conducted in an immersive virtual space.

本発明の一態様の情報記憶方法は、ヘッドマウントディスプレイで表示される仮想空間で授業を視聴しながら前記仮想空間内の所望の情報を記憶させる情報記憶方法であって、教師が実空間で行った授業を生徒の装着するヘッドマウントディスプレイに表示させるために、サーバが、前記仮想空間を表示するための仮想空間情報、前記授業で用いられた授業用データ、前記授業を撮影して得られた動画データと音声データを含む授業コンテンツを前記ヘッドマウントディスプレイが接続された端末へ配信するステップと、前記サーバが、前記教師が実空間で行った授業から文字情報を取得し、取得した文字情報に対応する文字そのものの形を有するオブジェクトを前記仮想空間内に配置するステップと、前記端末が、前記授業コンテンツを受信して前記ヘッドマウントディスプレイで再生するステップと、前記端末が、前記仮想空間内に配置された前記文字情報に対応する文字そのものの形を有するオブジェクトを前記ヘッドマウントディスプレイに表示させるステップと、前記端末が、前記オブジェクトの選択を受け付けるステップと、前記端末が、選択された前記オブジェクトの有する文字そのものの形に対応する文字情報を記憶するステップと、を有する。 The information storage method of one aspect of the present invention is an information storage method for storing desired information in the virtual space while watching a class in the virtual space displayed on the head mount display, and is performed by a teacher in the real space. In order to display the lesson on the head mount display worn by the student, the server obtained the virtual space information for displaying the virtual space, the lesson data used in the lesson, and the lesson by photographing the lesson. The step of delivering the lesson content including the video data and the audio data to the terminal to which the head mount display is connected, and the server acquires the character information from the lesson conducted by the teacher in the real space, and the acquired character information is used. A step of arranging an object having the shape of the corresponding character itself in the virtual space, a step of the terminal receiving the lesson content and playing it on the head mount display, and a step of the terminal in the virtual space. a step of an object having a shape of a character itself is displayed on the head-mounted display corresponding to arranged the text information, the terminal, the steps of receiving a selection of said object, said terminal, said object selected It has a step of storing character information corresponding to the shape of the character itself.

本発明の一態様の情報記憶システムは、ヘッドマウントディスプレイで表示される仮想空間で授業を視聴しながら前記仮想空間内の所望の情報を記憶させる情報記憶システムであって、教師が実空間で行った授業を生徒の装着するヘッドマウントディスプレイに表示させるための授業コンテンツを配信するサーバと前記ヘッドマウントディスプレイが接続された端末とを備え、前記サーバは、前記仮想空間を表示するための仮想空間情報、前記授業で用いられた授業用データ、前記授業を撮影して得られた動画データと音声データを含む授業コンテンツを前記ヘッドマウントディスプレイが接続された端末へ配信する配信部と、前記教師が実空間で行った授業から文字情報を取得し、取得した文字情報に対応する文字そのものの形を有するオブジェクトを前記仮想空間内に配置する配置部と、を有し、前記端末は、前記授業コンテンツを受信して前記ヘッドマウントディスプレイで再生するとともに、前記仮想空間内に配置された前記文字情報に対応する文字そのものの形を有するオブジェクトを前記ヘッドマウントディスプレイに表示させる表示部と、前記オブジェクトの選択を受け付ける選択部と、選択された前記オブジェクトの有する文字そのものの形に対応する文字情報を記憶する記憶部と、を有する。 The information storage system of one aspect of the present invention is an information storage system that stores desired information in the virtual space while watching a lesson in the virtual space displayed on the head mount display, and is performed by a teacher in the real space. The server includes a server for distributing lesson contents for displaying the lesson on the head mount display worn by the student and a terminal to which the head mount display is connected, and the server provides virtual space information for displaying the virtual space. , The distribution unit that distributes the lesson data used in the lesson, the lesson content including the video data and the audio data obtained by shooting the lesson to the terminal to which the head mount display is connected, and the teacher actually It has an arrangement unit that acquires character information from a lesson conducted in space and arranges an object having the shape of the character itself corresponding to the acquired character information in the virtual space, and the terminal has the lesson content. together with the received to be reproduced by the head-mounted display, and a display unit for displaying an object with a shape of a character itself corresponding to the arranged in the virtual space the character information to the head-mounted display, selection of the object It has a selection unit that accepts data, and a storage unit that stores character information corresponding to the shape of the character itself possessed by the selected object.

本発明によれば、没入感のある仮想空間内で行われる授業を視聴する際に、ノートの作成を容易にすることができる。 According to the present invention, it is possible to facilitate the creation of notes when viewing a lesson conducted in an immersive virtual space.

図１は、本実施形態の授業コンテンツの配信システムの全体的な構成例を示すブロック図である。FIG. 1 is a block diagram showing an overall configuration example of the lesson content distribution system of the present embodiment. 図２は、生徒がヘッドマウントディスプレイを装着した様子を示す図である。FIG. 2 is a diagram showing a student wearing a head-mounted display. 図３は、授業コンテンツの配信元の教室を概念的に示す図である。FIG. 3 is a diagram conceptually showing the classroom from which the lesson content is distributed. 図４は、通信授業用サーバの構成例を示す機能ブロック図である。FIG. 4 is a functional block diagram showing a configuration example of a correspondence class server. 図５は、生徒用端末の構成例を示す機能ブロック図である。FIG. 5 is a functional block diagram showing a configuration example of a student terminal. 図６は、ノートオブジェクトを作成する処理の流れを示すフローチャートである。FIG. 6 is a flowchart showing a flow of processing for creating a note object. 図７は、仮想空間内において板書された文字をノートオブジェクトに記録する例を示す図である。FIG. 7 is a diagram showing an example of recording characters written on a board in a notebook object in a virtual space. 図８は、仮想空間内において教師が発した音声をノートオブジェクトに記録する例を示す図である。FIG. 8 is a diagram showing an example of recording a voice emitted by a teacher in a notebook object in a virtual space. 図９は、仮想空間内において資料を提示し、資料内の情報をノートオブジェクトに記録する例を示す図である。FIG. 9 is a diagram showing an example in which a material is presented in a virtual space and the information in the material is recorded in a note object. 図１０は、複数の生徒が参加した仮想空間内の授業の例を示す図である。FIG. 10 is a diagram showing an example of a lesson in a virtual space in which a plurality of students participate.

［システム構成］
以下、本発明の一実施形態の授業コンテンツの配信システムについて図面を用いて説明する。 [System configuration]
Hereinafter, the lesson content distribution system according to the embodiment of the present invention will be described with reference to the drawings.

本実施形態の授業コンテンツの配信システムは、仮想現実（ＶＲ）を用いた授業コンテンツを配信するシステムである。図１に示す授業コンテンツの配信システムは、通信授業用サーバ１０および複数の生徒用端末３０を備える。通信授業用サーバ１０および複数の生徒用端末３０は、通信回線２０に接続されている。通信授業用サーバ１０と複数の生徒用端末３０とは離れた位置に配置される。複数の生徒用端末３０のそれぞれも離れた位置に配置されてもよい。通信回線２０は、インターネット等の任意の通信回線である。 The lesson content distribution system of the present embodiment is a system that distributes lesson content using virtual reality (VR). The lesson content distribution system shown in FIG. 1 includes a correspondence lesson server 10 and a plurality of student terminals 30. The correspondence class server 10 and the plurality of student terminals 30 are connected to the communication line 20. The correspondence class server 10 and the plurality of student terminals 30 are arranged at positions apart from each other. The plurality of student terminals 30 may also be arranged at distant positions. The communication line 20 is an arbitrary communication line such as the Internet.

なお、図１では、６台の生徒用端末３０を図示しているが、生徒用端末３０の台数は任意である。例えば、授業コンテンツが生放送で配信される場合は、多数の生徒用端末３０が通信授業用サーバ１０に同時に接続される。授業コンテンツがオンデマンドで配信される場合は、生徒用端末３０と通信授業用サーバ１０とを一対一で接続してもよい。 Although 6 student terminals 30 are shown in FIG. 1, the number of student terminals 30 is arbitrary. For example, when the lesson content is delivered live, a large number of student terminals 30 are simultaneously connected to the correspondence lesson server 10. When the lesson content is delivered on demand, the student terminal 30 and the correspondence lesson server 10 may be connected one-to-one.

生徒用端末３０は、ＶＲ機能を有する端末であれば、スマートフォンおよびパーソナルコンピュータなどの任意のコンピュータ機器を用いることができる。生徒用端末３０は、図２に示すように、生徒が装着するＨＭＤ３１を備える。生徒用端末３０は、生徒からの入力を受け付けて、仮想空間内に配置される生徒アバターを操作するためのコントローラ３２を備えてもよい。 As the student terminal 30, any computer device such as a smartphone and a personal computer can be used as long as it is a terminal having a VR function. As shown in FIG. 2, the student terminal 30 includes an HMD 31 worn by the student. The student terminal 30 may include a controller 32 for receiving input from the student and operating the student avatar arranged in the virtual space.

生徒用端末３０は、通信授業用サーバ１０から仮想空間を構成するための情報を受信し、受信した情報に基づいて仮想空間を構成し、ＨＭＤ３１に仮想空間を撮影した映像を表示する。ＨＭＤ３１は、生徒の頭の動きを検知し、頭の動きに応じて仮想空間を撮影する仮想カメラの撮影方向を変化させる。生徒がコントローラ３２を操作すると、仮想空間内の生徒アバターは、入力された操作に応じて動作する。例えば、生徒がコントローラ３２を持つ手を上げると、生徒アバターも手を上げる。 The student terminal 30 receives information for constructing the virtual space from the communication class server 10, configures the virtual space based on the received information, and displays a video of the virtual space captured on the HMD 31. The HMD 31 detects the movement of the student's head and changes the shooting direction of the virtual camera that shoots the virtual space according to the movement of the head. When the student operates the controller 32, the student avatar in the virtual space operates according to the input operation. For example, when a student raises his hand holding the controller 32, so does the student avatar.

生徒は、生徒アバターを操作し、仮想空間内においてノート作成できる。仮想空間内で作成したノートは、授業終了後に仮想空間内で閲覧することができる。あるいは、仮想空間内で作成したノートは、テレビ、携帯端末、パーソナルコンピュータのモニタ上に表示できてもよいし、印刷できてもよい。仮想空間内におけるノートの作成方法については後述する。 Students can operate student avatars to create notes in virtual space. Notes created in the virtual space can be viewed in the virtual space after class. Alternatively, the notebook created in the virtual space may be displayed on the monitor of a television, a mobile terminal, or a personal computer, or may be printed. The method of creating notes in the virtual space will be described later.

通信授業用サーバ１０には、教室ディスプレイ１１、中継カメラ１２、教師用端末１３、マイクロホン１４、およびスピーカ１５が接続される。スピーカ１５は、ヘッドホン（イヤホン）を含む。通信授業用サーバ１０は、接続された機器から受信した情報を元に、仮想空間内での授業コンテンツを作成する。 A classroom display 11, a relay camera 12, a teacher terminal 13, a microphone 14, and a speaker 15 are connected to the communication class server 10. The speaker 15 includes headphones (earphones). The correspondence lesson server 10 creates lesson content in the virtual space based on the information received from the connected device.

図３に示すように、教師４０は、教室ディスプレイ１１の前に立ち、教室ディスプレイ１１および教師用端末１３を用いて授業を行う。教室ディスプレイ１１は、電子黒板と称される大画面ディスプレイである。教師４０は、通信授業用サーバ１０に記憶されている授業用データを教室ディスプレイ１１に表示させて授業を行う。授業用データは、教師用端末１３に表示されてもよい。教師４０の発話に合わせて授業用データが遷移して表示されて授業が進行する。教師４０は、教師用端末１３を操作し、教室ディスプレイ１１に表示する授業用データを選択してもよい。 As shown in FIG. 3, the teacher 40 stands in front of the classroom display 11 and gives a lesson using the classroom display 11 and the teacher terminal 13. The classroom display 11 is a large screen display called an electronic blackboard. The teacher 40 displays the lesson data stored in the correspondence lesson server 10 on the classroom display 11 to give a lesson. The lesson data may be displayed on the teacher terminal 13. The lesson data is transitioned and displayed according to the utterance of the teacher 40, and the lesson progresses. The teacher 40 may operate the teacher terminal 13 and select the lesson data to be displayed on the classroom display 11.

教室ディスプレイ１１に表示された授業用データは、仮想空間内に配置される黒板オブジェクトにも表示される。教室ディスプレイ１１の代わりに黒板またはホワイトボードを用いてもよい。通信授業用サーバ１０は、黒板に書かれた文字を文字認識して、文字認識結果の文字を表示したオブジェクトを仮想空間内の任意の位置（例えば黒板オブジェクト）に配置してもよい。 The lesson data displayed on the classroom display 11 is also displayed on the blackboard object arranged in the virtual space. A blackboard or whiteboard may be used instead of the classroom display 11. The correspondence class server 10 may recognize the characters written on the blackboard and place an object displaying the characters of the character recognition result at an arbitrary position (for example, a blackboard object) in the virtual space.

中継カメラ１２は、教師４０による授業を撮影する。教師４０を撮影した動画データは、通信授業用サーバ１０に送信される。通信授業用サーバ１０は、動画データから教師４０の動きおよび姿勢を検出し、仮想空間内に配置される教師アバターに反映させるためのモーションデータを生成する。例えば、通信授業用サーバ１０は、動画データから教師４０のボーン（骨格）を検出し、検出したボーンに基づいて教師アバターを動かす。通信授業用サーバ１０は、ボーンに基づいて生成した教師アバターのモーションデータを生徒用端末３０へ配信する。中継カメラ１２で教室ディスプレイ１１を撮影し、撮影した画像を仮想空間内の黒板オブジェクトで表示してもよい。 The relay camera 12 captures the lesson by the teacher 40. The moving image data of the teacher 40 is transmitted to the correspondence class server 10. The correspondence lesson server 10 detects the movement and posture of the teacher 40 from the moving image data, and generates motion data to be reflected in the teacher avatar arranged in the virtual space. For example, the correspondence lesson server 10 detects the bones (skeleton) of the teacher 40 from the moving image data, and moves the teacher avatar based on the detected bones. The correspondence lesson server 10 distributes the motion data of the teacher avatar generated based on the bone to the student terminal 30. The classroom display 11 may be photographed by the relay camera 12, and the photographed image may be displayed as a blackboard object in the virtual space.

マイクロホン１４は、教師４０の発した音声を収音する。収音された音声データは、通信授業用サーバ１０に送信される。通信授業用サーバ１０は、音声データを生徒用端末３０へ配信するとともに、音声データを音声認識して、音声認識結果の文字を表示したオブジェクトを仮想空間内の任意の位置に配置してもよい。 The microphone 14 collects the sound emitted by the teacher 40. The collected voice data is transmitted to the correspondence class server 10. The communication class server 10 may deliver voice data to the student terminal 30, recognize voice data, and place an object displaying the characters of the voice recognition result at an arbitrary position in the virtual space. ..

スピーカ１５は、例えば、撮影スタッフからの授業の進行に関する指示などを出力して教師４０に伝える。授業が双方向の場合、スピーカ１５は、生徒用端末３０から送信された音声データを出力してもよい。 The speaker 15 outputs, for example, an instruction regarding the progress of the lesson from the shooting staff and conveys it to the teacher 40. When the lesson is bidirectional, the speaker 15 may output audio data transmitted from the student terminal 30.

なお、授業を撮影した映像であれば、どのような映像を用いて授業コンテンツを作成してもよい。例えば、過去に録画された教育番組の映像から登場人物のボーンを検出し、検出したボーンに基づいて仮想空間内のアバターを動かしてもよい。 It should be noted that any video may be used to create the lesson content as long as it is a video of the lesson. For example, the bones of the characters may be detected from the video of the educational program recorded in the past, and the avatar in the virtual space may be moved based on the detected bones.

教師４０を撮影した動画データから教師アバターのモーションデータを作成する代わりに、教師がＨＭＤを装着し、コントローラを操作して、教師アバターを操作してもよい。 Instead of creating the motion data of the teacher avatar from the moving image data of the teacher 40, the teacher may wear the HMD and operate the controller to operate the teacher avatar.

［サーバ構成］
図４を参照し、通信授業用サーバ１０の構成について説明する。 [Server configuration]
The configuration of the correspondence class server 10 will be described with reference to FIG.

図４に示す通信授業用サーバ１０は、入出力部１０１、認識部１０２、配置部１０３、解析部１０４、記憶部１０５、および配信部１０６を備える。 The communication class server 10 shown in FIG. 4 includes an input / output unit 101, a recognition unit 102, an arrangement unit 103, an analysis unit 104, a storage unit 105, and a distribution unit 106.

入出力部１０１は、教室ディスプレイ１１、中継カメラ１２、教師用端末１３、マイクロホン１４、およびスピーカ１５と接続し、授業用データを出力したり、動画データ、音声データ、および操作を入力したりする。 The input / output unit 101 is connected to the classroom display 11, the relay camera 12, the teacher terminal 13, the microphone 14, and the speaker 15 to output class data and input video data, audio data, and operations. ..

認識部１０２は、教室ディスプレイ１１に表示された授業用データに含まれる文字情報を抽出したり、動画データから教師４０の書いた文字を文字認識したり、音声データから教師４０の発した音声を音声認識したりする。つまり、認識部１０２は、授業の進行に応じた文字情報（テキスト）を取得する。 The recognition unit 102 extracts the character information included in the lesson data displayed on the classroom display 11, recognizes the characters written by the teacher 40 from the video data, and transmits the voice emitted by the teacher 40 from the voice data. Voice recognition. That is, the recognition unit 102 acquires character information (text) according to the progress of the lesson.

配置部１０３は、認識部１０２で得られた文字情報を保持するオブジェクトを仮想空間内に配置する。例えば、認識部１０２が教室ディスプレイ１１の表示から文字を取得した場合、配置部１０３は、仮想空間内の黒板オブジェクトに教室ディスプレイ１１と同じ文字を表示をさせるとともに、黒板オブジェクトに認識部１０２の取得した文字情報を持たせる。オブジェクトの保持する文字情報は、生徒のノート作成に用いられる。 The arrangement unit 103 arranges an object holding the character information obtained by the recognition unit 102 in the virtual space. For example, when the recognition unit 102 acquires characters from the display of the classroom display 11, the arrangement unit 103 causes the blackboard object in the virtual space to display the same characters as the classroom display 11, and the blackboard object acquires the recognition unit 102. Have the character information. The textual information held by the object is used to create notes for students.

解析部１０４は、動画データから教師４０の動きおよび姿勢を検出し、教師アバター用のモーションデータを生成する。 The analysis unit 104 detects the movement and posture of the teacher 40 from the moving image data and generates motion data for the teacher avatar.

記憶部１０５は、授業が行われる仮想空間を構築するための情報を記憶する。仮想空間を構築するための情報としては、例えば、仮想空間内に配置されるオブジェクトのモデルデータ、オブジェクトの配置情報、教師アバターおよび生徒アバターのモデルデータとモーションデータなどがある。仮想空間内に配置されるオブジェクトとしては、例えば、黒板オブジェクト、教室の壁・床・天井のオブジェクト、生徒の机オブジェクト、ノートオブジェクトなどがある。記憶部１０５は、授業用データ、動画データ、および音声データを記憶してもよい。 The storage unit 105 stores information for constructing a virtual space in which a lesson is conducted. Information for constructing the virtual space includes, for example, model data of objects arranged in the virtual space, arrangement information of objects, model data of teacher avatars and student avatars, and motion data. Objects arranged in the virtual space include, for example, blackboard objects, classroom wall / floor / ceiling objects, student desk objects, notebook objects, and the like. The storage unit 105 may store class data, moving image data, and audio data.

配信部１０６は、仮想空間で行われる授業を視聴するための授業コンテンツを配信する。例えば、配信部１０６は、事前に、仮想空間内の教室を描画するための教室の壁・床・天井のオブジェクト、仮想空間の教室内に配置された黒板オブジェクト、教師アバターおよび生徒アバターのモデルデータを生徒用端末３０へ配信しておく。配信部１０６は、授業の進行に応じて、教師アバターおよび生徒アバターのモーションデータ、黒板オブジェクトに描画される情報、文字情報を保持させたオブジェクトなどの変化するデータを生徒用端末３０へ随時配信する。 The distribution unit 106 distributes the lesson content for viewing the lesson conducted in the virtual space. For example, the distribution unit 106 may use model data of a classroom wall / floor / ceiling object for drawing a classroom in a virtual space, a blackboard object arranged in the classroom in a virtual space, a teacher avatar, and a student avatar in advance. Is delivered to the student terminal 30. The distribution unit 106 distributes changing data such as motion data of the teacher avatar and the student avatar, information drawn on the blackboard object, and an object holding the character information to the student terminal 30 at any time according to the progress of the lesson. ..

［端末構成］
図５を参照し、生徒用端末３０の構成について説明する。 [Terminal configuration]
The configuration of the student terminal 30 will be described with reference to FIG.

図５に示す生徒用端末３０は、ＶＲ機能部３０１、入力部３０２、選択部３０３、および記憶部３０４を備える。 The student terminal 30 shown in FIG. 5 includes a VR function unit 301, an input unit 302, a selection unit 303, and a storage unit 304.

ＶＲ機能部３０１は、通信授業用サーバ１０から仮想空間を構築するための情報を受信し、ＨＭＤ３１で検出した生徒の頭の動きに基づいて仮想カメラを制御し、仮想空間をレンダリングする。ＶＲ機能部３０１は、生徒によるコントローラ３２での操作に基づいて、仮想空間内の生徒アバターを動作させる。ＶＲ機能部３０１は、生徒の頭の動きを生徒アバターに反映してもよい。ＶＲ機能部３０１は、生徒アバターにさせたモーションデータを通信授業用サーバ１０へ送信してもよい。 The VR function unit 301 receives information for constructing a virtual space from the communication class server 10, controls the virtual camera based on the movement of the student's head detected by the HMD 31, and renders the virtual space. The VR function unit 301 operates the student avatar in the virtual space based on the operation by the student on the controller 32. The VR function unit 301 may reflect the movement of the student's head on the student avatar. The VR function unit 301 may transmit the motion data made into the student avatar to the communication class server 10.

入力部３０２は、ＨＭＤ３１で検出した生徒の頭の動き、コントローラ３２での操作内容を入力する。入力部３０２にマイクロホンを接続して生徒の音声を入力し、入力した音声データを通信授業用サーバ１０へ送信してもよい。 The input unit 302 inputs the movement of the student's head detected by the HMD 31 and the operation content of the controller 32. A microphone may be connected to the input unit 302 to input the student's voice, and the input voice data may be transmitted to the communication class server 10.

選択部３０３は、生徒の操作によるオブジェクトの選択を受け付けて、選択されたオブジェクトの保持する文字情報を記憶部３０４に記録する。例えば、生徒アバターが文字情報を保持するオブジェクトに触れると、そのオブジェクトが選択され、オブジェクトの保持する文字情報が生徒のノートオブジェクトに転記される。 The selection unit 303 accepts the selection of the object by the operation of the student, and records the character information held by the selected object in the storage unit 304. For example, when a student avatar touches an object that holds textual information, that object is selected and the textual information held by the object is posted to the student's note object.

記憶部３０４は、授業中に作成したノートオブジェクトを再現するためのノート情報を記憶する。例えば、記憶部３０４は、ノート情報として、授業中にノートオブジェクトに転記された文字情報を記憶する。記憶部３０４は、ノート情報として、文字情報に加えて、文字情報を取得したときタイムスタンプ（授業開始からの経過時間）、文字情報を保持するオブジェクトのＩＤを記憶してもよい。これらの情報により、記憶した文字情報は、いつ、どのオブジェクトから取得したものであるかを特定できる。 The storage unit 304 stores note information for reproducing the note object created during the lesson. For example, the storage unit 304 stores the character information transcribed in the note object during the lesson as the note information. In addition to the character information, the storage unit 304 may store the time stamp (elapsed time from the start of the class) when the character information is acquired and the ID of the object holding the character information as the note information. From this information, it is possible to identify when and from which object the stored character information was obtained.

さらに、記憶部３０４は、授業中にＨＭＤ３１で検出した生徒の頭の動き（授業中の視線情報）およびコントローラ３２の操作内容を記憶してもよい。 Further, the storage unit 304 may store the movement of the student's head (line-of-sight information during the lesson) detected by the HMD 31 during the lesson and the operation content of the controller 32.

生徒は、記憶部３０４に記憶したノート情報を利用してノートオブジェクトを閲覧できる。ノートオブジェクトを閲覧するとき、例えば、生徒はＨＭＤ３１を装着し、ノート閲覧モードを起動する。ノート閲覧モードでは、ＶＲ機能部３０１が、記憶部３０４の記憶するノート情報を読み出し、ノート情報に基づいてノートオブジェクトを作成し、仮想空間内にノートオブジェクトを表示する。生徒はコントローラ３２を操作してノートオブジェクトのページをめくったり、ノートオブジェクトを編集したりできる。 The student can browse the note object by using the note information stored in the storage unit 304. When browsing a note object, for example, the student wears the HMD 31 and activates the note browsing mode. In the note viewing mode, the VR function unit 301 reads the note information stored in the storage unit 304, creates a note object based on the note information, and displays the note object in the virtual space. Students can operate the controller 32 to turn pages of note objects and edit note objects.

記憶部３０４の記憶するノート情報は、携帯端末、パーソナルコンピュータなどの電子機器を用いて読み出し、他の電子機器で閲覧できてもよい。読み出したノート情報を印刷できてもよい。他の電子機器でノート情報を編集し、編集したノート情報を記憶部３０４に記憶させてもよい。また、記憶部３０４の記憶するノート情報を他の生徒に貸してもよい。他の生徒は、ノート情報を自身の生徒用端末３０の記憶部３０４に記憶させることで、借りたノートを閲覧できる。 The note information stored in the storage unit 304 may be read out using an electronic device such as a mobile terminal or a personal computer, and may be viewed by another electronic device. The read note information may be printed. The note information may be edited by another electronic device, and the edited note information may be stored in the storage unit 304. Further, the note information stored in the storage unit 304 may be lent to another student. Other students can browse the borrowed notes by storing the note information in the storage unit 304 of their own student terminal 30.

生徒は、ノートオブジェクトを閲覧中に、閲覧箇所に対応するタイムスタンプから授業コンテンツを視聴できてもよい。例えば、生徒がノート閲覧モードでノートオブジェクトを閲覧中に、コントローラ３２を操作して授業視聴モードに移行した場合、ＶＲ機能部３０１は、記憶部３０４から閲覧箇所に対応するタイムスタンプを読み出し、そのタイムスタンプの位置から授業コンテンツを再生する。ＶＲ機能部３０１が再生する授業コンテンツは、通信授業用サーバ１０から取得してもよいし、一度目の視聴時に授業コンテンツを記憶部３０４に記憶しておき、記憶部３０４から取得してもよい。 While browsing the note object, the student may be able to watch the lesson content from the time stamp corresponding to the browsing location. For example, when the student operates the controller 32 to shift to the lesson viewing mode while the student is viewing the note object in the note viewing mode, the VR function unit 301 reads the time stamp corresponding to the viewing location from the storage unit 304, and the time stamp is read from the storage unit 304. Play the lesson content from the position of the time stamp. The lesson content reproduced by the VR function unit 301 may be acquired from the correspondence lesson server 10, or the lesson content may be stored in the storage unit 304 at the first viewing and acquired from the storage unit 304. ..

記憶部３０４に授業中の視線情報を記憶している場合、視線情報に基づいて仮想カメラを制御し、授業を再現してもよい。これにより、ノートを作成したときの授業中の視線およびノートの取り方などを再現できる。例えば、友達から借りたノート情報に基づいて授業を再現することで、その友達の授業の受け方を追体験できる。授業を追体験することで、その友達は、授業中にどの部分に着目しているのか、何が重要であると判断したのか、などを知ることができる。ＨＭＤ３１を装着して友達の授業を追体験してもよいし、視線情報に基づいてレンダリングした画面をモニタ等に映して追体験してもよい。また、生徒が仮想空間内の情報からノートを作成する際に、自分のアバターの視線の先（交差する点）によってコピーをしたい情報を選択し、マウスやコントローラなどの操作で選択した情報のコピーアンドペースト操作を行うようにすることも考えられる。 When the line-of-sight information during the lesson is stored in the storage unit 304, the virtual camera may be controlled based on the line-of-sight information to reproduce the lesson. As a result, it is possible to reproduce the line of sight during class and how to take notes when the notes are created. For example, by reproducing a lesson based on note information borrowed from a friend, you can relive how the friend takes the lesson. By re-experiencing the lesson, the friend can know what part he / she is focusing on during the lesson, what he / she has decided to be important, and so on. You may wear the HMD31 and relive the lesson of your friend, or you may relive the screen rendered based on the line-of-sight information on a monitor or the like. Also, when a student creates a note from the information in the virtual space, he / she selects the information he / she wants to copy according to the line of sight (intersection point) of his / her avatar, and copies the selected information by operating the mouse or controller. It is also conceivable to perform an and paste operation.

通信授業用サーバ１０および生徒用端末３０には、例えば、中央演算処理装置（ＣＰＵ）、メモリ、ストレージ、通信装置、および入出力装置とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた所定のプログラムを実行することにより、通信授業用サーバ１０および生徒用端末３０が実現される。このプログラムは磁気ディスク、光ディスク、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを介して配信することもできる。 For the communication class server 10 and the student terminal 30, for example, a general-purpose computer system including a central processing unit (CPU), a memory, a storage, a communication device, and an input / output device can be used. In this computer system, the correspondence class server 10 and the student terminal 30 are realized by the CPU executing a predetermined program loaded in the memory. This program can be recorded on a computer-readable recording medium such as a magnetic disk, an optical disk, or a semiconductor memory, or can be distributed via a network.

なお、本実施形態では、ノート情報を生徒用端末３０の記憶部３０４に記憶したが、通信授業用サーバ１０の記憶部１０５に記憶させてもよいし、他の記憶装置に記憶させてもよい。例えば、ノート情報を通信授業用サーバ１０に記憶させる場合、選択部３０３の選択したオブジェクトの保持する文字情報を通信授業用サーバ１０へ送信する。通信授業用サーバ１０は、生徒ごとにノート情報を記憶する。 In the present embodiment, the note information is stored in the storage unit 304 of the student terminal 30, but it may be stored in the storage unit 105 of the correspondence class server 10 or in another storage device. .. For example, when the note information is stored in the correspondence lesson server 10, the character information held by the selected object of the selection unit 303 is transmitted to the correspondence lesson server 10. The correspondence class server 10 stores note information for each student.

通信授業用サーバ１０が仮想空間をレンダリングしてもよい。例えば、生徒用端末３０は、ＨＭＤ３１で検出した生徒の頭の動きを通信授業用サーバ１０へ送信する。通信授業用サーバ１０は、生徒の頭の動きに基づいて仮想カメラを制御し、仮想空間をレンダリングする。生徒用端末３０はレンダリング後の画像を受信して表示する。 The correspondence lesson server 10 may render the virtual space. For example, the student terminal 30 transmits the movement of the student's head detected by the HMD 31 to the correspondence class server 10. The correspondence lesson server 10 controls the virtual camera based on the movement of the student's head and renders the virtual space. The student terminal 30 receives and displays the rendered image.

生徒用端末３０が通信授業用サーバ１０の認識部１０２、配置部１０３、解析部１０４の各機能を備えてもよい。例えば、通信授業用サーバ１０は、動画データおよび音声データを生徒用端末３０へ送信する。生徒用端末３０は、動画データを受信して教師４０の動きを解析するとともに、教室ディスプレイ１１の文字および教師の会話を認識して文字情報を保持するオブジェクトを配置する。 The student terminal 30 may include the functions of the recognition unit 102, the arrangement unit 103, and the analysis unit 104 of the communication class server 10. For example, the correspondence lesson server 10 transmits video data and audio data to the student terminal 30. The student terminal 30 receives the moving image data, analyzes the movement of the teacher 40, recognizes the characters on the classroom display 11 and the teacher's conversation, and arranges an object that holds the character information.

［ノート作成処理］
図６を参照し、ノートオブジェクトを作成する処理の流れについて説明する。 [Note creation process]
The flow of the process of creating a note object will be described with reference to FIG.

ステップＳ１０にて、通信授業用サーバ１０は、教師４０の板書した文字および教師４０の発した音声を認識して文字情報を取得し、取得した文字情報を保持させたオブジェクトを生成して仮想空間内に配置する。例えば、教師４０の板書から取得した文字情報は仮想空間内の黒板オブジェクトに付加する。教師４０の音声から取得した文字情報は、文字そのものの形状を持つ文字オブジェクトを生成し、文字オブジェクトに文字情報を保持させたうえで、仮想空間内に文字オブジェクトを配置する。あるいは、動画配信におけるコメント機能を利用することも考えられる。コメント機能とは、生放送やコンテンツ再生視聴時に、視聴者が打ち込んでサーバへ送信をしたテキストデータが、再生中の動画に重畳されてスクロール表示される機能である。すなわち、教師や他の生徒、さらには自分が発したり、キーボードなどで入力したりした文字情報がコメントとして、例えば各端末の表示画面において例えば右から左へスクロール表示されるようにしてもよい。このようにスクロール表示されることとで、経時的に次々と発言や文字入力がなされた場合においても、必要な文字情報が破綻なく表示画面内に表示される。これら表示された文字情報を、後に述べるようなノート作成の対象としてもよい。 In step S10, the correspondence lesson server 10 recognizes the characters written on the board of the teacher 40 and the voice emitted by the teacher 40, acquires the character information, generates an object holding the acquired character information, and creates a virtual space. Place inside. For example, the character information acquired from the board writing of the teacher 40 is added to the blackboard object in the virtual space. The character information acquired from the voice of the teacher 40 creates a character object having the shape of the character itself, causes the character object to hold the character information, and then arranges the character object in the virtual space. Alternatively, it is conceivable to use the comment function in video distribution. The comment function is a function in which the text data that the viewer types in and sends to the server during live broadcasting or content playback / viewing is superimposed on the video being played and scrolled and displayed. That is, the teacher, other students, and the character information issued by oneself or input by a keyboard or the like may be displayed as comments, for example, scrolled from right to left on the display screen of each terminal. By scrolling in this way, necessary character information is displayed on the display screen without failure even when remarks and character inputs are made one after another over time. The displayed character information may be used as a target for creating a note as described later.

ステップＳ１１にて、生徒用端末３０は、文字情報を保持するオブジェクトの選択を受け付ける。例えば、生徒用端末３０は、生徒アバターが黒板オブジェクトの文字にアンダーラインを引くモーションをしたときに、黒板オブジェクトのアンダーラインが引かれた文字が選択されたと判断する。あるいは、生徒用端末３０は、生徒アバターが仮想空間内に配置された文字オブジェクトを掴むモーションをしたときに、掴んだ文字オブジェクトが選択されたと判断する。 In step S11, the student terminal 30 accepts the selection of the object that holds the character information. For example, the student terminal 30 determines that when the student avatar makes a motion to underline the characters of the blackboard object, the underlined characters of the blackboard object are selected. Alternatively, the student terminal 30 determines that the grabbed character object is selected when the student avatar makes a motion to grab the character object arranged in the virtual space.

ステップＳ１２にて、生徒用端末３０は、選択されたオブジェクトの保持する文字情報をノートオブジェクトに記録する。 In step S12, the student terminal 30 records the character information held by the selected object in the notebook object.

授業中、以上の処理が繰り返されて、ノートオブジェクトが作成される。 During the lesson, the above process is repeated to create a note object.

［ノート作成の実施例］
図７ないし９を参照し、仮想空間内でのノート作成について説明する。図７ないし９は、生徒用端末３０が、授業の行われている仮想空間をレンダリングした、生徒が見ている映像の概略を図示したものである。 [Example of note-making]
Note creation in the virtual space will be described with reference to FIGS. 7 to 9. 7 to 9 show an outline of a video that the student is watching, in which the student terminal 30 renders the virtual space in which the lesson is being conducted.

図７は、仮想空間内において板書された文字をノートオブジェクトに記録する例を示す。 FIG. 7 shows an example of recording characters written on a board in a virtual space on a notebook object.

図７の仮想空間内には、教師アバター４００、生徒の右手オブジェクト５００Ｒ、左手オブジェクト５００Ｌ、ノートオブジェクト５１０、机オブジェクト５２０、および黒板オブジェクト６１０が配置されている。もちろん、図示したもの以外のオブジェクトを配置してもよい。 In the virtual space of FIG. 7, a teacher avatar 400, a student's right-hand object 500R, a left-hand object 500L, a notebook object 510, a desk object 520, and a blackboard object 610 are arranged. Of course, objects other than those shown may be arranged.

教師アバター４００は、実空間における教師４０の動きを反映したコンピュータグラフィックス（ＣＧ）キャラクタである。通信授業用サーバ１０が、教師４０の動画データから教師４０の動きと姿勢を検出し、検出した動きおよび姿勢に応じたモーションデータを生成する。例えば、教師４０が手を上げると、通信授業用サーバ１０は、教師アバター４００が手を上げるモーションを行うようなモーションデータを生成する。生徒用端末３０は、そのモーションデータに基づいて教師アバター４００を動かす。 The teacher avatar 400 is a computer graphics (CG) character that reflects the movement of the teacher 40 in real space. The correspondence lesson server 10 detects the movement and posture of the teacher 40 from the moving image data of the teacher 40, and generates motion data according to the detected movement and posture. For example, when the teacher 40 raises his hand, the correspondence lesson server 10 generates motion data such that the teacher avatar 400 raises his hand. The student terminal 30 moves the teacher avatar 400 based on the motion data.

黒板オブジェクト６１０は、教室ディスプレイ１１に表示された文字や図と同じものを表示するとともに、黒板オブジェクト６１０の表示する情報に対応する文字情報を保持する。通信授業用サーバ１０は、教室ディスプレイ１１を撮影した画像を文字認識し、得られた文字情報を黒板オブジェクト６１０に保持させる。教室ディスプレイ１１に表示する授業用データから文字情報を抽出してもよい。図７の例では、黒板オブジェクト６１０は、“ＡＢＣＤ”の文字６１１を表示するとともに、“ＡＢＣＤ”の文字情報（テキスト）を保持する。 The blackboard object 610 displays the same characters and figures displayed on the classroom display 11, and holds character information corresponding to the information displayed by the blackboard object 610. The correspondence lesson server 10 character-recognizes the image taken by the classroom display 11 and causes the blackboard object 610 to hold the obtained character information. Textual information may be extracted from the lesson data displayed on the classroom display 11. In the example of FIG. 7, the blackboard object 610 displays the character 611 of "ABCD" and holds the character information (text) of "ABCD".

右手オブジェクト５００Ｒおよび左手オブジェクト５００Ｌは、生徒アバターの一部であり、生徒が仮想空間内で操作するオブジェクトである。実空間における生徒の手の動きを右手オブジェクト５００Ｒと左手オブジェクト５００Ｌに反映させてもよい。図では、生徒アバターの全身を図示していないが、仮想空間内で生徒アバターの全身を表示してもよい。 The right-hand object 500R and the left-hand object 500L are a part of the student avatar and are objects that the student operates in the virtual space. The movement of the student's hand in the real space may be reflected in the right-hand object 500R and the left-hand object 500L. Although the whole body of the student avatar is not shown in the figure, the whole body of the student avatar may be displayed in the virtual space.

ノートオブジェクト５１０は、生徒が仮想空間内で作成するノートである。図７の例では、机オブジェクト５２０の上にノートオブジェクト５１０が置かれている。生徒の操作に基づき、黒板オブジェクト６１０に記載された文字６１１をノートオブジェクト５１０に記載する。図７の例では、黒板オブジェクト６１０に表示された“ＡＢＣＤ”の文字６１１が、ノートオブジェクト５１０上に“ＡＢＣＤ”の文字５１１として記載された。ノートオブジェクト５１０に記載された“ＡＢＣＤ”の文字情報（テキスト）は、生徒用端末３０に記憶される。 Note object 510 is a note created by a student in a virtual space. In the example of FIG. 7, the note object 510 is placed on the desk object 520. Based on the student's operation, the characters 611 written on the blackboard object 610 are written on the note object 510. In the example of FIG. 7, the character 611 of "ABCD" displayed on the blackboard object 610 is described as the character 511 of "ABCD" on the note object 510. The character information (text) of "ABCD" described in the note object 510 is stored in the student terminal 30.

生徒は、右手オブジェクト５００Ｒおよび左手オブジェクト５００Ｌを操作して、仮想空間内のオブジェクトが保持する文字情報をノートオブジェクト５１０に記録する。例えば、生徒は、コントローラ３２を操作し、右手オブジェクト５００Ｒに仮想空間内の机オブジェクト５２０に置かれたペンオブジェクト（図示せず）を持ち上げさせることで、授業の状態をノート作成モードに遷移させる。ノート作成モードでは、右手オブジェクト５００Ｒが黒板オブジェクト６１０の近くまで移動し、図７に示すように、黒板オブジェクト６１０に表示された文字６１１にアンダーラインを引くことができる。アンダーラインを引いた文字６１１に対応する文字情報がノートオブジェクト５１０に記載される。左手オブジェクト５００Ｌは、ノートオブジェクト５１０のページをめくったり、文字５１１を記載する箇所を指定したりする。右手オブジェクト５００Ｒがペンオブジェクトを机オブジェクト５２０に置くと、ノート作成モードが解除される。 The student operates the right-hand object 500R and the left-hand object 500L to record the character information held by the objects in the virtual space in the note object 510. For example, the student operates the controller 32 to cause the right-hand object 500R to lift a pen object (not shown) placed on the desk object 520 in the virtual space, thereby shifting the state of the lesson to the note-making mode. In the note-making mode, the right-hand object 500R moves closer to the blackboard object 610, and as shown in FIG. 7, the characters 611 displayed on the blackboard object 610 can be underlined. Character information corresponding to the underlined character 611 is described in the note object 510. The left-hand object 500L turns the page of the note object 510 and specifies a place where the character 511 is described. When the right-hand object 500R places the pen object on the desk object 520, the note-making mode is canceled.

別の操作により、オブジェクトの保持する文字情報をノートオブジェクト５１０に記載してもよい。例えば、生徒アバターが文字情報を保持するオブジェクトを掴んでノートオブジェクト５１０に押し付けると、文字情報がノートオブジェクト５１０に記載されてもよい。図７の例では、黒板オブジェクト６１０を掴んで、ノートオブジェクト５１０に押し付けると、黒板オブジェクト６１０に表示された内容がノートオブジェクト５１０に記載される。あるいは、生徒アバターがノートオブジェクト５１０を掴んで黒板オブジェクト６１０に押し付けると、黒板オブジェクト６１０の保持する文字情報がノートオブジェクト５１０に記載されてもよい。 By another operation, the character information held by the object may be described in the note object 510. For example, when the student avatar grabs the object holding the character information and presses it against the note object 510, the character information may be described in the note object 510. In the example of FIG. 7, when the blackboard object 610 is grasped and pressed against the note object 510, the contents displayed on the blackboard object 610 are described in the note object 510. Alternatively, when the student avatar grabs the note object 510 and presses it against the blackboard object 610, the character information held by the blackboard object 610 may be described in the note object 510.

ノートオブジェクト５１０は、白紙のノートに限らず、配布された授業用の資料であってもよい。 The notebook object 510 is not limited to a blank notebook, and may be a distributed lesson material.

図８は、仮想空間内において教師が発した音声をノートオブジェクトに記録する例を示す。 FIG. 8 shows an example of recording a voice emitted by a teacher in a notebook object in a virtual space.

教師４０の発した音声は、図８に示すように、仮想空間内で文字オブジェクト６２０として配置される。文字オブジェクト６２０は、保持する文字情報そのものの形を有する。図８の文字オブジェクト６２０は“ＥＦＧＨＩ”の文字形状であり、“ＥＦＧＨＩ”の文字情報を保持する。 The voice emitted by the teacher 40 is arranged as a character object 620 in the virtual space as shown in FIG. The character object 620 has the shape of the character information itself to be held. The character object 620 of FIG. 8 has the character shape of “EFGHI” and holds the character information of “EFGHI”.

通信授業用サーバ１０は、教師４０の発した音声を音声認識し、音声認識結果の文字を文字オブジェクト６２０として仮想空間内に配置する。例えば、文字オブジェクト６２０を教師アバター４００の口の位置に配置し、教師アバター４００の正面方向に移動させてもよい。 The correspondence lesson server 10 recognizes the voice emitted by the teacher 40, and arranges the characters of the voice recognition result as the character object 620 in the virtual space. For example, the character object 620 may be placed at the mouth position of the teacher avatar 400 and moved in the front direction of the teacher avatar 400.

生徒は、右手オブジェクト５００Ｒまたは左手オブジェクト５００Ｌを操作して、図８に示すように、仮想空間内の文字オブジェクト６２０を掴むことができる。掴んだ文字オブジェクト６２０の保持する文字情報がノートオブジェクト５１０上に文字５１２として記載される。掴んだ文字オブジェクト６２０をノートオブジェクト５１０に押し付けたときに文字５１２として記載されてもよい。 The student can operate the right-hand object 500R or the left-hand object 500L to grab the character object 620 in the virtual space as shown in FIG. The character information held by the grasped character object 620 is described as character 512 on the note object 510. It may be described as character 512 when the grasped character object 620 is pressed against the note object 510.

あるいは、ノートオブジェクト５１０を掴んで文字オブジェクト６２０または教師アバター４００の口に押し付けたり、教師アバター４００の頭を掴んでノートオブジェクト５１０に押し付けたりすると、文字情報がノートオブジェクト５１０に記載されてもよい。仮想空間内において録音機器オブジェクト（図示せず）の録音スイッチを押下すると、文字オブジェクト６２０が録音機器オブジェクトに吸い込まれて、ノートオブジェクト５１０に記載されてもよい。 Alternatively, character information may be described in the note object 510 by grabbing the note object 510 and pressing it against the mouth of the character object 620 or the teacher avatar 400, or by grabbing the head of the teacher avatar 400 and pressing it against the note object 510. When the recording switch of the recording device object (not shown) is pressed in the virtual space, the character object 620 may be sucked into the recording device object and described in the note object 510.

文字オブジェクト６２０の配置位置は任意に設定できる。例えば、仮想空間内の天井オブジェクトの近くに文字オブジェクト６２０を配置したり、教室の後ろの壁オブジェクトの近くに文字オブジェクト６２０を配置したり、床オブジェクトの近くに文字オブジェクト６２０を配置したりしてもよい。文字オブジェクト６２０を仮想空間内に浮かせてもよいし、上下左右方向に移動させてもよい。 The arrangement position of the character object 620 can be set arbitrarily. For example, place the character object 620 near the ceiling object in the virtual space, place the character object 620 near the wall object behind the classroom, or place the character object 620 near the floor object. May be good. The character object 620 may be floated in the virtual space, or may be moved in the vertical and horizontal directions.

図９は、仮想空間内において資料を提示し、資料内の情報をノートオブジェクトに記録する例を示す。 FIG. 9 shows an example in which a material is presented in a virtual space and the information in the material is recorded in a note object.

教師４０は、教師用端末１３を操作し、仮想空間内の任意の位置に資料オブジェクト６３０を配置できる。資料オブジェクト６３０は、資料オブジェクト６３０が表示する情報に対応する文字情報、図形などを保持する。資料オブジェクト６３０に表示させる内容は、授業用データとして事前に用意しておく。 The teacher 40 can operate the teacher terminal 13 and arrange the material object 630 at an arbitrary position in the virtual space. The material object 630 holds character information, figures, and the like corresponding to the information displayed by the material object 630. The contents to be displayed on the material object 630 are prepared in advance as class data.

生徒は、黒板オブジェクト６１０と同様に、資料オブジェクト６３０にアンダーラインを引くことができる。アンダーラインを引いた文字に対応する文字情報がノートオブジェクト５１０に記録される。資料オブジェクト６３０に図形や画像が表示されている場合、右手オブジェクト５００Ｒまたは左手オブジェクト５００Ｌで指さすことで、選択された図形や画像がノートオブジェクト５１０に記載される。 Students can underline the material object 630 as well as the blackboard object 610. Character information corresponding to the underlined character is recorded in the note object 510. When a figure or image is displayed on the document object 630, the selected figure or image is described on the note object 510 by pointing at the right-hand object 500R or the left-hand object 500L.

［複数の生徒が参加する授業］
図１０を参照し、複数の生徒が同時に参加する授業におけるノートの作成について説明する。図１０の例では、複数の生徒アバター７００Ａ，７００Ｂ，７００Ｃが同じ仮想空間内に存在し、同じ授業を受けている。 [Classes in which multiple students participate]
With reference to FIG. 10, the creation of notes in a class in which a plurality of students participate at the same time will be described. In the example of FIG. 10, a plurality of student avatars 700A, 700B, 700C exist in the same virtual space and take the same lesson.

通信授業用サーバ１０は、授業コンテンツを複数の生徒のそれぞれが用いる複数の生徒用端末３０へ同時に配信する。複数の生徒のそれぞれは、自身を示す生徒アバター７００Ａ，７００Ｂ，７００Ｃで仮想空間内の授業に参加する。生徒用端末３０のそれぞれは、生徒の動きに合わせて生徒アバター７００Ａ，７００Ｂ，７００Ｃのモーションデータを生成し、通信授業用サーバ１０へ送信する。通信授業用サーバ１０は、生徒アバター７００Ａ，７００Ｂ，７００Ｃのモーションデータを生徒用端末３０のそれぞれに配信する。複数の生徒のそれぞれは、他の生徒の動きを反映した生徒アバター７００Ａ，７００Ｂ，７００Ｃを見ることができる。 The correspondence lesson server 10 simultaneously delivers lesson content to a plurality of student terminals 30 used by each of the plurality of students. Each of the plurality of students participates in the lesson in the virtual space with the student avatars 700A, 700B, 700C indicating themselves. Each of the student terminals 30 generates motion data of the student avatars 700A, 700B, and 700C according to the movement of the student, and transmits the motion data to the correspondence class server 10. The correspondence lesson server 10 distributes the motion data of the student avatars 700A, 700B, and 700C to each of the student terminals 30. Each of the plurality of students can see the student avatars 700A, 700B, 700C reflecting the movements of the other students.

前述のように、生徒は生徒アバターを動かして仮想空間内でノートを作成する。例えば、黒板オブジェクト６１０にアンダーラインを引いたり、仮想空間内に浮かぶ文字オブジェクトを掴んだりすることでノートを作成する。他の生徒から見ると、ノート作成中の生徒アバターがバタバタ動いて見え、煩わしく感じることもある。 As mentioned above, students move student avatars to create notes in virtual space. For example, a note is created by underlining the blackboard object 610 or grasping a character object floating in the virtual space. From the perspective of other students, the student avatar during note-taking may appear to be fluttering and annoying.

そこで、本実施形態では、複数の生徒が参加する授業では、他の生徒から見ると、ノート作成中の生徒アバターがノートを書いているように見せる。具体的には、ある生徒Ａがノート作成モードに遷移すると、通信授業用サーバ１０は、生徒Ａ以外の生徒の生徒用端末３０には、生徒Ａの生徒アバター７００Ａのモーションデータとして、ノートを書いているモーションデータを配信する。生徒Ａ以外の生徒用端末３０では、ノートを書いているモーションを行う生徒アバター７００Ａが表示される。 Therefore, in the present embodiment, in a lesson in which a plurality of students participate, the student avatar during note-making appears to be writing notes when viewed from other students. Specifically, when a certain student A shifts to the note-making mode, the correspondence class server 10 writes a note on the student terminal 30 of a student other than the student A as motion data of the student avatar 700A of the student A. Deliver the motion data that is being used. On the student terminals 30 other than the student A, the student avatar 700A that performs the motion of writing notes is displayed.

一方、生徒Ａの生徒用端末３０では、図１０の生徒アバター７１０Ａのように、黒板オブジェクト６１０の前に立ち、黒板オブジェクト６１０に表示された文字にアンダーラインを引いている生徒アバター７１０Ａが表示されている。 On the other hand, on the student terminal 30 of the student A, as shown in the student avatar 710A of FIG. 10, the student avatar 710A standing in front of the blackboard object 610 and underlining the characters displayed on the blackboard object 610 is displayed. ing.

このように、通信授業用サーバ１０が、ノート作成中の生徒アバター７００Ａのモーションデータをノートを書いているモーションデータに差し替えて配信することにより、生徒は、他の生徒の邪魔にならずにノートを作成できる。 In this way, the correspondence lesson server 10 replaces the motion data of the student avatar 700A in which the note is being created with the motion data in which the note is written and distributes the note so that the student does not interfere with other students. Can be created.

先生の発した音声だけでなく、生徒の発した音声を文字オブジェクトとして仮想空間内に配置してもよい。生徒は、他の生徒の発した音声の文字オブジェクトをノートオブジェクトに記載できる。例えば、先生の質問に対する生徒の回答などをノートに記載できる。 Not only the voice uttered by the teacher but also the voice uttered by the student may be arranged in the virtual space as a character object. A student can write a character object of a voice uttered by another student in a note object. For example, students' answers to teacher's questions can be written in a notebook.

なお、授業が録画されたコンテンツであり、生徒が異なる時刻に授業に参加する場合も、複数の生徒が同じ仮想空間内で参加できてもよい。例えば、ある生徒Ａが授業に参加したときに、通信用授業サーバ１０は、生徒Ａの生徒アバター７００Ａのモーションデータや発話内容などを記録しておく。その後、別の時刻に別の生徒Ｂが授業に参加すると、通信用授業サーバ１０は、生徒Ｂの生徒アバター７００Ｂに加えて、生徒Ａの生徒アバター７００Ａを仮想空間内に配置する。つまり、生徒Ａと生徒Ｂは同じ仮想空間内の授業に参加することになる。通信用授業サーバ１０は、授業の進行に応じて、過去に記録しておいた生徒アバター７００Ａのモーションデータ等を用いて生徒アバター７００Ａの動作を再現する。生徒アバター７００Ａが音声を発していた場合は、生徒アバター７００Ａの発した音声を文字オブジェクトとして仮想空間内に配置してもよい。生放送の授業を録画したコンテンツであってもよい。この場合、生放送時に授業に参加した生徒アバターのモーションデータや発話内容を記録しておく。生徒が録画された授業に参加する際、生徒の生徒アバターに加えて、生放送時に授業に参加した生徒アバターを仮想空間内に配置し、授業の進行に合わせて生徒アバターの動作を再現する。 It should be noted that the content is a recorded lesson, and even when students participate in the lesson at different times, a plurality of students may be able to participate in the same virtual space. For example, when a certain student A participates in a lesson, the communication lesson server 10 records the motion data of the student avatar 700A of the student A, the utterance content, and the like. After that, when another student B participates in the lesson at another time, the communication lesson server 10 arranges the student avatar 700A of the student A in the virtual space in addition to the student avatar 700B of the student B. That is, student A and student B participate in the lesson in the same virtual space. The communication lesson server 10 reproduces the operation of the student avatar 700A by using the motion data of the student avatar 700A recorded in the past according to the progress of the lesson. When the student avatar 700A emits a voice, the voice emitted by the student avatar 700A may be arranged in the virtual space as a character object. The content may be a recording of a live lesson. In this case, record the motion data and utterance contents of the student avatars who participated in the class during the live broadcast. When a student participates in a recorded lesson, in addition to the student avatar of the student, the student avatar who participated in the lesson during the live broadcast is placed in the virtual space, and the movement of the student avatar is reproduced as the lesson progresses.

以上説明したように、本実施形態の授業コンテンツの配信システムは、仮想空間内で行われる授業を配信する通信授業用サーバ１０と授業を受けるための生徒用端末３０とを備える。通信授業用サーバ１０は、仮想空間を表示するための仮想空間情報を生徒用端末３０へ配信する配信部１０６と、授業の進行に応じた文字情報を保持するオブジェクトを仮想空間内に配置する配置部１０３を有する。生徒用端末３０は、仮想空間情報に基づいて仮想空間を表示するＨＭＤ３１と、オブジェクトの選択を受け付ける選択部３０３と、選択されたオブジェクトの保持する文字情報を記憶する記憶部３０４を有する。これにより、生徒は、仮想空間内の生徒アバターを操作し、文字情報を保持するオブジェクトを選択すると、生徒のノートオブジェクトに選択したオブジェクトの保持する文字情報が記載されるので、ＨＭＤを装着して仮想空間内で行われる授業を視聴する際、ノートを容易に作成できる。 As described above, the lesson content distribution system of the present embodiment includes a communication lesson server 10 for distributing lessons conducted in the virtual space and a student terminal 30 for taking lessons. The communication lesson server 10 arranges a distribution unit 106 that distributes virtual space information for displaying the virtual space to the student terminal 30 and an object that holds character information according to the progress of the lesson in the virtual space. It has a part 103. The student terminal 30 has an HMD 31 that displays a virtual space based on virtual space information, a selection unit 303 that accepts object selection, and a storage unit 304 that stores character information held by the selected object. As a result, when the student operates the student avatar in the virtual space and selects the object that holds the character information, the character information held by the selected object is described in the student's note object, so wear the HMD. You can easily create notes when watching lessons held in virtual space.

なお、ＨＭＤを用いずに、パーソナルコンピュータなどの端末の表示画面上に仮想空間をレンダリングした授業を表示した場合、生徒は、マウスなどのポインティングデバイスを用いて仮想空間内のオブジェクトを選択し、オブジェクトの保持する文字情報をノートオブジェクトに転記できてもよい。 When a class in which the virtual space is rendered is displayed on the display screen of a terminal such as a personal computer without using the HMD, the student selects an object in the virtual space using a pointing device such as a mouse, and the object is displayed. It may be possible to transfer the character information held by the mouse to the note object.

１０…通信授業用サーバ
１０１…入出力部
１０２…認識部
１０３…配置部
１０４…解析部
１０５…記憶部
１０６…配信部
１１…教室ディスプレイ
１２…中継カメラ
１３…教師用端末
１４…マイクロホン
１５…スピーカ
２０…通信回線
３０…生徒用端末
３０１…ＶＲ機能部
３０２…入力部
３０３…選択部
３０４…記憶部
３１…ＨＭＤ
３２…コントローラ 10 ... Communication class server 101 ... Input / output unit 102 ... Recognition unit 103 ... Arrangement unit 104 ... Analysis unit 105 ... Storage unit 106 ... Distribution unit 11 ... Classroom display 12 ... Relay camera 13 ... Teacher terminal 14 ... Microphone 15 ... Speaker 20 ... Communication line 30 ... Student terminal 301 ... VR function unit 302 ... Input unit 303 ... Selection unit 304 ... Storage unit 31 ... HMD
32 ... Controller

Claims

ヘッドマウントディスプレイで表示される仮想空間で授業を視聴しながら前記仮想空間内の所望の情報を記憶させる情報記憶方法であって、
教師が実空間で行った授業を生徒の装着するヘッドマウントディスプレイに表示させるために、サーバが、前記仮想空間を表示するための仮想空間情報、前記授業で用いられた授業用データ、前記授業を撮影して得られた動画データと音声データを含む授業コンテンツを前記ヘッドマウントディスプレイが接続された端末へ配信するステップと、
前記サーバが、前記教師が実空間で行った授業から文字情報を取得し、取得した文字情報に対応する文字そのものの形を有するオブジェクトを前記仮想空間内に配置するステップと、
前記端末が、前記授業コンテンツを受信して前記ヘッドマウントディスプレイで再生するステップと、
前記端末が、前記仮想空間内に配置された前記文字情報に対応する文字そのものの形を有するオブジェクトを前記ヘッドマウントディスプレイに表示させるステップと、
前記端末が、前記オブジェクトの選択を受け付けるステップと、
前記端末が、選択された前記オブジェクトの有する文字そのものの形に対応する文字情報を記憶するステップと、
を有する情報記憶方法。 It is an information storage method that stores desired information in the virtual space while watching a lesson in the virtual space displayed on the head-mounted display.
In order to display the lesson conducted by the teacher in the real space on the head mount display worn by the student, the server displays the virtual space information for displaying the virtual space, the lesson data used in the lesson, and the lesson. A step of delivering lesson content including video data and audio data obtained by shooting to a terminal to which the head mount display is connected, and
A step in which the server acquires character information from a lesson conducted by the teacher in the real space and arranges an object having the shape of the character itself corresponding to the acquired character information in the virtual space.
A step in which the terminal receives the lesson content and reproduces it on the head-mounted display.
A step in which the terminal displays an object having the shape of the character itself corresponding to the character information arranged in the virtual space on the head-mounted display.
The terminal, and the step of accepting the selection of the object,
A step in which the terminal stores character information corresponding to the shape of the character itself possessed by the selected object.
Information storage method having.

請求項１に記載の情報記憶方法であって、
前記文字情報に対応する文字そのものの形を有するオブジェクトを前記仮想空間内に配置する際に、教師の発話した音声の内容を示す文字情報に対応する文字そのものの形を有するオブジェクトを配置する情報記憶方法。 The information storage method according to claim 1.
When arranging an object having the shape of the character itself corresponding to the character information in the virtual space, information storage for arranging the object having the shape of the character itself corresponding to the character information indicating the content of the voice spoken by the teacher. Method.

請求項１に記載の情報記憶方法であって、
前記端末が、生徒の視線情報を記憶するステップと、
前記端末が、他の生徒の記憶した前記視線情報に基づいて前記仮想空間内を撮影する仮想カメラを制御し、前記他の生徒が見ていた画面を再現するステップと、
を有する情報記憶方法。 The information storage method according to claim 1.
The step in which the terminal stores the student's line-of-sight information,
A step in which the terminal controls a virtual camera that shoots in the virtual space based on the line-of-sight information stored by the other student, and reproduces the screen that the other student was looking at.
Information storage method having.

請求項１ないし３のいずれかに記載の情報記憶方法であって、
前記授業は複数の生徒が同じ仮想空間内で参加するものであり、
前記複数の生徒のそれぞれを示す複数の生徒アバターが前記仮想空間内に存在し、
前記サーバは、前記複数の生徒が用いる前記端末のそれぞれから前記複数の生徒アバターそれぞれのモーションデータを受信して前記端末へ配信し、
生徒が生徒アバターを操作して前記オブジェクトを選択するときは、前記サーバは、他の生徒の用いる前記端末には当該生徒アバターに所定の動作をさせたモーションデータを配信する情報記憶方法。 The information storage method according to any one of claims 1 to 3.
In the class, multiple students participate in the same virtual space.
A plurality of student avatars indicating each of the plurality of students exist in the virtual space.
The server receives motion data of each of the plurality of student avatars from each of the terminals used by the plurality of students and distributes the motion data to the terminal.
When the student selects the object by operating the student avatar, the server information storing method for distributing motion data obtained by a predetermined operation to the student avatar to the terminals using the other students.

請求項４記載の情報記憶方法であって、
前記所定の動作は前記生徒アバターがノートを書いている動作である情報記憶方法。 The information storage method according to claim 4.
The predetermined operation is an information storage method in which the student avatar is writing a note.

請求項４または５に記載の情報記憶方法であって、
前記授業は複数の生徒のそれぞれが異なる時刻に視聴を開始できるものであり、
前記サーバは、前記授業に参加した前記生徒アバターのモーションデータを記憶しておき、
前記サーバは、前記仮想空間内に過去に前記授業に参加した前記生徒アバターを配置し、前記授業の進行に応じた前記生徒アバターの動作を再現するための前記生徒アバターのモーションデータを配信する情報記憶方法。 The information storage method according to claim 4 or 5.
The lesson allows multiple students to start watching at different times.
The server stores the motion data of the student avatar who participated in the lesson, and stores the motion data.
The server arranges the student avatar who has participated in the lesson in the past in the virtual space, and distributes motion data of the student avatar for reproducing the operation of the student avatar according to the progress of the lesson. Memory method.

ヘッドマウントディスプレイで表示される仮想空間で授業を視聴しながら前記仮想空間内の所望の情報を記憶させる情報記憶システムであって、
教師が実空間で行った授業を生徒の装着するヘッドマウントディスプレイに表示させるための授業コンテンツを配信するサーバと前記ヘッドマウントディスプレイが接続された端末とを備え、
前記サーバは、
前記仮想空間を表示するための仮想空間情報、前記授業で用いられた授業用データ、前記授業を撮影して得られた動画データと音声データを含む授業コンテンツを前記ヘッドマウントディスプレイが接続された端末へ配信する配信部と、
前記教師が実空間で行った授業から文字情報を取得し、取得した文字情報に対応する文字そのものの形を有するオブジェクトを前記仮想空間内に配置する配置部と、を有し、
前記端末は、
前記授業コンテンツを受信して前記ヘッドマウントディスプレイで再生するとともに、前記仮想空間内に配置された前記文字情報に対応する文字そのものの形を有するオブジェクトを前記ヘッドマウントディスプレイに表示させる表示部と、
前記オブジェクトの選択を受け付ける選択部と、
選択された前記オブジェクトの有する文字そのものの形に対応する文字情報を記憶する記憶部と、
を有する情報記憶システム。 An information storage system that stores desired information in the virtual space while watching a lesson in the virtual space displayed on the head-mounted display.
It is equipped with a server that distributes lesson content for displaying lesson contents conducted by the teacher in the real space on the head-mounted display worn by the student, and a terminal to which the head-mounted display is connected.
The server
A terminal to which the head mount display is connected to virtual space information for displaying the virtual space, lesson data used in the lesson, and lesson contents including video data and audio data obtained by shooting the lesson. With the distribution department that delivers to
It has an arrangement unit that acquires character information from a lesson conducted by the teacher in a real space and arranges an object having the shape of the character itself corresponding to the acquired character information in the virtual space.
The terminal
A display unit that receives the lesson content and reproduces it on the head-mounted display, and displays an object having the shape of the character itself corresponding to the character information arranged in the virtual space on the head-mounted display.
A selection unit that accepts a selection of the object,
A storage unit that stores character information corresponding to the shape of the character itself possessed by the selected object, and a storage unit.
Information storage system with.