KR101788248B1 - On-line learning system and method using virtual reality and augmented reality - Google Patents
On-line learning system and method using virtual reality and augmented reality Download PDFInfo
- Publication number
- KR101788248B1 KR101788248B1 KR1020170027266A KR20170027266A KR101788248B1 KR 101788248 B1 KR101788248 B1 KR 101788248B1 KR 1020170027266 A KR1020170027266 A KR 1020170027266A KR 20170027266 A KR20170027266 A KR 20170027266A KR 101788248 B1 KR101788248 B1 KR 101788248B1
- Authority
- KR
- South Korea
- Prior art keywords
- item
- image
- information
- virtual reality
- student
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims description 74
- 238000012545 processing Methods 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 20
- 230000002194 synthesizing effect Effects 0.000 claims description 16
- 238000012546 transfer Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 abstract description 10
- 230000008569 process Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 230000003993 interaction Effects 0.000 abstract description 4
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012384 transportation and delivery Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법에 관한 것으로서, 더욱 상세히는 유아나 저학년의 학생과 같은 교육 대상자에 대하여 가상 현실에서 교사의 움직임을 반영한 캐릭터를 통해 교육 대상자에 대한 학습을 제공하여 교육 대상자가 효과적으로 학습할 수 있도록 지원하고, 학생을 촬영한 촬영 영상과 상기 캐릭터가 포함된 가상현실 기반 교육 영상을 기초로 가상 현실과 증강 현실을 상호 연동시켜 학습을 제공하는 가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법에 관한 것이다. 본 발명은 학생 단말로부터 실재 학생을 촬영한 촬영 영상을 상기 가상 현실 기반 영상 정보에 합성하고, 해당 가상 현실에서 사용되는 아이템을 상기 촬영 영상에 적용 가능하도록 지원하여 가상 현실과 증강 현실을 동시 체험 가능하도록 지원하되, 교사의 움직임에 따라 상호 작용하는 캐릭터가 해당 아이템을 학생에게 전달하는 이벤트를 수행하면 해당 이벤트에 따라 아이템이 가상 현실 기반 영상에서 촬영 영상으로 전달되거나 또는 이와 반대로 회수되는 과정이 가시적으로 표시되도록 하여 가상 현실과 증강 현실의 상호 연동을 지원하고 이를 통해 교사와 학생 간 아이템을 기반으로 하는 체험형 교육이 이루어지도록 지원함으로써 학생의 교육 집중도 및 주목도를 지속적으로 유지시켜 교육 효과를 높일 수 있도록 제공하는 효과가 있다.The present invention relates to an online learning system and method using a virtual reality and an augmented reality, and more specifically, to a learning object such as a child or a student in a lower grade by learning character The virtual reality and the augmented reality which provide the learning by interlocking the virtual reality and the augmented reality on the basis of the photographed video of the student and the virtual reality based education image including the character, And an online learning system and method using the same. The present invention synthesizes a photographed image of an actual student photographed from a student terminal with the virtual reality-based image information, and supports an item used in the virtual reality to be applied to the photographed image, thereby enabling a virtual reality and an augmented reality to be simultaneously experienced However, if a character interacting with the teacher moves an event to deliver the item to the student, the process in which the item is transferred from the virtual reality-based image to the shot image or vice versa is displayed visually So that it can support interactive interactions between virtual reality and augmented reality so that experiential education based on items between teachers and students can be achieved. There is an effect to provide.
Description
본 발명은 가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법에 관한 것으로서, 더욱 상세히는 유아나 저학년의 학생과 같은 교육 대상자에 대하여 가상 현실에서 교사의 움직임을 반영한 캐릭터를 통해 교육 대상자에 대한 학습을 제공하여 교육 대상자가 효과적으로 학습할 수 있도록 지원하고, 학생을 촬영한 촬영 영상과 상기 캐릭터가 포함된 가상현실 기반 교육 영상을 기초로 가상 현실과 증강 현실을 상호 연동시켜 학습을 제공하는 가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법에 관한 것이다.The present invention relates to an online learning system and method using a virtual reality and an augmented reality, and more specifically, to a learning object such as a child or a student in a lower grade by learning character The virtual reality and the augmented reality which provide the learning by interlocking the virtual reality and the augmented reality on the basis of the photographed video of the student and the virtual reality based education image including the character, And an online learning system and method using the same.
현재 인터넷 및 이를 지원하는 다양한 통신 기기의 발전과 더불어 저학년의 학생이나 유아를 교육 대상자로 하는 다양한 온라인 학습 시스템이 제공되고 있으며, 이를 통해 교사는 원격에서 교육 대상자에 대하여 다양한 학습 프로그램을 제공할 수 있다.In addition to the development of the Internet and various communication devices supporting it, a variety of online learning systems are provided for the students and infants of the lower grades, so that the teachers can remotely provide various learning programs to the subjects .
그러나, 저학년이나 유아를 대상으로 하는 기존의 온라인 학습 시스템의 경우 대부분 단순 프로그램의 일방적인 전달이거나 어플리케이션 또는 웹 기반 대화형 학습 서비스 정도에 그치고 있어 주의가 산만한 교육 대상자의 지속적인 관심을 얻기가 어려워 학습 효과가 낮은 한계가 있다.However, existing online learning systems targeting younger students or young children are mostly unilateral deliveries of simple programs or only application or web-based interactive learning services, which makes it difficult to obtain continuous attention from educated individuals who are distracted. There is a lower limit of effectiveness.
또한, 실재 선생님이 등장하여 온라인으로 실시간 학생들을 보면서 수업을 진행하는 온라인 화상 학습 서비스 기술도 존재하지만 이는 단순히 오프라인 학습을 온라인으로 전환한 정도이며, 부가 서비스는 전자 칠판이나 디지털 컨텐츠를 보조 학습 도구로 활용하는 수준이어서 이 역시 유아나 저학년 학생의 관심을 지속적으로 얻기 어려우며, 주의가 산만한 학생들의 주목을 지속시키기 어려운 한계가 있다.In addition, there exists an online video learning service technology in which a real teacher teaches and watches real-time students while online, but this is merely a conversion of offline learning to online, and supplementary services are used as an auxiliary learning tool This is also difficult to keep up with the attention of infants and younger students, and it is difficult to keep attention of distracted students.
즉, 기존의 온라인 학습 시스템은 교사의 학생에 대한 일방적인 정보 전달에 그치고 있으며, 이에 따라 학생들이 쉽게 피로감을 느끼고 학습에 흥미를 잃게 되는 문제점이 있다.In other words, the existing online learning system is limited to one-way communication of information to the teacher, which causes students to feel fatigue easily and lose interest in learning.
본 발명은 유아나 저학년 학생이 집중할 수 있도록 캐릭터가 실시간 학습을 진행하는 구성을 채택함으로써 오프라인에서 제공할 수 없는 새로운 가상세계에서의 개인화된 수업을 통해 학습 대상자의 주목도와 집중도를 높일 수 있도록 지원하는데 그 목적이 있다.The present invention adopts a configuration in which a character performs real-time learning so that infants or younger students can concentrate, thereby helping to increase attention and concentration of a target person through personalized lessons in a new virtual world that can not be provided offline It has its purpose.
또한, 본 발명은 가상 현실에서 교사의 움직임에 반응하는 캐릭터가 포함된 가상현실 기반 교육 영상 내에 상기 학생을 촬영한 촬영 영상을 합성하여, 상기 가상 현실에서 사용되는 아이템이 상기 촬영 영상 내로 이동하여 상호 작용하도록 지원함으로써 가상 현실과 증강 현실의 상호 연동에 따라 교사와 학생 사이의 움직임을 기반으로 하는 체험형 교육이 온라인을 통해 이루어지도록 지원하여 학생의 흥미를 유발하고 교육 효과를 높이도록 하는데 그 목적이 있다.According to another aspect of the present invention, there is provided a virtual reality system, comprising: a virtual reality-based training image including a character responsive to a movement of a teacher in a virtual reality; The purpose of this study is to support students to make experiential education based on movement between teachers and students through interactive online interaction between virtual reality and augmented reality. have.
본 발명의 실시예에 따른 교사 단말 및 하나 이상의 학생 단말과 통신망을 통해 통신하는 교육 서버를 포함하며 가상 현실과 증강 현실을 이용한 온라인 학습 시스템은, 교사의 음성 정보 및 교사의 움직임에 따른 모션 정보를 생성하여 전송하는 교사 단말과, 상기 학생을 촬영한 촬영 영상을 상기 교육 서버로 전송하고, 상기 교육 서버로부터 상기 교육 영상을 수신하는 학생 단말 및 미리 설정된 배경 영상에 상기 교사 단말로부터 수신되는 상기 모션 정보에 따라 동작이 변경되는 캐릭터를 합성하여 생성된 영상과 상기 음성 정보를 기초로 가상 현실 기반 영상을 생성하고, 상기 학생 단말로부터 수신되는 상기 촬영 영상을 상기 가상 현실 기반 영상의 미리 설정된 영역에 합성하여 교육 영상을 생성한 후 전송하는 교육 서버를 포함하되, 상기 교육 서버는 상기 교육 영상 내에서 표시되는 아이템을 상기 모션 정보에 따라 상기 촬영 영상에 대응되는 영역으로 이동시키고 해당 영역 도달시 위치정보와 아이템 정보를 상기 학생 단말에 전달하는 영상 처리부를 포함하고, 상기 학생 단말은 상기 교육 서버로부터 상기 아이템 정보와 위치정보를 수신하면 상기 아이템을 상기 촬영 영상에서 촬영 대상의 동작에 맞추어 상호 작용하도록 표시하는 어플리케이션부를 포함하는 것을 특징으로 할 수 있다.An online learning system using a virtual reality and an augmented reality includes a teacher's voice information and motion information according to a teacher's motion, the teacher's terminal according to an embodiment of the present invention and an education server communicating with one or more student terminals through a communication network. And transmitting the photographed image photographed by the student to the education server, the student terminal receiving the education image from the education server, and the motion image information received from the teacher terminal in a preset background image, Based on the video generated by synthesizing the characters whose operation is changed according to the voice and the voice information, synthesizes the photographed image received from the student terminal in a predetermined area of the virtual reality-based video And a training server for generating and transmitting a training image, The server includes an image processing unit for moving an item displayed in the training image to an area corresponding to the photographed image according to the motion information and transmitting position information and item information to the student terminal upon reaching the corresponding area, And the terminal includes an application unit for receiving the item information and the positional information from the education server and displaying the items in an interactive manner in accordance with the operation of the object to be imaged in the captured image.
본 발명과 관련된 일 예로서, 상기 영상 처리부는 상기 교사 단말로부터 상기 아이템의 사용을 위한 사용 정보 수신시 상기 아이템을 교육 영상에 표시하고, 상기 모션 정보를 기초로 상기 아이템과 관련된 미리 설정된 이벤트 발생시 상기 교육 영상 내에서 상기 아이템을 상기 이벤트에 대응되는 상기 촬영 영상의 영역으로 이동시키는 것을 특징으로 할 수 있다.In one embodiment of the present invention, the image processing unit displays the item on the training image when receiving usage information for use of the item from the teacher terminal, and displays the item on the training image when the preset event related to the item is generated based on the motion information. And moving the item to an area of the photographed image corresponding to the event in the training image.
본 발명과 관련된 일 예로서, 상기 어플리케이션부는 상기 촬영 영상에서 상기 아이템 정보에 따른 아이템의 적용 대상인 객체를 인식하고, 상기 아이템 정보와 위치정보를 기초로 상기 촬영 영상 내의 상기 위치정보에 따른 최초 위치에 상기 아이템을 표시하고, 상기 최초 위치로부터 상기 촬영 영상에서 인식된 상기 객체에서 상기 아이템 정보에 따른 상기 아이템의 적용 위치를 식별하여 해당 적용 위치로 상기 아이템을 이동시켜 표시하고, 상기 객체의 움직임과 상호 작용하도록 상기 아이템을 동적으로 변경시키며, 상기 아이템이 표시된 촬영 영상을 상기 교육 서버로 전송하는 것을 특징으로 할 수 있다.According to an embodiment of the present invention, the application unit recognizes an object to which an item is applied according to the item information in the captured image, and determines, based on the item information and the positional information, Displays the item, identifies an application position of the item according to the item information in the object recognized in the captured image from the initial position, and moves the item to the applicable position and displays the moved item, The item is dynamically changed so that the item is displayed on the display unit, and the taken image displayed with the item is transmitted to the education server.
본 발명과 관련된 일 예로서, 상기 아이템 정보는 상기 아이템의 적용 대상인 객체 정보 및 상기 객체에서 상기 아이템이 적용되는 영역 또는 위치에 대한 적용 위치정보를 포함하는 것을 특징으로 할 수 있다.In one embodiment of the present invention, the item information includes object information to which the item is applied, and application position information on an area or a position to which the item is applied in the object.
본 발명과 관련된 일 예로서, 상기 어플리케이션부는 상기 촬영 영상에서 상기 객체의 움직임에 따라 상기 아이템의 상태, 크기, 방향, 자세 및 위치 중 적어도 하나를 변경하는 것을 특징으로 할 수 있다.According to an embodiment of the present invention, the application unit may change at least one of a state, a size, a direction, an attitude, and a position of the item according to movement of the object in the captured image.
본 발명과 관련된 일 예로서, 상기 교육 서버는 복수의 서로 다른 학생 단말과 통신시 상기 복수의 학생 단말 각각으로부터 수신된 복수의 촬영 영상 각각을 상기 교육 영상 내에서 미리 설정된 서로 다른 복수의 영역 중 어느 하나에 표시하는 것을 특징으로 할 수 있다.As an example related to the present invention, the training server may classify each of a plurality of shot images received from each of the plurality of student terminals in communication with a plurality of different student terminals, And displaying the information in one.
본 발명과 관련된 일 예로서, 상기 교육 서버는 상기 교사 단말로부터 상기 아이템의 회수를 위한 회수 정보 수신시 상기 회수 정보를 상기 학생 단말로 전송하고, 상기 어플리케이션부는 상기 회수 정보 수신시 상기 객체에 적용된 아이템을 이동시켜 상기 촬영 영상에서 이탈시키며 상기 촬영 영상에서 이탈시 상기 촬영 영상에서 이탈 직전의 최종 위치에 대한 최종 위치 정보를 상기 교육 서버로 전송하고, 상기 영상 처리부는 상기 최종 위치 정보 수신시 상기 교육 영상에 포함된 상기 최종 위치 정보에 따른 촬영 영상 내 최종 위치로부터 상기 교육 영상의 상기 캐릭터 관련 영역 중 미리 설정된 위치로 상기 회수 정보에 대응되는 아이템을 표시하여 이동시키는 것을 특징으로 할 수 있다.In one embodiment of the present invention, the education server transmits the collection information to the student terminal when receiving the collection information for collection of the items from the teacher terminal, and the application unit receives the collection information And transfers the final position information on the final position immediately before departure from the photographed image to the education server when the photographed image leaves the photographed image, And displays the item corresponding to the count information at a predetermined position in the character related area of the training image from the final position in the captured image according to the final position information included in the item.
본 발명과 관련된 일 예로서, 상기 영상 처리부는 상기 이벤트에 따른 상기 아이템의 이동 방향 및 경로를 연산하여 연산 결과에 따라 상기 교육 영상에 포함된 캐릭터로부터 상기 아이템을 상기 이벤트에 대응되는 촬영 영상의 영역으로 이동시키는 것을 특징으로 할 수 있다.According to an embodiment of the present invention, the image processor calculates a moving direction and a route of the item according to the event, and from the character included in the training image, To the control unit.
본 발명과 관련된 일 예로서, 상기 어플리케이션부는 상기 촬영 영상의 색상 및 밝기 중 적어도 하나에 따라 상기 아이템의 상태를 변경하는 것을 특징으로 할 수 있다.According to an embodiment of the present invention, the application unit may change the state of the item according to at least one of a color and a brightness of the photographed image.
본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 방법은 교사 단말이 교사의 음성 정보 및 교사의 움직임에 따른 모션 정보를 생성하여 미리 설정된 교육 서버로 전송하는 단계와, 학생 단말이 학생을 촬영한 촬영 영상을 상기 교육 서버로 전송하는 단계와, 상기 교육 서버가 미리 설정된 배경 영상에 상기 교사 단말로부터 수신되는 상기 모션 정보에 따라 동작이 변경되는 캐릭터를 합성하여 생성된 영상과 상기 음성 정보를 기초로 가상 현실 기반 영상을 생성하고, 상기 학생 단말로부터 수신되는 상기 촬영 영상을 상기 가상 현실 기반 영상의 미리 설정된 영역에 합성하여 교육 영상을 생성하여 상기 학생 단말 및 교사 단말로 전송하는 단계와, 상기 교육 서버가 상기 모션 정보를 기초로 미리 설정된 이벤트 발생시 상기 교육 영상 내에서 표시되는 아이템을 상기 모션 정보에 따라 상기 촬영 영상에 대응되는 영역으로 이동시키고 해당 영역 도달시 위치정보와 아이템 정보를 상기 학생 단말에 전달하는 단계 및 상기 학생 단말이 상기 교육 서버로부터 상기 아이템 정보와 위치정보를 수신하면 상기 아이템을 상기 촬영 영상에서 촬영 대상의 동작에 맞추어 상호 작용하도록 표시하고, 상기 아이템이 표시된 촬영 영상을 상기 교육 서버로 전송하는 단계를 포함할 수 있다.In the online learning method using the virtual reality and the augmented reality according to the embodiment of the present invention, the teacher terminal generates motion information according to the teacher's voice information and the motion of the teacher, and transmits the generated motion information to the preset education server. And transmitting the captured image to the training server. The training server transmits the captured image to a predetermined background image, Generating a virtual reality-based image based on the virtual reality-based image, synthesizing the photographed image received from the student terminal in a predetermined area of the virtual reality-based image, and transmitting the generated educational image to the student terminal and the teacher terminal; Wherein the training server is configured to perform the training Moving an item displayed in an image to an area corresponding to the photographed image according to the motion information and delivering position information and item information to the student terminal when reaching the corresponding area; Receiving the information and the positional information, displaying the item in an interactive manner in accordance with the operation of the object to be imaged in the imaged image, and transmitting the imaged image in which the item is displayed to the education server.
본 발명은 학생 단말로부터 실재 학생을 촬영한 촬영 영상을 상기 가상 현실 기반 영상 정보에 합성하고, 해당 가상 현실에서 사용되는 아이템을 상기 촬영 영상에 적용 가능하도록 지원하여 가상 현실과 증강 현실을 동시 체험 가능하도록 지원하되, 교사의 움직임에 따라 상호 작용하는 캐릭터가 해당 아이템을 학생에게 전달하는 이벤트를 수행하면 해당 이벤트에 따라 아이템이 가상 현실 기반 영상에서 촬영 영상으로 전달되거나 또는 이와 반대로 회수되는 과정이 가시적으로 표시되도록 하여 가상 현실과 증강 현실의 상호 연동을 지원하고 이를 통해 교사와 학생 간 아이템을 기반으로 하는 체험형 교육이 이루어지도록 지원함으로써 학생의 교육 집중도 및 주목도를 지속적으로 유지시켜 교육 효과를 높일 수 있도록 제공하는 효과가 있다.The present invention synthesizes a photographed image of an actual student photographed from a student terminal with the virtual reality-based image information, and supports an item used in the virtual reality to be applied to the photographed image, thereby enabling a virtual reality and an augmented reality to be simultaneously experienced However, if a character interacting with the teacher moves an event to deliver the item to the student, the process in which the item is transferred from the virtual reality-based image to the shot image or vice versa is displayed visually So that it can support interactive interactions between virtual reality and augmented reality so that experiential education based on items between teachers and students can be achieved. There is an effect to provide.
또한, 본 발명은 상기 가상 현실 기반 영상에 적용된 아이템이 교사의 아이템 전달 동작에 따라 상기 가상 현실 기반 영상에 합성된 실재 학생을 촬영한 촬영 영상에 끊김 없이 연속적으로 이동되도록 표시하는 동시에 촬영 영상의 영역으로 이동한 아이템이 실재 학생을 촬영한 촬영 영상에서 증강 현실 기반으로 상기 촬영 영상에 나타난 학생에게 적용되도록 함으로써, 가상 현실 및 증강 현실의 상호 연동을 통해 기존 온라인 교육에서 구현하기 어려운 교구를 이용한 교사와 학생 간 소통을 온라인에서 구현할 수 있도록 지원하는 동시에 온라인을 통해 물리적 교구를 대신하는 아이템을 이용한 체험 교육이 이루어지도록 지원할 수 있으며, 이를 통해 학생의 흥미를 고취시키고 기존 온라인 교육에서 지원하지 못하던 체험 교육을 지원하여 교육 효과를 크게 향상시킬 수 있다.In addition, the present invention is characterized in that the item applied to the virtual reality-based image is displayed so as to continuously move to the captured image of the real student synthesized in the virtual reality-based image according to the item delivery operation of the teacher, Is applied to the student in the photographed image based on the augmented reality based on the photographed image of the actual student, the virtual reality and the augmented reality are interlinked, It enables students to realize online communication between students, and at the same time supports students to use the items instead of physical parish through online education. Education To be greatly improved.
도 1 및 도 2는 본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 시스템의 구성도.
도 3 및 도 4는 본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 시스템의 아이템 전달 과정에 대한 동작 예시도.
도 5는 본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 시스템의 가상 현실과 증강 현실 사이에 연속적인 아이템 전달 과정을 도시한 예시도.
도 6는 본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 시스템의 학생의 움직임에 상호 작용하도록 아이템을 표시하기 위한 동작 예시도.
도 7은 본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 방법에 대한 순서도.1 and 2 are block diagrams of an online learning system using a virtual reality and an augmented reality according to an embodiment of the present invention.
FIG. 3 and FIG. 4 are diagrams illustrating an operation example of an item delivery process of an online learning system using a virtual reality and an augmented reality according to an embodiment of the present invention;
5 is a diagram illustrating an example of a continuous item transfer process between a virtual reality and an augmented reality in an online learning system using a virtual reality and an augmented reality according to an embodiment of the present invention;
6 is a diagram illustrating an operation for displaying an item to interact with a student's movement in an online learning system using a virtual reality and an augmented reality according to an embodiment of the present invention;
FIG. 7 is a flowchart illustrating an online learning method using a virtual reality and an augmented reality according to an embodiment of the present invention.
이하, 도면을 참고하여 본 발명의 상세 실시예를 설명한다.Hereinafter, detailed embodiments of the present invention will be described with reference to the drawings.
도 1은 본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 시스템의 구성도로서, 도시된 바와 같이 유아나 저학년 어린이와 같은 학생에 대응되는 하나 이상의 학생 단말(20)과, 상기 학생을 지도하는 교사에 대응되는 교사 단말(10)과, 상기 학생 단말(20) 및 교사 단말(10)과 통신망을 통해 통신하는 교육 서버(100)를 포함할 수 있다.FIG. 1 is a block diagram of an online learning system using a virtual reality and an augmented reality according to an embodiment of the present invention. As shown in FIG. 1, one or
이때, 상기 교사 단말(10) 및 학생 단말(20)은 통신 기능을 구비한 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook) 등과 같은 다양한 단말로 구성될 수 있으며, 상기 통신망은 널리 알려진 다양한 유무선 통신 방식이 적용될 수 있다.The
상기 교육 서버(100)는 상기 교사 단말(10) 및 하나 이상의 학생 단말(20)이 참여하는 수업에 대한 가상 교실을 상기 교사 단말(10)의 요청에 따라 개설하고, 로그인 정보를 전송하여 상기 교육 서버(100)로 접속하며 상기 교사 단말(10)에 대응되는 교사의 가상 교실에 참여하는 하나 이상의 학생 단말(20)을 상기 교사 단말(10)과 매칭하여 저장할 수 있다.The
이때, 상기 교육 서버(100)는 도 2에 도시된 바와 같이 상기 교사 단말(10)에 대응되는 교사의 회원 정보와 상기 학생의 회원정보가 저장된 회원 DB(102)와 교육 관련 컨텐츠(contents)가 저장된 컨텐츠 DB(101)를 포함할 수 있다.2, the
이를 통해, 상기 교육 서버(100)는 상기 가상 교실에 참여하는 교사 단말(10) 및 하나 이상의 학생 단말(20)을 상호 매칭하여 상기 교사 단말(10) 및 학생 단말(20)로부터 수신된 정보를 기초로 생성한 교육 영상을 상기 가상 교실에 대응되는 교사 단말(10) 및 학생 단말(20)로 제공할 수 있다.Accordingly, the
한편, 상기 교육 서버(100)는 상기 컨텐츠 DB(101)로부터 교사 단말(10)에 의해 선택된 배경 영상을 추출하고, 미리 설정된 상기 배경 영상에 상기 교사 단말(10)로부터 수신된 교사의 동작(움직임) 관련 모션(motion) 정보에 따른 움직임과 상호 작용하는 캐릭터(character)를 생성하여 가상 현실 기반 영상 정보를 생성할 수 있으며, 해당 가상 현실 기반 영상 정보를 상기 교사가 담당하는 상기 가상 교실에 참여한 학생별 학생 단말(20)로 전송할 수 있다.The
이를 통해, 상기 교육 서버(100)는 교사를 대신하여 가상 현실에서 교사의 움직임에 따라 반응하는 캐릭터를 통해 학생에 대한 학습이 이루어지도록 지원하여 나이가 어려 주의가 산만한 학생의 이목을 집중시킬 수 있으며, 이를 통해 학습 효과를 높일 수 있다.Accordingly, the
그러나, 가상 현실에서 교사의 제어에 따라 동작하는 캐릭터에 대하여 학생이 일시적으로 흥미를 가질 수 있지만, 해당 캐릭터에 익숙해지는 경우 이러한 학습 효과가 지속적으로 유지되는 것을 기대하기 어렵다.However, it is difficult to expect that the learning effect will continue to be maintained when the student is accustomed to the character, although the student may be temporarily interested in the character operating under the control of the teacher in the virtual reality.
따라서, 본 발명은 실재 학생을 촬영한 촬영 영상을 상기 가상 현실 기반 영상 정보에 합성하고, 해당 가상 현실에서 사용되는 아이템(item)을 상기 촬영 영상에 적용 가능하도록 지원하여 가상 현실과 증강 현실을 동시 체험 가능하도록 지원하되, 교사의 움직임에 따라 상호 작용하는 캐릭터가 해당 아이템을 학생에게 전달하는 이벤트를 수행하면 해당 이벤트에 따라 아이템이 가상 현실 기반 영상에서 촬영 영상으로 전달되거나 또는 이와 반대로 회수되는 과정이 가시적으로 표시되도록 하여 가상 현실과 증강 현실의 상호 연동을 지원하고 이를 통해 교사와 학생 간 아이템을 기반으로 하는 체험형 교육이 이루어지도록 지원함으로써 학생의 교육 집중도 및 주목도를 지속적으로 유지시켜 교육 효과를 높일 수 있도록 제공한다.Accordingly, the present invention synthesizes a photographed image photographed by a real student on the virtual reality-based image information, supports an item used in the virtual reality to be applicable to the photographed image, If an interactive event is performed by a character interacting with a teacher according to a teacher's movement, the item is transferred from the virtual reality-based image to the captured image or vice versa. Visual augmentation system to support interactive interactions between virtual reality and augmented reality, thereby enabling experiential education based on items between teachers and students. .
이하, 상술한 구성을 토대로 이하 도면을 통해 본 발명의 상세 실시예를 설명한다.Hereinafter, detailed embodiments of the present invention will be described with reference to the drawings based on the above-described configuration.
우선, 도 2는 본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 시스템을 구성하는 구성별 구성도로서, 도시된 바와 같이 상기 교사 단말(10)은 제 1 카메라부(11), 제 1 표시부(12), 제 1 입력부(13), 제 1 통신부(15) 및 제 1 제어부(14)를 포함할 수 있으며, 이에 한정되지 않고 다양한 구성부를 더 포함할 수 있다.2 is a block diagram of an online learning system using a virtual reality and an augmented reality according to an embodiment of the present invention. As shown in the figure, the
상기 제 1 카메라부(11)는 상기 교사를 촬영한 영상을 상기 제 1 제어부(14)로 제공하고, 상기 제 1 제어부(14)는 상기 제 1 카메라부(11)로부터 수신된 영상을 기초로 교사의 동작을 인식하여 모션 정보를 생성한 후 상기 제 1 통신부(15)를 통해 상기 교육 서버(100)로 전송할 수 있다.The first camera unit 11 provides an image of the teacher to the
이를 위해, 상기 제 1 제어부(14)는 모션 인식을 위한 영상 분석 모듈을 포함하며, 상기 제 1 카메라부(11)는 교사의 동작 인식을 위해 깊이 정보를 제공하는 3차원 카메라로 구성될 수 있으며, 상기 제 1 제어부(14)는 상기 깊이 정보를 기초로 교사의 동작을 인식하여 상기 모션 정보를 생성할 수 있다.For this, the
또한, 상기 제 1 입력부(13)는 상기 마이크(mic)를 포함하여 상기 교사의 음성 입력에 따른 음성 신호를 생성하여 상기 제 1 제어부(14)로 제공할 수 있으며, 상기 제 1 제어부(14)는 상기 음성 신호를 기초로 음성 정보를 생성하고, 상기 음성 정보를 상기 모션 정보와 함께 상기 교육 서버(100)로 전송할 수 있다.The
이때, 상기 제 1 제어부(14)는 상기 모션 정보와 상기 음성 정보의 동기화를 수행할 수 있으며, 동기화된 모션정보와 음성정보를 상기 교육 서버(100)로 전송할 수 있다.At this time, the
한편, 상기 학생 단말(20)은 도시된 바와 같이 제 2 카메라부(21), 제 2 표시부(22), 제 2 입력부(23), 제 2 통신부(25) 및 어플리케이션부(24)를 포함할 수 있으며, 이에 한정되지 않고 다양한 구성부를 더 포함할 수 있다.The
이때, 상기 학생 단말(20)에 구성된 어플리케이션부(24)는 상기 학생 단말(20)에 구성된 제 2 카메라부(21), 제 2 표시부(22), 제 2 입력부(23) 및 제 2 통신부(25)를 제어하는 제어부로서 구성되거나 상기 제어부에 의해 실행되며 상기 학생 단말에 구성되는 저장부에 저장된 어플리케이션(application) 관련 데이터로 구성될 수 있으며, 상기 어플리케이션부(24)는 상기 저장부에 저장된 데이터를 기초로 본 발명에서 설명하는 다양한 동작을 수행할 수 있다.At this time, the application unit 24 configured in the
이에 따라, 상기 제 2 카메라부(21)는 실재 학생을 촬영하여 생성한 촬영 영상을 상기 어플리케이션부(24)로 제공하며, 상기 어플리케이션부(24)는 상기 제 2 통신부(25)를 통해 상기 촬영 영상을 상기 교육 서버(100)로 전송할 수 있다.Accordingly, the second camera unit 21 provides the photographed image generated by photographing the actual student to the application unit 24, and the application unit 24 transmits the photographed image to the application unit 24 through the second communication unit 25, And transmits the image to the
또한, 상기 제 2 입력부(23)는 마이크(mic)를 포함하여 상기 학생의 음성 입력에 따른 음성 신호를 상기 어플리케이션부(24)로 제공하고, 상기 어플리케이션부(24)는 상기 촬영 영상과 상기 음성 신호에 따라 생성한 음성 정보를 상기 교육 서버(100)로 전송할 수 있다.The second input unit 23 may include a microphone to provide a voice signal to the application unit 24 according to the voice input of the student and the application unit 24 may receive the voice signal And transmits the voice information generated according to the signal to the
이때, 상기 어플리케이션부(24)는 상기 촬영 영상과 음성 정보를 동기화하여 상기 교육 서버(100)로 전송할 수 있음은 물론이다.In this case, the application unit 24 can synchronize the photographed image and audio information to the
한편, 상기 교육 서버(100)는 도시된 바와 같이 제 3 통신부(110) 및 제 2 제어부(120)를 포함할 수 있으며, 상기 제 2 제어부(120)는 도시된 바와 같이 영상 합성부(121) 및 영상 처리부(122)를 포함할 수 있다.The
이때, 영상 처리부(122) 및 영상 합성부(121)는 하나의 구성부로서 구성될 수도 있다.At this time, the
또한, 상기 제 2 제어부(120)는 상기 영상 합성부(121) 및 영상 처리부(122) 이외의 구성부가 더 구성될 수도 있음은 물론이며, 일례로 상기 영상 합성부(121) 및 영상 처리부(122)의 제어를 위한 연산부가 구성될 수 있으며, 해당 연산부는 상기 영상 합성부(121) 및 영상 처리부(122) 중 어느 하나에 구성될 수도 있다.The second controller 120 may further include components other than the
우선, 상기 제 3 통신부(110)는 상기 교사 단말(10)로부터 모션 정보 및 음성정보를 수신할 수 있으며, 상기 학생 단말(20)로부터 상기 촬영 영상 및 음성정보를 수신하여 상기 제 2 제어부(120)로 제공할 수 있다.First, the
또한, 상기 교육 서버(100)는 다양한 컨텐츠가 저장된 컨텐츠 DB(101)를 포함할 수 있으며, 해당 컨텐츠는 복수의 서로 다른 배경 영상(또는 배경 이미지), 상기 교사의 움직임과 상호 작용하는 캐릭터 관련 그래픽(graphic) 정보 및 가상 현실에서 사용 가능한 아이템에 대한 아이템 정보 등을 포함할 수 있다. 이때, 상기 아이템 역시 그래픽 정보로 구성될 수 있다.In addition, the
또한, 상기 제 2 제어부(120)는 상기 컨텐츠 DB(101)에 저장된 컨텐츠 관련 목록 정보를 상기 교사 단말(10)로 전송할 수 있으며, 상기 교사 단말(10)에 구성된 제 1 제어부(14)는 상기 목록 정보를 상기 제 1 표시부(12)를 통해 표시하고, 상기 제 1 입력부(13)를 통한 교사의 입력에 따라 선택된 컨텐츠에 대한 선택 정보를 상기 제 1 통신부(15)를 통해 상기 교육 서버(100)로 전송할 수 있다.In addition, the second controller 120 may transmit content related list information stored in the
이에 따라, 상기 교육 서버(100)의 상기 제 2 제어부(120)는 상기 교사 단말(10)로부터 수신된 선택 정보를 기초로 선택된 컨텐츠에 대응되는 미리 설정된 배경 영상과 상기 교사의 움직임과 상호 작용하는 캐릭터 관련 그래픽 정보를 상기 컨텐츠 DB(101)로부터 추출하고, 상기 영상 처리부(122)로 상기 캐릭터 관련 그래픽 정보 및 상기 모션 정보를 제공할 수 있다.Accordingly, the second control unit 120 of the
이에 따라, 상기 영상 처리부(122)는 상기 캐릭터 관련 그래픽 정보 및 상기 모션 정보를 기초로 상기 모션 정보에 따른 움직임 및 자세를 식별하고, 상기 모션 정보에 상기 캐릭터의 움직임을 동기화시킬 수 있으며, 모션 정보에 동기화된 캐릭터 관련 그래픽 정보를 상기 영상 합성부(121)로 제공할 수 있다.Accordingly, the
또한, 상기 교육 서버(100)의 제 2 제어부(120)는 상기 학생 단말(20)로부터 촬영 영상을 수신할 수 있으며, 해당 촬영 영상을 상기 영상 합성부(121)로 제공할 수 있다.Also, the second controller 120 of the
상기 영상 합성부(121)는 상기 컨텐츠 DB(101)로부터 추출된 배경 영상 및 상기 영상 처리부(122)를 통해 상기 모션 정보에 동기화된 캐릭터 관련 그래픽 정보를 기초로 상기 캐릭터를 배경 영상에 합성하여 가상 현실 기반 영상 정보를 생성할 수 있으며, 이때 상기 영상 합성부(121)는 상기 캐릭터를 오버레이(overlay) 방식으로 상기 배경 영상에 추가하여 합성할 수 있다.The
또한, 상기 영상 합성부(121)는 상기 가상 현실 기반 영상정보에 상기 학생 단말(20)로부터 수신된 촬영 영상을 상기 가상 현실 기반 영상정보 중 미리 설정된 영역에 합성하여 교육 영상을 생성할 수 있으며, 상기 제 2 제어부(120)는 상기 영상 합성부(121)를 통해 생성된 교육 영상을 상기 제 3 통신부(110)를 통해 상기 교사 단말(10) 및 학생 단말(20)로 전송할 수 있다.In addition, the
이때, 상기 교육 서버(100)는 서로 다른 복수의 학생 단말(20)과 통신하여 복수의 학생 단말(20) 각각으로부터 촬영 영상을 수신할 수 있으며, 상기 영상 합성부(121)는 상기 제 2 제어부(120)로부터 복수의 학생 단말(20)로부터 수신된 서로 다른 복수의 촬영 영상을 각각 상기 가상 현실 기반 영상 정보에서 미리 설정된 서로 다른 복수의 영역 중 어느 하나에 합성하여 상기 교육 영상을 생성할 수도 있다.At this time, the
또한, 상기 교사 단말(10)의 제 1 제어부(14) 및 상기 학생 단말(20)의 어플리케이션부(24)는 상기 교육 서버(100)로부터 수신되는 교육 영상을 상기 교사 단말(10)의 제 1 표시부(12) 또는 학생 단말(20)의 제 2 표시부(22)를 통해 표시할 수 있다.The
이를 통해, 상기 교육 서버(100)는 교사의 움직임에 대한 모션 정보를 실시간으로 수신하여 해당 모션 정보에 따라 가상 현실에서 움직이는 캐릭터의 움직임을 실시간 처리할 수 있으며, 이에 따라 해당 캐릭터가 포함된 가상 현실 기반 영상 정보를 생성한 후 학생 단말(20)로부터 수신된 촬영 영상과 상기 가상 현실 기반 영상 정보와 합성하여 생성한 교육 영상을 실시간 스트리밍(streaming)을 통해 상기 교사 단말(10) 및 학생 단말(20)로 전송할 수 있다.Accordingly, the
이때, 상기 제 2 제어부(120)는 상기 모션 정보에 동기화된 캐릭터 관련 그래픽 정보에 맞추어 상기 교사 단말(10)로부터 수신된 음성 정보를 상기 캐릭터 관련 그래픽 정보와 동기화시켜 상기 가상 현실 기반 영상 정보에 포함시킬 수 있으며, 상기 음성 정보가 포함된 가상 현실 기반 영상정보를 기초로 생성된 교육 영상을 상기 교사 단말(10) 및 학생 단말(20)로 전송하여 상기 가상 현실 기반 영상정보에 따른 영상 및 촬영 영상과 함께 음성정보가 상기 교사 단말(10) 및 학생 단말(20)에서 출력되도록 할 수 있다.At this time, the second controller 120 synchronizes the voice information received from the
또한, 상기 제 2 제어부(120)는 상기 학생 단말(20)로부터 음성 정보를 수신하고, 해당 음성 정보를 상기 교육 영상에 포함시켜 상기 교사 단말(10) 및 학생 단말(20)로 전송할 수도 있으며, 이를 통해 교사 단말(10) 및 학생 단말(20)에서 학생에 대응되는 음성정보가 출력되도록 할 수 있다.The second control unit 120 may receive voice information from the
이를 위해, 상기 교사 단말(10) 및 학생 단말(20) 각각은 상기 음성 정보의 출력을 위한 음성 출력부가 구성될 수 있다.To this end, each of the
상술한 구성을 통해, 상기 교육 서버(100)는 학생을 지도하는 교사의 동작과 음성을 캐릭터를 통해 학생에게 표출하여 학생이 캐릭터에 흥미를 느껴 더욱 교사의 교육에 집중하도록 유도할 수 있으며, 이를 통해 교육 효율을 크게 향상시킬 수 있다.Through the above-described configuration, the
또한, 상기 교육 서버(100)의 제 2 제어부(120)는 상기 컨텐츠 DB(101)에 저장된 학생 교육을 위한 다양한 교재 관련 컨텐츠 중 상기 교사 단말(10)로부터 수신된 선택 정보에 대응되는 교재 관련 컨텐츠를 상기 가상현실 기반 영상 정보에 합성하여 적용할 수 있으며, 이를 통해 더욱 효과적인 학생 교육이 이루어지도록 지원할 수 있다.In addition, the second controller 120 of the
이때, 상기 교재 관련 컨텐츠는 텍스트, 이미지, 영상, 그래픽 등을 포함할 수 있다.At this time, the textbook-related contents may include text, images, images, graphics, and the like.
한편, 상기 교육 서버(100)는 상기 가상 현실 기반 영상 정보에 상기 가상 현실에서 이용되는 아이템 관련 컨텐츠를 표시하고, 교사의 움직임에 따른 특정 이벤트에 반응하여 상기 아이템이 상기 가상 현실 기반 영상정보에서 상기 촬영 영상으로 이동되어 상기 촬영 영상에 적용되도록 함으로써, 가상 현실과 증강 현실의 상호 연동이 이루어지도록 지원하고 이를 통해 가상 현실 상에서 교사와 학생 사이의 체험 교류가 이루어지도록 지원함으로써 학생의 주목도와 집중도를 크게 높일 수 있는데, 이를 상술한 구성을 토대로 이하 도면을 통해 상세히 설명한다.The
우선, 도 3 및 도 4에 도시된 바와 같이 상기 교육 서버(100)는 상기 가상 현실 기반 영상정보에 하나 이상의 촬영 영상을 합성하여 상기 가상 현실 기반 영상 정보에 따른 가상 현실 기반 영상과 상기 하나 이상의 촬영 영상을 포함하는 교육 영상을 생성할 수 있다.3 and 4, the
이때, 상기 제 2 제어부(120)는 상기 교사 단말(10)로 상기 가상 현실 기반 영상 정보에 따른 가상 현실에서 사용 가능한 아이템 목록에 대한 아이템 목록 정보를 전송할 수 있으며, 상기 교사 단말(10)로부터 상기 아이템 목록 정보에서 선택된 아이템의 사용을 위한 사용 정보를 수신하고, 상기 사용 정보에 대응되는 아이템 관련 컨텐츠를 상기 컨텐츠 DB(101)에서 추출할 수 있다.At this time, the second control unit 120 may transmit the item list information for the list of items available in the virtual reality according to the virtual reality-based image information to the
또한, 상기 제 2 제어부(120)의 영상 합성부(121)는 상기 사용 정보에 따라 추출된 아이템 관련 컨텐츠에 대응되는 아이템(A)을 생성하고, 상기 가상 현실 기반 영상에 표시된 캐릭터(B)에 대응되어 상기 아이템(A)을 상기 가상 현실 기반 영상에 합성하여 표시할 수 있다.In addition, the
또한, 상기 영상 처리부(122)는 상기 영상 합성부(121)와 연동하여 상기 모션 정보를 기초로 교사의 움직임을 판단하고, 판단 결과에 따라 상기 아이템(A)과 관련되어 미리 설정된 이벤트 발생시 해당 이벤트에 대응되어 상기 아이템(A)을 가상 현실 기반 영상 정보에 따른 가상 현실 기반 영상 상에서 이동시킬 수 있다.In addition, the
일례로, 상기 영상 처리부(122)는 상기 모션 정보를 기초로 상기 교육 영상에 포함된 하나 이상의 촬영 영상 중 어느 하나가 선택된 경우 상기 교육 영상에 포함되는 가상 현실 기반 영상에서 캐릭터(B)에 대응되는 영역에 표시된 상기 아이템(A)을 상기 교육 영상에 포함된 하나 이상의 촬영 영상 중 상기 모션 정보에 따라 선택된 상기 촬영 영상(촬영 영상 3)으로 상기 교육 영상 내에서 이동시킬 수 있다.For example, when one of the at least one shot images included in the training image is selected based on the motion information, the
이때, 상기 영상 처리부(122)는 상기 영상 합성부(121)와 연동하여 상기 아이템(A)의 이동에 대한 애니메이션 데이터를 생성하여 상기 가상 현실 기반 영상에 실시간으로 합성(또는 적용하여 표시)하고, 상기 애니메이션 데이터가 합성된 가상 현실 기반 영상에 상기 학생 단말(20)로부터 수신되는 촬영 영상을 실시간으로 합성하여 교육 영상을 실시간으로 생성할 수 있으며, 이를 스트리밍 방식으로 상기 학생 단말(20) 및 교사 단말(10)로 전송할 수 있다.At this time, the
또 다른 일례로, 상기 영상 처리부(122)는 상기 모션 정보를 기초로 상기 교육 영상에 포함되는 가상 현실 기반 영상에 표시된 캐릭터(B)가 상기 아이템(A)을 상기 교육 영상에 포함된 특정 촬영 영상(촬영 영상 3)의 방향으로 던지는 이벤트가 발생한 경우 상기 이벤트에 대응되어 상기 아이템(A)을 던지는 방향 및 이동 경로를 연산하고, 연산 결과에 따라 상기 모션 정보에 대응되는 촬영 영상(촬영 영상 3)을 선택하여 선택된 촬영 영상(촬영 영상 3)으로 상기 아이템(A)을 이동시킬 수 있다.In another example, the
이때, 상기 영상 처리부(122)는 상기 영상 합성부(121)와 연동하여 상기 아이템(A)의 이동에 대한 애니메이션(animation)이 포함된 교육 영상을 생성하여 상기 교사 단말(10) 및 학생 단말(20)로 전송할 수 있다.At this time, the
또한, 상술한 구성에서 상기 영상 합성부(121)는 상기 컨텐츠 DB(101)에 저장된 상기 아이템(A) 관련 아이템 정보를 기초로 상기 아이템(A)을 상기 캐릭터(B)에 대응되는 영역 중 미리 설정된 영역에 표시할 수 있으며, 일례로 상기 캐릭터(B)가 상기 아이템(A)을 던질 수 있도록 상기 아이템(A)을 상기 캐릭터(B)의 손에 해당되는 영역에 표시할 수 있다.In addition, in the above-described configuration, the
이에 따라, 도 4 및 도 5(a)에 도시된 바와 같이 상기 영상 처리부(122)는 상기 교육 영상에 포함된 가상현실 기반 영상에서 상기 아이템(A)이 이동하여 상기 가상 현실 기반 영상에 합성된 하나 이상의 촬영 영상 중 상기 모션 정보에 따라 선택된 촬영 영상(촬영 영상 3)에 대응되는 영역에 상기 아이템(A)이 도달하는 경우 상기 아이템(A) 관련 아이템 정보를 상기 컨텐츠 DB(101)로부터 추출하고, 상기 선택된 촬영 영상(촬영 영상 3)에 대응되는 영역에서 상기 아이템(A)이 도달한 좌표에 대한 위치정보(또는 좌표 정보)를 생성할 수 있다.Accordingly, as shown in FIGS. 4 and 5A, the
또한, 상기 제 2 제어부(120)는 상기 모션 정보에 대응되어 선택된 촬영 영상(촬영 영상 3)을 전송한 특정 학생 단말(20)을 식별하고, 상기 아이템 정보 및 상기 영상 처리부(122)를 통해 생성된 위치정보를 상기 특정 학생 단말(20)로 전송할 수 있다.Also, the second control unit 120 identifies the
이때, 상기 제 2 제어부(120)는 상기 제 3 통신부(110)를 통해 상기 촬영 영상과 함께 학생 단말(20)의 식별정보를 수신할 수 있으며, 해당 식별정보를 기초로 촬영 영상을 전송하는 학생 단말(20)을 식별할 수 있다.At this time, the second control unit 120 can receive the identification information of the
한편, 상기 특정 학생 단말(20)에 구성된 어플리케이션부(24)는 상기 아이템 정보와 위치정보를 수신하고, 상기 제 2 카메라부(21)를 통해 촬영된 촬영 영상(촬영 영상 3)에서 상기 아이템 정보를 기초로 촬영 대상에 대응되며 아이템 정보의 적용 대상인 객체를 인식할 수 있다.On the other hand, the application unit 24 configured in the
이때, 상기 아이템 정보는 아이템 정보의 적용 대상인 상기 촬영 대상에 대응되는 객체에 대한 정보와 해당 객체에서 아이템(A)이 적용되는 영역 또는 위치에 대한 적용 위치정보를 포함할 수 있다.At this time, the item information may include information on an object corresponding to the shooting subject, to which the item information is applied, and application position information on an area or position to which the item A is applied in the object.
일례로, 도 5(b)에 도시된 바와 같이 상기 어플리케이션부(24)는 상기 촬영 영상(촬영 영상 3)에서 상기 아이템 정보에 따른 아이템 적용 대상 및 촬영 대상에 대응되는 객체인 학생의 얼굴을 인식할 수 있으며, 상기 아이템 정보에 포함된 적용 위치정보를 기초로 상기 얼굴에 해당되는 객체에서 상기 아이템(A)이 적용되는 눈에 해당되는 영역 또는 위치를 인식할 수 있다.For example, as shown in FIG. 5B, the application unit 24 recognizes a face of a student, which is an object corresponding to the item to be photographed and an object to be photographed, according to the item information in the photographed image (photographed image 3) And can recognize an area or a position corresponding to the eye to which the item A is applied in the object corresponding to the face based on the application position information included in the item information.
또한, 상기 어플리케이션부(24)는 상기 교육 서버(100)로부터 수신된 위치정보(또는 최초 위치정보)를 기초로 상기 촬영 영상(촬영 영상 3)에서 상기 아이템(A)의 최초 위치를 결정하고, 상기 촬영 영상의 상기 최초 위치에 상기 아이템 정보에 따른 아이템(A)을 표시할 수 있으며, 상기 아이템 정보를 기초로 상기 아이템의 적용 위치를 확인한 후 상기 아이템(A)을 상기 최초 위치에서 상기 아이템(A)의 적용 위치(또는 적용 영역, 착용 위치)인 상기 객체의 눈 영역으로 이동시킬 수 있다.The application unit 24 determines the initial position of the item A on the captured image (captured image 3) based on the position information (or the initial position information) received from the
또한, 도 6에 도시된 바와 같이 상기 어플리케이션부(24)는 촬영 영상에서 촬영 대상에 대응되는 상기 객체의 움직임을 인식하여 상기 객체의 움직임에 따라 상기 아이템(A)의 상태, 크기, 자세, 방향 및 위치 중 적어도 하나를 변경하여 객체의 움직임에 반응하여 상기 아이템(A)이 상호 작용하도록 상기 아이템을 촬영 영상에 표시할 수 있다.6, the application unit 24 recognizes the motion of the object corresponding to the object to be imaged in the captured image and determines the state, size, posture, direction (direction) of the object A according to the motion of the object And the position of the item (A) in response to the movement of the object so that the item (A) interacts with the item.
다시 말해, 상기 어플리케이션부(24)는 촬영 영상에서 촬영 대상에 대응되는 객체를 인식하고, 상기 객체의 움직임에 따라 아이템(A)의 상태, 크기, 자세, 방향 및 위치 중 적어도 하나를 변경하여 아이템(A)이 객체를 추종하면서 촬영 영상 내에 표시되도록 하여 아이템(A)이 학생에게 실재 착용된 것처럼 표시할 수 있다.In other words, the application unit 24 recognizes an object corresponding to an object to be imaged in the captured image, changes at least one of the state, size, posture, direction, and position of the item A according to the motion of the object, (A) is displayed in the photographed image while following the object, so that the item (A) can be displayed as if it is actually worn by the student.
이때, 상기 아이템(A)은 안경, 마스크, 모자 등과 같은 다양한 아이템이 적용될 수 있다.At this time, the item A may be various items such as glasses, a mask, a hat, and the like.
일례로, 상기 어플리케이션부(24)는 상기 객체의 움직임에 따라 객체에 해당되는 얼굴의 회전에 따라 촬영 영상 내에서 눈의 위치가 변경되는 경우 해당 변경된 눈의 위치에 맞추어 아이템(A)의 자세 및 위치 중 적어도 하나를 변경할 수 있다.For example, when the position of the eye is changed in the photographed image according to the rotation of the face corresponding to the object according to the movement of the object, the application unit 24 adjusts the posture of the item A And / or < / RTI >
또 다른 일례로, 상기 교육 서버(100)의 상기 제 2 제어부(120)는 상기 교사 단말(10)로 상기 아이템(A)과 관련된 동적 효과의 적용과 같은 아이템(A)의 제어를 위한 복수의 서로 다른 기능 정보가 포함된 인터페이스 관련 정보를 제공할 수 있으며, 상기 교사 단말(10)의 제 1 제어부(14)는 상기 인터페이스 관련 정보에서 교사에 의해 선택된 기능 정보에 따른 기능 관련 제어정보를 상기 교육 서버(100)로 전송할 수 있다.As another example, the second control unit 120 of the
이에 따라, 상기 교육 서버(100)의 상기 제 2 제어부(120)는 상기 기능 관련 제어 정보를 상기 학생 단말(20)로 전송하고, 상기 학생 단말(20)의 어플리케이션부(24)는 상기 제어정보를 기초로 촬영 영상에 적용된 아이템(A)의 상태를 변경할 수 있으며, 일례로 상기 아이템(A)을 터뜨리거나 상기 아이템(A)을 흔들거나 상기 아이템(A)을 반짝이도록 하는 등의 애니메이션을 실행할 수 있다.Accordingly, the second control unit 120 of the
더하여, 상기 어플리케이션부(24)는 상기 촬영 영상의 밝기 및 색상 중 적어도 하나를 기초로 상기 촬영 영상에 표시된 아이템의 색상을 변경하는 애니메이션을 실행할 수도 있다.In addition, the application unit 24 may execute an animation for changing the color of the item displayed on the photographed image based on at least one of brightness and hue of the photographed image.
또한, 상기 어플리케이션부(24)는 상기 아이템(A)의 실시간 이동과 상기 객체의 움직임에 따라 상호 작용하는 아이템(A)이 표시된 촬영 영상(촬영 영상 3)을 생성하여 상기 교육 서버(100)로 전송할 수 있다.In addition, the application unit 24 generates a shot image (shot image 3) in which an item A interacting according to the real-time movement of the item A and the movement of the object is displayed, Lt; / RTI >
이때, 상기 어플리케이션부(24)는 상기 아이템과 관련된 애니메이션의 실행에 따른 상기 촬영 영상(촬영 영상 3)을 생성하여 상기 교육 서버(100)로 전송할 수 있다.At this time, the application unit 24 may generate the shot image (shot image 3) according to the execution of the animation related to the item and transmit it to the
한편, 상기 교육 서버(100)의 제 2 제어부(120)는 상기 영상 합성부(121)를 통해 상기 아이템이 표시된 촬영 영상을 상기 가상 현실 기반 영상 정보에 합성하여 교육 영상을 생성하고, 해당 교육 영상을 상기 교사 단말(10)과 매칭되어 교육에 참여하는 하나 이상의 학생 단말(20) 각각에 전송하여, 상기 아이템이 가상 현실 기반 영상에 표시된 캐릭터(B)의 위치로부터 이동하여 상기 가상 현실 기반 영상에 합성된 특정 학생 단말(20)의 촬영 영상에 적용되는 아이템의 연속적인 이동에 대한 연속적인 애니메이션을 확인할 수 있도록 상기 교육 영상을 제공할 수 있다.Meanwhile, the second controller 120 of the
상술한 구성을 통해, 상기 교육 서버(100)의 영상 처리부(122)는 상기 교사의 움직임에 반응하는 캐릭터의 동작을 추적하여, 교사가 아이템을 학생에게 전달하는 동작과 같은 이벤트 발생시 상기 이벤트에 대응되어 상기 교육 영상에 포함된 가상 현실 기반 영상에서 상기 아이템을 이동시키고 상기 이벤트에 대응되는 촬영 영상 관련 영역에 도달시 상기 아이템 정보 및 위치정보를 상기 학생 단말(20)로 전송하는 과정을 통해 상기 아이템에 대한 제어 권한을 상기 학생 단말(20)의 어플리케이션부(24)로 전달하고, 상기 학생 단말(20)의 어플리케이션부(24)는 상기 아이템 정보 및 위치정보를 기초로 상기 제어 권한을 전달받아 상기 아이템을 상기 아이템 정보에 따른 아이템 적용 대상인 객체에 적용함으로써, 실재로 교사가 학생에게 아이템을 전달하는 것과 동일한 체험을 온라인 상에서 구현할 수 있다.Through the above-described configuration, the
일례로, 상기 교육 서버(100)의 영상 처리부(122)는 상기 아이템이 안경 아이템인 경우 교육 영상 내에서 캐릭터가 안경 아이템을 특정 촬영 영상 쪽으로 던지면 해당 안경 아이템을 촬영 영상 쪽으로 이동시켜 안경 관련 아이템 정보와 최종 도달 위치를 학생 단말(20)에 전송하고, 학생 단말(20)의 어플리케이션부(24)는 상기 안경 아이템에 대응되어 촬영 영상에서 학생의 얼굴에 해당되는 부분을 인식하고, 얼굴에서 안경 아이템이 적용되는 눈 영역에 상기 안경 아이템을 위치시켜 학생에게 가상의 안경 아이템을 착용시킬 수 있다.For example, if the item is an eyeglass item, the
또한, 상기 학생 단말(20)의 어플리케이션부(24)는 상기 아이템이 촬영 영상에 표시된 학생의 얼굴로 이동하여 학생의 얼굴 중 눈에 착용되는 애니메이션이 포함된 촬영 영상을 교육 서버(100)로 전송하고, 상기 교육 서버(100)는 상기 애니메이션이 포함된 촬영 영상 및 가상 현실 기반 영상정보를 기초로 상기 교육 영상을 생성한 후 상기 교사 단말(10) 및 교육에 참여하는 복수의 서로 다른 학생 단말로 전송하여 교육에 참여하는 교사 및 다수의 학생들이 해당 아이템 전달 과정을 확인할 수 있도록 제공한다.In addition, the application unit 24 of the
이외에도, 상기 교육 서버(100)의 영상 처리부(122)는 비누 방울과 같은 아이템을 상술한 방식으로 상기 학생 단말(20)로 전송할 수 있으며, 상기 학생 단말(20)의 어플리케이션부(24)는 상기 학생 단말(20)에 구성된 터치 디스플레이(touch display)를 통한 상기 터치 입력 수신시 상기 비누 방울 관련 아이템을 터뜨리는 것과 같은 아이템의 상태 변화가 발생하는 애니메이션을 실행하고, 상기 애니메이션 관련 정보가 포함된 촬영 영상을 상기 교육 서버(100)로 전송하여, 상기 교육 서버(100)가 상기 학생 단말(20)로부터 수신된 촬영 영상 및 가상 현실 기반 영상을 기초로 교육 영상을 생성하여 상기 교사 단말(10) 및 다수의 학생 단말(20)로 전송함으로써 교사와 학생 사이의 양방향 가상 체험이 이루어지는 교육 영상을 제공할 수 있다. 이때, 상기 학생 단말(20)의 제 2 표시부(22) 및 제 2 입력부(23)가 상기 터치 디스플레이로 구성될 수 있다.In addition, the
한편, 상술한 구성에서, 상기 교사 단말(10)의 제 1 제어부(14)는 상기 교육 서버(100)로부터 수신된 상기 인터페이스 관련 정보에 따라 상기 교사 단말(10)에 표시된 인터페이스를 통해 상기 아이템의 회수를 위한 회수 정보를 생성하여 상기 교육 서버(100)로 전송할 수 있으며, 상기 교육 서버(100)의 제 2 제어부(120)는 상기 회수 정보 수신시 상기 회수 정보를 상기 아이템이 전달된 상기 학생 단말(20)로 전송할 수 있다.In the above-described configuration, the
이에 따라, 상기 학생 단말(20)의 어플리케이션부(24)는 상기 회수 정보 수신시 상기 객체에 적용된 아이템을 이동시켜 상기 촬영 영상에서 이탈시키며 상기 촬영 영상에서 이탈시 상기 촬영 영상에서 이탈 직전의 최종 위치(최종 좌표)에 대한 최종 위치 정보를 상기 교육 서버(100)로 전송할 수 있다.Accordingly, the application unit 24 of the
이때, 상기 학생 단말(20)의 어플리케이션부(24)는 상기 아이템의 이탈 과정에 대한 애니메이션이 포함된 촬영 영상을 상기 교육 서버(100)로 전송하여 상기 가상 현실 기반 영상에 상기 아이템의 이탈 관련 촬영 영상이 합성되어 교육 영상이 생성되도록 할 수 있다.At this time, the application unit 24 of the
또한, 상기 교육 서버(100)의 상기 영상 처리부(122)는 상기 최종 위치 정보 수신시 상기 교육 영상에서 상기 최종 위치 정보를 기초로 상기 교육 영상에 포함된 촬영 영상 내 최종 위치를 식별할 수 있으며, 상기 촬영 영상에서 식별된 상기 최종 위치에 상기 회수 정보에 대응되는 아이템을 표시하고, 교육 영상 내의 상기 최종 위치로부터 상기 교육 영상에 포함된 상기 캐릭터 관련 영역 중 미리 설정된 위치로 상기 회수 정보에 대응되는 아이템을 이동시켜 표시할 수 있으며, 상기 회수 정보를 기초로 상기 촬영 영상으로부터 상기 가상 현실 기반 영상으로 이동하는 아이템 관련 교육 영상을 상기 교사 단말(10) 및 학생 단말(20)에 전송하여 아이템 회수 과정이 교사 단말(10) 및 학생 단말(20)에 표시되도록 할 수 있다.In addition, the
이를 통해, 상기 교육 서버(100)는 가상 현실에서 증강 현실로 연속적으로 이동하는 아이템의 전달에 대한 교육 영상을 제공할 수 있을 뿐만 아니라 증강 현실에서 가상 현실로 연속적으로 이동되는 아이템의 회수에 대한 교육 영상을 제공할 수 있다.Accordingly, the
상술한 구성을 통해, 본 발명은 상기 가상 현실 기반 영상에 적용된 아이템이 교사의 아이템 전달 동작에 따라 상기 가상 현실 기반 영상에 합성된 실재 학생을 촬영한 상기 촬영 영상에 끊김 없이 연속적으로 이동되도록 표시하는 동시에 촬영 영상의 영역으로 이동한 아이템이 실재 학생을 촬영한 촬영 영상에서 증강 현실 기반으로 상기 촬영 영상에 나타난 학생에게 적용되도록 함으로써, 가상 현실 및 증강 현실의 상호 연동을 통해 기존 온라인 교육에서 구현하기 어려운 교구를 이용한 교사와 학생 간 소통을 온라인에서 구현할 수 있도록 지원하는 동시에 온라인을 통해 물리적 교구를 대신하는 아이템을 이용한 체험 교육이 이루어지도록 지원할 수 있으며, 이를 통해 학생의 흥미를 고취시키고 기존 온라인 교육에서 지원하지 못하던 체험 교육을 지원하여 교육 효과를 크게 향상시킬 수 있다.According to the above-described configuration, the present invention is characterized in that the item applied to the virtual reality-based image is continuously displayed continuously on the photographed image photographed by the actual student synthesized on the virtual reality-based image according to the item delivering operation of the teacher At the same time, since the item moved to the region of the photographed image is applied to the student displayed on the photographed image based on the augmented reality in the photographed image of the actual student, it is difficult to realize in the existing online education through the interlocking of the virtual reality and the augmented reality It enables teachers to communicate online with teachers through the use of a parish, and at the same time supports students to make use of items instead of physical teaching materials through online education. Experiential Education Assistance can greatly improve the training effect.
즉, 본 발명은 아이템의 전달이 가상 현실과 증강 현실 사이에 이어지도록 지원할 수 있으며, 이를 통해 교사와 학생 사이의 온라인상 체험 교육을 지원할 수 있다.That is, the present invention can support delivery of items between a virtual reality and an augmented reality, thereby enabling online experience education between a teacher and a student to be supported.
도 7은 본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 방법에 대한 순서도이다.7 is a flowchart illustrating an online learning method using a virtual reality and an augmented reality according to an embodiment of the present invention.
도시된 바와 같이, 교사 단말(10)은 교사의 음성 정보 및 교사의 움직임에 따른 모션 정보를 생성하여 미리 설정된 상기 교육 서버(100)로 전송할 수 있다(S1).As shown in the figure, the
또한, 학생 단말(20)은 학생을 촬영한 촬영 영상을 상기 교육 서버(100)로 전송할 수 있다(S2).In addition, the
이후, 상기 교육 서버(100)는 미리 설정된 배경 영상에 상기 교사 단말(10)로부터 수신되는 상기 모션 정보에 따라 동작이 변경되는 캐릭터를 합성하여 생성된 영상과 상기 음성 정보를 기초로 가상 현실 기반 영상을 생성하고, 상기 학생 단말(20)로부터 수신되는 상기 촬영 영상을 상기 가상 현실 기반 영상의 미리 설정된 영역에 합성하여 교육 영상을 생성하고, 상기 교육 영상을 상기 학생 단말(20) 및 교사 단말(10)로 전송할 수 있다(S3).Thereafter, the
또한, 상기 교육 서버(100)는 상기 모션 정보를 기초로 미리 설정된 이벤트 발생시(S4) 상기 교육 영상 내에서 표시되는 아이템을 상기 모션 정보에 따라 상기 촬영 영상에 대응되는 영역으로 이동시키고 해당 영역 도달시 위치정보와 아이템 정보를 상기 학생 단말(20)에 전달할 수 있다(S5).In addition, the
이후, 상기 학생 단말(20)은 상기 교육 서버(100)로부터 상기 아이템 정보와 위치정보를 수신하면 상기 아이템을 상기 촬영 영상에서 촬영 대상의 동작에 맞추어 상호 작용하도록 표시하고, 상기 아이템이 표시된 촬영 영상을 상기 교육 서버(100)로 전송할 수 있다(S6).When the
이에 따라, 상기 교육 서버(100)는 아이템이 표시된 촬영 영상과 상기 가상 현실 기반 영상을 기초로 상기 아이템이 촬영 영상의 촬영 대상에 표시된 교육 영상을 생성한 후 상기 교사 단말(10) 및 학생 단말(20)로 전송할 수 있다.Accordingly, the
본 명세서에 기술된 다양한 장치 및 구성부는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.The various devices and components described herein may be implemented by hardware circuitry (e.g., CMOS-based logic circuitry), firmware, software, or a combination thereof. For example, it can be implemented utilizing transistors, logic gates, and electronic circuits in the form of various electrical structures.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or essential characteristics thereof. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.
10: 교사 단말 20: 학생 단말
100: 교육 서버10: Teacher terminal 20: Student terminal
100: Training Server
Claims (10)
교사의 음성 정보 및 교사의 움직임에 따른 모션 정보를 생성하여 전송하는 교사 단말;
학생을 촬영한 촬영 영상을 상기 교육 서버로 전송하고, 상기 교육 서버로부터 교육 영상을 수신하는 학생 단말; 및
미리 설정된 배경 영상에 상기 교사 단말로부터 수신되는 상기 모션 정보에 따라 동작이 변경되는 캐릭터를 합성하여 생성된 영상과 상기 음성 정보를 기초로 가상 현실 기반 영상을 생성하고, 상기 학생 단말로부터 수신되는 상기 촬영 영상을 상기 가상 현실 기반 영상의 미리 설정된 영역에 합성하여 상기 교육 영상을 생성한 후 전송하는 교육 서버를 포함하되,
상기 교육 서버는 상기 교사 단말로부터 아이템 목록 정보에서 선택된 아이템의 사용을 위한 사용 정보 수신시 아이템을 상기 교육 영상에 표시하고, 상기 모션 정보를 기초로 상기 아이템과 관련된 미리 설정된 이벤트 발생시 상기 교육 영상 내에서 표시되는 아이템을 상기 이벤트에 대응되는 상기 촬영 영상의 영역으로 이동시키고 해당 영역 도달시 위치정보와 아이템 정보를 상기 학생 단말에 전달하는 영상 처리부를 포함하고,
상기 학생 단말은 상기 교육 서버로부터 상기 아이템 정보와 위치정보를 수신하면 상기 아이템을 상기 촬영 영상에서 촬영 대상의 동작에 맞추어 상호 작용하도록 표시하는 어플리케이션부를 포함하며,
상기 어플리케이션부는 상기 촬영 영상에서 상기 아이템 정보에 따른 아이템의 적용 대상인 객체를 인식하고, 상기 아이템 정보와 위치정보를 기초로 상기 촬영 영상 내의 상기 위치정보에 따른 최초 위치에 상기 아이템을 표시하고, 상기 아이템이 가상 현실 기반 영상에 표시된 캐릭터의 위치로부터 이동하여 상기 가상 현실 기반 영상에 합성된 촬영 영상에 적용되는 아이템의 연속적인 이동에 대한 연속적인 애니메이션을 확인할 수 있도록 상기 최초 위치로부터 상기 촬영 영상에서 인식된 상기 객체에서 상기 아이템 정보에 따른 상기 아이템의 적용 위치를 식별하여 해당 적용 위치로 상기 아이템을 이동시켜 표시하고, 상기 객체의 움직임과 상호 작용하도록 상기 아이템을 동적으로 변경시키며, 상기 아이템이 표시된 촬영 영상을 상기 교육 서버로 전송하는 것을 특징으로 하는 가상 현실과 증강 현실을 이용한 온라인 학습 시스템.
An online learning system using virtual reality and augmented reality, which includes a teacher terminal and an education server communicating with one or more student terminals via a communication network,
A teacher terminal for generating and transmitting motion information according to a teacher's voice information and a teacher's motion;
A student terminal for transmitting a photographed image of a student to the education server and receiving an education image from the education server; And
Generating a virtual reality-based video based on the video generated by synthesizing a character whose operation is changed according to the motion information received from the teacher terminal on a preset background video and the audio information, And a training server for generating the training image and transmitting the synthesized training image,
Wherein the training server displays on the training image an item upon receiving usage information for use of the item selected from the item list information from the teacher terminal and displays the item on the training image when a predetermined event related to the item is generated based on the motion information And an image processing unit for moving the displayed item to an area of the photographed image corresponding to the event and transmitting positional information and item information to the student terminal when reaching the corresponding area,
Wherein the student terminal includes an application unit for receiving the item information and the positional information from the education server and displaying the items so as to interact with each other in accordance with the operation of the object to be imaged in the captured image,
Wherein the application unit recognizes an object to which an item is applied according to the item information in the captured image and displays the item at an initial position according to the position information in the captured image based on the item information and the position information, Based on the position of the character displayed in the virtual reality-based image and recognizing the continuous animation of the continuous movement of the item applied to the photographed image synthesized in the virtual reality-based image, Identifying an application position of the item according to the item information in the object, moving the item to the applicable position and displaying the item, and dynamically changing the item to interact with movement of the object, The above- Online learning system using virtual reality and augmented reality, characterized in that the transfer to.
상기 아이템 정보는 상기 아이템의 적용 대상인 객체 정보 및 상기 객체에서 상기 아이템이 적용되는 영역 또는 위치에 대한 적용 위치정보를 포함하는 것을 특징으로 하는 가상 현실과 증강 현실을 이용한 온라인 학습 시스템.
The method according to claim 1,
Wherein the item information includes object information to which the item is applied, and application position information on an area or position to which the item is applied in the object.
상기 어플리케이션부는 상기 촬영 영상에서 상기 객체의 움직임에 따라 상기 아이템의 상태, 크기, 방향, 자세 및 위치 중 적어도 하나를 변경하는 것을 특징으로 하는 가상 현실과 증강 현실을 이용한 온라인 학습 시스템.
The method according to claim 1,
Wherein the application unit changes at least one of a state, a size, a direction, an attitude, and a position of the item according to movement of the object in the captured image.
상기 교육 서버는 복수의 서로 다른 학생 단말과 통신시 상기 복수의 학생 단말 각각으로부터 수신된 복수의 촬영 영상 각각을 상기 교육 영상 내에서 미리 설정된 서로 다른 복수의 영역 중 어느 하나에 표시하는 것을 특징으로 하는 가상 현실과 증강 현실을 이용한 온라인 학습 시스템.
The method according to claim 1,
Wherein the education server displays each of a plurality of photographed images received from each of the plurality of student terminals in one of a plurality of different preset areas in the training image when communicating with a plurality of different student terminals An online learning system using virtual reality and augmented reality.
상기 교육 서버는 상기 교사 단말로부터 상기 아이템의 회수를 위한 회수 정보 수신시 상기 회수 정보를 상기 학생 단말로 전송하고,
상기 어플리케이션부는 상기 회수 정보 수신시 상기 객체에 적용된 아이템을 이동시켜 상기 촬영 영상에서 이탈시키며 상기 촬영 영상에서 이탈시 상기 촬영 영상에서 이탈 직전의 최종 위치에 대한 최종 위치 정보를 상기 교육 서버로 전송하고,
상기 영상 처리부는 상기 최종 위치 정보 수신시 상기 교육 영상에 포함된 상기 최종 위치 정보에 따른 촬영 영상 내 최종 위치로부터 상기 교육 영상의 상기 캐릭터 관련 영역 중 미리 설정된 위치로 상기 회수 정보에 대응되는 아이템을 표시하여 이동시키는 것을 특징으로 하는 가상 현실과 증강 현실을 이용한 온라인 학습 시스템.
The method according to claim 1,
The education server transmits the collection information to the student terminal when receiving the collection information for collection of the item from the teacher terminal,
Wherein the application unit moves the item applied to the object when the collection information is received and separates the captured image from the captured image, transmits final position information on the final position immediately before the departure from the captured image to the education server when leaving the captured image,
Wherein the image processing unit displays an item corresponding to the count information from a final position in the captured image according to the final position information included in the training image at a preset position in the character related area of the training image upon receiving the final position information And the virtual reality and the augmented reality.
상기 영상 처리부는 상기 이벤트에 따른 상기 아이템의 이동 방향 및 경로를 연산하여 연산 결과에 따라 상기 교육 영상에 포함된 캐릭터로부터 상기 아이템을 상기 이벤트에 대응되는 촬영 영상의 영역으로 이동시키는 것을 특징으로 하는 가상 현실과 증강 현실을 이용한 온라인 학습 시스템.
The method according to claim 1,
Wherein the image processing unit calculates a moving direction and a path of the item according to the event and moves the item from the character included in the training image to an area of the photographing image corresponding to the event, An online learning system using reality and augmented reality.
상기 어플리케이션부는 상기 촬영 영상의 색상 및 밝기 중 적어도 하나에 따라 상기 아이템의 상태를 변경하는 것을 특징으로 하는 가상 현실과 증강 현실을 이용한 온라인 학습 시스템.
The method according to claim 1,
Wherein the application unit changes the state of the item according to at least one of color and brightness of the photographed image.
학생 단말이 학생을 촬영한 촬영 영상을 상기 교육 서버로 전송하는 단계;
상기 교육 서버가 미리 설정된 배경 영상에 상기 교사 단말로부터 수신되는 상기 모션 정보에 따라 동작이 변경되는 캐릭터를 합성하여 생성된 영상과 상기 음성 정보를 기초로 가상 현실 기반 영상을 생성하고, 상기 학생 단말로부터 수신되는 상기 촬영 영상을 상기 가상 현실 기반 영상의 미리 설정된 영역에 합성하여 교육 영상을 생성하여 상기 학생 단말 및 교사 단말로 전송하는 단계;
상기 교육 서버가 상기 모션 정보를 기초로 미리 설정된 이벤트 발생시 상기 교육 영상 내에서 표시되는 아이템을 상기 모션 정보에 따라 상기 촬영 영상에 대응되는 영역으로 이동시키고 해당 영역 도달시 위치정보와 아이템 정보를 상기 학생 단말에 전달하는 단계; 및
상기 학생 단말이 상기 교육 서버로부터 상기 아이템 정보와 위치정보를 수신하면 상기 아이템을 상기 촬영 영상에서 촬영 대상의 동작에 맞추어 상호 작용하도록 표시하고, 상기 아이템이 표시된 촬영 영상을 상기 교육 서버로 전송하는 단계를 포함하며,
상기 위치정보와 아이템 정보를 상기 학생 단말에 전달하는 단계는,
상기 교육 서버가 상기 교사 단말로부터 아이템 목록 정보에서 선택된 아이템의 사용을 위한 사용 정보 수신시 아이템을 상기 교육 영상에 표시하는 과정; 및
상기 교육 서버가 상기 이벤트 발생시 상기 교육 영상 내에서 표시되는 아이템을 상기 이벤트에 대응되는 상기 촬영 영상의 영역으로 이동시키고 해당 영역 도달시 위치정보와 아이템 정보를 상기 학생 단말에 전달하는 과정을 포함하며,
상기 아이템이 표시된 촬영 영상을 상기 교육 서버로 전송하는 단계는,
상기 학생 단말이 상기 촬영 영상에서 상기 아이템 정보에 따른 아이템의 적용 대상인 객체를 인식하는 과정;
상기 학생 단말이 상기 아이템 정보와 위치정보를 기초로 상기 촬영 영상 내의 상기 위치정보에 따른 최초 위치에 상기 아이템을 표시하는 과정;
상기 학생 단말이 상기 아이템이 가상 현실 기반 영상에 표시된 캐릭터의 위치로부터 이동하여 상기 가상 현실 기반 영상에 합성된 촬영 영상에 적용되는 아이템의 연속적인 이동에 대한 연속적인 애니메이션을 확인할 수 있도록 상기 최초 위치로부터 상기 촬영 영상에서 인식된 상기 객체에서 상기 아이템 정보에 따른 상기 아이템의 적용 위치를 식별하여 해당 적용 위치로 상기 아이템을 이동시켜 표시하는 과정;
상기 학생 단말이 상기 객체의 움직임과 상호 작용하도록 상기 아이템을 동적으로 변경시키는 과정; 및
상기 학생 단말이 상기 아이템이 표시된 촬영 영상을 상기 교육 서버로 전송하는 과정을 포함하는 것을 특징으로 하는 가상 현실과 증강 현실을 이용한 온라인 학습 방법.Generating teacher's voice information and motion information according to a teacher's motion and transmitting the generated motion information to a preset education server;
Transmitting a photographed image of the student terminal taken by the student terminal to the education server;
Wherein the training server generates a virtual reality-based image based on the generated video and the audio information by compositing characters whose operation is changed according to the motion information received from the teacher terminal on a preset background image, Generating a training image by synthesizing the photographed image received in a predetermined region of the virtual reality-based image, and transmitting the training image to the student terminal and the teacher terminal;
Wherein the training server moves an item displayed in the training image to a region corresponding to the photographed image according to the motion information when the preset event is generated based on the motion information, To a terminal; And
When the student terminal receives the item information and the position information from the education server, displays the items so that the items interact with each other in accordance with the operation of the subject to be photographed, and transmits the photographed image displaying the items to the education server / RTI >
Wherein the step of transmitting the location information and the item information to the student terminal comprises:
Displaying the item on the training image when the education server receives usage information for use of the item selected from the item list information from the teacher terminal; And
Moving the item displayed in the training image to the region of the photographed image corresponding to the event and transmitting the position information and item information to the student terminal when the training server reaches the corresponding region,
Wherein the step of transmitting the photographed image displaying the item to the education server comprises:
A step of the student terminal recognizing an object to which an item is applied according to the item information in the captured image;
Displaying the item at an initial position according to the position information in the shot image based on the item information and the position information;
And the student terminal moves from the position of the character displayed in the virtual reality-based image to the student terminal so that the continuous animation of the continuous movement of the item applied to the photographed image synthesized in the virtual reality- Identifying an application position of the item according to the item information in the object recognized in the captured image, moving the item to the applicable position, and displaying the moved item;
Dynamically changing the item so that the student terminal interacts with the movement of the object; And
And transmitting the photographed image, in which the item is displayed, to the education server, using the virtual reality and the augmented reality.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170027266A KR101788248B1 (en) | 2017-03-02 | 2017-03-02 | On-line learning system and method using virtual reality and augmented reality |
| CN201810175640.4A CN108538112A (en) | 2017-03-02 | 2018-03-02 | Utilize the on-line study system and method for virtual reality and augmented reality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170027266A KR101788248B1 (en) | 2017-03-02 | 2017-03-02 | On-line learning system and method using virtual reality and augmented reality |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101788248B1 true KR101788248B1 (en) | 2017-10-20 |
Family
ID=60299065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170027266A KR101788248B1 (en) | 2017-03-02 | 2017-03-02 | On-line learning system and method using virtual reality and augmented reality |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101788248B1 (en) |
| CN (1) | CN108538112A (en) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109147437A (en) * | 2018-10-31 | 2019-01-04 | 武汉中威创治信息科技有限公司 | A kind of simulation teaching system based on immersive VR technology |
| KR101960815B1 (en) | 2017-11-28 | 2019-03-21 | 유엔젤주식회사 | Learning Support System And Method Using Augmented Reality And Virtual reality |
| CN109509380A (en) * | 2019-01-08 | 2019-03-22 | 中国矿业大学(北京) | A kind of fire engineering profession second classroom Practice Teaching |
| CN109671317A (en) * | 2019-01-30 | 2019-04-23 | 重庆康普达科技有限公司 | Types of facial makeup in Beijing operas interactive teaching method based on AR |
| KR20200050281A (en) | 2018-11-01 | 2020-05-11 | 유엔젤주식회사 | Learning Support System And Method Using Augmented Reality And Virtual reality based on Artificial Intelligence |
| KR102112959B1 (en) | 2019-09-09 | 2020-05-19 | 장원석 | System and method for processing test sheet using augmented reality and virtual reality |
| KR20200061700A (en) * | 2018-11-26 | 2020-06-03 | 주식회사 드림한스 | System and method for providing virtual reality content capable of multi-contents |
| CN112037098A (en) * | 2020-09-21 | 2020-12-04 | 重庆虚拟实境科技有限公司 | Student state analysis method, device, terminal and medium for virtual reality education |
| KR102212035B1 (en) * | 2020-05-27 | 2021-02-04 | (주)프렌즈몬 | System and method for providing a remote education service based on gesture recognition |
| JP2021053181A (en) * | 2019-09-30 | 2021-04-08 | 株式会社コロプラ | Program, method and viewing terminal |
| KR20210070645A (en) | 2019-12-05 | 2021-06-15 | 순천향대학교 산학협력단 | Communication system and control method that can control device based on voice |
| KR102293234B1 (en) | 2020-09-24 | 2021-08-25 | 월드버텍 주식회사 | Mutimedia education system using Artificial Intelligence and Method for supporting learning |
| KR20220046082A (en) * | 2020-10-07 | 2022-04-14 | 동서대학교 산학협력단 | Ontact education platform system based on artificial intelligence |
| KR20220062849A (en) | 2020-11-09 | 2022-05-17 | 유엔젤주식회사 | Virtual reality-based learning service method and system |
| KR20230015670A (en) * | 2021-07-23 | 2023-01-31 | (주)유밥 | Service server for generating lecturer avatar of metaverse space and mehtod thereof |
| KR102684886B1 (en) * | 2020-10-07 | 2024-07-12 | 동서대학교 산학협력단 | Method of ontact education based on artificial intelligence |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109767653A (en) * | 2019-03-25 | 2019-05-17 | 广州亮鱼科技有限公司 | A kind of UNITY teaching training system and method with virtual reality and augmented reality |
| CN110379232B (en) * | 2019-07-30 | 2021-05-14 | 大连澜创科技有限公司 | Display method for multi-person interactive teaching based on augmented reality and artificial intelligence |
| US11424037B2 (en) | 2019-11-22 | 2022-08-23 | International Business Machines Corporation | Disease simulation in medical images |
| JP6739611B1 (en) * | 2019-11-28 | 2020-08-12 | 株式会社ドワンゴ | Class system, viewing terminal, information processing method and program |
| CN111158541B (en) * | 2019-12-13 | 2021-11-16 | 北京城市网邻信息技术有限公司 | Space display method and device, electronic equipment and medium |
| JP6754908B1 (en) * | 2020-02-07 | 2020-09-16 | 株式会社ドワンゴ | Viewing terminal, viewing method, viewing system and program |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101381594B1 (en) * | 2008-12-22 | 2014-04-10 | 한국전자통신연구원 | Education apparatus and method using Virtual Reality |
| WO2012026681A2 (en) * | 2010-08-24 | 2012-03-01 | Yun Sang Bum | Virtual reality martial arts system using a network, and method for controlling same |
| KR20120113058A (en) * | 2011-04-04 | 2012-10-12 | 한국전자통신연구원 | Apparatus and method for tutoring in the fusion space of real and virtual environment |
| US10139925B2 (en) * | 2013-03-04 | 2018-11-27 | Microsoft Technology Licensing, Llc | Causing specific location of an object provided to a device |
| CN103606310B (en) * | 2013-10-29 | 2016-01-13 | 中兴通讯股份有限公司 | Teaching method and system |
| CN104575142B (en) * | 2015-01-29 | 2018-01-02 | 上海开放大学 | Seamless across the Media open teaching experiment room of experience type digitlization multi-screen |
| KR20160139633A (en) * | 2015-05-28 | 2016-12-07 | 주식회사 플렉싱크 | An system and method for providing experiential contents using augmented reality |
| US9928561B2 (en) * | 2015-05-29 | 2018-03-27 | Digimarc Corporation | Serialized digital watermarking for variable data printing |
| CN106023692A (en) * | 2016-05-13 | 2016-10-12 | 广东博士早教科技有限公司 | AR interest learning system and method based on entertainment interaction |
| CN106205245A (en) * | 2016-07-15 | 2016-12-07 | 深圳市豆娱科技有限公司 | Immersion on-line teaching system, method and apparatus |
| CN106128229A (en) * | 2016-08-26 | 2016-11-16 | 郑州捷安高科股份有限公司 | A kind of welding training terminal unit of augmented reality based on photographic head |
-
2017
- 2017-03-02 KR KR1020170027266A patent/KR101788248B1/en active IP Right Grant
-
2018
- 2018-03-02 CN CN201810175640.4A patent/CN108538112A/en active Pending
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101960815B1 (en) | 2017-11-28 | 2019-03-21 | 유엔젤주식회사 | Learning Support System And Method Using Augmented Reality And Virtual reality |
| CN109147437A (en) * | 2018-10-31 | 2019-01-04 | 武汉中威创治信息科技有限公司 | A kind of simulation teaching system based on immersive VR technology |
| KR20200050281A (en) | 2018-11-01 | 2020-05-11 | 유엔젤주식회사 | Learning Support System And Method Using Augmented Reality And Virtual reality based on Artificial Intelligence |
| KR102114207B1 (en) * | 2018-11-01 | 2020-05-22 | 유엔젤주식회사 | Learning Support System And Method Using Augmented Reality And Virtual reality based on Artificial Intelligence |
| KR20200061700A (en) * | 2018-11-26 | 2020-06-03 | 주식회사 드림한스 | System and method for providing virtual reality content capable of multi-contents |
| KR102256607B1 (en) * | 2018-11-26 | 2021-05-26 | 주식회사 드림한스 | System and method for providing virtual reality content capable of multi-contents |
| CN109509380A (en) * | 2019-01-08 | 2019-03-22 | 中国矿业大学(北京) | A kind of fire engineering profession second classroom Practice Teaching |
| CN109671317A (en) * | 2019-01-30 | 2019-04-23 | 重庆康普达科技有限公司 | Types of facial makeup in Beijing operas interactive teaching method based on AR |
| CN109671317B (en) * | 2019-01-30 | 2021-05-25 | 重庆康普达科技有限公司 | AR-based facial makeup interactive teaching method |
| KR102112959B1 (en) | 2019-09-09 | 2020-05-19 | 장원석 | System and method for processing test sheet using augmented reality and virtual reality |
| JP2021053181A (en) * | 2019-09-30 | 2021-04-08 | 株式会社コロプラ | Program, method and viewing terminal |
| KR20210070645A (en) | 2019-12-05 | 2021-06-15 | 순천향대학교 산학협력단 | Communication system and control method that can control device based on voice |
| KR102212035B1 (en) * | 2020-05-27 | 2021-02-04 | (주)프렌즈몬 | System and method for providing a remote education service based on gesture recognition |
| CN112037098A (en) * | 2020-09-21 | 2020-12-04 | 重庆虚拟实境科技有限公司 | Student state analysis method, device, terminal and medium for virtual reality education |
| CN112037098B (en) * | 2020-09-21 | 2024-03-15 | 重庆虚拟实境科技有限公司 | Student status analysis method, device, terminal and medium for virtual reality education |
| KR102293234B1 (en) | 2020-09-24 | 2021-08-25 | 월드버텍 주식회사 | Mutimedia education system using Artificial Intelligence and Method for supporting learning |
| KR20220046082A (en) * | 2020-10-07 | 2022-04-14 | 동서대학교 산학협력단 | Ontact education platform system based on artificial intelligence |
| KR102672930B1 (en) * | 2020-10-07 | 2024-06-05 | 동서대학교 산학협력단 | Ontact education platform system based on artificial intelligence |
| KR102684886B1 (en) * | 2020-10-07 | 2024-07-12 | 동서대학교 산학협력단 | Method of ontact education based on artificial intelligence |
| KR20220062849A (en) | 2020-11-09 | 2022-05-17 | 유엔젤주식회사 | Virtual reality-based learning service method and system |
| KR20230015670A (en) * | 2021-07-23 | 2023-01-31 | (주)유밥 | Service server for generating lecturer avatar of metaverse space and mehtod thereof |
| KR102507260B1 (en) * | 2021-07-23 | 2023-03-08 | (주)유밥 | Service server for generating lecturer avatar of metaverse space and mehtod thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108538112A (en) | 2018-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101788248B1 (en) | On-line learning system and method using virtual reality and augmented reality | |
| Orlosky et al. | Virtual and augmented reality on the 5G highway | |
| CN106875764B (en) | Virtual reality foreign language learning system based on network and control method | |
| KR101381594B1 (en) | Education apparatus and method using Virtual Reality | |
| US20180324229A1 (en) | Systems and methods for providing expert assistance from a remote expert to a user operating an augmented reality device | |
| Vera et al. | Augmented mirror: interactive augmented reality system based on kinect | |
| CA2892958C (en) | Virtual and augmented reality instruction system | |
| KR20030039019A (en) | Medium storing a Computer Program with a Function of Lip-sync and Emotional Expression on 3D Scanned Real Facial Image during Realtime Text to Speech Conversion, and Online Game, Email, Chatting, Broadcasting and Foreign Language Learning Method using the Same | |
| KR20130098770A (en) | Expanded 3d space based virtual sports simulation system | |
| JP6683864B1 (en) | Content control system, content control method, and content control program | |
| KR102358997B1 (en) | The service platform for multi-user supporting extended reality experience | |
| KR101757420B1 (en) | The system for remote video communication and lecture based on interaction using transparent display | |
| US20190005831A1 (en) | Virtual Reality Education Platform | |
| Aurelia et al. | A survey on mobile augmented reality based interactive storytelling | |
| US20240096227A1 (en) | Content provision system, content provision method, and content provision program | |
| Ogawa et al. | Physical instructional support system using virtual avatars | |
| JP2021087128A (en) | Class system, viewing terminal, information processing method, and program | |
| KR102212035B1 (en) | System and method for providing a remote education service based on gesture recognition | |
| US20230043422A1 (en) | Viewing terminal, viewing method, viewing system, and program | |
| JP6892478B2 (en) | Content control systems, content control methods, and content control programs | |
| JP2021009351A (en) | Content control system, content control method, and content control program | |
| KR20110107707A (en) | Online learning apparatus for augmented reality and method thereof | |
| Aurelia et al. | A survey on mobile augmented reality based interactive, collaborative and location based storytelling | |
| Ly et al. | 360TourGuiding: Towards virtual reality training for tour guiding | |
| JP7011746B1 (en) | Content distribution system, content distribution method, and content distribution program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |