KR101788248B1 - 가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법 - Google Patents
가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법 Download PDFInfo
- Publication number
- KR101788248B1 KR101788248B1 KR1020170027266A KR20170027266A KR101788248B1 KR 101788248 B1 KR101788248 B1 KR 101788248B1 KR 1020170027266 A KR1020170027266 A KR 1020170027266A KR 20170027266 A KR20170027266 A KR 20170027266A KR 101788248 B1 KR101788248 B1 KR 101788248B1
- Authority
- KR
- South Korea
- Prior art keywords
- item
- image
- information
- virtual reality
- student
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims description 74
- 238000012545 processing Methods 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 20
- 230000002194 synthesizing effect Effects 0.000 claims description 16
- 238000012546 transfer Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 abstract description 10
- 230000008569 process Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 230000003993 interaction Effects 0.000 abstract description 4
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012384 transportation and delivery Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법에 관한 것으로서, 더욱 상세히는 유아나 저학년의 학생과 같은 교육 대상자에 대하여 가상 현실에서 교사의 움직임을 반영한 캐릭터를 통해 교육 대상자에 대한 학습을 제공하여 교육 대상자가 효과적으로 학습할 수 있도록 지원하고, 학생을 촬영한 촬영 영상과 상기 캐릭터가 포함된 가상현실 기반 교육 영상을 기초로 가상 현실과 증강 현실을 상호 연동시켜 학습을 제공하는 가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법에 관한 것이다. 본 발명은 학생 단말로부터 실재 학생을 촬영한 촬영 영상을 상기 가상 현실 기반 영상 정보에 합성하고, 해당 가상 현실에서 사용되는 아이템을 상기 촬영 영상에 적용 가능하도록 지원하여 가상 현실과 증강 현실을 동시 체험 가능하도록 지원하되, 교사의 움직임에 따라 상호 작용하는 캐릭터가 해당 아이템을 학생에게 전달하는 이벤트를 수행하면 해당 이벤트에 따라 아이템이 가상 현실 기반 영상에서 촬영 영상으로 전달되거나 또는 이와 반대로 회수되는 과정이 가시적으로 표시되도록 하여 가상 현실과 증강 현실의 상호 연동을 지원하고 이를 통해 교사와 학생 간 아이템을 기반으로 하는 체험형 교육이 이루어지도록 지원함으로써 학생의 교육 집중도 및 주목도를 지속적으로 유지시켜 교육 효과를 높일 수 있도록 제공하는 효과가 있다.
Description
본 발명은 가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법에 관한 것으로서, 더욱 상세히는 유아나 저학년의 학생과 같은 교육 대상자에 대하여 가상 현실에서 교사의 움직임을 반영한 캐릭터를 통해 교육 대상자에 대한 학습을 제공하여 교육 대상자가 효과적으로 학습할 수 있도록 지원하고, 학생을 촬영한 촬영 영상과 상기 캐릭터가 포함된 가상현실 기반 교육 영상을 기초로 가상 현실과 증강 현실을 상호 연동시켜 학습을 제공하는 가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법에 관한 것이다.
현재 인터넷 및 이를 지원하는 다양한 통신 기기의 발전과 더불어 저학년의 학생이나 유아를 교육 대상자로 하는 다양한 온라인 학습 시스템이 제공되고 있으며, 이를 통해 교사는 원격에서 교육 대상자에 대하여 다양한 학습 프로그램을 제공할 수 있다.
그러나, 저학년이나 유아를 대상으로 하는 기존의 온라인 학습 시스템의 경우 대부분 단순 프로그램의 일방적인 전달이거나 어플리케이션 또는 웹 기반 대화형 학습 서비스 정도에 그치고 있어 주의가 산만한 교육 대상자의 지속적인 관심을 얻기가 어려워 학습 효과가 낮은 한계가 있다.
또한, 실재 선생님이 등장하여 온라인으로 실시간 학생들을 보면서 수업을 진행하는 온라인 화상 학습 서비스 기술도 존재하지만 이는 단순히 오프라인 학습을 온라인으로 전환한 정도이며, 부가 서비스는 전자 칠판이나 디지털 컨텐츠를 보조 학습 도구로 활용하는 수준이어서 이 역시 유아나 저학년 학생의 관심을 지속적으로 얻기 어려우며, 주의가 산만한 학생들의 주목을 지속시키기 어려운 한계가 있다.
즉, 기존의 온라인 학습 시스템은 교사의 학생에 대한 일방적인 정보 전달에 그치고 있으며, 이에 따라 학생들이 쉽게 피로감을 느끼고 학습에 흥미를 잃게 되는 문제점이 있다.
본 발명은 유아나 저학년 학생이 집중할 수 있도록 캐릭터가 실시간 학습을 진행하는 구성을 채택함으로써 오프라인에서 제공할 수 없는 새로운 가상세계에서의 개인화된 수업을 통해 학습 대상자의 주목도와 집중도를 높일 수 있도록 지원하는데 그 목적이 있다.
또한, 본 발명은 가상 현실에서 교사의 움직임에 반응하는 캐릭터가 포함된 가상현실 기반 교육 영상 내에 상기 학생을 촬영한 촬영 영상을 합성하여, 상기 가상 현실에서 사용되는 아이템이 상기 촬영 영상 내로 이동하여 상호 작용하도록 지원함으로써 가상 현실과 증강 현실의 상호 연동에 따라 교사와 학생 사이의 움직임을 기반으로 하는 체험형 교육이 온라인을 통해 이루어지도록 지원하여 학생의 흥미를 유발하고 교육 효과를 높이도록 하는데 그 목적이 있다.
본 발명의 실시예에 따른 교사 단말 및 하나 이상의 학생 단말과 통신망을 통해 통신하는 교육 서버를 포함하며 가상 현실과 증강 현실을 이용한 온라인 학습 시스템은, 교사의 음성 정보 및 교사의 움직임에 따른 모션 정보를 생성하여 전송하는 교사 단말과, 상기 학생을 촬영한 촬영 영상을 상기 교육 서버로 전송하고, 상기 교육 서버로부터 상기 교육 영상을 수신하는 학생 단말 및 미리 설정된 배경 영상에 상기 교사 단말로부터 수신되는 상기 모션 정보에 따라 동작이 변경되는 캐릭터를 합성하여 생성된 영상과 상기 음성 정보를 기초로 가상 현실 기반 영상을 생성하고, 상기 학생 단말로부터 수신되는 상기 촬영 영상을 상기 가상 현실 기반 영상의 미리 설정된 영역에 합성하여 교육 영상을 생성한 후 전송하는 교육 서버를 포함하되, 상기 교육 서버는 상기 교육 영상 내에서 표시되는 아이템을 상기 모션 정보에 따라 상기 촬영 영상에 대응되는 영역으로 이동시키고 해당 영역 도달시 위치정보와 아이템 정보를 상기 학생 단말에 전달하는 영상 처리부를 포함하고, 상기 학생 단말은 상기 교육 서버로부터 상기 아이템 정보와 위치정보를 수신하면 상기 아이템을 상기 촬영 영상에서 촬영 대상의 동작에 맞추어 상호 작용하도록 표시하는 어플리케이션부를 포함하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 영상 처리부는 상기 교사 단말로부터 상기 아이템의 사용을 위한 사용 정보 수신시 상기 아이템을 교육 영상에 표시하고, 상기 모션 정보를 기초로 상기 아이템과 관련된 미리 설정된 이벤트 발생시 상기 교육 영상 내에서 상기 아이템을 상기 이벤트에 대응되는 상기 촬영 영상의 영역으로 이동시키는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 어플리케이션부는 상기 촬영 영상에서 상기 아이템 정보에 따른 아이템의 적용 대상인 객체를 인식하고, 상기 아이템 정보와 위치정보를 기초로 상기 촬영 영상 내의 상기 위치정보에 따른 최초 위치에 상기 아이템을 표시하고, 상기 최초 위치로부터 상기 촬영 영상에서 인식된 상기 객체에서 상기 아이템 정보에 따른 상기 아이템의 적용 위치를 식별하여 해당 적용 위치로 상기 아이템을 이동시켜 표시하고, 상기 객체의 움직임과 상호 작용하도록 상기 아이템을 동적으로 변경시키며, 상기 아이템이 표시된 촬영 영상을 상기 교육 서버로 전송하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 아이템 정보는 상기 아이템의 적용 대상인 객체 정보 및 상기 객체에서 상기 아이템이 적용되는 영역 또는 위치에 대한 적용 위치정보를 포함하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 어플리케이션부는 상기 촬영 영상에서 상기 객체의 움직임에 따라 상기 아이템의 상태, 크기, 방향, 자세 및 위치 중 적어도 하나를 변경하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 교육 서버는 복수의 서로 다른 학생 단말과 통신시 상기 복수의 학생 단말 각각으로부터 수신된 복수의 촬영 영상 각각을 상기 교육 영상 내에서 미리 설정된 서로 다른 복수의 영역 중 어느 하나에 표시하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 교육 서버는 상기 교사 단말로부터 상기 아이템의 회수를 위한 회수 정보 수신시 상기 회수 정보를 상기 학생 단말로 전송하고, 상기 어플리케이션부는 상기 회수 정보 수신시 상기 객체에 적용된 아이템을 이동시켜 상기 촬영 영상에서 이탈시키며 상기 촬영 영상에서 이탈시 상기 촬영 영상에서 이탈 직전의 최종 위치에 대한 최종 위치 정보를 상기 교육 서버로 전송하고, 상기 영상 처리부는 상기 최종 위치 정보 수신시 상기 교육 영상에 포함된 상기 최종 위치 정보에 따른 촬영 영상 내 최종 위치로부터 상기 교육 영상의 상기 캐릭터 관련 영역 중 미리 설정된 위치로 상기 회수 정보에 대응되는 아이템을 표시하여 이동시키는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 영상 처리부는 상기 이벤트에 따른 상기 아이템의 이동 방향 및 경로를 연산하여 연산 결과에 따라 상기 교육 영상에 포함된 캐릭터로부터 상기 아이템을 상기 이벤트에 대응되는 촬영 영상의 영역으로 이동시키는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 어플리케이션부는 상기 촬영 영상의 색상 및 밝기 중 적어도 하나에 따라 상기 아이템의 상태를 변경하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 방법은 교사 단말이 교사의 음성 정보 및 교사의 움직임에 따른 모션 정보를 생성하여 미리 설정된 교육 서버로 전송하는 단계와, 학생 단말이 학생을 촬영한 촬영 영상을 상기 교육 서버로 전송하는 단계와, 상기 교육 서버가 미리 설정된 배경 영상에 상기 교사 단말로부터 수신되는 상기 모션 정보에 따라 동작이 변경되는 캐릭터를 합성하여 생성된 영상과 상기 음성 정보를 기초로 가상 현실 기반 영상을 생성하고, 상기 학생 단말로부터 수신되는 상기 촬영 영상을 상기 가상 현실 기반 영상의 미리 설정된 영역에 합성하여 교육 영상을 생성하여 상기 학생 단말 및 교사 단말로 전송하는 단계와, 상기 교육 서버가 상기 모션 정보를 기초로 미리 설정된 이벤트 발생시 상기 교육 영상 내에서 표시되는 아이템을 상기 모션 정보에 따라 상기 촬영 영상에 대응되는 영역으로 이동시키고 해당 영역 도달시 위치정보와 아이템 정보를 상기 학생 단말에 전달하는 단계 및 상기 학생 단말이 상기 교육 서버로부터 상기 아이템 정보와 위치정보를 수신하면 상기 아이템을 상기 촬영 영상에서 촬영 대상의 동작에 맞추어 상호 작용하도록 표시하고, 상기 아이템이 표시된 촬영 영상을 상기 교육 서버로 전송하는 단계를 포함할 수 있다.
본 발명은 학생 단말로부터 실재 학생을 촬영한 촬영 영상을 상기 가상 현실 기반 영상 정보에 합성하고, 해당 가상 현실에서 사용되는 아이템을 상기 촬영 영상에 적용 가능하도록 지원하여 가상 현실과 증강 현실을 동시 체험 가능하도록 지원하되, 교사의 움직임에 따라 상호 작용하는 캐릭터가 해당 아이템을 학생에게 전달하는 이벤트를 수행하면 해당 이벤트에 따라 아이템이 가상 현실 기반 영상에서 촬영 영상으로 전달되거나 또는 이와 반대로 회수되는 과정이 가시적으로 표시되도록 하여 가상 현실과 증강 현실의 상호 연동을 지원하고 이를 통해 교사와 학생 간 아이템을 기반으로 하는 체험형 교육이 이루어지도록 지원함으로써 학생의 교육 집중도 및 주목도를 지속적으로 유지시켜 교육 효과를 높일 수 있도록 제공하는 효과가 있다.
또한, 본 발명은 상기 가상 현실 기반 영상에 적용된 아이템이 교사의 아이템 전달 동작에 따라 상기 가상 현실 기반 영상에 합성된 실재 학생을 촬영한 촬영 영상에 끊김 없이 연속적으로 이동되도록 표시하는 동시에 촬영 영상의 영역으로 이동한 아이템이 실재 학생을 촬영한 촬영 영상에서 증강 현실 기반으로 상기 촬영 영상에 나타난 학생에게 적용되도록 함으로써, 가상 현실 및 증강 현실의 상호 연동을 통해 기존 온라인 교육에서 구현하기 어려운 교구를 이용한 교사와 학생 간 소통을 온라인에서 구현할 수 있도록 지원하는 동시에 온라인을 통해 물리적 교구를 대신하는 아이템을 이용한 체험 교육이 이루어지도록 지원할 수 있으며, 이를 통해 학생의 흥미를 고취시키고 기존 온라인 교육에서 지원하지 못하던 체험 교육을 지원하여 교육 효과를 크게 향상시킬 수 있다.
도 1 및 도 2는 본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 시스템의 구성도.
도 3 및 도 4는 본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 시스템의 아이템 전달 과정에 대한 동작 예시도.
도 5는 본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 시스템의 가상 현실과 증강 현실 사이에 연속적인 아이템 전달 과정을 도시한 예시도.
도 6는 본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 시스템의 학생의 움직임에 상호 작용하도록 아이템을 표시하기 위한 동작 예시도.
도 7은 본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 방법에 대한 순서도.
도 3 및 도 4는 본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 시스템의 아이템 전달 과정에 대한 동작 예시도.
도 5는 본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 시스템의 가상 현실과 증강 현실 사이에 연속적인 아이템 전달 과정을 도시한 예시도.
도 6는 본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 시스템의 학생의 움직임에 상호 작용하도록 아이템을 표시하기 위한 동작 예시도.
도 7은 본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 방법에 대한 순서도.
이하, 도면을 참고하여 본 발명의 상세 실시예를 설명한다.
도 1은 본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 시스템의 구성도로서, 도시된 바와 같이 유아나 저학년 어린이와 같은 학생에 대응되는 하나 이상의 학생 단말(20)과, 상기 학생을 지도하는 교사에 대응되는 교사 단말(10)과, 상기 학생 단말(20) 및 교사 단말(10)과 통신망을 통해 통신하는 교육 서버(100)를 포함할 수 있다.
이때, 상기 교사 단말(10) 및 학생 단말(20)은 통신 기능을 구비한 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook) 등과 같은 다양한 단말로 구성될 수 있으며, 상기 통신망은 널리 알려진 다양한 유무선 통신 방식이 적용될 수 있다.
상기 교육 서버(100)는 상기 교사 단말(10) 및 하나 이상의 학생 단말(20)이 참여하는 수업에 대한 가상 교실을 상기 교사 단말(10)의 요청에 따라 개설하고, 로그인 정보를 전송하여 상기 교육 서버(100)로 접속하며 상기 교사 단말(10)에 대응되는 교사의 가상 교실에 참여하는 하나 이상의 학생 단말(20)을 상기 교사 단말(10)과 매칭하여 저장할 수 있다.
이때, 상기 교육 서버(100)는 도 2에 도시된 바와 같이 상기 교사 단말(10)에 대응되는 교사의 회원 정보와 상기 학생의 회원정보가 저장된 회원 DB(102)와 교육 관련 컨텐츠(contents)가 저장된 컨텐츠 DB(101)를 포함할 수 있다.
이를 통해, 상기 교육 서버(100)는 상기 가상 교실에 참여하는 교사 단말(10) 및 하나 이상의 학생 단말(20)을 상호 매칭하여 상기 교사 단말(10) 및 학생 단말(20)로부터 수신된 정보를 기초로 생성한 교육 영상을 상기 가상 교실에 대응되는 교사 단말(10) 및 학생 단말(20)로 제공할 수 있다.
한편, 상기 교육 서버(100)는 상기 컨텐츠 DB(101)로부터 교사 단말(10)에 의해 선택된 배경 영상을 추출하고, 미리 설정된 상기 배경 영상에 상기 교사 단말(10)로부터 수신된 교사의 동작(움직임) 관련 모션(motion) 정보에 따른 움직임과 상호 작용하는 캐릭터(character)를 생성하여 가상 현실 기반 영상 정보를 생성할 수 있으며, 해당 가상 현실 기반 영상 정보를 상기 교사가 담당하는 상기 가상 교실에 참여한 학생별 학생 단말(20)로 전송할 수 있다.
이를 통해, 상기 교육 서버(100)는 교사를 대신하여 가상 현실에서 교사의 움직임에 따라 반응하는 캐릭터를 통해 학생에 대한 학습이 이루어지도록 지원하여 나이가 어려 주의가 산만한 학생의 이목을 집중시킬 수 있으며, 이를 통해 학습 효과를 높일 수 있다.
그러나, 가상 현실에서 교사의 제어에 따라 동작하는 캐릭터에 대하여 학생이 일시적으로 흥미를 가질 수 있지만, 해당 캐릭터에 익숙해지는 경우 이러한 학습 효과가 지속적으로 유지되는 것을 기대하기 어렵다.
따라서, 본 발명은 실재 학생을 촬영한 촬영 영상을 상기 가상 현실 기반 영상 정보에 합성하고, 해당 가상 현실에서 사용되는 아이템(item)을 상기 촬영 영상에 적용 가능하도록 지원하여 가상 현실과 증강 현실을 동시 체험 가능하도록 지원하되, 교사의 움직임에 따라 상호 작용하는 캐릭터가 해당 아이템을 학생에게 전달하는 이벤트를 수행하면 해당 이벤트에 따라 아이템이 가상 현실 기반 영상에서 촬영 영상으로 전달되거나 또는 이와 반대로 회수되는 과정이 가시적으로 표시되도록 하여 가상 현실과 증강 현실의 상호 연동을 지원하고 이를 통해 교사와 학생 간 아이템을 기반으로 하는 체험형 교육이 이루어지도록 지원함으로써 학생의 교육 집중도 및 주목도를 지속적으로 유지시켜 교육 효과를 높일 수 있도록 제공한다.
이하, 상술한 구성을 토대로 이하 도면을 통해 본 발명의 상세 실시예를 설명한다.
우선, 도 2는 본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 시스템을 구성하는 구성별 구성도로서, 도시된 바와 같이 상기 교사 단말(10)은 제 1 카메라부(11), 제 1 표시부(12), 제 1 입력부(13), 제 1 통신부(15) 및 제 1 제어부(14)를 포함할 수 있으며, 이에 한정되지 않고 다양한 구성부를 더 포함할 수 있다.
상기 제 1 카메라부(11)는 상기 교사를 촬영한 영상을 상기 제 1 제어부(14)로 제공하고, 상기 제 1 제어부(14)는 상기 제 1 카메라부(11)로부터 수신된 영상을 기초로 교사의 동작을 인식하여 모션 정보를 생성한 후 상기 제 1 통신부(15)를 통해 상기 교육 서버(100)로 전송할 수 있다.
이를 위해, 상기 제 1 제어부(14)는 모션 인식을 위한 영상 분석 모듈을 포함하며, 상기 제 1 카메라부(11)는 교사의 동작 인식을 위해 깊이 정보를 제공하는 3차원 카메라로 구성될 수 있으며, 상기 제 1 제어부(14)는 상기 깊이 정보를 기초로 교사의 동작을 인식하여 상기 모션 정보를 생성할 수 있다.
또한, 상기 제 1 입력부(13)는 상기 마이크(mic)를 포함하여 상기 교사의 음성 입력에 따른 음성 신호를 생성하여 상기 제 1 제어부(14)로 제공할 수 있으며, 상기 제 1 제어부(14)는 상기 음성 신호를 기초로 음성 정보를 생성하고, 상기 음성 정보를 상기 모션 정보와 함께 상기 교육 서버(100)로 전송할 수 있다.
이때, 상기 제 1 제어부(14)는 상기 모션 정보와 상기 음성 정보의 동기화를 수행할 수 있으며, 동기화된 모션정보와 음성정보를 상기 교육 서버(100)로 전송할 수 있다.
한편, 상기 학생 단말(20)은 도시된 바와 같이 제 2 카메라부(21), 제 2 표시부(22), 제 2 입력부(23), 제 2 통신부(25) 및 어플리케이션부(24)를 포함할 수 있으며, 이에 한정되지 않고 다양한 구성부를 더 포함할 수 있다.
이때, 상기 학생 단말(20)에 구성된 어플리케이션부(24)는 상기 학생 단말(20)에 구성된 제 2 카메라부(21), 제 2 표시부(22), 제 2 입력부(23) 및 제 2 통신부(25)를 제어하는 제어부로서 구성되거나 상기 제어부에 의해 실행되며 상기 학생 단말에 구성되는 저장부에 저장된 어플리케이션(application) 관련 데이터로 구성될 수 있으며, 상기 어플리케이션부(24)는 상기 저장부에 저장된 데이터를 기초로 본 발명에서 설명하는 다양한 동작을 수행할 수 있다.
이에 따라, 상기 제 2 카메라부(21)는 실재 학생을 촬영하여 생성한 촬영 영상을 상기 어플리케이션부(24)로 제공하며, 상기 어플리케이션부(24)는 상기 제 2 통신부(25)를 통해 상기 촬영 영상을 상기 교육 서버(100)로 전송할 수 있다.
또한, 상기 제 2 입력부(23)는 마이크(mic)를 포함하여 상기 학생의 음성 입력에 따른 음성 신호를 상기 어플리케이션부(24)로 제공하고, 상기 어플리케이션부(24)는 상기 촬영 영상과 상기 음성 신호에 따라 생성한 음성 정보를 상기 교육 서버(100)로 전송할 수 있다.
이때, 상기 어플리케이션부(24)는 상기 촬영 영상과 음성 정보를 동기화하여 상기 교육 서버(100)로 전송할 수 있음은 물론이다.
한편, 상기 교육 서버(100)는 도시된 바와 같이 제 3 통신부(110) 및 제 2 제어부(120)를 포함할 수 있으며, 상기 제 2 제어부(120)는 도시된 바와 같이 영상 합성부(121) 및 영상 처리부(122)를 포함할 수 있다.
이때, 영상 처리부(122) 및 영상 합성부(121)는 하나의 구성부로서 구성될 수도 있다.
또한, 상기 제 2 제어부(120)는 상기 영상 합성부(121) 및 영상 처리부(122) 이외의 구성부가 더 구성될 수도 있음은 물론이며, 일례로 상기 영상 합성부(121) 및 영상 처리부(122)의 제어를 위한 연산부가 구성될 수 있으며, 해당 연산부는 상기 영상 합성부(121) 및 영상 처리부(122) 중 어느 하나에 구성될 수도 있다.
우선, 상기 제 3 통신부(110)는 상기 교사 단말(10)로부터 모션 정보 및 음성정보를 수신할 수 있으며, 상기 학생 단말(20)로부터 상기 촬영 영상 및 음성정보를 수신하여 상기 제 2 제어부(120)로 제공할 수 있다.
또한, 상기 교육 서버(100)는 다양한 컨텐츠가 저장된 컨텐츠 DB(101)를 포함할 수 있으며, 해당 컨텐츠는 복수의 서로 다른 배경 영상(또는 배경 이미지), 상기 교사의 움직임과 상호 작용하는 캐릭터 관련 그래픽(graphic) 정보 및 가상 현실에서 사용 가능한 아이템에 대한 아이템 정보 등을 포함할 수 있다. 이때, 상기 아이템 역시 그래픽 정보로 구성될 수 있다.
또한, 상기 제 2 제어부(120)는 상기 컨텐츠 DB(101)에 저장된 컨텐츠 관련 목록 정보를 상기 교사 단말(10)로 전송할 수 있으며, 상기 교사 단말(10)에 구성된 제 1 제어부(14)는 상기 목록 정보를 상기 제 1 표시부(12)를 통해 표시하고, 상기 제 1 입력부(13)를 통한 교사의 입력에 따라 선택된 컨텐츠에 대한 선택 정보를 상기 제 1 통신부(15)를 통해 상기 교육 서버(100)로 전송할 수 있다.
이에 따라, 상기 교육 서버(100)의 상기 제 2 제어부(120)는 상기 교사 단말(10)로부터 수신된 선택 정보를 기초로 선택된 컨텐츠에 대응되는 미리 설정된 배경 영상과 상기 교사의 움직임과 상호 작용하는 캐릭터 관련 그래픽 정보를 상기 컨텐츠 DB(101)로부터 추출하고, 상기 영상 처리부(122)로 상기 캐릭터 관련 그래픽 정보 및 상기 모션 정보를 제공할 수 있다.
이에 따라, 상기 영상 처리부(122)는 상기 캐릭터 관련 그래픽 정보 및 상기 모션 정보를 기초로 상기 모션 정보에 따른 움직임 및 자세를 식별하고, 상기 모션 정보에 상기 캐릭터의 움직임을 동기화시킬 수 있으며, 모션 정보에 동기화된 캐릭터 관련 그래픽 정보를 상기 영상 합성부(121)로 제공할 수 있다.
또한, 상기 교육 서버(100)의 제 2 제어부(120)는 상기 학생 단말(20)로부터 촬영 영상을 수신할 수 있으며, 해당 촬영 영상을 상기 영상 합성부(121)로 제공할 수 있다.
상기 영상 합성부(121)는 상기 컨텐츠 DB(101)로부터 추출된 배경 영상 및 상기 영상 처리부(122)를 통해 상기 모션 정보에 동기화된 캐릭터 관련 그래픽 정보를 기초로 상기 캐릭터를 배경 영상에 합성하여 가상 현실 기반 영상 정보를 생성할 수 있으며, 이때 상기 영상 합성부(121)는 상기 캐릭터를 오버레이(overlay) 방식으로 상기 배경 영상에 추가하여 합성할 수 있다.
또한, 상기 영상 합성부(121)는 상기 가상 현실 기반 영상정보에 상기 학생 단말(20)로부터 수신된 촬영 영상을 상기 가상 현실 기반 영상정보 중 미리 설정된 영역에 합성하여 교육 영상을 생성할 수 있으며, 상기 제 2 제어부(120)는 상기 영상 합성부(121)를 통해 생성된 교육 영상을 상기 제 3 통신부(110)를 통해 상기 교사 단말(10) 및 학생 단말(20)로 전송할 수 있다.
이때, 상기 교육 서버(100)는 서로 다른 복수의 학생 단말(20)과 통신하여 복수의 학생 단말(20) 각각으로부터 촬영 영상을 수신할 수 있으며, 상기 영상 합성부(121)는 상기 제 2 제어부(120)로부터 복수의 학생 단말(20)로부터 수신된 서로 다른 복수의 촬영 영상을 각각 상기 가상 현실 기반 영상 정보에서 미리 설정된 서로 다른 복수의 영역 중 어느 하나에 합성하여 상기 교육 영상을 생성할 수도 있다.
또한, 상기 교사 단말(10)의 제 1 제어부(14) 및 상기 학생 단말(20)의 어플리케이션부(24)는 상기 교육 서버(100)로부터 수신되는 교육 영상을 상기 교사 단말(10)의 제 1 표시부(12) 또는 학생 단말(20)의 제 2 표시부(22)를 통해 표시할 수 있다.
이를 통해, 상기 교육 서버(100)는 교사의 움직임에 대한 모션 정보를 실시간으로 수신하여 해당 모션 정보에 따라 가상 현실에서 움직이는 캐릭터의 움직임을 실시간 처리할 수 있으며, 이에 따라 해당 캐릭터가 포함된 가상 현실 기반 영상 정보를 생성한 후 학생 단말(20)로부터 수신된 촬영 영상과 상기 가상 현실 기반 영상 정보와 합성하여 생성한 교육 영상을 실시간 스트리밍(streaming)을 통해 상기 교사 단말(10) 및 학생 단말(20)로 전송할 수 있다.
이때, 상기 제 2 제어부(120)는 상기 모션 정보에 동기화된 캐릭터 관련 그래픽 정보에 맞추어 상기 교사 단말(10)로부터 수신된 음성 정보를 상기 캐릭터 관련 그래픽 정보와 동기화시켜 상기 가상 현실 기반 영상 정보에 포함시킬 수 있으며, 상기 음성 정보가 포함된 가상 현실 기반 영상정보를 기초로 생성된 교육 영상을 상기 교사 단말(10) 및 학생 단말(20)로 전송하여 상기 가상 현실 기반 영상정보에 따른 영상 및 촬영 영상과 함께 음성정보가 상기 교사 단말(10) 및 학생 단말(20)에서 출력되도록 할 수 있다.
또한, 상기 제 2 제어부(120)는 상기 학생 단말(20)로부터 음성 정보를 수신하고, 해당 음성 정보를 상기 교육 영상에 포함시켜 상기 교사 단말(10) 및 학생 단말(20)로 전송할 수도 있으며, 이를 통해 교사 단말(10) 및 학생 단말(20)에서 학생에 대응되는 음성정보가 출력되도록 할 수 있다.
이를 위해, 상기 교사 단말(10) 및 학생 단말(20) 각각은 상기 음성 정보의 출력을 위한 음성 출력부가 구성될 수 있다.
상술한 구성을 통해, 상기 교육 서버(100)는 학생을 지도하는 교사의 동작과 음성을 캐릭터를 통해 학생에게 표출하여 학생이 캐릭터에 흥미를 느껴 더욱 교사의 교육에 집중하도록 유도할 수 있으며, 이를 통해 교육 효율을 크게 향상시킬 수 있다.
또한, 상기 교육 서버(100)의 제 2 제어부(120)는 상기 컨텐츠 DB(101)에 저장된 학생 교육을 위한 다양한 교재 관련 컨텐츠 중 상기 교사 단말(10)로부터 수신된 선택 정보에 대응되는 교재 관련 컨텐츠를 상기 가상현실 기반 영상 정보에 합성하여 적용할 수 있으며, 이를 통해 더욱 효과적인 학생 교육이 이루어지도록 지원할 수 있다.
이때, 상기 교재 관련 컨텐츠는 텍스트, 이미지, 영상, 그래픽 등을 포함할 수 있다.
한편, 상기 교육 서버(100)는 상기 가상 현실 기반 영상 정보에 상기 가상 현실에서 이용되는 아이템 관련 컨텐츠를 표시하고, 교사의 움직임에 따른 특정 이벤트에 반응하여 상기 아이템이 상기 가상 현실 기반 영상정보에서 상기 촬영 영상으로 이동되어 상기 촬영 영상에 적용되도록 함으로써, 가상 현실과 증강 현실의 상호 연동이 이루어지도록 지원하고 이를 통해 가상 현실 상에서 교사와 학생 사이의 체험 교류가 이루어지도록 지원함으로써 학생의 주목도와 집중도를 크게 높일 수 있는데, 이를 상술한 구성을 토대로 이하 도면을 통해 상세히 설명한다.
우선, 도 3 및 도 4에 도시된 바와 같이 상기 교육 서버(100)는 상기 가상 현실 기반 영상정보에 하나 이상의 촬영 영상을 합성하여 상기 가상 현실 기반 영상 정보에 따른 가상 현실 기반 영상과 상기 하나 이상의 촬영 영상을 포함하는 교육 영상을 생성할 수 있다.
이때, 상기 제 2 제어부(120)는 상기 교사 단말(10)로 상기 가상 현실 기반 영상 정보에 따른 가상 현실에서 사용 가능한 아이템 목록에 대한 아이템 목록 정보를 전송할 수 있으며, 상기 교사 단말(10)로부터 상기 아이템 목록 정보에서 선택된 아이템의 사용을 위한 사용 정보를 수신하고, 상기 사용 정보에 대응되는 아이템 관련 컨텐츠를 상기 컨텐츠 DB(101)에서 추출할 수 있다.
또한, 상기 제 2 제어부(120)의 영상 합성부(121)는 상기 사용 정보에 따라 추출된 아이템 관련 컨텐츠에 대응되는 아이템(A)을 생성하고, 상기 가상 현실 기반 영상에 표시된 캐릭터(B)에 대응되어 상기 아이템(A)을 상기 가상 현실 기반 영상에 합성하여 표시할 수 있다.
또한, 상기 영상 처리부(122)는 상기 영상 합성부(121)와 연동하여 상기 모션 정보를 기초로 교사의 움직임을 판단하고, 판단 결과에 따라 상기 아이템(A)과 관련되어 미리 설정된 이벤트 발생시 해당 이벤트에 대응되어 상기 아이템(A)을 가상 현실 기반 영상 정보에 따른 가상 현실 기반 영상 상에서 이동시킬 수 있다.
일례로, 상기 영상 처리부(122)는 상기 모션 정보를 기초로 상기 교육 영상에 포함된 하나 이상의 촬영 영상 중 어느 하나가 선택된 경우 상기 교육 영상에 포함되는 가상 현실 기반 영상에서 캐릭터(B)에 대응되는 영역에 표시된 상기 아이템(A)을 상기 교육 영상에 포함된 하나 이상의 촬영 영상 중 상기 모션 정보에 따라 선택된 상기 촬영 영상(촬영 영상 3)으로 상기 교육 영상 내에서 이동시킬 수 있다.
이때, 상기 영상 처리부(122)는 상기 영상 합성부(121)와 연동하여 상기 아이템(A)의 이동에 대한 애니메이션 데이터를 생성하여 상기 가상 현실 기반 영상에 실시간으로 합성(또는 적용하여 표시)하고, 상기 애니메이션 데이터가 합성된 가상 현실 기반 영상에 상기 학생 단말(20)로부터 수신되는 촬영 영상을 실시간으로 합성하여 교육 영상을 실시간으로 생성할 수 있으며, 이를 스트리밍 방식으로 상기 학생 단말(20) 및 교사 단말(10)로 전송할 수 있다.
또 다른 일례로, 상기 영상 처리부(122)는 상기 모션 정보를 기초로 상기 교육 영상에 포함되는 가상 현실 기반 영상에 표시된 캐릭터(B)가 상기 아이템(A)을 상기 교육 영상에 포함된 특정 촬영 영상(촬영 영상 3)의 방향으로 던지는 이벤트가 발생한 경우 상기 이벤트에 대응되어 상기 아이템(A)을 던지는 방향 및 이동 경로를 연산하고, 연산 결과에 따라 상기 모션 정보에 대응되는 촬영 영상(촬영 영상 3)을 선택하여 선택된 촬영 영상(촬영 영상 3)으로 상기 아이템(A)을 이동시킬 수 있다.
이때, 상기 영상 처리부(122)는 상기 영상 합성부(121)와 연동하여 상기 아이템(A)의 이동에 대한 애니메이션(animation)이 포함된 교육 영상을 생성하여 상기 교사 단말(10) 및 학생 단말(20)로 전송할 수 있다.
또한, 상술한 구성에서 상기 영상 합성부(121)는 상기 컨텐츠 DB(101)에 저장된 상기 아이템(A) 관련 아이템 정보를 기초로 상기 아이템(A)을 상기 캐릭터(B)에 대응되는 영역 중 미리 설정된 영역에 표시할 수 있으며, 일례로 상기 캐릭터(B)가 상기 아이템(A)을 던질 수 있도록 상기 아이템(A)을 상기 캐릭터(B)의 손에 해당되는 영역에 표시할 수 있다.
이에 따라, 도 4 및 도 5(a)에 도시된 바와 같이 상기 영상 처리부(122)는 상기 교육 영상에 포함된 가상현실 기반 영상에서 상기 아이템(A)이 이동하여 상기 가상 현실 기반 영상에 합성된 하나 이상의 촬영 영상 중 상기 모션 정보에 따라 선택된 촬영 영상(촬영 영상 3)에 대응되는 영역에 상기 아이템(A)이 도달하는 경우 상기 아이템(A) 관련 아이템 정보를 상기 컨텐츠 DB(101)로부터 추출하고, 상기 선택된 촬영 영상(촬영 영상 3)에 대응되는 영역에서 상기 아이템(A)이 도달한 좌표에 대한 위치정보(또는 좌표 정보)를 생성할 수 있다.
또한, 상기 제 2 제어부(120)는 상기 모션 정보에 대응되어 선택된 촬영 영상(촬영 영상 3)을 전송한 특정 학생 단말(20)을 식별하고, 상기 아이템 정보 및 상기 영상 처리부(122)를 통해 생성된 위치정보를 상기 특정 학생 단말(20)로 전송할 수 있다.
이때, 상기 제 2 제어부(120)는 상기 제 3 통신부(110)를 통해 상기 촬영 영상과 함께 학생 단말(20)의 식별정보를 수신할 수 있으며, 해당 식별정보를 기초로 촬영 영상을 전송하는 학생 단말(20)을 식별할 수 있다.
한편, 상기 특정 학생 단말(20)에 구성된 어플리케이션부(24)는 상기 아이템 정보와 위치정보를 수신하고, 상기 제 2 카메라부(21)를 통해 촬영된 촬영 영상(촬영 영상 3)에서 상기 아이템 정보를 기초로 촬영 대상에 대응되며 아이템 정보의 적용 대상인 객체를 인식할 수 있다.
이때, 상기 아이템 정보는 아이템 정보의 적용 대상인 상기 촬영 대상에 대응되는 객체에 대한 정보와 해당 객체에서 아이템(A)이 적용되는 영역 또는 위치에 대한 적용 위치정보를 포함할 수 있다.
일례로, 도 5(b)에 도시된 바와 같이 상기 어플리케이션부(24)는 상기 촬영 영상(촬영 영상 3)에서 상기 아이템 정보에 따른 아이템 적용 대상 및 촬영 대상에 대응되는 객체인 학생의 얼굴을 인식할 수 있으며, 상기 아이템 정보에 포함된 적용 위치정보를 기초로 상기 얼굴에 해당되는 객체에서 상기 아이템(A)이 적용되는 눈에 해당되는 영역 또는 위치를 인식할 수 있다.
또한, 상기 어플리케이션부(24)는 상기 교육 서버(100)로부터 수신된 위치정보(또는 최초 위치정보)를 기초로 상기 촬영 영상(촬영 영상 3)에서 상기 아이템(A)의 최초 위치를 결정하고, 상기 촬영 영상의 상기 최초 위치에 상기 아이템 정보에 따른 아이템(A)을 표시할 수 있으며, 상기 아이템 정보를 기초로 상기 아이템의 적용 위치를 확인한 후 상기 아이템(A)을 상기 최초 위치에서 상기 아이템(A)의 적용 위치(또는 적용 영역, 착용 위치)인 상기 객체의 눈 영역으로 이동시킬 수 있다.
또한, 도 6에 도시된 바와 같이 상기 어플리케이션부(24)는 촬영 영상에서 촬영 대상에 대응되는 상기 객체의 움직임을 인식하여 상기 객체의 움직임에 따라 상기 아이템(A)의 상태, 크기, 자세, 방향 및 위치 중 적어도 하나를 변경하여 객체의 움직임에 반응하여 상기 아이템(A)이 상호 작용하도록 상기 아이템을 촬영 영상에 표시할 수 있다.
다시 말해, 상기 어플리케이션부(24)는 촬영 영상에서 촬영 대상에 대응되는 객체를 인식하고, 상기 객체의 움직임에 따라 아이템(A)의 상태, 크기, 자세, 방향 및 위치 중 적어도 하나를 변경하여 아이템(A)이 객체를 추종하면서 촬영 영상 내에 표시되도록 하여 아이템(A)이 학생에게 실재 착용된 것처럼 표시할 수 있다.
이때, 상기 아이템(A)은 안경, 마스크, 모자 등과 같은 다양한 아이템이 적용될 수 있다.
일례로, 상기 어플리케이션부(24)는 상기 객체의 움직임에 따라 객체에 해당되는 얼굴의 회전에 따라 촬영 영상 내에서 눈의 위치가 변경되는 경우 해당 변경된 눈의 위치에 맞추어 아이템(A)의 자세 및 위치 중 적어도 하나를 변경할 수 있다.
또 다른 일례로, 상기 교육 서버(100)의 상기 제 2 제어부(120)는 상기 교사 단말(10)로 상기 아이템(A)과 관련된 동적 효과의 적용과 같은 아이템(A)의 제어를 위한 복수의 서로 다른 기능 정보가 포함된 인터페이스 관련 정보를 제공할 수 있으며, 상기 교사 단말(10)의 제 1 제어부(14)는 상기 인터페이스 관련 정보에서 교사에 의해 선택된 기능 정보에 따른 기능 관련 제어정보를 상기 교육 서버(100)로 전송할 수 있다.
이에 따라, 상기 교육 서버(100)의 상기 제 2 제어부(120)는 상기 기능 관련 제어 정보를 상기 학생 단말(20)로 전송하고, 상기 학생 단말(20)의 어플리케이션부(24)는 상기 제어정보를 기초로 촬영 영상에 적용된 아이템(A)의 상태를 변경할 수 있으며, 일례로 상기 아이템(A)을 터뜨리거나 상기 아이템(A)을 흔들거나 상기 아이템(A)을 반짝이도록 하는 등의 애니메이션을 실행할 수 있다.
더하여, 상기 어플리케이션부(24)는 상기 촬영 영상의 밝기 및 색상 중 적어도 하나를 기초로 상기 촬영 영상에 표시된 아이템의 색상을 변경하는 애니메이션을 실행할 수도 있다.
또한, 상기 어플리케이션부(24)는 상기 아이템(A)의 실시간 이동과 상기 객체의 움직임에 따라 상호 작용하는 아이템(A)이 표시된 촬영 영상(촬영 영상 3)을 생성하여 상기 교육 서버(100)로 전송할 수 있다.
이때, 상기 어플리케이션부(24)는 상기 아이템과 관련된 애니메이션의 실행에 따른 상기 촬영 영상(촬영 영상 3)을 생성하여 상기 교육 서버(100)로 전송할 수 있다.
한편, 상기 교육 서버(100)의 제 2 제어부(120)는 상기 영상 합성부(121)를 통해 상기 아이템이 표시된 촬영 영상을 상기 가상 현실 기반 영상 정보에 합성하여 교육 영상을 생성하고, 해당 교육 영상을 상기 교사 단말(10)과 매칭되어 교육에 참여하는 하나 이상의 학생 단말(20) 각각에 전송하여, 상기 아이템이 가상 현실 기반 영상에 표시된 캐릭터(B)의 위치로부터 이동하여 상기 가상 현실 기반 영상에 합성된 특정 학생 단말(20)의 촬영 영상에 적용되는 아이템의 연속적인 이동에 대한 연속적인 애니메이션을 확인할 수 있도록 상기 교육 영상을 제공할 수 있다.
상술한 구성을 통해, 상기 교육 서버(100)의 영상 처리부(122)는 상기 교사의 움직임에 반응하는 캐릭터의 동작을 추적하여, 교사가 아이템을 학생에게 전달하는 동작과 같은 이벤트 발생시 상기 이벤트에 대응되어 상기 교육 영상에 포함된 가상 현실 기반 영상에서 상기 아이템을 이동시키고 상기 이벤트에 대응되는 촬영 영상 관련 영역에 도달시 상기 아이템 정보 및 위치정보를 상기 학생 단말(20)로 전송하는 과정을 통해 상기 아이템에 대한 제어 권한을 상기 학생 단말(20)의 어플리케이션부(24)로 전달하고, 상기 학생 단말(20)의 어플리케이션부(24)는 상기 아이템 정보 및 위치정보를 기초로 상기 제어 권한을 전달받아 상기 아이템을 상기 아이템 정보에 따른 아이템 적용 대상인 객체에 적용함으로써, 실재로 교사가 학생에게 아이템을 전달하는 것과 동일한 체험을 온라인 상에서 구현할 수 있다.
일례로, 상기 교육 서버(100)의 영상 처리부(122)는 상기 아이템이 안경 아이템인 경우 교육 영상 내에서 캐릭터가 안경 아이템을 특정 촬영 영상 쪽으로 던지면 해당 안경 아이템을 촬영 영상 쪽으로 이동시켜 안경 관련 아이템 정보와 최종 도달 위치를 학생 단말(20)에 전송하고, 학생 단말(20)의 어플리케이션부(24)는 상기 안경 아이템에 대응되어 촬영 영상에서 학생의 얼굴에 해당되는 부분을 인식하고, 얼굴에서 안경 아이템이 적용되는 눈 영역에 상기 안경 아이템을 위치시켜 학생에게 가상의 안경 아이템을 착용시킬 수 있다.
또한, 상기 학생 단말(20)의 어플리케이션부(24)는 상기 아이템이 촬영 영상에 표시된 학생의 얼굴로 이동하여 학생의 얼굴 중 눈에 착용되는 애니메이션이 포함된 촬영 영상을 교육 서버(100)로 전송하고, 상기 교육 서버(100)는 상기 애니메이션이 포함된 촬영 영상 및 가상 현실 기반 영상정보를 기초로 상기 교육 영상을 생성한 후 상기 교사 단말(10) 및 교육에 참여하는 복수의 서로 다른 학생 단말로 전송하여 교육에 참여하는 교사 및 다수의 학생들이 해당 아이템 전달 과정을 확인할 수 있도록 제공한다.
이외에도, 상기 교육 서버(100)의 영상 처리부(122)는 비누 방울과 같은 아이템을 상술한 방식으로 상기 학생 단말(20)로 전송할 수 있으며, 상기 학생 단말(20)의 어플리케이션부(24)는 상기 학생 단말(20)에 구성된 터치 디스플레이(touch display)를 통한 상기 터치 입력 수신시 상기 비누 방울 관련 아이템을 터뜨리는 것과 같은 아이템의 상태 변화가 발생하는 애니메이션을 실행하고, 상기 애니메이션 관련 정보가 포함된 촬영 영상을 상기 교육 서버(100)로 전송하여, 상기 교육 서버(100)가 상기 학생 단말(20)로부터 수신된 촬영 영상 및 가상 현실 기반 영상을 기초로 교육 영상을 생성하여 상기 교사 단말(10) 및 다수의 학생 단말(20)로 전송함으로써 교사와 학생 사이의 양방향 가상 체험이 이루어지는 교육 영상을 제공할 수 있다. 이때, 상기 학생 단말(20)의 제 2 표시부(22) 및 제 2 입력부(23)가 상기 터치 디스플레이로 구성될 수 있다.
한편, 상술한 구성에서, 상기 교사 단말(10)의 제 1 제어부(14)는 상기 교육 서버(100)로부터 수신된 상기 인터페이스 관련 정보에 따라 상기 교사 단말(10)에 표시된 인터페이스를 통해 상기 아이템의 회수를 위한 회수 정보를 생성하여 상기 교육 서버(100)로 전송할 수 있으며, 상기 교육 서버(100)의 제 2 제어부(120)는 상기 회수 정보 수신시 상기 회수 정보를 상기 아이템이 전달된 상기 학생 단말(20)로 전송할 수 있다.
이에 따라, 상기 학생 단말(20)의 어플리케이션부(24)는 상기 회수 정보 수신시 상기 객체에 적용된 아이템을 이동시켜 상기 촬영 영상에서 이탈시키며 상기 촬영 영상에서 이탈시 상기 촬영 영상에서 이탈 직전의 최종 위치(최종 좌표)에 대한 최종 위치 정보를 상기 교육 서버(100)로 전송할 수 있다.
이때, 상기 학생 단말(20)의 어플리케이션부(24)는 상기 아이템의 이탈 과정에 대한 애니메이션이 포함된 촬영 영상을 상기 교육 서버(100)로 전송하여 상기 가상 현실 기반 영상에 상기 아이템의 이탈 관련 촬영 영상이 합성되어 교육 영상이 생성되도록 할 수 있다.
또한, 상기 교육 서버(100)의 상기 영상 처리부(122)는 상기 최종 위치 정보 수신시 상기 교육 영상에서 상기 최종 위치 정보를 기초로 상기 교육 영상에 포함된 촬영 영상 내 최종 위치를 식별할 수 있으며, 상기 촬영 영상에서 식별된 상기 최종 위치에 상기 회수 정보에 대응되는 아이템을 표시하고, 교육 영상 내의 상기 최종 위치로부터 상기 교육 영상에 포함된 상기 캐릭터 관련 영역 중 미리 설정된 위치로 상기 회수 정보에 대응되는 아이템을 이동시켜 표시할 수 있으며, 상기 회수 정보를 기초로 상기 촬영 영상으로부터 상기 가상 현실 기반 영상으로 이동하는 아이템 관련 교육 영상을 상기 교사 단말(10) 및 학생 단말(20)에 전송하여 아이템 회수 과정이 교사 단말(10) 및 학생 단말(20)에 표시되도록 할 수 있다.
이를 통해, 상기 교육 서버(100)는 가상 현실에서 증강 현실로 연속적으로 이동하는 아이템의 전달에 대한 교육 영상을 제공할 수 있을 뿐만 아니라 증강 현실에서 가상 현실로 연속적으로 이동되는 아이템의 회수에 대한 교육 영상을 제공할 수 있다.
상술한 구성을 통해, 본 발명은 상기 가상 현실 기반 영상에 적용된 아이템이 교사의 아이템 전달 동작에 따라 상기 가상 현실 기반 영상에 합성된 실재 학생을 촬영한 상기 촬영 영상에 끊김 없이 연속적으로 이동되도록 표시하는 동시에 촬영 영상의 영역으로 이동한 아이템이 실재 학생을 촬영한 촬영 영상에서 증강 현실 기반으로 상기 촬영 영상에 나타난 학생에게 적용되도록 함으로써, 가상 현실 및 증강 현실의 상호 연동을 통해 기존 온라인 교육에서 구현하기 어려운 교구를 이용한 교사와 학생 간 소통을 온라인에서 구현할 수 있도록 지원하는 동시에 온라인을 통해 물리적 교구를 대신하는 아이템을 이용한 체험 교육이 이루어지도록 지원할 수 있으며, 이를 통해 학생의 흥미를 고취시키고 기존 온라인 교육에서 지원하지 못하던 체험 교육을 지원하여 교육 효과를 크게 향상시킬 수 있다.
즉, 본 발명은 아이템의 전달이 가상 현실과 증강 현실 사이에 이어지도록 지원할 수 있으며, 이를 통해 교사와 학생 사이의 온라인상 체험 교육을 지원할 수 있다.
도 7은 본 발명의 실시예에 따른 가상 현실과 증강 현실을 이용한 온라인 학습 방법에 대한 순서도이다.
도시된 바와 같이, 교사 단말(10)은 교사의 음성 정보 및 교사의 움직임에 따른 모션 정보를 생성하여 미리 설정된 상기 교육 서버(100)로 전송할 수 있다(S1).
또한, 학생 단말(20)은 학생을 촬영한 촬영 영상을 상기 교육 서버(100)로 전송할 수 있다(S2).
이후, 상기 교육 서버(100)는 미리 설정된 배경 영상에 상기 교사 단말(10)로부터 수신되는 상기 모션 정보에 따라 동작이 변경되는 캐릭터를 합성하여 생성된 영상과 상기 음성 정보를 기초로 가상 현실 기반 영상을 생성하고, 상기 학생 단말(20)로부터 수신되는 상기 촬영 영상을 상기 가상 현실 기반 영상의 미리 설정된 영역에 합성하여 교육 영상을 생성하고, 상기 교육 영상을 상기 학생 단말(20) 및 교사 단말(10)로 전송할 수 있다(S3).
또한, 상기 교육 서버(100)는 상기 모션 정보를 기초로 미리 설정된 이벤트 발생시(S4) 상기 교육 영상 내에서 표시되는 아이템을 상기 모션 정보에 따라 상기 촬영 영상에 대응되는 영역으로 이동시키고 해당 영역 도달시 위치정보와 아이템 정보를 상기 학생 단말(20)에 전달할 수 있다(S5).
이후, 상기 학생 단말(20)은 상기 교육 서버(100)로부터 상기 아이템 정보와 위치정보를 수신하면 상기 아이템을 상기 촬영 영상에서 촬영 대상의 동작에 맞추어 상호 작용하도록 표시하고, 상기 아이템이 표시된 촬영 영상을 상기 교육 서버(100)로 전송할 수 있다(S6).
이에 따라, 상기 교육 서버(100)는 아이템이 표시된 촬영 영상과 상기 가상 현실 기반 영상을 기초로 상기 아이템이 촬영 영상의 촬영 대상에 표시된 교육 영상을 생성한 후 상기 교사 단말(10) 및 학생 단말(20)로 전송할 수 있다.
본 명세서에 기술된 다양한 장치 및 구성부는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 교사 단말 20: 학생 단말
100: 교육 서버
100: 교육 서버
Claims (10)
- 교사 단말 및 하나 이상의 학생 단말과 통신망을 통해 통신하는 교육 서버를 포함하며 가상 현실과 증강 현실을 이용한 온라인 학습 시스템에 있어서,
교사의 음성 정보 및 교사의 움직임에 따른 모션 정보를 생성하여 전송하는 교사 단말;
학생을 촬영한 촬영 영상을 상기 교육 서버로 전송하고, 상기 교육 서버로부터 교육 영상을 수신하는 학생 단말; 및
미리 설정된 배경 영상에 상기 교사 단말로부터 수신되는 상기 모션 정보에 따라 동작이 변경되는 캐릭터를 합성하여 생성된 영상과 상기 음성 정보를 기초로 가상 현실 기반 영상을 생성하고, 상기 학생 단말로부터 수신되는 상기 촬영 영상을 상기 가상 현실 기반 영상의 미리 설정된 영역에 합성하여 상기 교육 영상을 생성한 후 전송하는 교육 서버를 포함하되,
상기 교육 서버는 상기 교사 단말로부터 아이템 목록 정보에서 선택된 아이템의 사용을 위한 사용 정보 수신시 아이템을 상기 교육 영상에 표시하고, 상기 모션 정보를 기초로 상기 아이템과 관련된 미리 설정된 이벤트 발생시 상기 교육 영상 내에서 표시되는 아이템을 상기 이벤트에 대응되는 상기 촬영 영상의 영역으로 이동시키고 해당 영역 도달시 위치정보와 아이템 정보를 상기 학생 단말에 전달하는 영상 처리부를 포함하고,
상기 학생 단말은 상기 교육 서버로부터 상기 아이템 정보와 위치정보를 수신하면 상기 아이템을 상기 촬영 영상에서 촬영 대상의 동작에 맞추어 상호 작용하도록 표시하는 어플리케이션부를 포함하며,
상기 어플리케이션부는 상기 촬영 영상에서 상기 아이템 정보에 따른 아이템의 적용 대상인 객체를 인식하고, 상기 아이템 정보와 위치정보를 기초로 상기 촬영 영상 내의 상기 위치정보에 따른 최초 위치에 상기 아이템을 표시하고, 상기 아이템이 가상 현실 기반 영상에 표시된 캐릭터의 위치로부터 이동하여 상기 가상 현실 기반 영상에 합성된 촬영 영상에 적용되는 아이템의 연속적인 이동에 대한 연속적인 애니메이션을 확인할 수 있도록 상기 최초 위치로부터 상기 촬영 영상에서 인식된 상기 객체에서 상기 아이템 정보에 따른 상기 아이템의 적용 위치를 식별하여 해당 적용 위치로 상기 아이템을 이동시켜 표시하고, 상기 객체의 움직임과 상호 작용하도록 상기 아이템을 동적으로 변경시키며, 상기 아이템이 표시된 촬영 영상을 상기 교육 서버로 전송하는 것을 특징으로 하는 가상 현실과 증강 현실을 이용한 온라인 학습 시스템.
- 삭제
- 삭제
- 청구항 1에 있어서,
상기 아이템 정보는 상기 아이템의 적용 대상인 객체 정보 및 상기 객체에서 상기 아이템이 적용되는 영역 또는 위치에 대한 적용 위치정보를 포함하는 것을 특징으로 하는 가상 현실과 증강 현실을 이용한 온라인 학습 시스템.
- 청구항 1에 있어서,
상기 어플리케이션부는 상기 촬영 영상에서 상기 객체의 움직임에 따라 상기 아이템의 상태, 크기, 방향, 자세 및 위치 중 적어도 하나를 변경하는 것을 특징으로 하는 가상 현실과 증강 현실을 이용한 온라인 학습 시스템.
- 청구항 1에 있어서,
상기 교육 서버는 복수의 서로 다른 학생 단말과 통신시 상기 복수의 학생 단말 각각으로부터 수신된 복수의 촬영 영상 각각을 상기 교육 영상 내에서 미리 설정된 서로 다른 복수의 영역 중 어느 하나에 표시하는 것을 특징으로 하는 가상 현실과 증강 현실을 이용한 온라인 학습 시스템.
- 청구항 1에 있어서,
상기 교육 서버는 상기 교사 단말로부터 상기 아이템의 회수를 위한 회수 정보 수신시 상기 회수 정보를 상기 학생 단말로 전송하고,
상기 어플리케이션부는 상기 회수 정보 수신시 상기 객체에 적용된 아이템을 이동시켜 상기 촬영 영상에서 이탈시키며 상기 촬영 영상에서 이탈시 상기 촬영 영상에서 이탈 직전의 최종 위치에 대한 최종 위치 정보를 상기 교육 서버로 전송하고,
상기 영상 처리부는 상기 최종 위치 정보 수신시 상기 교육 영상에 포함된 상기 최종 위치 정보에 따른 촬영 영상 내 최종 위치로부터 상기 교육 영상의 상기 캐릭터 관련 영역 중 미리 설정된 위치로 상기 회수 정보에 대응되는 아이템을 표시하여 이동시키는 것을 특징으로 하는 가상 현실과 증강 현실을 이용한 온라인 학습 시스템.
- 청구항 1에 있어서,
상기 영상 처리부는 상기 이벤트에 따른 상기 아이템의 이동 방향 및 경로를 연산하여 연산 결과에 따라 상기 교육 영상에 포함된 캐릭터로부터 상기 아이템을 상기 이벤트에 대응되는 촬영 영상의 영역으로 이동시키는 것을 특징으로 하는 가상 현실과 증강 현실을 이용한 온라인 학습 시스템.
- 청구항 1에 있어서,
상기 어플리케이션부는 상기 촬영 영상의 색상 및 밝기 중 적어도 하나에 따라 상기 아이템의 상태를 변경하는 것을 특징으로 하는 가상 현실과 증강 현실을 이용한 온라인 학습 시스템.
- 교사 단말이 교사의 음성 정보 및 교사의 움직임에 따른 모션 정보를 생성하여 미리 설정된 교육 서버로 전송하는 단계;
학생 단말이 학생을 촬영한 촬영 영상을 상기 교육 서버로 전송하는 단계;
상기 교육 서버가 미리 설정된 배경 영상에 상기 교사 단말로부터 수신되는 상기 모션 정보에 따라 동작이 변경되는 캐릭터를 합성하여 생성된 영상과 상기 음성 정보를 기초로 가상 현실 기반 영상을 생성하고, 상기 학생 단말로부터 수신되는 상기 촬영 영상을 상기 가상 현실 기반 영상의 미리 설정된 영역에 합성하여 교육 영상을 생성하여 상기 학생 단말 및 교사 단말로 전송하는 단계;
상기 교육 서버가 상기 모션 정보를 기초로 미리 설정된 이벤트 발생시 상기 교육 영상 내에서 표시되는 아이템을 상기 모션 정보에 따라 상기 촬영 영상에 대응되는 영역으로 이동시키고 해당 영역 도달시 위치정보와 아이템 정보를 상기 학생 단말에 전달하는 단계; 및
상기 학생 단말이 상기 교육 서버로부터 상기 아이템 정보와 위치정보를 수신하면 상기 아이템을 상기 촬영 영상에서 촬영 대상의 동작에 맞추어 상호 작용하도록 표시하고, 상기 아이템이 표시된 촬영 영상을 상기 교육 서버로 전송하는 단계를 포함하며,
상기 위치정보와 아이템 정보를 상기 학생 단말에 전달하는 단계는,
상기 교육 서버가 상기 교사 단말로부터 아이템 목록 정보에서 선택된 아이템의 사용을 위한 사용 정보 수신시 아이템을 상기 교육 영상에 표시하는 과정; 및
상기 교육 서버가 상기 이벤트 발생시 상기 교육 영상 내에서 표시되는 아이템을 상기 이벤트에 대응되는 상기 촬영 영상의 영역으로 이동시키고 해당 영역 도달시 위치정보와 아이템 정보를 상기 학생 단말에 전달하는 과정을 포함하며,
상기 아이템이 표시된 촬영 영상을 상기 교육 서버로 전송하는 단계는,
상기 학생 단말이 상기 촬영 영상에서 상기 아이템 정보에 따른 아이템의 적용 대상인 객체를 인식하는 과정;
상기 학생 단말이 상기 아이템 정보와 위치정보를 기초로 상기 촬영 영상 내의 상기 위치정보에 따른 최초 위치에 상기 아이템을 표시하는 과정;
상기 학생 단말이 상기 아이템이 가상 현실 기반 영상에 표시된 캐릭터의 위치로부터 이동하여 상기 가상 현실 기반 영상에 합성된 촬영 영상에 적용되는 아이템의 연속적인 이동에 대한 연속적인 애니메이션을 확인할 수 있도록 상기 최초 위치로부터 상기 촬영 영상에서 인식된 상기 객체에서 상기 아이템 정보에 따른 상기 아이템의 적용 위치를 식별하여 해당 적용 위치로 상기 아이템을 이동시켜 표시하는 과정;
상기 학생 단말이 상기 객체의 움직임과 상호 작용하도록 상기 아이템을 동적으로 변경시키는 과정; 및
상기 학생 단말이 상기 아이템이 표시된 촬영 영상을 상기 교육 서버로 전송하는 과정을 포함하는 것을 특징으로 하는 가상 현실과 증강 현실을 이용한 온라인 학습 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170027266A KR101788248B1 (ko) | 2017-03-02 | 2017-03-02 | 가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법 |
| CN201810175640.4A CN108538112A (zh) | 2017-03-02 | 2018-03-02 | 利用虚拟现实和增强现实的在线学习***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170027266A KR101788248B1 (ko) | 2017-03-02 | 2017-03-02 | 가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101788248B1 true KR101788248B1 (ko) | 2017-10-20 |
Family
ID=60299065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170027266A KR101788248B1 (ko) | 2017-03-02 | 2017-03-02 | 가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101788248B1 (ko) |
| CN (1) | CN108538112A (ko) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109147437A (zh) * | 2018-10-31 | 2019-01-04 | 武汉中威创治信息科技有限公司 | 一种基于沉浸式虚拟现实技术的仿真教学*** |
| KR101960815B1 (ko) | 2017-11-28 | 2019-03-21 | 유엔젤주식회사 | 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법 |
| CN109509380A (zh) * | 2019-01-08 | 2019-03-22 | 中国矿业大学(北京) | 一种消防工程专业第二课堂实践教学模式 |
| CN109671317A (zh) * | 2019-01-30 | 2019-04-23 | 重庆康普达科技有限公司 | 基于ar的脸谱互动教学方法 |
| KR20200050281A (ko) | 2018-11-01 | 2020-05-11 | 유엔젤주식회사 | 인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법 |
| KR102112959B1 (ko) | 2019-09-09 | 2020-05-19 | 장원석 | 증강 현실과 가상 현실을 이용한 시험지 처리 시스템 및 그 처리 방법 |
| KR20200061700A (ko) * | 2018-11-26 | 2020-06-03 | 주식회사 드림한스 | 다중 콘텐츠 표현이 가능한 다중 가상현실 콘텐츠 제공 시스템 |
| CN112037098A (zh) * | 2020-09-21 | 2020-12-04 | 重庆虚拟实境科技有限公司 | 虚拟现实教育的学生状态分析方法、装置、终端及介质 |
| KR102212035B1 (ko) * | 2020-05-27 | 2021-02-04 | (주)프렌즈몬 | 제스처 인식 기반 원격 교육서비스 시스템 및 방법 |
| JP2021053181A (ja) * | 2019-09-30 | 2021-04-08 | 株式会社コロプラ | プログラム、方法、および視聴端末 |
| KR20210070645A (ko) | 2019-12-05 | 2021-06-15 | 순천향대학교 산학협력단 | 음성을 기반으로 기기의 제어가 가능한 대화시스템 및 제어 방법 |
| KR102293234B1 (ko) | 2020-09-24 | 2021-08-25 | 월드버텍 주식회사 | 인공지능 기술을 활용한 화상교육 시스템 및 학습 지원 방법 |
| KR20220046082A (ko) * | 2020-10-07 | 2022-04-14 | 동서대학교 산학협력단 | 온-오프라인 공간 복합연동형 인공지능 기반 온택트 교육플랫폼 시스템 |
| KR20220062849A (ko) | 2020-11-09 | 2022-05-17 | 유엔젤주식회사 | 가상 현실 기반 학습 서비스 방법 및 시스템 |
| KR20230015670A (ko) * | 2021-07-23 | 2023-01-31 | (주)유밥 | 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버 및 그 방법 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109767653A (zh) * | 2019-03-25 | 2019-05-17 | 广州亮鱼科技有限公司 | 一种具有虚拟现实与增强现实的unity教学实训***及方法 |
| CN110379232B (zh) * | 2019-07-30 | 2021-05-14 | 大连澜创科技有限公司 | 基于增强现实和人工智能的多人互动教学的展示方法 |
| US11424037B2 (en) | 2019-11-22 | 2022-08-23 | International Business Machines Corporation | Disease simulation in medical images |
| JP6739611B1 (ja) * | 2019-11-28 | 2020-08-12 | 株式会社ドワンゴ | 授業システム、視聴端末、情報処理方法及びプログラム |
| CN111158541B (zh) * | 2019-12-13 | 2021-11-16 | 北京城市网邻信息技术有限公司 | 空间展示方法、装置、电子设备和介质 |
| JP6754908B1 (ja) * | 2020-02-07 | 2020-09-16 | 株式会社ドワンゴ | 視聴端末、視聴方法、視聴システム及びプログラム |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101381594B1 (ko) * | 2008-12-22 | 2014-04-10 | 한국전자통신연구원 | 가상현실을 이용한 교육 장치 및 방법 |
| WO2012026681A2 (ko) * | 2010-08-24 | 2012-03-01 | Yun Sang Bum | 네트워크를 이용한 가상현실 무도 시스템 및 그 제어 방법 |
| KR20120113058A (ko) * | 2011-04-04 | 2012-10-12 | 한국전자통신연구원 | 현실-가상 융합 공간 기반의 교육 장치 및 방법 |
| US10139925B2 (en) * | 2013-03-04 | 2018-11-27 | Microsoft Technology Licensing, Llc | Causing specific location of an object provided to a device |
| CN103606310B (zh) * | 2013-10-29 | 2016-01-13 | 中兴通讯股份有限公司 | 教学方法及*** |
| CN104575142B (zh) * | 2015-01-29 | 2018-01-02 | 上海开放大学 | 体验式数字化多屏无缝跨媒体互动开放教学实验室 |
| KR20160139633A (ko) * | 2015-05-28 | 2016-12-07 | 주식회사 플렉싱크 | 증강현실을 이용한 체험형 콘텐츠 제공 시스템 및 방법 |
| US9928561B2 (en) * | 2015-05-29 | 2018-03-27 | Digimarc Corporation | Serialized digital watermarking for variable data printing |
| CN106023692A (zh) * | 2016-05-13 | 2016-10-12 | 广东博士早教科技有限公司 | 一种基于娱乐交互的ar趣味学习***及方法 |
| CN106205245A (zh) * | 2016-07-15 | 2016-12-07 | 深圳市豆娱科技有限公司 | 沉浸式在线教学***、方法和装置 |
| CN106128229A (zh) * | 2016-08-26 | 2016-11-16 | 郑州捷安高科股份有限公司 | 一种基于摄像头的增强现实的焊接培训终端设备 |
-
2017
- 2017-03-02 KR KR1020170027266A patent/KR101788248B1/ko active IP Right Grant
-
2018
- 2018-03-02 CN CN201810175640.4A patent/CN108538112A/zh active Pending
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101960815B1 (ko) | 2017-11-28 | 2019-03-21 | 유엔젤주식회사 | 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법 |
| CN109147437A (zh) * | 2018-10-31 | 2019-01-04 | 武汉中威创治信息科技有限公司 | 一种基于沉浸式虚拟现实技术的仿真教学*** |
| KR20200050281A (ko) | 2018-11-01 | 2020-05-11 | 유엔젤주식회사 | 인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법 |
| KR102114207B1 (ko) * | 2018-11-01 | 2020-05-22 | 유엔젤주식회사 | 인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법 |
| KR20200061700A (ko) * | 2018-11-26 | 2020-06-03 | 주식회사 드림한스 | 다중 콘텐츠 표현이 가능한 다중 가상현실 콘텐츠 제공 시스템 |
| KR102256607B1 (ko) * | 2018-11-26 | 2021-05-26 | 주식회사 드림한스 | 다중 콘텐츠 표현이 가능한 다중 가상현실 콘텐츠 제공 시스템 |
| CN109509380A (zh) * | 2019-01-08 | 2019-03-22 | 中国矿业大学(北京) | 一种消防工程专业第二课堂实践教学模式 |
| CN109671317A (zh) * | 2019-01-30 | 2019-04-23 | 重庆康普达科技有限公司 | 基于ar的脸谱互动教学方法 |
| CN109671317B (zh) * | 2019-01-30 | 2021-05-25 | 重庆康普达科技有限公司 | 基于ar的脸谱互动教学方法 |
| KR102112959B1 (ko) | 2019-09-09 | 2020-05-19 | 장원석 | 증강 현실과 가상 현실을 이용한 시험지 처리 시스템 및 그 처리 방법 |
| JP2021053181A (ja) * | 2019-09-30 | 2021-04-08 | 株式会社コロプラ | プログラム、方法、および視聴端末 |
| KR20210070645A (ko) | 2019-12-05 | 2021-06-15 | 순천향대학교 산학협력단 | 음성을 기반으로 기기의 제어가 가능한 대화시스템 및 제어 방법 |
| KR102212035B1 (ko) * | 2020-05-27 | 2021-02-04 | (주)프렌즈몬 | 제스처 인식 기반 원격 교육서비스 시스템 및 방법 |
| CN112037098A (zh) * | 2020-09-21 | 2020-12-04 | 重庆虚拟实境科技有限公司 | 虚拟现实教育的学生状态分析方法、装置、终端及介质 |
| CN112037098B (zh) * | 2020-09-21 | 2024-03-15 | 重庆虚拟实境科技有限公司 | 虚拟现实教育的学生状态分析方法、装置、终端及介质 |
| KR102293234B1 (ko) | 2020-09-24 | 2021-08-25 | 월드버텍 주식회사 | 인공지능 기술을 활용한 화상교육 시스템 및 학습 지원 방법 |
| KR20220046082A (ko) * | 2020-10-07 | 2022-04-14 | 동서대학교 산학협력단 | 온-오프라인 공간 복합연동형 인공지능 기반 온택트 교육플랫폼 시스템 |
| KR102672930B1 (ko) * | 2020-10-07 | 2024-06-05 | 동서대학교 산학협력단 | 온-오프라인 공간 복합연동형 인공지능 기반 온택트 실감형 건축공학 구조역학 3d/4d 교육플랫폼 시스템 |
| KR20220062849A (ko) | 2020-11-09 | 2022-05-17 | 유엔젤주식회사 | 가상 현실 기반 학습 서비스 방법 및 시스템 |
| KR20230015670A (ko) * | 2021-07-23 | 2023-01-31 | (주)유밥 | 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버 및 그 방법 |
| KR102507260B1 (ko) * | 2021-07-23 | 2023-03-08 | (주)유밥 | 메타버스 가상공간의 강사 아바타 생성을 위한 서비스 서버 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108538112A (zh) | 2018-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101788248B1 (ko) | 가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법 | |
| Orlosky et al. | Virtual and augmented reality on the 5G highway | |
| CN106875764B (zh) | 基于网络的虚拟现实外语学习***及控制方法 | |
| KR101381594B1 (ko) | 가상현실을 이용한 교육 장치 및 방법 | |
| US20180324229A1 (en) | Systems and methods for providing expert assistance from a remote expert to a user operating an augmented reality device | |
| Vera et al. | Augmented mirror: interactive augmented reality system based on kinect | |
| CA2892958C (en) | Virtual and augmented reality instruction system | |
| KR20030039019A (ko) | 문장 텍스트를 스피치로 실시간 변환하면서 3디 스캔한실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여립싱크 및 감정표현을 구현하는 컴퓨터 프로그램이 저장된기록매체와, 이를 이용한 온라인 게임, 이메일, 채팅,방송 및 외국어 학습방법 | |
| KR20130098770A (ko) | 입체감 확장형 가상 스포츠 체험 시스템 | |
| JP6683864B1 (ja) | コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム | |
| KR102358997B1 (ko) | 다자간 확장현실 체험을 위한 서비스 플랫폼 | |
| US20190005831A1 (en) | Virtual Reality Education Platform | |
| Aurelia et al. | A survey on mobile augmented reality based interactive storytelling | |
| Ogawa et al. | Physical instructional support system using virtual avatars | |
| JP2021087128A (ja) | 授業システム、視聴端末、情報処理方法およびプログラム | |
| KR102212035B1 (ko) | 제스처 인식 기반 원격 교육서비스 시스템 및 방법 | |
| US20230043422A1 (en) | Viewing terminal, viewing method, viewing system, and program | |
| JP6892478B2 (ja) | コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム | |
| JP2021009351A (ja) | コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム | |
| Onishi et al. | Spatial continuity and robot-embodied pointing behavior in videoconferencing | |
| KR20110107707A (ko) | 증강현실을 이용한 온라인 학습 장치 및 그 방법 | |
| Aurelia et al. | A survey on mobile augmented reality based interactive, collaborative and location based storytelling | |
| Ly et al. | 360TourGuiding: Towards virtual reality training for tour guiding | |
| US20240096227A1 (en) | Content provision system, content provision method, and content provision program | |
| JP7011746B1 (ja) | コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |