KR20220146366A - Non-face-to-face real-time education method that uses 360-degree images and HMD, and is conducted within the metaverse space - Google Patents

Non-face-to-face real-time education method that uses 360-degree images and HMD, and is conducted within the metaverse space Download PDF

Info

Publication number
KR20220146366A
KR20220146366A KR1020220114605A KR20220114605A KR20220146366A KR 20220146366 A KR20220146366 A KR 20220146366A KR 1020220114605 A KR1020220114605 A KR 1020220114605A KR 20220114605 A KR20220114605 A KR 20220114605A KR 20220146366 A KR20220146366 A KR 20220146366A
Authority
KR
South Korea
Prior art keywords
metaverse space
processor
metaverse
space
educational content
Prior art date
Application number
KR1020220114605A
Other languages
Korean (ko)
Other versions
KR102585311B1 (en
Inventor
손남용
Original Assignee
(주)에듀슨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에듀슨 filed Critical (주)에듀슨
Priority to KR1020220114605A priority Critical patent/KR102585311B1/en
Publication of KR20220146366A publication Critical patent/KR20220146366A/en
Application granted granted Critical
Publication of KR102585311B1 publication Critical patent/KR102585311B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)

Abstract

The present invention includes: an image providing device including a 360-degree camera, acquiring an image of a space associated with educational content through the 360-degree camera, and providing image data which is a background of implementing a metaverse space; a database providing data on a plurality of objects related to the educational content; an educational content providing device which acquires real-time video and audio of an instructor through a camera and a microphone while the metaverse space is displayed through a display; a user device implemented as an electronic device wearable by a user; and a metaverse space implementation device which implements the metaverse space for education based on signals, information, or data received from the image providing device, the database, the educational content providing device, and the user device.

Description

360도 영상과 HMD를 활용하고, 메타버스 공간 내에서 진행되는 비대면 실시간 교육 방법{Non-face-to-face real-time education method that uses 360-degree images and HMD, and is conducted within the metaverse space}Non-face-to-face real-time education method that uses 360-degree images and HMD, and is conducted within the metaverse space }

본 발명은 360도 영상과 HMD를 활용하고, 메타버스 공간 내에서 진행되는 비대면 실시간 교육 방법에 관한 것이다.The present invention relates to a non-face-to-face real-time education method that utilizes a 360-degree image and an HMD and is conducted in a metaverse space.

코로나 19등의 전염병의 유행에 따라 비대면, 비접촉식 교육에 대한 수요가 커지고 있다. 이러한 수요를 충족시키는 방법으로 공교육 영역 및 사교육 영역에서 온라인 교육이 활용되고 있다. 이러한 온라인 교육은, 기 생성되어 제공되는 교육 컨텐츠를 수강생이 자신의 단말기를 활용하여 재생함으로써 이루어지거나 강사와 수강생이 동시에 접속된 상태로 영상을 통해 강의를 진행하는 식으로 이루어진다.Demand for non-face-to-face and non-contact education is increasing with the epidemic of infectious diseases such as Corona 19. Online education is being used in public and private education as a way to meet this demand. Such online education is performed by a student playing the previously created and provided educational content using his/her own terminal, or a lecture is conducted through a video while a lecturer and a student are connected at the same time.

그러나, 유아, 어린이와 같이, 집중력이 상대적으로 낮은 수강생의 경우, 종래 기술에 따른 온라인 교육은 집중력의 부재로 오프 라인 교육에 비해 효율이 떨어질 수밖에 없다. 온라인 환경은 상호간의 교감이 이루어지기 힘들기 때문에, 집중력이 상대적으로 낮은 수강생의 관심을 유도하기 위한 교육 시스템 개발이 필요하다.However, in the case of students with relatively low concentration, such as infants and children, the online education according to the prior art is inevitably less efficient than the offline education due to the lack of concentration. Since it is difficult to communicate with each other in the online environment, it is necessary to develop an education system to induce the interest of students with relatively low concentration.

한편, 증강 현실 기술과 가상 현실 기술도 점점 발전하고 있다. 비대면, 비접촉식 교육의 방법으로, 증강 현실 기술과 가상 현실 기술의 도입에 대한 연구가 활성화되고 있다. 그러나, 증강 현실 기술과 가상 현실 기술의 도입만으로 강사와 수강생간 교감을 형성하여, 교육의 집중도를 높이기에는 한계가 있었다.On the other hand, augmented reality technology and virtual reality technology are also gradually developing. As a method of non-face-to-face, contactless education, research on the introduction of augmented reality technology and virtual reality technology is active. However, there is a limit to increase the concentration of education by forming a rapport between the instructor and the students only by introducing the augmented reality technology and the virtual reality technology.

공개 특허 10-2003-0017850Published Patent 10-2003-0017850

본 발명은 상기한 문제점을 해결하기 위하여, 강사와 수강생들간 높은 교감을 형성하여, 교육의 집중도를 높이는 메타버스 공간 내에서 진행되는 비대면 교육 방법을 제공하는데 목적이 있다.An object of the present invention is to provide a non-face-to-face education method conducted in a metaverse space that increases the concentration of education by forming a high sympathy between instructors and students in order to solve the above problems.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 비대면 교육 방법은 메타버스 공간 내에서 진행된다.In order to achieve the above object, the non-face-to-face education method according to an embodiment of the present invention is conducted in a metaverse space.

본 발명의 실시예에 따른 비대면 교육 방법은, 프로세서가, 획득된 영상에 기초하여 교육용 메타버스 공간을 생성하는 단계; 프로세서가, 상기 메타버스 공간 내에 스크린을 제공하는 단계; 프로세서가, 상기 메타버스 공간 내에 오브젝트를 제공하는 단계; 프로세서가, 상기 메타버스 공간 내에 사용자와 매칭되는 아바타를 제공하는 단계; 및 프로세서가, 상기 스크린을 통해, 상기 오브젝트와 연관된 교육 컨텐츠를 제공하는 단계;를 포함한다.A non-face-to-face education method according to an embodiment of the present invention includes: generating, by a processor, a metaverse space for education based on an acquired image; providing, by a processor, a screen in the metaverse space; providing, by a processor, an object in the metaverse space; providing, by the processor, an avatar matching the user in the metaverse space; and providing, by the processor, educational content related to the object through the screen.

본 발명의 실시예에 따른 비대면 교육 방법은, 프로세서가, 제1 사용자 입력 수신에 기초하여, 상기 메타버스 공간 내에 버추얼 컨트롤러를 표시하는 단계; 및 프로세서가, 상기 버추얼 콘트롤러의 조작 신호가 수신되는 경우, 상기 조작 신호에 대응되는 동작을 수행하는 단계;를 더 포함한다.A non-face-to-face education method according to an embodiment of the present invention includes: displaying, by a processor, a virtual controller in the metaverse space based on a first user input reception; and performing, by the processor, an operation corresponding to the manipulation signal when the manipulation signal of the virtual controller is received.

본 발명의 실시예에 따른 비대면 교육 방법은, 프로세서가, 제2 사용자 입력 수신에 기초하여, 상기 메타버스 공간 내에서 상기 버추얼 컨트롤러를 숨기는 단계;를 더 포함한다.The non-face-to-face education method according to an embodiment of the present invention further includes, by the processor, hiding the virtual controller in the metaverse space based on the reception of a second user input.

상기 오브젝트를 제공하는 단계는, 프로세서가, 상기 교육 컨텐츠 정보를 획득하는 단계; 프로세서가, 상기 교육 콘텐츠 정보에 기초하여, 단어를 추출하는 단계; 프로세서가, 상기 단어와 관련도가 높은 오브젝트를 데이터 베이스에서 검색하는 단계; 및 프로세서가, 상기 메타버스 공간 내에, 검색된 오브젝트를 제공하는 단계;를 포함한다.The providing of the object may include, by a processor, obtaining the educational content information; extracting, by the processor, a word based on the educational content information; searching, by the processor, an object having a high degree of relevance to the word in a database; and providing, by the processor, the found object in the metaverse space.

상기 아바타를 제공하는 단계는, 프로세서가, 사용자 디바이스의 턴온에 따라 생성된 제1 신호를 수신하는 단계; 프로세서가, 상기 제1 신호에 기초하여, 상기 아바타를 생성하는 단계; 프로세서가, 상기 사용자 디바이스로부터 사용자의 동작에 따라 생성되는 제2 신호를 수신하는 단계; 및 프로세서가, 상기 제2 신호에 기초하여, 상기 메타버스 공간 내에서 상기 아바타의 움직임을 제어하는 단계;를 포함한다.The providing of the avatar may include: receiving, by a processor, a first signal generated according to a turn-on of the user device; generating, by a processor, the avatar based on the first signal; receiving, by the processor, a second signal generated according to a user's operation from the user device; and controlling, by the processor, movement of the avatar in the metaverse space based on the second signal.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.The details of other embodiments are included in the detailed description and drawings.

*본 발명에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.* According to the present invention, there are one or more of the following effects.

첫째, 메타버스 공간을 이용하여, 유아, 어린이 등의 수강생이 비대면 영어 학습을 함에 있어서 몰입도가 향상되는 효과가 있다.First, by using the metaverse space, students such as infants and children have an effect of improving immersion in non-face-to-face English learning.

둘째, 메타버스 공간을 이용함으로써, 강사와 수강생들간 교감이 이루어져, 교육 효율성이 높아지는 효과가 있다.Second, by using the metaverse space, sympathy between instructors and students is made, which has the effect of increasing educational efficiency.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the claims.

도 1은 본 발명의 실시예에 따른 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 메타 버스 공간 구현 장치의 제어 블럭도이다.
도 3은 본 발명의 실시예에 따른 사용자 디바이스의 제어 블럭도이다.
도 4 내지 도 7는 본 발명의 실시예에 따른 방법을 설명하는데 참조되는 플로우 차트이다.
도 8 내지 도 9는 본 발명의 실시예에 따른 메타 버스 공간을 설명하는데 참조되는 도면이다.1 is a block diagram of a system according to an embodiment of the present invention.
2 is a control block diagram of an apparatus for implementing a meta-bus space according to an embodiment of the present invention.
3 is a control block diagram of a user device according to an embodiment of the present invention.
4 to 7 are flowcharts referenced for explaining a method according to an embodiment of the present invention.
8 to 9 are diagrams referenced to explain a meta-bus space according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, the embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but the same or similar components are assigned the same reference numerals regardless of reference numerals, and redundant description thereof will be omitted. The suffixes "module" and "part" for components used in the following description are given or mixed in consideration of only the ease of writing the specification, and do not have distinct meanings or roles by themselves. In addition, in describing the embodiments disclosed in the present specification, if it is determined that detailed descriptions of related known technologies may obscure the gist of the embodiments disclosed in this specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in this specification, and the technical idea disclosed herein is not limited by the accompanying drawings, and all changes included in the spirit and scope of the present invention , should be understood to include equivalents or substitutes.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers such as first, second, etc. may be used to describe various elements, but the elements are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being “connected” or “connected” to another component, it may be directly connected or connected to the other component, but it is understood that other components may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The singular expression includes the plural expression unless the context clearly dictates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present application, terms such as “comprises” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It is to be understood that this does not preclude the possibility of the presence or addition of numbers, steps, operations, components, parts, or combinations thereof.

도 1은 본 발명의 실시예에 따른 시스템의 구성도이다.1 is a block diagram of a system according to an embodiment of the present invention.

도면을 참조하면, 교육 시스템(1)은, 교육용 메타버스 공간을 생성하고, 메타버스 공간 내에서 교육을 수행할 수 있다. 교육 시스템(1)은, 비대면 영어 교육에 이용될 수 있다. 교육 시스템(1)은, 영어 외 다른 과목 교육에도 이용될 수 있다.Referring to the drawings, the education system 1 may create a metaverse space for education and perform education in the metaverse space. The education system 1 may be used for non-face-to-face English education. The education system 1 may also be used for teaching subjects other than English.

교육 시스템(1)은, 유치원, 초등학교, 중학교, 고등학교에서 교육 컨텐츠를 학생에게 제공하는 공교육 영역에서 활용될 수 있다. 또한, 교육 시스템(1)은, 학원, 온라인 교육 플랫폼 등 사교육 영역에서 활용될 수 있다.The education system 1 may be utilized in the public education area that provides educational contents to students in kindergartens, elementary schools, middle schools, and high schools. In addition, the education system 1 may be utilized in private education fields such as private institutes and online education platforms.

유아, 어린이와 같이, 상대적으로 집중력이 떨어지는 수강생이 교육 시스템(1)을 활용하여 영어 교육 컨텐츠를 제공하는 대상일 수 있다.A learner with relatively low concentration, such as infants or children, may be a target for providing English education content by using the education system 1 .

메타버스 공간에서 교육을 수행하는 경우, 강사가 필요한데, 여기서 강사는 원어민 강사인 것이 바람직하다. 실시예에 따라, 강사는 내국인 강사일 수도 있다.In the case of conducting education in the metaverse space, an instructor is required, and it is preferable that the instructor is a native speaker. According to an embodiment, the instructor may be a Korean instructor.

교육 시스템(1)은, 영상 제공 장치(20), 데이터 베이스(30), 교육 컨텐츠 제공 장치(40), 메타버스 공간 구현 장치(100) 및 사용자 디바이스(300)를 포함할 수 있다.The education system 1 may include an image providing apparatus 20 , a database 30 , an educational content providing apparatus 40 , a metaverse space realization apparatus 100 , and a user device 300 .

*영상 제공 장치(20), 데이터 베이스(30), 교육 컨텐츠 제공 장치(40), 메타버스 공간 구현 장치(100) 및 사용자 디바이스(300) 각각은 유선 또는 무선 네트워크를 통해 통신할 수 있다. 유선 또는 무선 네트워크는, 제3자에 의해 제공되는 인프라가 활용될 수 있다.* Each of the image providing apparatus 20 , the database 30 , the educational content providing apparatus 40 , the metaverse space realization apparatus 100 , and the user device 300 may communicate through a wired or wireless network. For the wired or wireless network, an infrastructure provided by a third party may be utilized.

한편, 교육 시스템(1)을 통해 수행되는 교육은, 영어 교육임을 예시하여 설명하지만, 교육 시스템(1)은 이에 한정되지 않고, 음악, 역사, 과학, 수학, 국어, 사회 등 다양한 과목의 교육에도 이용될 수 있다.On the other hand, although the education performed through the education system 1 is described as an example of English education, the education system 1 is not limited thereto, and it is also used in education of various subjects such as music, history, science, mathematics, Korean, and social studies. can be used

영상 제공 장치(20)는, 메타버스 공간 구현의 배경이 되는 영상을 제공할 수 있다. 영상 제공 장치(20)는, 360도 카메라를 포함할 수 있다. 영상 제공 장치(20)는, 360도 카메라를 통해 획득한 영상을 제공할 수 있다.The image providing apparatus 20 may provide an image serving as a background for implementing the metaverse space. The image providing apparatus 20 may include a 360 degree camera. The image providing apparatus 20 may provide an image acquired through a 360 degree camera.

영상 제공 장치(20)는, 360도 카메라를 통해, 교육 컨텐츠와 연관된 공간의 영상을 획득할 수 있다.The image providing apparatus 20 may acquire an image of a space associated with educational content through a 360-degree camera.

영상 제공 장치(20)는, 영상을 메타버스 공간 구현 장치(100)에 제공할 수 있다.The image providing apparatus 20 may provide the image to the metaverse space realizing apparatus 100 .

데이터 베이스(30)는, 복수의 오브젝트에 대한 데이터를 저장할 수 있다. 데이터 베이스(30)는, 오브젝트를 그래픽으로 구현하기 위한 데이터를 저장할 수 있다. 데이터 베이스(30)는, 교육 컨텐츠와 관련된 다양한 오브젝트에 대한 데이터를 저장할 수 있다.The database 30 may store data for a plurality of objects. The database 30 may store data for graphically realizing an object. The database 30 may store data on various objects related to educational content.

데이터 베이스(30)는, 메타버스 공간 구현 장치(100)로부터 수신된 신호에 기초하여 오브젝트 데이터를 메타버스 공간 구현 장치(100)에 제공할 수 있다. The database 30 may provide object data to the metaverse space implementation apparatus 100 based on a signal received from the metaverse space implementation apparatus 100 .

교육 컨텐츠 제공 장치(40)는, 교육 컨텐츠를 메타버스 공간 구현 장치(100)에 제공할 수 있다.The educational content providing apparatus 40 may provide educational content to the metaverse space realizing apparatus 100 .

교육 컨텐츠는 실시간 영상 및 음성일 수 있다. The educational content may be real-time video and audio.

교육 컨텐츠 제공 장치(40)는, 카메라, 마이크, 디스플레이를 포함할 수 있다. 강사는, 메타버스 공간을 디스플레이를 확인하고, 실시간 교육을 진행할 수 있다. 교육 컨텐츠 제공 장치(40)는, 디스플레이를 통해 메타버스 공간이 표시된 상태에서, 카메라 및 마이크를 통해, 강사의 실시간 영상 및 음성을 획득할 수 있다. The educational content providing apparatus 40 may include a camera, a microphone, and a display. The instructor can check the display of the metaverse space and conduct real-time training. The educational content providing apparatus 40 may acquire a real-time image and voice of the instructor through a camera and a microphone while the metaverse space is displayed on the display.

메타버스 공간 구현 장치(100)는, 교육용 메타버스 공간(MTV)을 구현할 수 있다. 메타버스(Metaverse) 공간은, 3차원 가상 세계로 정의될 수 있다. The metaverse space implementation apparatus 100 may implement an educational metaverse space (MTV). A metaverse space may be defined as a three-dimensional virtual world.

메타버스 공간 구현 장치(100)는, 영상 제공 장치(20), 데이터 베이스(30), 교육 컨텐츠 제공 장치(40) 및 사용자 디바이스(300)로부터 수신되는 신호, 정보 또는 데이터에 기초하여, 교육용 메타버스 공간(MTV)을 구현할 수 있다.The metaverse space realization apparatus 100 is a metaverse for education based on signals, information, or data received from the image providing apparatus 20 , the database 30 , the educational content providing apparatus 40 , and the user device 300 . A bus space (MTV) can be implemented.

메타버스 공간 구현 장치(100)는, 영상 제공 장치(20)로부터 메타버스 공간 구현의 배경이 되는 영상을 수신할 수 있다. 메타버스 공간 구현 장치(100)는, 수신된 영상을 가공하여, 메타버스 공간(MTV)을 형성할 수 있다.The metaverse space realization apparatus 100 may receive an image serving as a background for metaverse space realization from the image providing apparatus 20 . The metaverse space realizing apparatus 100 may process the received image to form a metaverse space (MTV).

메타버스 공간 구현 장치(100)는, 데이터 베이스(30)로부터 그래픽 오브젝트 데이터를 수신할 수 있다. 메타버스 공간 구현 장치(100)는, 메타버스 공간 내에 오브젝트를 생성할 수 있다.The metaverse space implementation apparatus 100 may receive graphic object data from the database 30 . The metaverse space implementation apparatus 100 may create an object in the metaverse space.

메타버스 공간 구현 장치(100)는, 교육 컨텐츠 제공 장치(40)로부터 교육 컨텐츠를 수신할 수 있다. 메타버스 공간 구현 장치(100)는, 메타버스 공간 내에서 교육 컨텐츠를 제공할 수 있다. 예를 들면, 메타버스 공간 구현 장치(100)는, 메타버스 공간 내에 배치된 스크린을 통해 실시간 영상 및 음성을 제공할 수 있다.The metaverse space realization apparatus 100 may receive educational content from the educational content providing apparatus 40 . The metaverse space implementation apparatus 100 may provide educational content in the metaverse space. For example, the metaverse space realizing apparatus 100 may provide real-time video and audio through a screen disposed in the metaverse space.

메타버스 공간 구현 장치(100)는, 사용자 디바이스(300)로부터, 아바타 동작과 관련된 신호를 수신할 수 있다. 메타버스 공간 구현 장치(100)는, 수신된 신호에 기초하여, 메타버스 공간 내에 아바타를 생성하고, 아바타의 움직임을 제어할 수 있다.The metaverse space realization apparatus 100 may receive a signal related to an avatar operation from the user device 300 . The metaverse space implementation apparatus 100 may generate an avatar in the metaverse space based on the received signal and control the movement of the avatar.

사용자 디바이스(300)는, 사용자가 메타버스 공간에 진입하는데 이용될 수 있다. 사용자 디바이스(300)는, 사용자가 착용할 수 있는 형태의 전자 장치로 이해될 수 있다. 예를 들면, 사용자 디바이스(300)는, HMD(Head Mounted Display)와 악세사리를 포함할 수 있다. The user device 300 may be used by a user to enter the metaverse space. The user device 300 may be understood as an electronic device in a form that a user can wear. For example, the user device 300 may include a head mounted display (HMD) and accessories.

사용자 디바이스(300)는, 사용자가 메타버스 공간 안에 위치하는 것으로 인지하도록, 시각, 청각, 촉각 중 적어도 어느 하나의 감각을 자극할 수 있다.The user device 300 may stimulate at least one of visual, auditory, and tactile senses to recognize that the user is located in the metaverse space.

사용자 디바이스(300)는, 사용자 디바이스(300)에서 생성된 신호를 메타버스 공간 구현 장치(100)에 전송할 수 있다. 사용자 디바이스(300)는, 메타버스 공간에 생성되는 아바타와 관련된 신호를 메타버스 공간 구현 장치(100)에 전송할 수 있다.The user device 300 may transmit a signal generated by the user device 300 to the metaverse space implementation apparatus 100 . The user device 300 may transmit a signal related to the avatar generated in the metaverse space to the metaverse space implementation apparatus 100 .

도 2는 본 발명의 실시예에 따른 메타버스 공간 구현 장치의 제어 블럭도이다.2 is a control block diagram of an apparatus for realizing a metaverse space according to an embodiment of the present invention.

도면을 참조하면, 메타버스 공간 구현 장치(100)는, 영상 제공 장치(20), 데이터 베이스(30), 교육 컨텐츠 제공 장치(40) 및 사용자 디바이스(300)로부터 수신한 신호, 데이터 및 정보 중 적어도 어느 하나에 기초하여, 메타버스 공간을 생성할 수 있다.Referring to the drawings, the metaverse space realization apparatus 100 includes signals, data, and information received from the image providing apparatus 20 , the database 30 , the educational content providing apparatus 40 , and the user device 300 . Based on at least one, a metaverse space may be generated.

메타버스 공간 구현 장치(100)는, 통신부(110), 메모리(140), 프로세서(170) 및 전원 공급부(190)를 포함할 수 있다.The metaverse space implementation apparatus 100 may include a communication unit 110 , a memory 140 , a processor 170 , and a power supply unit 190 .

통신부(110)는, 메타버스 공간 구현 장치(100) 외부의 전자 장치와 신호를 교환할 수 있다.The communication unit 110 may exchange signals with an electronic device outside the metaverse space realization apparatus 100 .

통신부(110)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다. The communication unit 110 may include at least one of a transmit antenna, a receive antenna, a radio frequency (RF) circuit capable of implementing various communication protocols, and an RF element to perform communication.

통신부(110)는, 이동 통신 네트워크(예를 들면, 3G, 4G, 5G)를 이용하여 교육 컨텐츠 제공 장치(100) 외부의 전자 장치와 신호를 교환할 수 있다.The communication unit 110 may exchange a signal with an electronic device external to the educational content providing apparatus 100 using a mobile communication network (eg, 3G, 4G, 5G).

메모리(140)는, 프로세서(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 프로세서(170)에서 처리된 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 중 적어도 어느 하나로 구성될 수 있다. 메모리(140)는 프로세서(170)의 처리 또는 제어를 위한 프로그램 등, 전자 장치(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 메모리(140)는, 프로세서(170)와 일체형으로 구현될 수 있다. 실시예에 따라, 메모리(140)는, 프로세서(170)의 하위 구성으로 분류될 수 있다.The memory 140 is electrically connected to the processor 170 . The memory 140 may store basic data for the unit, control data for operation control of the unit, and input/output data. The memory 140 may store data processed by the processor 170 . The memory 140 may be configured as at least one of ROM, RAM, EPROM, flash drive, and hard drive in terms of hardware. The memory 140 may store various data for the overall operation of the electronic device 100 , such as a program for processing or controlling the processor 170 . The memory 140 may be implemented integrally with the processor 170 . According to an embodiment, the memory 140 may be classified into a sub-configuration of the processor 170 .

프로세서(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로폰으로 컨트롤러(micro-controllers), 마이크로폰으로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.Processor 170, ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays), processors (processors), controller It may be implemented using at least one of controllers, micro-controllers as microphones, microprocessors as microphones, and electrical units for performing other functions.

전원 공급부(190)는, 메타버스 공간 구현 장치(100)에 전원을 공급할 수 있다. 전원 공급부(190)는, 배터리로부터 전원을 공급받아, 메타버스 공간 구현 장치(100)의 각 유닛에 전원을 공급할 수 있다.The power supply unit 190 may supply power to the metaverse space realization apparatus 100 . The power supply unit 190 may receive power from a battery and supply power to each unit of the metaverse space realization apparatus 100 .

도 3은 본 발명의 실시예에 따른 사용자 디바이스의 제어 블럭도이다.3 is a control block diagram of a user device according to an embodiment of the present invention.

도 3을 참조하면, 사용자 디바이스(300)는, HMD(Head-Mount Display), 웨어러블 디바이스 등으로 구현될 수도 있다.Referring to FIG. 3 , the user device 300 may be implemented as a head-mount display (HMD), a wearable device, or the like.

사용자 디바이스(300)는 다양한 센서들을 통해 또는 외부 장치로부터 획득한 3차원 포인트 클라우드 데이터 또는 이미지 데이터를 분석하여 3차원 포인트들에 대한 위치 데이터 및 속성 데이터를 생성함으로써 주변 공간 또는 현실 오브젝트에 대한 정보를 획득하고, 출력할 오브젝트를 렌더링하여 출력할 수 있다. 예컨대, 사용자 디바이스(300)는 인식된 물체에 대한 추가 정보를 포함하는 오브젝트를 해당 인식된 물체에 대응시켜 출력할 수 있다.The user device 300 analyzes three-dimensional point cloud data or image data acquired through various sensors or from an external device to generate location data and attribute data for three-dimensional points, thereby providing information on surrounding space or real objects. It can be obtained and outputted by rendering the object to be output. For example, the user device 300 may output an object including additional information on the recognized object to correspond to the recognized object.

사용자 디바이스(300)는 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, 사용자 디바이스(300)는 학습 모델을 이용하여 3차원 포인트 클라우드 데이터 또는 이미지 데이터에서 현실 오브젝트를 인식할 수 있고, 인식한 현실 오브젝트에 상응하는 정보를 제공할 수 있다. 여기서, 학습 모델은 사용자 디바이스(300)에서 직접 학습되거나, AI 서버 등의 외부 장치에서 학습된 것일 수 있다.The user device 300 may perform the above-described operations using a learning model composed of at least one artificial neural network. For example, the user device 300 may recognize a real object from 3D point cloud data or image data using the learning model, and may provide information corresponding to the recognized real object. Here, the learning model may be directly learned from the user device 300 or learned from an external device such as an AI server.

이때, 사용자 디바이스(300)는 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.In this case, the user device 300 may perform the operation by generating a result using the direct learning model, but may also perform the operation by transmitting sensor information to an external device such as an AI server and receiving the result generated accordingly. have.

사용자 디바이스(300)는 카메라(310), 디스플레이(320), 스피커(325), 센서(330), 프로세서(340), 메모리(350) 및 통신 모듈(360)을 포함한다. The user device 300 includes a camera 310 , a display 320 , a speaker 325 , a sensor 330 , a processor 340 , a memory 350 , and a communication module 360 .

통신 모듈(360)은 외부 장치 또는 서버와 유선/무선으로 통신을 수행하며, 근거리 무선 통신으로 예를 들어 Wi-Fi, 블루투스 등이 사용될 수 있고, 원거리 무선 통신으로 예를 들어 LTE, LTE-A, 5G 등이 사용될 수 있다. The communication module 360 performs wired/wireless communication with an external device or server, for example, Wi-Fi, Bluetooth, etc. may be used as short-range wireless communication, and for example, LTE, LTE-A as long-distance wireless communication. , 5G, etc. may be used.

카메라(310)는 사용자 디바이스(300) 주변 환경을 촬영하여 전기적 신호로 변환할 수 있다. 카메라(310)에서 촬영되어 전기적 신호로 변환된 이미지는 메모리(350)에 저장된 후 프로세서(340)를 통해 디스플레이(320)에서 디스플레이 될 수 있다. 또한, 상기 이미지는 상기 메모리(350)에 저장 없이, 바로 프로세서(340)를 이용하여 디스플레이(320)를 통해 디스플레이 될 수 있다. 또한, 카메라(310)는 화각을 가질 수 있다. 이 때, 화각은 예를 들어 카메라(310) 주변에 위치하는 리얼 오브젝트를 디텍트할 수 있는 영역을 의미한다. 카메라(310)는 화각내에 위치하는 리얼 오브젝트만을 디텍트할 수 있다. 리얼 오브젝트가 카메라(310)의 화각 내에 위치하는 경우, 사용자 디바이스(300)는 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 디스플레이 할 수 있다. 또한, 카메라(310)는 카메라(310)와 리얼 오브젝트의 각도를 디텍트할 수 있다.The camera 310 may capture an environment around the user device 300 and convert it into an electrical signal. The image captured by the camera 310 and converted into an electrical signal may be stored in the memory 350 and then displayed on the display 320 through the processor 340 . Also, the image may be directly displayed through the display 320 using the processor 340 without being stored in the memory 350 . Also, the camera 310 may have an angle of view. In this case, the angle of view means, for example, an area capable of detecting a real object located around the camera 310 . The camera 310 may detect only real objects located within the angle of view. When the real object is located within the angle of view of the camera 310 , the user device 300 may display the augmented reality object corresponding to the real object. Also, the camera 310 may detect an angle between the camera 310 and the real object.

스피커(325)는, 전기적 신호를 오디오 신호로 변환하여 출력할 수 있다. The speaker 325 may convert an electrical signal into an audio signal and output it.

센서(330)는 적어도 하나의 센서를 포함할 수 있으며, 예를 들어, 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로 센서, 가속도 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 벤딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서 등의 센싱 수단을 포함한다. 나아가, 디스플레이(320)는 고정형일 수도 있으나, 높은 플렉시빌러티(flexibility)를 갖도록 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), ELD(Electro Luminescent Display), M-LED(Micro LED)로 구현 가능하다. 이 때, 상기 센서(330)는 전술한 LCD, OLED, ELD, M-LED (마이크로폰으로 LED) 등으로 구현된 디스플레이(320)의 휘어짐, 벤딩(Bending) 정도를 디텍트 하도록 설계한다.The sensor 330 may include at least one sensor, for example, a gravity sensor, a geomagnetic sensor, a motion sensor, a gyro sensor, an acceleration sensor, an inclination sensor, a brightness sensor, an altitude sensor, and an olfactory sense. and sensing means such as a sensor, a temperature sensor, a depth sensor, a pressure sensor, a bending sensor, an audio sensor, a video sensor, a global positioning system (GPS) sensor, and a touch sensor. Furthermore, although the display 320 may be of a fixed type, a liquid crystal display (LCD), an organic light emitting diode (OLED), an electro luminescent display (ELD), a micro LED (M-LED) to have high flexibility can be implemented with At this time, the sensor 330 is designed to detect the degree of bending and bending of the display 320 implemented with the aforementioned LCD, OLED, ELD, M-LED (LED as a microphone), and the like.

메모리(350)는 카메라(310)에 의해 촬영된 이미지를 저장하는 기능을 가지고 있을 뿐만 아니라, 외부 장치 또는 서버와 유선/무선으로 통신을 수행한 결과값의 전부 또는 일부를 저장하는 기능을 가지고 있다. The memory 350 not only has a function of storing an image captured by the camera 310, but also has a function of storing all or part of a result value obtained by performing wired/wireless communication with an external device or server. .

사용자 디바이스(300)는 러닝 프로세서를 더 포함할 수 있다. 러닝 프로세서는, 프로세서(340)와 별도로 구성되거나, 프로세서(340)의 하위 개념으로 분류될 수도 잇다.The user device 300 may further include a learning processor. The learning processor may be configured separately from the processor 340 or may be classified as a sub-concept of the processor 340 .

사용자 디바이스(300)는 학습모델을 탑재할 수 있다. 학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(350)에 저장될 수 있다.The user device 300 may be equipped with a learning model. The learning model may be implemented in hardware, software, or a combination of hardware and software. When a part or all of the learning model is implemented in software, one or more instructions constituting the learning model may be stored in the memory 350 .

본 발명의 실시예들에 따른 러닝 프로세서는 프로세서(340)와 통신 가능하도록 연결될 수 있으며, 훈련 데이터를 이용하여 인공 신경망으로 구성된 모델을 반복적으로 학습시킬 수 있다. 인공신경망은 생물학적 뉴런의 동작원리와 뉴런간의 연결 관계를 모델링한 것으로 노드(node) 또는 처리 요소(processing element)라고 하는 다수의 뉴런들이 레이어(layer) 구조의 형태로 연결된 정보처리 시스템이다. 인공 신경망은 기계 학습에서 사용되는 모델로써, 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계 중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘이다. 기계 학습은 머신 러닝(Machine Learning)과 혼용되어 사용될 수 있다. 머신 러닝은 인공지능(Artificial Intelligence, AI)의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 기술이다. 머신 러닝은 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이다. 따라서 본 발명의 실시예들에 따른 러닝 프로세서는 인공 신경망을 반복 학습시킴으로서, 인공 신경망의 최적화된 모델 파라미터들을 결정하여 새로운 입력 데이터에 대하여 결과 값을 추론할 수 있다. 따라서 러닝 프로세서는 사용자의 디바이스 사용 히스토리 정보를 기반으로 사용자의 디바이스 사용 패턴을 분석할 수 있다. 또한, 러닝 프로세서는 데이터 마이닝, 데이터 분석, 지능형 의사 결정, 및 기계 학습 알고리즘 및 기술을 위해 이용될 정보를 수신, 분류, 저장 및 출력하도록 구성될 수 있다.The learning processor according to embodiments of the present invention may be communicatively connected to the processor 340, and may repeatedly learn a model composed of an artificial neural network using training data. An artificial neural network is an information processing system in which a number of neurons called nodes or processing elements are connected in the form of a layer structure by modeling the operating principle of biological neurons and the connection relationship between neurons. Artificial neural network is a model used in machine learning, and it is a statistical learning algorithm inspired by neural networks in biology (especially the brain in the central nervous system of animals) in machine learning and cognitive science. Machine learning can be used interchangeably with machine learning. Machine learning is a branch of artificial intelligence (AI), a technology that gives computers the ability to learn without an explicit program. Machine learning is a technology that studies and builds algorithms and systems that learn based on empirical data, make predictions, and improve their own performance. Accordingly, the learning processor according to embodiments of the present invention may determine the optimized model parameters of the artificial neural network by iteratively learning the artificial neural network, and infer a result value with respect to new input data. Therefore, the learning processor may analyze the user's device usage pattern based on the user's device usage history information. Additionally, the learning processor may be configured to receive, classify, store, and output information to be used for data mining, data analysis, intelligent decision-making, and machine learning algorithms and techniques.

본 발명의 실시예들에 따른 프로세서(340)는 러닝 프로세서에서 분석되거나 생성된 데이터를 기반으로 디바이스의 적어도 하나의 실행 가능한 동작을 결정 또는 예측할 수 있다. 또한 프로세서(340)는 러닝 프로세서의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 사용자 디바이스(300)를 제어할 수 있다. 본 발명의 실시예들에 따른 프로세서(340)는 지능적 에뮬레이션(즉, 지식 기반 시스템, 추론 시스템 및 지식 획득 시스템)을 구현하는 다양한 기능을 수행할 수 있다. 이는 적응 시스템, 기계 학습 시스템, 인공 신경망 등을 포함하는, 다양한 유형의 시스템(예컨대, 퍼지 논리 시스템)에 적용될 수 있다. 즉, 프로세서(340)는 러닝 프로세서에서 사용자의 디바이스 사용 패턴을 분석한 데이터를 기반으로 추후 사용자 디바이스 사용 패턴을 예측하여 사용자 디바이스(300)는 사용자에게 보다 적합한 XR 서비스를 제공할 수 있도록 제어할 수 있다. The processor 340 according to embodiments of the present invention may determine or predict at least one executable operation of the device based on data analyzed or generated by the learning processor. In addition, the processor 340 may request, search, receive, or utilize the data of the learning processor, and may control the user device 300 to execute an operation that is predicted among at least one executable operation or an operation determined to be desirable. have. The processor 340 according to embodiments of the present invention may perform various functions for implementing intelligent emulation (ie, a knowledge-based system, an inference system, and a knowledge acquisition system). It can be applied to various types of systems (eg, fuzzy logic systems), including adaptive systems, machine learning systems, artificial neural networks, and the like. That is, the processor 340 predicts the user's device usage pattern later based on the data analyzed by the user's device usage pattern in the learning processor, so that the user device 300 can be controlled to provide a more suitable XR service to the user. have.

프로세서(340)는, 디스플레이(320)를 통해, 메타버스 공간 영상을 출력할 수 있다. 사용자는, 사용자 디바이스(300)를 착용한 상태에서, 디스플레이(320)를 통해 출력되는 메타버스 공간 영상을 보면서 메타버스 공간에 자신이 위치하는 듯한 경험을 하게 된다.The processor 340 may output a metaverse spatial image through the display 320 . While wearing the user device 300 , the user experiences as if he or she is located in the metaverse space while watching the metaverse space image output through the display 320 .

프로세서(340)는, 아바타와 관련된 신호를 메타버스 공간 구현 장치(100)에 제공할 수 있다.The processor 340 may provide a signal related to the avatar to the metaverse space realization apparatus 100 .

예를 들면, 프로세서(340)는, 사용자 디바이스의 턴온에 따라 생성된 제1 신호를 메타버스 공간 구현 장치(100)에 전송할 수 있다.For example, the processor 340 may transmit the first signal generated according to the turn-on of the user device to the metaverse space implementation apparatus 100 .

예를 들면, 프로세서(340)는, 사용자의 동작에 따라 생성되는 제2 신호를 메타버스 공간 구현 장치(100)에 전송할 수 있다. 제2 신호는, 센서(330)에 의해 생성될 수 있다.For example, the processor 340 may transmit a second signal generated according to a user's operation to the metaverse space realization apparatus 100 . The second signal may be generated by the sensor 330 .

도 4 내지 도 7는 본 발명의 실시예에 따른 방법을 설명하는데 참조되는 플로우 차트이다.4 to 7 are flowcharts referenced for explaining a method according to an embodiment of the present invention.

도 4 내지 도 7의 각 단계의 동작은, 메타버스 공간 구현 장치(100)의 프로세서(170)에서 수행될 수 있다. The operation of each step of FIGS. 4 to 7 may be performed by the processor 170 of the metaverse space realization apparatus 100 .

도4를 참조하면, 프로세서(170)는, 메타버스 공간(MTV)을 생성할 수 있다(S410). 프로세서(170)는, 통신부(110)를 통해 영상 제공 장치(20)로부터 영상을 획득하고, 획득된 영상에 기초하여 교육용 메타버스 공간(MTV)을 생성할 수 있다.Referring to FIG. 4 , the processor 170 may generate a metaverse space MTV ( S410 ). The processor 170 may acquire an image from the image providing device 20 through the communication unit 110 , and generate an educational metaverse space (MTV) based on the acquired image.

프로세서(170)는, 영상 제공 장치(20)로부터 360도 카메라를 통해 촬영된 영상을 수신할 수 있다. 프로세서(170)는, 수신된 영상을 처리하여 교육용 메타버스 공간(MTV)의 배경을 생성할 수 있다.The processor 170 may receive an image captured by the 360-degree camera from the image providing device 20 . The processor 170 may process the received image to generate a background of the metaverse space for education (MTV).

프로세서(170)는, 메타버스 공간(MTV) 내에 스크린을 제공할 수 있다(S410). 스크린은, 메타버스 공간(MTV) 내에서 교육 컨텐츠를 제공하는 매개체로 설명될 수 있다. The processor 170 may provide a screen in the metaverse space MTV ( S410 ). The screen may be described as a medium that provides educational content in the metaverse space (MTV).

프로세서(170)는, 영상 제공 장치(20)로부터 수신된 영상에 포함된 오브젝트 상에 스크린을 생성할 수 있다. 예를 들면, 프로세서(170)는, 영상 속 하늘, 지면, 건물 위에 스크린을 생성할 수 있다.The processor 170 may generate a screen on an object included in the image received from the image providing apparatus 20 . For example, the processor 170 may generate a screen on the sky, the ground, and a building in the image.

프로세서(170)는, 메타버스 공간(MTV) 내에 오브젝트를 제공할 수 있다(S430). 오브젝트를 제공하는 단계(S430)는, 도 6을 참조하여 보다 상세하게 설명한다.The processor 170 may provide an object in the metaverse space MTV (S430). The step of providing the object ( S430 ) will be described in more detail with reference to FIG. 6 .

프로세서(170)는, 메타버스 공간(MTV) 내에서 사용자와 매칭되는 아바타를 제공할 수 있다(S440). 아바타를 제공하는 단계(S440)는, 도 7을 참조하여 보다 상세하게 설명한다.The processor 170 may provide an avatar that matches the user in the metaverse space (MTV) (S440). The step of providing the avatar ( S440 ) will be described in more detail with reference to FIG. 7 .

프로세서(170)는, 메타버스 공간(MTV) 내에서 교육을 진행할 수 있다(S450). The processor 170 may conduct education in the metaverse space (MTV) (S450).

프로세서(170)는, 교육 컨텐츠 제공 장치(40)로부터 교육 컨텐츠를 제공받아, 교육을 진행할 수 있다. 한편, 교육 컨텐츠는, 실시간 영상 및 음성일 수 있다. The processor 170 may receive the education content from the education content providing device 40 and conduct the education. Meanwhile, the educational content may be real-time video and audio.

프로세서(170)는, 스크린을 통해 오브젝트와 연관된 교육 컨텐츠를 제공할 수 있다. 프로세서(170)는, 스크린에 실시간 영상을 출력시킬 수 있다.The processor 170 may provide educational content related to the object through the screen. The processor 170 may output a real-time image to the screen.

도 5를 참조하면, 메타버스 공간 구현 장치(100)는, 메타버스 공간(MTV)이 생성된 상태에서, 사용자 디바이스(300)를 통해, 사용자 입력을 수신할 수 있다. 사용자 입력은, 사용자 디바이스(300)의 센서(330)를 통해 수신되거나, 별도로 마련된 사용자 입력부(미도시)를 통해 수신될 수 있다. 사용자 입력부(미도시)는, 사용자 디바이스(300)에 사용자 입력을 전기적 신호로 전환하는 모듈로 설명될 수 있다.Referring to FIG. 5 , the metaverse space implementation apparatus 100 may receive a user input through the user device 300 in a state in which the metaverse space MTV is generated. The user input may be received through the sensor 330 of the user device 300 or may be received through a separately provided user input unit (not shown). The user input unit (not shown) may be described as a module that converts a user input to the user device 300 into an electrical signal.

프로세서(170)는, 제1 사용자 입력 수신(S510)에 기초하여, 메타버스 공간(MTV) 내에 버추얼 컨트롤러를 표시할 수 있다(S520). The processor 170 may display the virtual controller in the metaverse space MTV based on the reception of the first user input ( S510 ) ( S520 ).

한편, 제1 사용자 입력은, 센서(330) 또는 사용자 입력부(미도시)를 통해 수신되는 미리 약속된 형태의 입력일 수 있다.Meanwhile, the first user input may be an input in a predefined form received through the sensor 330 or a user input unit (not shown).

한편, 버추얼 컨트롤러는, 메타버스 공간(MTV) 내에서 조작 가능한 요소(예를 들면, 볼륨, 스크린 위치, 아바타 위치, 아바타 종류 등)를 제어하기 위한 그래픽 객체로 이해될 수 있다. Meanwhile, the virtual controller may be understood as a graphic object for controlling manipulable elements (eg, volume, screen position, avatar position, avatar type, etc.) in the metaverse space (MTV).

버추얼 컨트롤러가 표시된 상태에서, 프로세서(170)는, 버추얼 컨트롤러의 조작 신호가 수신(S530)되는 경우, 조작 신호에 대응되는 동작을 수행할 수 있다(S540).In a state in which the virtual controller is displayed, when a manipulation signal of the virtual controller is received (S530), the processor 170 may perform an operation corresponding to the manipulation signal (S540).

예를 들면, 프로세서(170)는 조작 신호가 수신되면, 볼륨을 조절할 수 있다.For example, when a manipulation signal is received, the processor 170 may adjust the volume.

예를 들면, 프로세서(170)는, 조작 신호가 수신되면, 메타버스 공간 내에서 스크린의 위치를 제1 지점에서 제2 지점으로 변경할 수 있다. 예를 들면, 프로세서(170)는, 조작 신호가 수신되면, 제1 오브젝트 상에 구현되는 스크린을 제2 오브젝트 상에 구현되도록 변경할 수 있다.For example, when the manipulation signal is received, the processor 170 may change the position of the screen from the first point to the second point in the metaverse space. For example, when the manipulation signal is received, the processor 170 may change the screen implemented on the first object to be implemented on the second object.

예를 들면, 프로세서(170)는, 조작 신호가 수신되면, 아바타의 위치를 제1 지점에서 제2 지점으로 변경할 수 있다.For example, when the manipulation signal is received, the processor 170 may change the location of the avatar from the first point to the second point.

예를 들면, 프로세서(170)는, 조작 신호가 수신되면, 아바타의 종류를 제1 종류에서 제2 종류로 변경할 수 있다.For example, when the manipulation signal is received, the processor 170 may change the type of the avatar from the first type to the second type.

프로세서(170)는, 제2 사용자 입력 수신(S550)에 기초하여, 버추얼 컨트롤러를 숨길 수 있다(S560).The processor 170 may hide the virtual controller based on the reception of the second user input (S550) (S560).

한편, 제2 사용자 입력은, 센서(330) 또는 사용자 입력부(미도시)를 통해 수신되는 미리 약속된 형태의 입력일 수 있다.Meanwhile, the second user input may be an input in a predefined form received through the sensor 330 or a user input unit (not shown).

도 6을 참조하면, 오브젝트를 제공하는 단계(S430)는, 교육 컨텐츠 정보를 획득하는 단계(S610), 교육 컨텐츠에서 단어를 추출하는 단계(S620), 단어와 관련도가 높은 오브젝트를 데이터 베이스에서 검색하는 단계(S630) 및 메타버스 공간 내에, 검색된 오브젝트를 제공하는 단계(S640)를 포함할 수 있다.Referring to FIG. 6 , the step of providing the object ( S430 ) includes the step of obtaining education content information ( S610 ), the step of extracting a word from the education content ( S620 ), and an object having a high degree of relevance to the word from the database. It may include searching ( S630 ) and providing the found object in the metaverse space ( S640 ).

프로세서(170)는, 교육 컨텐츠 제공 장치(40)로부터 수신된 교육 컨텐츠에 대한 정보를 획득할 수 있다(S610). 교육 컨텐츠에 대한 정보는, 교육 내용 정보, 교육 대상 정보를 포함할 수 있다.The processor 170 may acquire information about the educational content received from the educational content providing apparatus 40 ( S610 ). The information on the education content may include education content information and education target information.

프로세서(170)는, 교육 컨텐츠에 대한 정보에 기초하여, 단어를 추출할 수 있다(S620). 예를 들면, 교육 컨텐츠가 영어 단어를 설명하는 영상인 경우, 프로세서(170)는, 영상에서 설명 대상이되는 단어를 추출할 수 있다.The processor 170 may extract a word based on the information on the educational content (S620). For example, when the educational content is an image describing English words, the processor 170 may extract a word to be described from the image.

프로세서(170)는, 단어와 관련도가 높은 오브젝트를 데이터 베이스에서 검색할 수 있다(S630). The processor 170 may search the database for an object having a high degree of relevance to the word ( S630 ).

프로세서(170)는, 메타버스 공간(MTV) 내에, 검색된 오브젝트를 제공할 수 있다(S640). 제공되는 오브젝트는, 교육 컨텐츠와 관련도가 높은 것으로 교육 주제에 부합하게 된다. The processor 170 may provide the searched object in the metaverse space MTV (S640). The provided object has a high degree of relevance to the educational content, and thus corresponds to the educational topic.

한편, 실시예에 따라, 프로세서(170)는, 무빙 오브젝트를 제공할 수 있다. 프로세서(170)는, 데이터 베이스(30)에서 제공되는 데이터에 기초하여, 오브젝트를 메타버스 공간 내에 생성하고, 생성된 오브젝트를 움직일 수 있다.Meanwhile, according to an embodiment, the processor 170 may provide a moving object. The processor 170 may create an object in the metaverse space based on data provided from the database 30 and move the created object.

한편, 실시예에 따라, 프로세서(170)는, 무빙 오브젝트가 아바타와 상호 교류할 수 있도록 오브젝트를 움직일 수 있다. Meanwhile, according to an embodiment, the processor 170 may move the moving object so that the moving object can interact with the avatar.

가령, 아바타가 무빙 오브젝트에 접근하는 경우, 프로세서(170)는, 무빙 오브젝트는 아바타로부터 더 멀어지게 할 수 있다. For example, when the avatar approaches the moving object, the processor 170 may move the moving object further away from the avatar.

한편, 실시예에 따라, 프로세서(170)는, 사용자 디바이스(300)로부터 수신된 신호에 기초하여 무빙 오브젝트를 움직일 수 있다. Meanwhile, according to an embodiment, the processor 170 may move the moving object based on a signal received from the user device 300 .

가령, 프로세서(170)는, 사용자 디바이스(300)로부터 제시된 퀴즈에 정답에 대응되는 신호가 수신되는 경우, 무빙 오브젝트가 아바타에 접근하게 할 수 있다.For example, when a signal corresponding to a correct answer to a quiz presented from the user device 300 is received, the processor 170 may cause the moving object to approach the avatar.

이와 같이 무빙 오브젝트의 동작을 제어함으로써, 사용자의 학습 효과를 높일 수 있다.By controlling the operation of the moving object in this way, it is possible to increase the learning effect of the user.

도 7을 참조하면, 아바타를 제공하는 단계(S440)는, 사용자 디바이스(300)의 턴온에 따라 생성된 제1 신호를 수신하는 단계(S710), 제1 신호에 기초하여, 아바타를 생성하는 단계(S720), 사용자 디바이스로부터 사용자의 동작에 따라 생성되는 제2 신호를 수신하는 단계(S730) 및 제2 신호에 기초하여, 메타버스 공간 내에서 아바타의 움직임을 제어하는 단계(S740)를 포함할 수 있다.Referring to FIG. 7 , the step of providing the avatar ( S440 ) includes receiving a first signal generated according to the turn-on of the user device 300 ( S710 ), and generating the avatar based on the first signal ( S710 ). (S720), receiving a second signal generated according to the user's motion from the user device (S730), and controlling the movement of the avatar in the metaverse space based on the second signal (S740). can

프로세서(170)는, 사용자 디바이스(300)로부터, 사용자 디바이스의 턴온에 따라 생성된 제1 신호를 수신할 수 있다(S710).The processor 170 may receive, from the user device 300, a first signal generated according to the turn-on of the user device (S710).

사용자가 사용자 디바이스(300)를 착용한 경우, 사용자 디바이스(300)는 턴온될 수 있다. 사용자 디바이스(300)가 턴온되는 경우, 사용자 디바이스(300)는, 제1 신호를 메타버스 공간 구현 장치(100)에 전송할 수 있다. 이경우, 프로세서(170)는, 통신부(110)를 통해, 제1 신호를 수신할 수 있다.When the user wears the user device 300 , the user device 300 may be turned on. When the user device 300 is turned on, the user device 300 may transmit a first signal to the metaverse space realization apparatus 100 . In this case, the processor 170 may receive the first signal through the communication unit 110 .

프로세서(170)는, 제1 신호에 기초하여, 메타버스 공간(MTV)에 아바타를 생성할 수 있다(S720). The processor 170 may generate an avatar in the metaverse space (MTV) based on the first signal ( S720 ).

한편, 아바타는, 사용자 또는 사용자 디바이스(300)에 매칭될 수 있다. 예를 들면, 제1 아바타는, 제1 사용자 또는 제1 사용자가 착용한 제1 사용자 디바이스에 매칭되고, 제2 아바타는, 제2 사용자 또는 제2 사용자가 착용한 제2 사용자 디바이스에 매칭될 수 있다.Meanwhile, the avatar may be matched to the user or the user device 300 . For example, the first avatar may match the first user or the first user device worn by the first user, and the second avatar may match the second user or the second user device worn by the second user. have.

프로세서(170)는, 사용자 디바이스(300)로부터, 사용자의 동작에 따라 생성되는 제2 신호를 수신할 수 있다(S730). 사용자 디바이스(300)는, 사용자의 동작에 따라 센서(330)에서 생성되는 제2 신호를 메타버스 공간 구현 장치(100)에 전송할 수 있다. 이경우, 프로세서(170)는, 통신부(110)를 통해, 제2 신호를 수신할 수 있다.The processor 170 may receive, from the user device 300, a second signal generated according to the user's operation (S730). The user device 300 may transmit the second signal generated by the sensor 330 to the metaverse space realization apparatus 100 according to a user's operation. In this case, the processor 170 may receive the second signal through the communication unit 110 .

프로세서(170)는, 제2 신호에 기초하여, 메타버스 공간 내에서 아바타의 움직임을 제어할 수 있다(S740). 예를 들면, 사용자가 팔 또는 다리를 움직이는 경우, 프로세서(170)는, 제2 신호를 수신하여, 아바타의 팔 또는 다리가 움직이도록 제어할 수 있다.The processor 170 may control the movement of the avatar in the metaverse space based on the second signal ( S740 ). For example, when the user moves an arm or a leg, the processor 170 may receive the second signal and control the avatar's arm or leg to move.

프로세서(170)는, 아바타의 움직임에 따라 무빙 오브젝트의 움직임을 제어할 수 있다. The processor 170 may control the movement of the moving object according to the movement of the avatar.

예를 들면, 무빙 오브젝트가 동물인 경우, 프로세서(170)는, 아바타가 왼손을 움직이는 경우, 동물의 왼쪽 앞발을 움직일 수 있다.For example, when the moving object is an animal, the processor 170 may move the left front paw of the animal when the avatar moves its left hand.

예를 들면, 무빙 오브젝트가 동물인 경우, 프로세서(170)는, 아바타가 고개를 움직이는 경우, 동물의 머리를 움직일 수 있다.For example, when the moving object is an animal, the processor 170 may move the head of the animal when the avatar moves its head.

이와 같이, 무빙 오브젝트의 움직임을 아바타의 움직임과 동기화함으로써, 수강생의 교육 집중도를 높일 수 있다.In this way, by synchronizing the movement of the moving object with the movement of the avatar, it is possible to increase the student's educational concentration.

도 8 내지 도 9는 본 발명의 실시예에 따른 메타버스 공간을 설명하는데 참조되는 도면이다.8 to 9 are diagrams referenced to explain a metaverse space according to an embodiment of the present invention.

도 8 내지 도 9는, 메타버스 공간(MTV)을 예시한다. 프로세서(170)는, 교육용 메타버스 공간(MTV)을 생성할 수 있다. 가령, 공룡 시대를 배경으로 하는 영어 교육을 수행하는 경우, 프로세서(170)는, 공룡 시대의 메타버스 공간(MTV)를 생성할 수 있다. 8 to 9 illustrate a metaverse space (MTV). The processor 170 may generate an educational metaverse space (MTV). For example, when performing English education based on the dinosaur era, the processor 170 may generate a metaverse space (MTV) of the dinosaur era.

프로세서(170)는, 메타버스 공간(MTV)에 스크린(810)을 생성할 수 있다. 실시예에 따라, 프로세서(170)는, 메타버스 공간(MTV)의 오브젝트를 활용하여 스크린(810)을 생성할 수 있다. 예를 들면, 메타버스 공간(MTV)에서의 하늘, 지면, 구조물 등을 활용하여 스크린(810)을 생성할 수 있다.The processor 170 may generate the screen 810 in the metaverse space MTV. According to an embodiment, the processor 170 may generate the screen 810 by using an object in the metaverse space (MTV). For example, the screen 810 may be generated using the sky, the ground, a structure, etc. in the metaverse space (MTV).

프로세서(170)는, 스크린(810)을 통해, 교육 컨텐츠를 제공할 수 있다. 도 8에 예시된 바와 같이, 프로세서(170)는, 강사의 실시간 강의가 스크린(810)을 통해 표시되게할 수 있다.The processor 170 may provide educational content through the screen 810 . As illustrated in FIG. 8 , the processor 170 may cause the instructor's real-time lecture to be displayed via the screen 810 .

프로세서(170)는, 메타버스 공간(MTV)에 오브젝트(820)를 생성할 수 있다. 오브젝트(820)는, 교육 컨텐츠와 연관되는 것일 수 있다. 예를 들면, 교육 컨텐츠에서 공룡이라는 단어가 추출되는 경우, 프로세서(170)는, 데이터 베이스(30)에서 공룡에 대응되는 오브젝트를 서치하여 메타버스 공간(MTV) 내에 생성할 수 있다.The processor 170 may generate the object 820 in the metaverse space (MTV). The object 820 may be related to educational content. For example, when the word dinosaur is extracted from the educational content, the processor 170 may search the database 30 for an object corresponding to the dinosaur and create it in the metaverse space (MTV).

프로세서(170)는, 메타버스 공간(MTV)에 아바타(830)를 생성할 수 있다. 아바타는, 사용자 디바이스(300)에서 생성되는 신호와 상호 작용할 수 있다. The processor 170 may generate the avatar 830 in the metaverse space (MTV). The avatar may interact with a signal generated by the user device 300 .

한편, 프로세서(170)는, 무빙 오브젝트의 움직임을 사용자 디바이스(300)에서 생성되는 신호와 상호 작용되도록 제어할 수 있다. 이경우, 사용자 디바이스(300)에서 생성된 신호에 기초하여, 아바타와 무빙 오브젝트가 동조화 상태로 움직이게 된다. 이로 인해, 사용자는 교육에 더욱 재미를 느끼게 된다.Meanwhile, the processor 170 may control the movement of the moving object to interact with the signal generated by the user device 300 . In this case, based on the signal generated by the user device 300 , the avatar and the moving object move in a synchronized state. Due to this, the user feels more fun in education.

제1 사용자 입력이 수신되는 경우, 프로세서(170)는, 메타버스 공간(MTV) 내에 버추얼 컨트롤러(910)를 표시할 수 있다. 버추얼 컨트롤러(910)는, 손 형상을 가질 수 있다. 버추얼 컨트롤러(910)는, 사용자와 메타버스 공간(MTV) 사이의 인터페이스 기능을 수행할 수 있다. 사용자는 버추얼 컨트롤러(910)를 통해, 메타버스 공간(MTV)에서 조작 가능한 요소들을 제어할 수 있다.When the first user input is received, the processor 170 may display the virtual controller 910 in the metaverse space MTV. The virtual controller 910 may have a hand shape. The virtual controller 910 may perform an interface function between the user and the metaverse space (MTV). The user may control elements that can be manipulated in the metaverse space (MTV) through the virtual controller 910 .

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The present invention described above can be implemented as computer-readable code on a medium in which a program is recorded. The computer readable medium includes all kinds of recording devices in which data readable by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. There is this. In addition, the computer may include a processor or a control unit. Accordingly, the above detailed description should not be construed as restrictive in all respects but as exemplary. The scope of the present invention should be determined by a reasonable interpretation of the appended claims, and all modifications within the equivalent scope of the present invention are included in the scope of the present invention.

1 : 시스템
100 : 메타버스 공간 구현 장치1: system
100: metaverse space realization device

Claims (1)

360도 카메라를 포함하고, 상기 360도 카메라를 통해 교육 컨텐츠와 연관된 공간의 영상을 획득하여, 메타버스 공간 구현의 배경이 되는 영상 데이터를 제공하는 영상 제공 장치;
상기 교육 컨텐츠와 관련된 복수의 오브젝트에 대한 데이터를 제공하는 데이터 베이스;
디스플레이를 통해 메타버스 공간이 표시된 상태에서 카메라 및 마이크를 통해, 강사의 실시간 영상 및 음성을 획득하는 교육 컨텐츠 제공 장치;
사용자가 착용할 수 있는 형태의 전자 장치로 구현되는 사용자 디바이스; 및
상기 영상 제공 장치, 상기 데이터 베이스, 상기 교육 컨텐츠 제공 장치, 상기 사용자 디바이스로부터 수신되는 신호, 정보 또는 데이터에 기초하여, 교육용 메타버스 공간을 구현하는 메타버스 공간 구현 장치;를 포함하고,
상기 메타버스 공간 구현 장치는,
상기 영상 제공 장치로부터, 상기 영상 데이터를 수신하고, 상기 360도 카메라를 통해 촬영된 영상의 영상 데이터를 가공하여 상기 교육용 메타버스 공간을 형성하고, 상기 메타버스 공간 내에 스크린을 제공하고,
상기 데이터 베이스로부터, 상기 복수의 오브젝트에 대한 데이터를 수신하고, 상기 메타버스 공간 내에 무빙 오브젝트를 생성하고, 생성된 무빙 오브젝트를 움직이고,
상기 교육 컨텐츠 제공 장치로부터, 교육 컨텐츠를 수신하고, 상기 스크린을 통해 강사의 실시간 영상 및 음성을 제공하고,
상기 사용자 디바이스로부터, 아바타 동작과 관련된 신호를 수신하고, 수신된 신호에 기초하여, 메타버스 공간 내에 아바타를 생성하여 아바타의 움직임을 제어하는 프로세서;를 포함하고,
상기 프로세서는,
상기 아바타와 상호 교류하도록 상기 무빙 오브젝트를 움직이되, 상기 아바타가 상기 무빙 오브젝트에 접근하는 경우, 상기 무빙 오브젝트를 상기 아바타로부터 더 멀어지게 하고,
상기 무빙 오브젝트의 움직임을 상기 사용자 디바이스에서 생성되는 신호와 상호 작용되도록 제어하되, 상기 사용자 디바이스로부터, 제시된 퀴즈에 대한 정답에 대응되는 신호가 수신되는 경우, 상기 무빙 오브젝트가 상기 아바타에 접근하게 제어하고, 상기 무빙 오브젝트가 상기 아바타와 동조화 상태로 움직이게 제어하고,
상기 스크린은,
상기 메타버스 공간 내에서 상기 교육 컨텐츠 제공 장치에서 수신된 교육 컨텐츠를 제공하는 매개체로, 상기 메타버스 공간에서의 하늘을 활용하여 생성되고는
상기 프로세서는,
상기 교육 컨텐츠 제공 장치로부터 수신된 교육 컨텐츠의 교육 내용 정보 및 교육 대상 정보를 획득하여,
상기 교육 컨텐츠가 영어 단어를 설명하는 영상인 경우, 설명 대상이 되는 단어를 추출하고, 상기 데이터 베이스에서 상기 영어 단어에 대응되는 오브젝트를 검색하여, 상기 메타버스 공간 내에, 검색된 오브젝트를 제공하고,
상기 교육 컨텐츠가 공룡 시대를 배경으로 하는 영어 교육 영상인 경우, 상기 교육 컨텐츠에서 공룡을 추출하고, 상기 데이터 베이스에서 공룡에 대응되는 오브젝트를 검색하여, 공룡 시대의 메타버스 공간에 검색된 오브젝트를 제공하는 메타 버스 공간 내에서 교육을 수행하는 교육 시스템.an image providing device including a 360-degree camera, acquiring an image of a space related to educational content through the 360-degree camera, and providing image data as a background for implementing a metaverse space;
a database providing data on a plurality of objects related to the educational content;
an educational content providing device that acquires real-time video and audio of an instructor through a camera and a microphone in a state where the metaverse space is displayed through the display;
a user device implemented as an electronic device in a form that the user can wear; and
a metaverse space implementation apparatus for implementing a metaverse space for education based on a signal, information or data received from the image providing apparatus, the database, the educational content providing apparatus, and the user device;
The metaverse space realization device,
receiving the image data from the image providing device, processing image data of an image captured by the 360-degree camera to form the metaverse space for education, and providing a screen in the metaverse space;
receive data for the plurality of objects from the database, create a moving object in the metaverse space, move the created moving object,
Receive the educational content from the educational content providing device, and provide real-time video and audio of the instructor through the screen,
a processor for receiving a signal related to an avatar motion from the user device, and generating an avatar in a metaverse space based on the received signal to control the motion of the avatar;
The processor is
move the moving object to interact with the avatar, when the avatar approaches the moving object, move the moving object further away from the avatar;
Control the movement of the moving object to interact with the signal generated by the user device, and control the moving object to access the avatar when a signal corresponding to a correct answer to the presented quiz is received from the user device; , controlling the moving object to move in synchronization with the avatar,
The screen is
As a medium for providing educational content received from the educational content providing device in the metaverse space, it is generated using the sky in the metaverse space,
The processor is
By acquiring the education content information and education target information of the education content received from the education content providing device,
When the educational content is an image explaining an English word, extracting a word to be explained, searching for an object corresponding to the English word in the database, and providing the searched object in the metaverse space;
When the educational content is an English educational video set in the dinosaur era, a dinosaur is extracted from the educational content, an object corresponding to the dinosaur is searched in the database, and the searched object is provided in the metaverse space of the dinosaur era. An educational system that conducts training within the metaverse space.
KR1020220114605A 2021-04-23 2022-09-12 Non-face-to-face real-time education method that uses 360-degree images and HMD, and is conducted within the metaverse space KR102585311B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220114605A KR102585311B1 (en) 2021-04-23 2022-09-12 Non-face-to-face real-time education method that uses 360-degree images and HMD, and is conducted within the metaverse space

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210052712A KR20220145997A (en) 2021-04-23 2021-04-23 Non-face-to-face real-time education method that uses 360-degree images and HMD, and is conducted within the metaverse space
KR1020220114605A KR102585311B1 (en) 2021-04-23 2022-09-12 Non-face-to-face real-time education method that uses 360-degree images and HMD, and is conducted within the metaverse space

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020210052712A Division KR20220145997A (en) 2021-04-23 2021-04-23 Non-face-to-face real-time education method that uses 360-degree images and HMD, and is conducted within the metaverse space

Publications (2)

Publication Number Publication Date
KR20220146366A true KR20220146366A (en) 2022-11-01
KR102585311B1 KR102585311B1 (en) 2023-10-10

Family

ID=84042208

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210052712A KR20220145997A (en) 2021-04-23 2021-04-23 Non-face-to-face real-time education method that uses 360-degree images and HMD, and is conducted within the metaverse space
KR1020220114605A KR102585311B1 (en) 2021-04-23 2022-09-12 Non-face-to-face real-time education method that uses 360-degree images and HMD, and is conducted within the metaverse space

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020210052712A KR20220145997A (en) 2021-04-23 2021-04-23 Non-face-to-face real-time education method that uses 360-degree images and HMD, and is conducted within the metaverse space

Country Status (1)

Country Link
KR (2) KR20220145997A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240069439A (en) 2022-11-11 2024-05-20 (주)에이알씨엔에스 System for Learner-centered Online Education using Metaverse
WO2024143731A1 (en) * 2022-12-29 2024-07-04 가천대학교 산학협력단 Method and system for building multi-view real-time metaverse content data based on selective super-resolution

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024101558A1 (en) * 2022-11-07 2024-05-16 주식회사 마이크로러닝 Metaverse-based university education platform

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030017850A (en) 2001-08-23 2003-03-04 서영철 On-Line Education Method
KR20160062276A (en) * 2014-11-24 2016-06-02 주식회사 퍼플웍스 System for providing edutainment contents based on STEAM
KR20160108017A (en) * 2015-03-06 2016-09-19 한국전자통신연구원 Device for virtual tour experience and method thereof
KR20200083004A (en) * 2018-12-31 2020-07-08 박상규 Engine room education and training system using virtual reality using the virtual reality implementation system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030017850A (en) 2001-08-23 2003-03-04 서영철 On-Line Education Method
KR20160062276A (en) * 2014-11-24 2016-06-02 주식회사 퍼플웍스 System for providing edutainment contents based on STEAM
KR20160108017A (en) * 2015-03-06 2016-09-19 한국전자통신연구원 Device for virtual tour experience and method thereof
KR20200083004A (en) * 2018-12-31 2020-07-08 박상규 Engine room education and training system using virtual reality using the virtual reality implementation system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
[프론티스]엑스알 판도라(메타버스 아바타 가상교육 및 가상회의 인트라넷 플랫폼). 인터넷 유튜브, [online], 2021.03.08. , [2021.07.13. 검색] 인터넷 https://www.youtube.com/watch?v=WRUo5omteQY* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240069439A (en) 2022-11-11 2024-05-20 (주)에이알씨엔에스 System for Learner-centered Online Education using Metaverse
WO2024143731A1 (en) * 2022-12-29 2024-07-04 가천대학교 산학협력단 Method and system for building multi-view real-time metaverse content data based on selective super-resolution

Also Published As

Publication number Publication date
KR102585311B1 (en) 2023-10-10
KR20220145997A (en) 2022-11-01

Similar Documents

Publication Publication Date Title
KR102585311B1 (en) Non-face-to-face real-time education method that uses 360-degree images and HMD, and is conducted within the metaverse space
JP7130057B2 (en) Hand Keypoint Recognition Model Training Method and Device, Hand Keypoint Recognition Method and Device, and Computer Program
CN110490213B (en) Image recognition method, device and storage medium
US11410570B1 (en) Comprehensive three-dimensional teaching field system and method for operating same
KR102359253B1 (en) Method of providing non-face-to-face English education contents using 360 degree digital XR images
EP2496196B1 (en) Representing visual images by alternative senses
Coughlan et al. AR4VI: AR as an accessibility tool for people with visual impairments
KR20210062428A (en) Remote control method and apparatus for an imageing apparatus
WO2022188022A1 (en) Hearing-based perception system and method for using same
CN112116684A (en) Image processing method, device, equipment and computer readable storage medium
CN113821720A (en) Behavior prediction method and device and related product
KR20210046170A (en) An artificial intelligence apparatus for generating recipe and method thereof
CN111515970B (en) Interaction method, mimicry robot and related device
Masal et al. Development of a visual to audio and tactile substitution system for mobility and orientation of visually impaired people: a review
Huang et al. Assister: Assistive navigation via conditional instruction generation
KR20190096752A (en) Method and electronic device for generating text comment for content
KR20190107616A (en) Artificial intelligence apparatus and method for generating named entity table
KR20210066328A (en) An artificial intelligence apparatus for learning natural language understanding models
Elbawab et al. Machine Learning applied to student attentiveness detection: Using emotional and non-emotional measures
KR102231909B1 (en) Artificial intelligence device
KR20210052958A (en) An artificial intelligence server
Rivera-Rubio et al. An assistive haptic interface for appearance-based indoor navigation
CN114296627B (en) Content display method, device, equipment and storage medium
De Paolis et al. Augmented Reality, Virtual Reality, and Computer Graphics: 6th International Conference, AVR 2019, Santa Maria al Bagno, Italy, June 24–27, 2019, Proceedings, Part II
KR20230049179A (en) Virtual Reality Education Platform System and the Operation Method thereof

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right