KR102659886B1 - VR and AI Recognition English Studying System - Google Patents
VR and AI Recognition English Studying System Download PDFInfo
- Publication number
- KR102659886B1 KR102659886B1 KR1020210053421A KR20210053421A KR102659886B1 KR 102659886 B1 KR102659886 B1 KR 102659886B1 KR 1020210053421 A KR1020210053421 A KR 1020210053421A KR 20210053421 A KR20210053421 A KR 20210053421A KR 102659886 B1 KR102659886 B1 KR 102659886B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- learning
- unit
- english
- voice
- Prior art date
Links
- 238000011156 evaluation Methods 0.000 claims abstract description 19
- 238000013523 data management Methods 0.000 claims abstract description 16
- 230000008921 facial expression Effects 0.000 claims description 21
- 230000033001 locomotion Effects 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 15
- 230000008451 emotion Effects 0.000 claims description 13
- 230000014509 gene expression Effects 0.000 claims description 8
- 238000013473 artificial intelligence Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 210000005155 neural progenitor cell Anatomy 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/253—Grammatical analysis; Style critique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/06—Foreign languages
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Tourism & Hospitality (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
본 발명의 가상 현실 및 AI 인식 영어 학습 시스템은 가상 현실을 이용한 영어 학습 시스템에 있어서, 사용자에게 콘텐츠의 음성을 출력하는 음성 스피커(110)와, 사용자의 음성을 감지하는 마이크로폰(120)과, 상기 음성 스피커(110)와 디스플레이(140)를 제어하는 사용자 단말기(130)와, 콘텐츠 제공부(200)가 상기 사용자 단말기(130)를 통해 제공하는 콘텐츠의 영상을 시각적으로 표출하는 디스플레이(140), 로 구성되는 가상 현실 재현부(100)와; 사용자가 학습과제를 선택할 수 있게 과제 선택 메뉴를 제공하거나, 학습 데이터 관리부(270)에 저장된 사용자의 학습 정보를 기초로 과제 선택 메뉴를 추천하는 학습 과제 선택부(210)와, 상기 학습 과제 선택부(210)에서 선택된 학습 과제에 대해, 사용자가 레벨(난이도)을 선택할 수 있게 메뉴를제공하거나, 학습 데이터 관리부(270)에 저장된 사용자의 학습 레벨에 따라 사용자의 레벨(난이도)을 자동으로 지정하는 학습 레벨 선택부(230)와, 전 단계에서 선택 또는 지정된 학습 과제 및 학습 레벨에 따라 영어 학습을 진행하는 학습 진행부(300)와, 상기 학습 진행부(300)에 의해 진행된 사용자의 영어 학습 과제에 대한 평가 결과를 저장 관리하는 학습 데이터 관리부(270), 로 구성되는 콘텐츠 제공부(200);를 포함하여 구성되는 것을 특징으로 하는 가상 현실 및 AI 인식 영어 학습 시스템에 관한 것이다.The virtual reality and AI recognition English learning system of the present invention is an English learning system using virtual reality, comprising: a voice speaker 110 that outputs the voice of content to the user, a microphone 120 that detects the user's voice, and A user terminal 130 that controls the audio speaker 110 and the display 140, and a display 140 that visually displays an image of the content provided by the content provider 200 through the user terminal 130, A virtual reality reproduction unit 100 consisting of; A learning task selection unit 210 that provides a task selection menu so that the user can select a learning task, or recommends a task selection menu based on the user's learning information stored in the learning data management unit 270, and the learning task selection unit For the learning task selected at (210), a menu is provided so that the user can select a level (difficulty), or the user's level (difficulty) is automatically specified according to the user's learning level stored in the learning data management unit 270. A learning level selection unit 230, a learning progress unit 300 that conducts English learning according to the learning task and learning level selected or designated in the previous step, and the user's English learning task progressed by the learning progress unit 300. It relates to a virtual reality and AI recognition English learning system characterized by comprising a learning data management unit 270 that stores and manages evaluation results for, and a content providing unit 200 consisting of.
Description
본 발명은 사용자가 가상 현실에서 실제와 같은 체험을 하면서 영어를 학습할 수 있는 가상 현실 및 AI 인식 영어 학습 시스템에 관한 것이다. The present invention relates to a virtual reality and AI recognition English learning system that allows users to learn English while having a realistic experience in virtual reality.
한국 특허 제10-1770220호는 가상현실 영상을 제공하는 서비스 제공서버를 포함하는 외국어 학습 서비스 시스템에 있어서, 상기 서비스 제공서버는, 외국어 학습 서비스를 받고자 하는 사용자가 착용하는 적어도 하나의 제1 사용자 단말기 및 강사가 사용하는 제2 사용자 단말기와 네트워크 연결하는 통신부; 상기 제1 사용자 단말기로부터 다수의 시뮬레이션 상황 중에서 학습하고자 하는 시뮬레이션 상황을 선택받는 시뮬레이션 선택부; 데이터베이스에 저장된 다수의 시뮬레이션 상황별 가상현실 영상 중에서 상기 선택된 시뮬레이션 상황에 대응하는 가상현실 영상에, 상기 사용자 및 상기 강사에 대응하는 캐릭터를 각각 반영하여 상기 제1 사용자 단말기 및 제2 사용자 단말기에 각각 제공하는 영상 제공부; 상기 제1 사용자 단말기로부터 음성을 입력받아 상기 제2 사용자 단말기에 전송하는 음성 제공부; 및 상기 제1 사용자 단말기로부터 음성이 설정시간 이상 입력되지 않거나, 사용자의 시선에 따라 변화되는 상기 제1 사용자 단말기의 캐릭터의 표정 및 시선을 포착하여 상기 제1 사용자 단말기를 통해 경고음 또는 경고화면이 출력되도록 하고, 복수의 제1 사용자 단말기가 네트워크 연결된 경우, 어느 하나의 제1 사용자 단말기로부터 음성이 설정횟수 이상 연속으로 입력되면, 다른 제1 사용자 단말기로부터 음성이 입력되기 전까지 입력된 음성을 음소거 처리하는 제어부를 포함하고, 시뮬레이션 상황은 복수의 단계 상황으로 구성되며, 상기 제2 사용자 단말기로부터 해당 단계 상황에 대한 학습 완료 정보를 수신하면, 상기 영상 제공부는 다음 단계 상황에 대응하는 가상 현실 영상을 상기 제1 사용자 단말기 및 제2 사용자 단말기에 각각 제공하는 외국어 학습 서비스 시스템을 개시한다.Korean Patent No. 10-1770220 provides a foreign language learning service system including a service providing server that provides virtual reality images, wherein the service providing server includes at least one first user terminal worn by a user who wishes to receive a foreign language learning service. and a communication unit connected to a network with a second user terminal used by the instructor; a simulation selection unit that selects a simulation situation to learn from among a plurality of simulation situations from the first user terminal; Characters corresponding to the user and the instructor are reflected in the virtual reality image corresponding to the selected simulation situation among a plurality of virtual reality images for each simulation situation stored in the database, and provided to the first user terminal and the second user terminal, respectively. video provision department; a voice providing unit that receives voice input from the first user terminal and transmits it to the second user terminal; And if no voice is input from the first user terminal for more than a set time, or the facial expression and gaze of the character of the first user terminal that change depending on the user's gaze are captured, a warning sound or warning screen is output through the first user terminal. When a plurality of first user terminals are connected to a network, if a voice is continuously input from any one first user terminal more than a set number of times, the input voice is muted until a voice is input from another first user terminal. It includes a control unit, and the simulation situation is composed of a plurality of stage situations. When receiving learning completion information for the corresponding stage situation from the second user terminal, the image provider provides a virtual reality image corresponding to the next stage situation to the first stage situation. Disclosed is a foreign language learning service system provided to a first user terminal and a second user terminal, respectively.
종래의 영어 학습은 원격 통신을 이용한 1: 1 학습 또는 초기 단계의 가상 현실 학습 방법으로서 학습자의 흥미를 유발하기에 부족하고 학습 효과가 미미하여 성공한 제품이 거의 없었다.Conventional English learning methods, such as 1:1 learning using remote communication or early-stage virtual reality learning methods, were insufficient to arouse learners' interest and had minimal learning effects, so there were few successful products.
본 발명은 기존의 통신을 1: 1 대화 등과 같은 딱딱한 영어 학습 방법을 탈피하여 사용자가 이국적 가상 공간(예를들어, 공항, 지하철, 주유소, 숙박시설, 식당)의 환경에 투입되는 수행 과제를 선택하고, 그 가상공간 안에서 NPC(상대방 캐릭터)와 대화나 표정을 주고 받으면서 게임 및 여행하듯이 영어 학습 및 대화 능력을 증가시켜주는 가상 현실 및 AI 인식 영어 학습 시스템 기술을 제공하기 위한 것이다.The present invention breaks away from traditional English learning methods such as 1:1 communication and allows users to select tasks to be performed in the environment of an exotic virtual space (e.g., airport, subway, gas station, lodging facility, restaurant). It is intended to provide virtual reality and AI recognition English learning system technology that increases English learning and conversation skills as if playing games or traveling by exchanging conversations or facial expressions with NPCs (opposite characters) in the virtual space.
본 발명은 사용자의 가상 체험에 의한 학습 결과를 평가하고 저장 관리함으로써 이를 기초로 사용자에게 과제를 추천하고 평가할 수 있어서 사용자의 영어 학습 과정을 체계적으로 관리하면서 발전 방향을 유도할 수 있는 가상 현실 및 AI 인식 영어 학습 시스템 기술을 제공하기 위한 것이다.The present invention is a virtual reality and AI system that can systematically manage the user's English learning process and guide development by evaluating and storing and managing the learning results of the user's virtual experience, and recommending and evaluating tasks to the user based on this. It is intended to provide cognitive English learning system technology.
또한, 본 발명은 사용자의 음성 인식 뿐 아니라 표정 동작 인식에 의한 사용자 아바타의 애니메이션이 가능하여 가상공간의 현실감과 아바타와의 일체감을 증대시킬수 있는 가상 현실 및 AI 인식 영어 학습 시스템 기술을 제공하기 위한 것이다. 또한, 단어 문장의 감정을 인공지능 수단으로 캡춰하여 사용자 아바타 또는 NPC 의 표정에 반영함으로써 좀더 현실감 있는 가상 현실 및 AI 인식 영어 학습 시스템 기술을 제공하기 위한 것이다.In addition, the present invention is intended to provide a virtual reality and AI recognition English learning system technology that can increase the sense of reality in virtual space and a sense of unity with the avatar by enabling animation of the user's avatar by not only recognizing the user's voice but also recognizing facial expressions. . In addition, the purpose is to provide more realistic virtual reality and AI-recognized English learning system technology by capturing the emotions of word sentences using artificial intelligence means and reflecting them on the facial expressions of the user avatar or NPC.
또한, 사용자가 영어 구사가 어려운 경우 영어가 부족한 사용자가 한국어로 말하여 도움을 요청하면 영어가 자막으로 표현되어 사용자의 영어가 부족한 경우에도 체험을 계속하면서 영어 실력을 향상시킬수 있는 가상 현실 및 AI 인식 영어 학습 시스템 기술을 제공하기 위한 것이다.Additionally, if the user has difficulty speaking English, if the user with limited English speaks in Korean and asks for help, English is displayed as subtitles, allowing virtual reality and AI recognition to improve English skills while continuing the experience even if the user's English is poor. It is intended to provide English learning system technology.
본 발명의 가상 현실 및 AI 인식 영어 학습 시스템은, 가상 현실을 이용한 영어 학습 시스템에 있어서, 사용자에게 콘텐츠의 음성을 출력하는 음성 스피커(110)와, 사용자의 음성을 감지하는 마이크로폰(120)과, 상기 마이크로폰(120)의 음성신호를 콘텐츠 제공부(100)에 제공하고 상기 음성 스피커(110)와 디스플레이(140)를 제어하는 사용자 단말기(130)와, 콘텐츠 제공부(200)가 상기 사용자 단말기(130)를 통해 제공하는 콘텐츠의 영상을 시각적으로 표출하는 디스플레이(140), 로 구성되는 가상 현실 재현부(100)와;The virtual reality and AI recognition English learning system of the present invention includes an English learning system using virtual reality, a voice speaker 110 that outputs the voice of content to the user, a microphone 120 that detects the user's voice, and A user terminal 130 that provides a voice signal from the microphone 120 to the content provider 100 and controls the voice speaker 110 and the display 140, and a content provider 200 are provided with the user terminal ( A virtual reality reproduction unit 100 consisting of a display 140 that visually displays the image of the content provided through 130);
사용자가 학습과제를 선택할 수 있게 과제 선택 메뉴를 제공하거나, 학습 데이터 관리부(270)에 저장된 사용자의 학습 정보를 기초로 과제 선택 메뉴를 추천하는 학습 과제 선택부(210)와, 상기 학습 과제 선택부(210)에서 선택된 학습 과제에 대해, 사용자가 레벨(난이도)을 선택할 수 있게 메뉴를 제공하거나, 학습 데이터 관리부(270)에 저장된 사용자의 학습 레벨에 따라 사용자의 레벨(난이도)을 자동으로 지정하는 학습 레벨 선택부(230)와,A learning task selection unit 210 that provides a task selection menu so that the user can select a learning task, or recommends a task selection menu based on the user's learning information stored in the learning data management unit 270, and the learning task selection unit For the learning task selected at (210), a menu is provided so that the user can select a level (difficulty), or the user's level (difficulty) is automatically specified according to the user's learning level stored in the learning data management unit 270. A learning level selection unit 230,
전 단계에서 선택 또는 지정된 학습 과제 및 학습 레벨에 따라 영어 학습을 진행하는 학습 진행부(300)와, 상기 학습 진행부(300)에 의해 진행된 사용자의 영어 학습 과제에 대한 평가 결과를 저장 관리하는 학습 데이터 관리부(270), 로 구성되는 콘텐츠 제공부(200);를 포함하여 구성되는 것을 특징으로 한다.A learning progress unit 300 that conducts English learning according to the learning task and learning level selected or specified in the previous step, and a learning progress unit 300 that stores and manages the evaluation results of the user's English learning task progressed by the learning progress unit 300. It is characterized by being composed of a data management unit 270, and a content providing unit 200 consisting of.
본 발명에 따르는 경우, 기존의 통신을 1: 1 대화 등과 같은 딱딱한 영어 학습 방법을 탈피하여 사용자가 이국적 가상 공간(예를들어, 공항, 지하철, 주유소, 숙박시설, 식당)의 환경에 투입되는 수행 과제를 선택하고, 그 가상공간 안에서 NPC(상대방 캐릭터)와 대화나 표정을 주고 받으면서 게임 및 여행하듯이 영어 학습 및 대화 능력을 증가시켜주는 가상 현실 및 AI 인식 영어 학습 시스템 기술이 제공된다.According to the present invention, by breaking away from the rigid English learning method such as 1: 1 conversation through existing communication, the user is put into the environment of an exotic virtual space (e.g., airport, subway, gas station, accommodation, restaurant). Virtual reality and AI recognition English learning system technology is provided that increases English learning and conversation skills as if you were playing a game or traveling by selecting a task and exchanging conversations or facial expressions with NPCs (opponent characters) in the virtual space.
또한, 본 발명에 따르는 경우, 사용자의 가상 체험에 의한 학습 결과를 평가하고 저장 관리함으로써 이를 기초로 사용자에게 과제를 추천하고 평가할 수 있어서 사용자의 영어 학습 과정을 체계적으로 관리하면서 발전 방향을 유도할 수 있는 가상 현실 및 AI 인식 영어 학습 시스템 기술이 제공된다.In addition, according to the present invention, by evaluating and storing and managing the learning results of the user's virtual experience, tasks can be recommended and evaluated to the user based on this, thereby systematically managing the user's English learning process and guiding the direction of development. Virtual reality and AI recognition English learning system technologies are provided.
또한, 본 발명에 따르는 경우, 사용자의 음성 인식 뿐 아니라 표정 동작 인식에 의한 사용자 아바타의 애니메이션이 가능하여 가상공간의 현실감과 아바타와의 일체감을 증대시킬수 있는 가상 현실 및 AI 인식 영어 학습 시스템 기술을 제공하기 위한 것이다. 또한, 단어 문장의 감정을 인공지능 수단으로 캡춰하여 사용자 아바타 또는 NPC 의 표정에 반영함으로써 좀더 현실감 있는 가상 현실 및 AI 인식 영어 학습 시스템 기술이 제공된다.In addition, the present invention provides virtual reality and AI recognition English learning system technology that can increase the sense of reality in virtual space and the sense of unity with the avatar by enabling animation of the user's avatar not only by recognizing the user's voice but also by recognizing facial expressions. It is for this purpose. In addition, more realistic virtual reality and AI recognition English learning system technology is provided by capturing the emotions of word sentences using artificial intelligence and reflecting them on the facial expressions of the user avatar or NPC.
또한, 사용자가 영어 구사가 어려운 경우 영어가 부족한 사용자가 한국어로 말하여 도움을 요청하면 영어가 자막으로 표현되어 사용자의 영어가 부족한 경우에도 체험을 계속하면서 영어 실력을 향상시킬수 있는 가상 현실 및 AI 인식 영어 학습 시스템 기술이 제공된다.Additionally, if the user has difficulty speaking English, if the user with limited English speaks in Korean and asks for help, English is displayed as subtitles, allowing virtual reality and AI recognition to improve English skills while continuing the experience even if the user's English is poor. English learning system technology is provided.
도 1은 본 발명의 일실시예에 따른 가상 현실 및 AI 인식 영어 학습 시스템 전체 구성도.
도 2는 본 발명의 일실시예에 따른 가상 현실 및 AI 인식 영어 학습 시스템 콘텐츠 제공부 상세 구성도.Figure 1 is an overall configuration diagram of a virtual reality and AI recognition English learning system according to an embodiment of the present invention.
Figure 2 is a detailed configuration diagram of the content provision unit of a virtual reality and AI recognition English learning system according to an embodiment of the present invention.
이하에서 본 발명의 가상 현실 및 AI 인식 영어 학습 시스템에 대하여 첨부된 도면을 참조하여 상세하게 설명한다. 도 1은 본 발명의 일실시예에 따른 가상 현실 및 AI 인식 영어 학습 시스템 전체 구성도, 도 2는 본 발명의 일실시예에 따른 가상 현실 및 AI 인식 영어 학습 시스템 콘텐츠 제공부 상세 구성도이다.Hereinafter, the virtual reality and AI recognition English learning system of the present invention will be described in detail with reference to the attached drawings. Figure 1 is an overall configuration diagram of a virtual reality and AI recognition English learning system according to an embodiment of the present invention, and Figure 2 is a detailed configuration diagram of a content provision unit of a virtual reality and AI recognition English learning system according to an embodiment of the present invention.
도 1, 도 2에 도시된 바와 같이, 본 발명의 가상 현실 및 AI 인식 영어 학습 시스템은, 가상 현실 재현부(100)와 콘텐츠 제공부(200)를 포함하여 구성된다. As shown in FIGS. 1 and 2, the virtual reality and AI recognition English learning system of the present invention includes a virtual reality reproduction unit 100 and a content provision unit 200.
가상 현실 재현부(100)는, 가상 현실을 이용한 영어 학습 시스템에 있어서, 사용자에게 콘텐츠의 음성을 출력하는 음성 스피커(110)와, 사용자의 음성을 감지하는 마이크로폰(120)과, 상기 마이크로폰(120)의 음성신호를 콘텐츠 제공부(100)에 제공하고 상기 음성 스피커(110)와 디스플레이(140)를 제어하는 사용자 단말기(130)와, 콘텐츠 제공부(200)가 상기 사용자 단말기(130)를 통해 제공하는 콘텐츠의 영상을 시각적으로 표출하는 디스플레이(140)로 구성된다.In an English learning system using virtual reality, the virtual reality reproduction unit 100 includes a voice speaker 110 that outputs the voice of content to the user, a microphone 120 that detects the user's voice, and the microphone 120. A user terminal 130 provides a voice signal to the content provider 100 and controls the voice speaker 110 and the display 140, and the content provider 200 provides the voice signal through the user terminal 130. It consists of a display 140 that visually displays images of content.
도 1, 도 2에 도시된 바와 같이, 콘텐츠 제공부(200)는, 학습 과제 선택부(210)와 학습 레벨 선택부(230)와, 학습 진행부(300)와 학습 데이터 관리부(270)를 포함한다. As shown in FIGS. 1 and 2, the content provider 200 includes a learning task selection unit 210, a learning level selection unit 230, a learning progress unit 300, and a learning data management unit 270. Includes.
학습 과제 선택부(210)는, 사용자가 학습과제를 선택할 수 있게 과제 선택 메뉴를 제공하거나, 학습 데이터 관리부(270)에 저장된 사용자의 학습 정보를 기초로 과제 선택 메뉴를 추천한다.The learning task selection unit 210 provides a task selection menu so that the user can select a learning task, or recommends a task selection menu based on the user's learning information stored in the learning data management unit 270.
학습 레벨 선택부(230)는, 학습 과제 선택부(210)에서 선택된 학습 과제에 대해, 사용자가 레벨(난이도)을 선택할 수 있게 메뉴를 제공하거나, 학습 데이터 관리부(270)에 저장된 사용자의 학습 레벨에 따라 사용자의 레벨(난이도)을 자동으로 지정한다.The learning level selection unit 230 provides a menu so that the user can select a level (difficulty) for the learning task selected in the learning task selection unit 210, or the user's learning level stored in the learning data management unit 270. The user's level (difficulty) is automatically specified according to the level.
학습 진행부(300)는 전 단계에서 선택 또는 지정된 학습 과제 및 학습 레벨에 따라 영어 학습을 진행한다.The learning progress unit 300 proceeds with English learning according to the learning task and learning level selected or specified in the previous step.
학습 데이터 관리부(270)는 학습 진행부(300)에 의해 진행된 사용자의 영어 학습 과제에 대한 평가 결과를 저장 관리한다.The learning data management unit 270 stores and manages the evaluation results of the user's English learning task progressed by the learning progress unit 300.
도 1, 도 2에 도시된 바와 같이, 본 발명의 가상 현실 및 AI 인식 영어 학습 시스템에서, 학습 진행부(300)는, 아바타 및 NPC 캐릭터 영상과, 학습 과제 레벨 별로 구성된 3차원 배경 및 공간 영상과, NPC 영어 멘트 정보가 저장된 라이브러리(310)와, 상기 라이브러리(310)에서 가져온 아바타 및 NPC 영상을 애니메이션 하는 아바타 및 NPC 영상 생성부(320)와, 상기 마이크로폰(120)에서 감지된 사용자의 음성을 감지하여 인공지능 수단을 이용하여 언어로 변환하는 사용자 음성 인식부(330)와, 사용자 음성 인식부(330)의 사용자 음성 인식 결과를 이용하여 답변 또는 상황별 내용의 적합성을 판단하는 사용자 음성(답변) 평가부(340)와, 상기 사용자 음성 인식부(330)와 사용자 음성(답변) 평가부(340)의 평가 결과를 기초로 하여 NPC 의 응답 영어 음성을 생성하는 NPC 음성 응답 생성부(350)를 포함하여 구성된다.As shown in Figures 1 and 2, in the virtual reality and AI recognition English learning system of the present invention, the learning progress unit 300 includes avatar and NPC character images, and three-dimensional background and space images configured for each learning task level. and a library 310 storing NPC English comment information, an avatar and NPC image generator 320 that animates avatars and NPC images taken from the library 310, and the user's voice detected by the microphone 120. A user voice recognition unit 330 that detects and converts into language using artificial intelligence means, and a user voice (330) that determines the suitability of the answer or content for each situation using the user voice recognition result of the user voice recognition unit 330. Answer) an evaluation unit 340, and an NPC voice response generator 350 that generates the NPC's response English voice based on the evaluation results of the user voice recognition unit 330 and the user voice (answer) evaluation unit 340. ) and consists of
<문장 감정 아바타 영상 반영 기능><Sentence emotion avatar video reflection function>
도 1, 도 2에 도시된 바와 같이, 본 발명의 가상 현실 및 AI 인식 영어 학습 시스템에서, 학습 진행부(300)는, NPC의 음성 응답 내용 및 상기 사용자 음성 인식부(330)의 번역 내용을 기초로 문장 단어의 감정을 추론하는 문장 단어 감정 추정부(360)와, 상기 문장 단어 감정 추정부(360)에서 제공되는 사용자 및 NPC의 추정 감정을 표현하는 얼굴 표정 애니메이션 데이터를 생성하는 아바타 및 NPC 표정 영상 생성부(370),를 더 포함하여 구성된다. 아바타 및 NPC 영상 생성부(320)는 아바타 및 NPC 표정 영상 생성부(370)에서 제공되는 얼굴 표정 영상 애니메이션 데이터를 추가로 정합하여 영상을 생성한다.1 and 2, in the virtual reality and AI recognition English learning system of the present invention, the learning progress unit 300 receives the NPC's voice response content and the translation content of the user voice recognition unit 330. A sentence word emotion estimation unit 360 that infers the emotion of the sentence word based on the sentence word emotion estimation unit 360, and an avatar and NPC that generate facial expression animation data expressing the estimated emotion of the user and NPC provided by the sentence word emotion estimation unit 360. It is configured to further include an expression image generator 370. The avatar and NPC image generator 320 generates an image by additionally matching the facial expression image animation data provided by the avatar and NPC expression image generator 370.
<사용자 표정 및 동작 인식 기능><User facial expression and gesture recognition function>
도 1, 도 2에 도시된 바와 같이, 본 발명의 가상 현실 및 AI 인식 영어 학습 시스템에서, 가상 현실 재현부(100)는, 사용자의 동작 및 표정을 촬영하는 영상 카메라(150)를 더 포함하여 구성된다. 학습 진행부(300)는, 상기 영상 카메라(150)의 사용자 영상을 인공지능으로 분석하여 동작 및 표정을 추출하는 AI 사용자 동작 인식부(380)와, 상기 AI 사용자 동작 인식부(380)에서 추출된 사용자의 동작 및 표정을 콘텐츠의 사용자 아바타 영상에 반영하는 사용자 표정 및 동작 영상 반영부(390)를 더 포함하여 구성된다. AI 사용자 동작 인식부(380)에서 추출된 사용자의 동작 및 표정은 사용자 음성(답변) 평가부(340)의 평가 결과와 함께 NPC 음성 응답 생성부(350)에 전송되어 NPC 영어 응답 생성에 기초자료로 사용된다.As shown in Figures 1 and 2, in the virtual reality and AI recognition English learning system of the present invention, the virtual reality reproduction unit 100 further includes a video camera 150 that captures the user's movements and facial expressions. do. The learning progress unit 300 includes an AI user motion recognition unit 380 that analyzes the user image of the video camera 150 using artificial intelligence to extract movements and facial expressions, and extracts data from the AI user motion recognition unit 380. It further includes a user expression and motion image reflection unit 390 that reflects the user's motion and expression on the user avatar image of the content. The user's movements and facial expressions extracted from the AI user motion recognition unit 380 are transmitted to the NPC voice response generation unit 350 along with the evaluation results of the user voice (response) evaluation unit 340, and are used as basic data for generating NPC English responses. It is used as.
<한국어 보조 기능><Korean auxiliary function>
도 1, 도 2에 도시된 바와 같이, 본 발명의 가상 현실 및 AI 인식 영어 학습 시스템에서, 사용자 음성 인식부(330)는, 영어 인식부(331)에 더하여 한국어 인식부(335)로 구성되고, 상기 영어 인식부(331)에 의해 영어로 문자 변환(음성 영어 문자 변환)이 되지 않은 경우 상기 한국어 인식부(335)가 사용자 음성을 한국어로 문자 변환(음성 한글 문자 변환)한다. As shown in Figures 1 and 2, in the virtual reality and AI recognition English learning system of the present invention, the user voice recognition unit 330 is composed of a Korean language recognition unit 335 in addition to the English recognition unit 331, and , if the English recognition unit 331 does not convert the user's voice into English (speech into English text), the Korean recognition unit 335 converts the user's voice into Korean (speech into Korean text).
학습 진행부(300)는 영어 변환부(410)와 영어 자막 영상 생성부(420)를 더 포함하여 구성되고, 영어 변환부(410)는 상기 한국어 인식부(335)에서 생성된 한국어 문자를 영어 문자로 변환하고, 영어 자막 영상 생성부(420)는 변환된 영어 문자를 자막 영상으로 생성하여 상기 아바타 및 NPC 영상 생성부(320)에서 제공되는 영상과 함께 표출되게 한다. 사용자가 영어 음성 표현이 어려워서 한국어로 말하는 경우 이를 번역하여 영어 자막을 생성하여 줌으로써 사용자의 학습을 보조하는 것이다.The learning progress unit 300 further includes an English conversion unit 410 and an English subtitle image generation unit 420, and the English conversion unit 410 converts the Korean characters generated by the Korean recognition unit 335 into English. The text is converted into text, and the English subtitle image generator 420 generates the converted English text into a subtitle image and displays it together with the image provided by the avatar and NPC image generator 320. If the user has difficulty expressing English voices and speaks in Korean, the translation is translated and English subtitles are created to assist the user's learning.
<수정 문장 제안부><Suggestions for revised sentences>
도 1, 도 2에 도시된 바와 같이, 본 발명의 가상 현실 및 AI 인식 영어 학습 시스템에서, 학습 진행부(300)는, 사용자 음성(답변) 평가부(340)가 사용자의 답변이 부적합 하다고 판단하였을 때, 사용자의 디스플레이(140)에 자막으로 표출되는 수정 문장을 생성하여 제공하는 수정 문장 제안부(430),를 더 포함하여 구성되는 것이 바람직하다.As shown in Figures 1 and 2, in the virtual reality and AI recognition English learning system of the present invention, the learning progress unit 300 determines that the user's voice (answer) evaluation unit 340 is inappropriate. When doing so, it is preferable to further include a correction sentence suggestion unit 430 that generates and provides a correction sentence displayed as a subtitle on the user's display 140.
학습 데이터 관리부(270)는, 사용자의 영어 학습 과제에 대한 평가 결과를 리스닝(Listening), 문법, 어휘력, 및 발음 분야로 분리하여 평가 관리하는 것이 바람직하다.It is desirable for the learning data management unit 270 to separate and manage the evaluation results of the user's English learning task into the areas of listening, grammar, vocabulary, and pronunciation.
본 발명은 상기에서 언급한 바람직한 실시예와 관련하여 설명됐지만, 본 발명의 범위가 이러한 실시예에 한정되는 것은 아니며, 본 발명의 범위는 이하의 특허청구범위에 의하여 정하여지는 것으로 본 발명과 균등 범위에 속하는 다양한 수정 및 변형을 포함할 것이다.Although the present invention has been described in relation to the preferred embodiments mentioned above, the scope of the present invention is not limited to these embodiments, and the scope of the present invention is determined by the following claims, which are equivalent to the present invention. It will include various modifications and variations belonging to .
아래의 특허청구범위에 기재된 도면부호는 단순히 발명의 이해를 보조하기 위한 것으로 권리범위의 해석에 영향을 미치지 아니함을 밝히며 기재된 도면부호에 의해 권리범위가 좁게 해석되어서는 안될 것이다.It is stated that the drawing symbols used in the patent claims below are merely intended to aid understanding of the invention and do not affect the interpretation of the scope of rights. The scope of rights should not be narrowly interpreted based on the drawing symbols.
100 : 가상 현실 재현부 110 : 음성 스피커
120 : 마이크로폰 130 : 사용자 단말기
140 : 디스플레이 150 : 영상 카메라
200 : 콘텐츠 제공부 210 : 학습 과제 선택부 270 : 학습 데이터 관리부 230 : 학습 레벨 선택부
300 : 학습 진행부 310 : 라이브러리 320 : 아바타 및 NPC 영상 생성부 330 : 사용자 음성 인식부
331 : 영어 인식부 335 : 한국어 인식부
340 : 사용자 음성(답변) 평가부 350 : NPC 음성 응답 생성부
360 : 문장 단어 감정 추정부
370 : 아바타 및 NPC 표정 영상 생성부
380 : AI 사용자 동작 인식부
390 : 사용자 표정 및 동작 영상 반영부
410 : 영어 변환부
420 : 영어 자막 영상 생성부
430 : 수정 문장 제안부100: Virtual reality reproduction unit 110: Voice speaker
120: Microphone 130: User terminal
140: display 150: video camera
200: Content provision unit 210: Learning task selection unit 270: Learning data management unit 230: Learning level selection unit
300: Learning progress unit 310: Library 320: Avatar and NPC image creation unit 330: User voice recognition unit
331: English recognition unit 335: Korean recognition unit
340: User voice (response) evaluation unit 350: NPC voice response generation unit
360: Sentence word emotion estimation unit
370: Avatar and NPC facial expression image generation unit
380: AI user gesture recognition unit
390: User facial expression and motion image reflection unit
410: English conversion unit
420: English subtitle video generation unit
430: Modification sentence suggestion part
Claims (7)
사용자에게 콘텐츠의 음성을 출력하는 음성 스피커(110)와,
사용자의 음성을 감지하는 마이크로폰(120)과,
상기 마이크로폰(120)의 음성신호를 콘텐츠 제공부(100)에 제공하고 상기 음성 스피커(110)와 디스플레이(140)를 제어하는 사용자 단말기(130)와,
콘텐츠 제공부(200)가 상기 사용자 단말기(130)를 통해 제공하는 콘텐츠의 영상을 시각적으로 표출하는 디스플레이(140),
로 구성되는 가상 현실 재현부(100)와;
사용자가 학습과제를 선택할 수 있게 과제 선택 메뉴를 제공하거나, 학습 데이터 관리부(270)에 저장된 사용자의 학습 정보를 기초로 과제 선택 메뉴를 추천하는 학습 과제 선택부(210)와,
상기 학습 과제 선택부(210)에서 선택된 학습 과제에 대해, 사용자가 레벨(난이도)을 선택할 수 있게 메뉴를제공하거나, 학습 데이터 관리부(270)에 저장된 사용자의 학습 레벨에 따라 사용자의 레벨(난이도)을 자동으로 지정하는 학습 레벨 선택부(230)와,
전 단계에서 선택 또는 지정된 학습 과제 및 학습 레벨에 따라 영어 학습을 진행하는 학습 진행부(300)와,
상기 학습 진행부(300)에 의해 진행된 사용자의 영어 학습 과제에 대한 평가 결과를 저장 관리하는 학습 데이터 관리부(270),
로 구성되는 콘텐츠 제공부(200);
를 포함하여 구성되고,
상기 학습 진행부(300)는,
아바타 및 NPC 캐릭터 영상과, 학습 과제 레벨 별로 구성된 3차원 배경 및 공간 영상과, NPC 영어 멘트 정보가 저장된 라이브러리(310)와,
상기 라이브러리(310)에서 가져온 아바타 및 NPC 영상을 애니메이션 하는 아바타 및 NPC 영상 생성부(320)와,
상기 마이크로폰(120)에서 감지된 사용자의 음성을 감지하여 인공지능 수단을 이용하여 언어로 변환하는 사용자 음성 인식부(330)와,
상기 사용자 음성 인식부(330)의 사용자 음성 인식 결과를 이용하여 답변 또는 상황별 내용의 적합성을 판단하는 사용자 음성(답변) 평가부(340)와,
상기 사용자 음성 인식부(330)와 사용자 음성(답변) 평가부(340)의 평가 결과를 기초로 하여 NPC 의 응답 영어 음성을 생성하는 NPC 음성 응답 생성부(350),를 포함하여 구성되고,
상기 학습 진행부(300)는,
NPC의 음성 응답 내용 및 상기 사용자 음성 인식부(330)의 번역 내용을 기초로 문장 단어의 감정을 추론하는 문장 단어 감정 추정부(360)와,
상기 문장 단어 감정 추정부(360)에서 제공되는 사용자 및 NPC의 추정 감정을 표현하는 얼굴 표정 애니메이션 데이터를 생성하는 아바타 및 NPC 표정 영상 생성부(370),를 더 포함하여 구성되고,
상기 아바타 및 NPC 영상 생성부(320)는 아바타 및 NPC 표정 영상 생성부(370)에서 제공되는 얼굴 표정 영상 애니메이션 데이터를 추가로 정합하여 영상을 생성하고,
상기 가상 현실 재현부(100)는,
사용자의 동작 및 표정을 촬영하는 영상 카메라(150)를 더 포함하여 구성되고,
상기 학습 진행부(300)는,
상기 영상 카메라(150)의 사용자 영상을 인공지능으로 분석하여 동작 및 표정을 추출하는 AI 사용자 동작 (표정) 인식부(380)와,
상기 AI 사용자 동작 인식부(380)에서 추출된 사용자의 동작 및 표정을 콘텐츠의 사용자 아바타 영상에 반영하는 사용자 표정 및 동작 영상 반영부(390),를 더 포함하여 구성되고,
상기 AI 사용자 동작 인식부(380)에서 추출된 사용자의 동작 및 표정은 사용자 음성(답변) 평가부(340)의 평가 결과와 함께 NPC 음성 응답 생성부(350)에 전송되어 NPC 영어 응답 생성에 기초자료로 사용되고,
상기 사용자 음성 인식부(330)는, 영어 인식부(331)에 더하여 한국어 인식부(335)로 구성되고,
상기 영어 인식부(331)에 의해 영어로 문자 변환(음성 영어 문자 변환)이 되지 않은 경우 상기 한국어 인식부(335)가 사용자 음성을 한국어로 문자 변환(음성 한글 문자 변환)하고,
상기 학습 진행부(300)는 영어 변환부(410)와 영어 자막 영상 생성부(420)를 더 포함하여 구성되고,
상기 영어 변환부(410)는 상기 한국어 인식부(335)에서 생성된 한국어 문자를 영어 문자로 변환하고,
상기 영어 자막 영상 생성부(420)는 변환된 영어 문자를 자막 영상으로 생성하여 상기 아바타 및 NPC 영상 생성부(320)에서 제공되는 영상과 함께 표출되게 함으로써,
사용자가 영어 음성 표현이 어려워서 한국어로 말하는 경우 이를 번역하여 영어 자막을 생성하여 줌으로써 사용자의 학습을 보조하고,
상기 학습 진행부(300)는,
상기 사용자 음성(답변) 평가부(340)가 사용자의 답변이 부적합 하다고 판단하였을 때, 사용자의 디스플레이(140)에 자막으로 표출되는 수정 문장을 생성하여 제공하는 수정 문장 제안부(430),를 더 포함하여 구성되고,
상기 학습 데이터 관리부(270)는,
사용자의 영어 학습 과제에 대한 평가 결과를 리스닝(Listening), 문법, 어휘력, 및 발음 분야로 분리하여 평가 관리하는 것을 특징으로 하는 가상 현실 및 AI 인식 영어 학습 시스템.
In an English learning system using virtual reality,
An audio speaker 110 that outputs audio of content to the user,
A microphone 120 that detects the user's voice,
a user terminal 130 that provides a voice signal from the microphone 120 to the content provider 100 and controls the voice speaker 110 and the display 140;
A display 140 that visually displays the image of the content provided by the content provider 200 through the user terminal 130,
A virtual reality reproduction unit 100 consisting of;
A learning task selection unit 210 that provides a task selection menu so that the user can select a learning task, or recommends a task selection menu based on the user's learning information stored in the learning data management unit 270;
For the learning task selected in the learning task selection unit 210, a menu is provided so that the user can select a level (difficulty), or the user's level (difficulty) is set according to the user's learning level stored in the learning data management unit 270. A learning level selection unit 230 that automatically specifies,
A learning progress unit 300 that conducts English learning according to the learning tasks and learning levels selected or specified in the previous stage,
A learning data management unit 270 that stores and manages the evaluation results of the user's English learning task progressed by the learning progress unit 300;
A content providing unit (200) consisting of;
It is composed including,
The learning progress unit 300,
A library 310 storing avatar and NPC character images, 3D background and space images organized by learning task level, and NPC English comment information,
An avatar and NPC image generator 320 that animates avatar and NPC images taken from the library 310,
a user voice recognition unit 330 that detects the user's voice detected by the microphone 120 and converts it into language using artificial intelligence means;
a user voice (answer) evaluation unit 340 that determines the suitability of the answer or content for each situation using the user voice recognition result of the user voice recognition unit 330;
It is configured to include an NPC voice response generation unit 350 that generates a response English voice of the NPC based on the evaluation results of the user voice recognition unit 330 and the user voice (response) evaluation unit 340,
The learning progress unit 300,
A sentence-word emotion estimation unit 360 that infers the emotion of a sentence word based on the NPC's voice response content and the translation content of the user voice recognition unit 330;
It further includes an avatar and NPC expression image generator 370 that generates facial expression animation data expressing the estimated emotions of the user and NPC provided by the sentence word emotion estimation unit 360,
The avatar and NPC image generator 320 generates an image by additionally matching facial expression image animation data provided by the avatar and NPC expression image generator 370,
The virtual reality reproduction unit 100,
It further includes a video camera 150 that captures the user's movements and facial expressions,
The learning progress unit 300,
An AI user motion (facial expression) recognition unit 380 that extracts motions and facial expressions by analyzing the user image of the video camera 150 with artificial intelligence;
It further includes a user expression and motion image reflection unit 390 that reflects the user's motion and expression extracted from the AI user motion recognition unit 380 to the user avatar image of the content,
The user's movements and facial expressions extracted from the AI user motion recognition unit 380 are transmitted to the NPC voice response generation unit 350 along with the evaluation results of the user voice (response) evaluation unit 340, and are based on the NPC English response generation. used as data,
The user voice recognition unit 330 is composed of a Korean language recognition unit 335 in addition to the English recognition unit 331,
If the English recognition unit 331 does not convert the user's voice into English (speech into English text), the Korean recognition unit 335 converts the user's voice into Korean (speech into Korean text),
The learning progress unit 300 further includes an English conversion unit 410 and an English subtitle image generation unit 420,
The English conversion unit 410 converts the Korean characters generated by the Korean recognition unit 335 into English characters,
The English subtitle image generator 420 generates the converted English characters as a subtitle image and displays it together with the image provided by the avatar and NPC image generator 320,
If the user has difficulty expressing English voices and speaks in Korean, we assist the user's learning by translating it and creating English subtitles.
The learning progress unit 300,
When the user voice (answer) evaluation unit 340 determines that the user's answer is inappropriate, a correction sentence suggestion unit 430 that generates and provides a correction sentence displayed as a subtitle on the user's display 140 It consists of:
The learning data management unit 270,
A virtual reality and AI recognition English learning system that separates and manages the evaluation results of the user's English learning tasks into the areas of listening, grammar, vocabulary, and pronunciation.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210053421A KR102659886B1 (en) | 2021-04-26 | 2021-04-26 | VR and AI Recognition English Studying System |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210053421A KR102659886B1 (en) | 2021-04-26 | 2021-04-26 | VR and AI Recognition English Studying System |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220146761A KR20220146761A (en) | 2022-11-02 |
| KR102659886B1 true KR102659886B1 (en) | 2024-04-23 |
Family
ID=84084458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210053421A KR102659886B1 (en) | 2021-04-26 | 2021-04-26 | VR and AI Recognition English Studying System |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102659886B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100855563B1 (en) * | 2007-03-27 | 2008-09-02 | 안희달 | Language study system of interactive conversation type with a robot |
| KR101743230B1 (en) * | 2016-04-18 | 2017-06-05 | (주)케이디엠티 | Apparatus and method for providing realistic language learning contents based on virtual reality and voice recognition |
| KR101925440B1 (en) * | 2018-04-23 | 2018-12-05 | 이정도 | Method for providing vr based live video chat service using conversational ai |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100043393A (en) * | 2008-10-20 | 2010-04-29 | 주식회사 엔씨소프트 | System for english study service by communication network |
-
2021
- 2021-04-26 KR KR1020210053421A patent/KR102659886B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100855563B1 (en) * | 2007-03-27 | 2008-09-02 | 안희달 | Language study system of interactive conversation type with a robot |
| KR101743230B1 (en) * | 2016-04-18 | 2017-06-05 | (주)케이디엠티 | Apparatus and method for providing realistic language learning contents based on virtual reality and voice recognition |
| KR101925440B1 (en) * | 2018-04-23 | 2018-12-05 | 이정도 | Method for providing vr based live video chat service using conversational ai |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220146761A (en) | 2022-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022048403A1 (en) | Virtual role-based multimodal interaction method, apparatus and system, storage medium, and terminal | |
| US6526395B1 (en) | Application of personality models and interaction with synthetic characters in a computing system | |
| CN113454708A (en) | Linguistic style matching agent | |
| WO2007098560A1 (en) | An emotion recognition system and method | |
| CN109086860B (en) | Interaction method and system based on virtual human | |
| JPH04266781A (en) | Video game method | |
| US20140028780A1 (en) | Producing content to provide a conversational video experience | |
| WO2022170848A1 (en) | Human-computer interaction method, apparatus and system, electronic device and computer medium | |
| Arsan et al. | Sign language converter | |
| WO2022182064A1 (en) | Conversation learning system using artificial intelligence avatar tutor, and method therefor | |
| KR20220129989A (en) | Avatar-based interaction service method and apparatus | |
| Baldassarri et al. | Maxine: A platform for embodied animated agents | |
| KR20180105861A (en) | Foreign language study application and foreign language study system using contents included in the same | |
| Ulisses et al. | ACE assisted communication for education: Architecture to support blind & deaf communication | |
| KR20200059112A (en) | System for Providing User-Robot Interaction and Computer Program Therefore | |
| CN115167656A (en) | Interactive service method and device based on artificial intelligence virtual image | |
| CN114270337A (en) | System and method for personalized and multi-modal context-aware human-machine dialog | |
| WO2020070923A1 (en) | Dialogue device, method therefor, and program | |
| US20210407504A1 (en) | Generation and operation of artificial intelligence based conversation systems | |
| KR102659886B1 (en) | VR and AI Recognition English Studying System | |
| US20220301250A1 (en) | Avatar-based interaction service method and apparatus | |
| CN115442495A (en) | AI studio system | |
| JP2005024815A (en) | System, device, method, and program for language learning, and recording medium for recording the program | |
| CN113282170A (en) | English learning system capable of recognizing virtual reality and AI | |
| CN110718119A (en) | Educational ability support method and system based on wearable intelligent equipment special for children |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |