KR20200113143A - A calibration system for language learner by using audio information and voice recognition result - Google Patents
A calibration system for language learner by using audio information and voice recognition result Download PDFInfo
- Publication number
- KR20200113143A KR20200113143A KR1020190033236A KR20190033236A KR20200113143A KR 20200113143 A KR20200113143 A KR 20200113143A KR 1020190033236 A KR1020190033236 A KR 1020190033236A KR 20190033236 A KR20190033236 A KR 20190033236A KR 20200113143 A KR20200113143 A KR 20200113143A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- learner
- correction
- learning
- text
- Prior art date
Links
- 238000012937 correction Methods 0.000 claims abstract description 232
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000010586 diagram Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000012552 review Methods 0.000 claims description 11
- 238000013518 transcription Methods 0.000 claims description 10
- 230000035897 transcription Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000010365 information processing Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 230000002250 progressing effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 11
- 230000003796 beauty Effects 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000001915 proofreading effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 101150095095 TIMELESS gene Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- JBDHZKLJNAIJNC-LLVKDONJSA-N clodinafop-propargyl Chemical compound C1=CC(O[C@H](C)C(=O)OCC#C)=CC=C1OC1=NC=C(Cl)C=C1F JBDHZKLJNAIJNC-LLVKDONJSA-N 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010297 mechanical methods and process Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/04—Speaking
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Educational Technology (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Entrepreneurship & Innovation (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
Description
본 발명은 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템에 관한 것으로, 더욱 상세하게는 언어학습 중 말하기 학습을 학습자가 스스로 학습할 수 있도록 학습자가 발화한 외국어 발음에 대한 교정 정보와 발화한 내용에 대한 교정 정보를 학습자가 시,청각적으로 확인할 수 있도록 하는 발명에 관한 것이다.The present invention relates to a speech correction system for language learners using audio information and speech recognition results, and more particularly, correction information and speech on foreign language pronunciation uttered by the learner so that the learner can self-learn speech learning during language learning. It relates to an invention that allows learners to visually and audibly check correction information for content.
즉, 본 발명은 학습자가 연습한 말하기 발음과 내용 교정을 통해 학습자가 효과적으로 말하기 학습을 할 수 있도록 도와주어 학습자의 학습 효율 개선과 말하기 실력을 향상시킬 수 있으며, 말하기의 내용과 발음을 함께 연계하여 종합적이고 효과적으로 교정할 수 있도록 하며, 학습자의 자가 학습을 위해 효과적으로 교정 내용을 표출하는 방법을 제시하고 학습자별 학습 성향, 수준에 적합한 연습을 수행할 수 있는 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템에 관한 것이다.In other words, the present invention can improve the learning efficiency and improve the speaking ability of the learner by helping the learner to effectively learn speaking through correcting the speaking pronunciation and content practiced by the learner, and by linking the content and pronunciation of the speaking together Speaking of language learners using audio information and speech recognition results that enable comprehensive and effective correction, suggests a method of effectively expressing the corrected content for learner's self-learning, and performs exercises suitable for each learner's learning tendency and level It relates to a calibration system.
현재 외국어 학습 방법 및 시스템은 상당히 다양한 종류가 공개되어 있고, 최근의 인공지능 기술 등을 활용한 기계적 방법을 통한 음성 발음 평가부터 전통적인 전화 회화를 통한 말하기 연습까지 다양한 형태로 학습 가능하다.Currently, a wide variety of foreign language learning methods and systems are open to the public, and it is possible to learn in various forms, from voice pronunciation evaluation through mechanical methods using recent artificial intelligence technology, to speaking practice through traditional telephone conversation.
하지만, 전화를 통한 말하기 학습은 발음 및 대화 내용의 교정 등 다양한 말하기 지도가 가능하나, 통화가 종료되면 취약한 부분을 반복적으로 확인하여 연습할 수 없는 한계를 가지고, 다른 온라인 시스템을 통한 말하기 학습은 제공되는 원어민 발음의 듣기를 통한 따라말하기 또는 원어민과의 발음 비교를 통한 발음 평가에 국한되어 말하기의 내용적인 오류나 발음을 교정하기 위한 방법이 제공되지 않아 말하기의 일부 영역만 학습 가능한 한계를 가진다.However, speaking learning through the phone can provide a variety of speaking instruction such as correction of pronunciation and conversation content, but once the call is over, it has a limitation in that it is impossible to practice by repeatedly checking the vulnerable part, and speaking learning through other online systems is provided. Since it is limited to repeating through listening of the native speaker's pronunciation or pronunciation evaluation through pronunciation comparison with native speakers, there is a limit to learning only some areas of speech because no method for correcting content errors or pronunciation in speaking is provided.
구체적으로, 말하기의 종합력 능력, 즉 발음/억양, 유창성, 논리성, 구사된 단어의 수준 등 학습자가 학습해야할 많은 말하기 영역을 학습하는 데는 현재의 기술, 방법은 적절하지 않아 학습자 개개인 별로 취약한 부분을 확인하고 교정하여 학습자가 이를 종합적이고 시각적으로 쉽게 확인하여 스스로 학습할 수 있는 방법이 필요하였다.Specifically, the current skills and methods are not appropriate for learning the many areas of speech that the learner needs to learn, such as the ability to synthesize speech, that is, pronunciation/intonation, fluency, logic, and level of spoken words. It was necessary to have a method that allows learners to comprehensively and visually check it and learn by themselves.
예를 들어, 언어학습은 통상 읽기, 듣기, 쓰기, 말하기 네 가지 분야에 대해 학습한다. For example, language learning usually involves four areas: reading, listening, writing, and speaking.
기존의 언어학습 서비스 및 다양한 언어학습 방법을 통해 읽기, 듣기, 쓰기는 학습이 가능하나 말하기 학습은 교사 등에 의해 학습자의 발화에 대한 지도, 교정을 통해서만 학습이 가능하다. Reading, listening, and writing can be learned through existing language learning services and various language learning methods, but speaking learning can only be learned through guidance and correction of learners' speech by teachers, etc.
말하기 학습은 발음의 정확한 구사 또는 유창성 등에 해당하는 발음 평가, 교정과 외국어를 이용한 자신의 생각, 설명, 의견 등에 대한 표현 능력에 대한 학습으로 이루어지나 기존의 학습 방법으로 제공되는 것은 원어민의 발음을 듣고 따라하는 방법 등 발음에 국한되거나 단방향으로 제공되는 콘텐츠를 반복 수행하는 연습에 국한되고 있어 학습자는 자신의 말하기가 어떤 문제가 있고, 바른 말하기가 무엇인지 확인하여 효과적으로 학습하기 어렵다. Speaking learning consists of learning about pronunciation evaluation, correction, and expression ability for one's thoughts, explanations, opinions, etc. using foreign languages, but the existing learning methods are provided by listening to the pronunciation of native speakers. As it is limited to pronunciation, such as how to imitate, or to practice repeatedly performing content provided in one direction, it is difficult for learners to learn effectively by checking what problems their speaking has and what is correct speaking.
또한, 학습자는 자신의 학습 성향이나 수준에 적합한 말하기 학습 방법을 선택하여 연습하기 어렵고, 이러한 말하기 교정, 지도를 위한 적합한 방법, 효율적인 도구가 종래에는 제시되지 않아 종래의 외국어 말하기 학습 방법은 상기와 같이 제약적인 말하기 연습 방법만 제공하게 된다.In addition, it is difficult for learners to choose and practice speaking learning methods that are appropriate for their learning tendency or level, and such speaking correction, appropriate methods for instruction, and effective tools have not been previously presented, so the conventional foreign language speaking learning method is as described above. It will only provide limited speaking practice methods.
결국, 말하기 학습에 있어 학습자가 학습하기 어려웠던 말하기 학습을 효과적으로 학습할 수 있는 교정 방법 및 시스템을 제공할 필요성이 대두되고 있는 실정이다.In the end, there is a need to provide a correction method and system for effectively learning speech learning, which was difficult for learners to learn in speaking learning.
따라서, 학습자가 연습한 말하기 발음과 내용 교정을 통해 학습자가 효과적으로 말하기 학습을 할 수 있도록 도와주어 학습자의 학습 효율 개선과 말하기 실력을 향상시킬 수 있으며, 말하기의 내용과 발음을 함께 연계하여 종합적이고 효과적으로 교정할 수 있도록 하며, 학습자의 자가 학습을 위해 효과적으로 교정 내용을 표출하는 방법을 제시하고 학습자별 학습 성향, 수준에 적합한 연습을 수행할 수 있는 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템을 고안하게 된 것이다.Therefore, it is possible to improve the learner's learning efficiency and improve speaking ability by helping the learner to effectively learn speaking through correcting the speaking pronunciation and content practiced by the learner. A language learner speech correction system using audio information and speech recognition results that can be corrected, suggests a method of effectively expressing the corrected content for the learner's self-learning, and performs exercises suitable for each learner's learning tendency and level. I came up with it.
따라서, 본 발명은 상기 종래의 문제점을 해소하기 위한 것으로,Therefore, the present invention is to solve the above conventional problems,
본 발명의 제1 목적은 학습자가 학습을 위해 발화한 외국어 발음과 내용에 대한 교정을 통해 학습자가 효과적으로 말하기 학습을 할 수 있도록 도와주어 학습자의 학습 효율 개선과 말하기 실력을 향상시킬 수 있도록 하는데 있다.A first object of the present invention is to improve the learning efficiency and speaking ability of the learner by helping the learner to effectively learn to speak by correcting the pronunciation and content of the foreign language spoken by the learner for learning.
본 발명의 제2 목적은 말하기의 내용과 발음을 함께 연계하여 종합적이고 효과적으로 교정할 수 있도록 하는데 있다. A second object of the present invention is to enable comprehensive and effective correction by linking the content and pronunciation of speech together.
본 발명의 제3 목적은 학습자의 효과적인 자가 학습을 위해 교정 내용을 시,청각적으로 표출하여 학습자별 학습 성향, 수준에 적합한 연습을 수행할 수 있도록 하는데 있다.A third object of the present invention is to visually and audibly display correction contents for effective self-learning of learners, so that the learners can perform exercises suitable for each learner's learning tendency and level.
본 발명이 과제를 해결하기 위하여, 본 발명의 실시예에 따른 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템은,In order to solve the problem of the present invention, the speech correction system for language learners using audio information and speech recognition results according to an embodiment of the present invention,
학습관리서버(200)에 접속후, 학습관리서버(200)가 제공하는 문제 콘텐츠에 따라 학습자가 발화한 음성정보를 학습관리서버(200)로 제공하고, 학습관리서버(200)에서 생성한 최종 교정 결과정보를 시,청각적으로 표출하여 학습자가 교정 결과를 확인할 수 있도록 하는 학습자단말기(100)와;After connecting to the
학습자단말기(100)로 문제 컨텐츠를 제공하고, 학습자단말기(100)가 제공하는 학습자의 음성정보를 텍스트로 변환처리한 텍스트 정보를 생성하고, 음성정보와 텍스트정보를 이용하여 1차 교정결과정보를 생성하고, 생성한 1차 교정결과정보에 대한 감수를 원어민단말기(300)로 요청하고, 원어민단말기(300)가 제공하는 감수정보를 반영하여 최종 교정결과정보를 생성하고, 생성된 최종 교정결과정보를 접속된 학습자단말기(100)가 시,청각적으로 확인 할 수 있도록 하는 학습관리서버(200)와;Providing problem content to the
학습관리서버(200)에 접속후, 학습관리서버(200)가 1차 교정결과정보에 대한 감수 요청 시, 학습관리서버(200)가 제공한 정보를 이용하여 감수정보를 생성하여 학습관리서버(200)로 제공하는 원어민단말기(300);를 포함한다.After connecting to the
본 발명인 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템에 의하면, According to the speech correction system for language learners using audio information and speech recognition results of the present invention,
학습자가 연습한 말하기 발음과 내용 교정을 통해 학습자가 효과적으로 말하기 학습을 할 수 있도록 도와주어 학습자의 학습 효율 개선과 말하기 실력을 향상시킬 수 있는 효과를 발휘하게 된다.It helps learners to learn to speak effectively through correcting the spoken pronunciation and content practiced by the learner, thereby improving the learner's learning efficiency and speaking ability.
또한, 말하기의 내용과 발음을 함께 연계하여 화면에 제공함으로써, 종합적이고 효과적으로 교정할 수 있는 효과를 발휘하게 된다.In addition, by linking the contents of speech and pronunciation together and providing them on the screen, the effect of comprehensive and effective correction is exhibited.
또한, 학습자의 효과적인 자가 학습을 위해 교정 내용을 시,청각적으로 표출하여 학습자별 학습 성향, 수준에 적합한 연습을 수행할 수 있도록 함으로써, 언어 학습의 효과를 배가시키게 된다.In addition, for effective self-learning of learners, corrected content is visually and audibly expressed so that students can perform exercises appropriate to their learning disposition and level, thereby multiplying the effect of language learning.
다시 말하자면, 기존의 발음 평가 또는 따라말하기 등의 말하기 연습 방법이나 말하기 시험의 자동 평가가 아닌 학습자가 연습한 내용에 대한 원어민의 발음 교정 정보, 내용/표현 교정 정보를 종합적인 시,청각적인 방식으로 학습자에게 표출하여 말하기 지도가 가능함으로써, 학습자가 효과적이고 효율적으로 말하기 학습을 수행할 수 있게 된다.In other words, the pronunciation correction information and content/expression correction information of the native speaker for the contents practiced by the learner are not automatically evaluated in the existing speech practice methods such as pronunciation evaluation or repeating, or automatic evaluation of the speech test in a comprehensive visual and audible way. By expressing it to the learner and providing speech instruction, the learner can effectively and efficiently perform speech learning.
또한, 학습자의 성향, 수준 등에 맞는 말하기 연습 방법을 선택할 수 있는 구조를 가지고 있어 학습자의 학습 참여의 거부감을 해소하고 흥미있게 학습하여 외국어 말하기 능력을 빠르게 향상시킬 수 있게 된다.In addition, since it has a structure in which it is possible to select a speaking practice method that suits the learner's disposition and level, etc., it is possible to quickly improve foreign language speaking ability by resolving the rejection of learner's participation in learning and learning interestingly.
도 1은 본 발명의 실시예에 따른 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템의 전체 구성도.
도 2은 본 발명의 실시예에 따른 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템의 연습부(210) 블록도.
도 3는 본 발명의 실시예에 따른 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템의 교정부(220) 블록도.
도 4는 본 발명의 실시예에 따른 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템의 교정표출부(230) 블록도.
도 5은 본 발명의 실시예에 따른 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템의 학습자가 말하기 연습을 수행하기 위한 지문 또는 문제를 제공하는 다양한 화면 예시도.
도 6은 본 발명의 실시예에 따른 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템의 말하기 내용을 교정하는 화면 예시도.
도 7은 본 발명의 실시예에 따른 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템의 학습자단말기(100)에서 교정정보가 표출된 화면 예시도.
도 8는 본 발명의 실시예에 따른 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템의 학습자가 다양한 유형, 형태의 말하기 연습을 수행할 수 있는 문제 출제 및 선택 방식을 학습자에게 제공하는 예시도.
도 9은 본 발명의 실시예에 따른 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템의 문제에 연결된 메타 정보 예시도.
도 10은 본 발명의 실시예에 따른 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템의 연습원문 정보 예시도이며, 도 11는 음성 분할 정보 예시도이며, 도 12은 변환된 텍스트 정보 예시도이며, 도 13는 전사 내용 교정 정보 예시도이며, 도 14는 교정 음성 정보 예시도.1 is an overall configuration diagram of a language learner's speech correction system using audio information and speech recognition results according to an embodiment of the present invention.
2 is a block diagram of a
3 is a block diagram of a
4 is a block diagram of a
5 is a view illustrating various screens for providing a fingerprint or a problem for a learner to practice speaking in a speech correction system for a language learner using audio information and a voice recognition result according to an embodiment of the present invention.
6 is an exemplary view of a screen for correcting speech contents of a speech correction system for language learners using audio information and speech recognition results according to an embodiment of the present invention.
7 is an exemplary view of a screen in which correction information is displayed in a
FIG. 8 is an exemplary diagram for providing a learner with a problem questioning and selection method in which a learner of a language learner's speech correction system using audio information and a voice recognition result according to an embodiment of the present invention can perform various types and types of speaking practice. .
9 is an exemplary diagram of meta information connected to a problem of a speech correction system for a language learner using audio information and a speech recognition result according to an embodiment of the present invention.
10 is an exemplary view of training original text information of a language learner's speech correction system using audio information and a voice recognition result according to an embodiment of the present invention, FIG. 11 is an exemplary diagram of speech segmentation information, and FIG. 12 is an exemplary diagram of converted text information 13 is an exemplary diagram of transcription content correction information, and FIG. 14 is an exemplary diagram of correction audio information.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만, 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. The following content merely illustrates the principles of the present invention. Therefore, a person skilled in the art can implement the principles of the present invention and invent various devices included in the concept and scope of the present invention, although not clearly described or illustrated herein.
또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.In addition, all conditional terms and examples listed in this specification are, in principle, intended to be clearly intended only for the purpose of making the concept of the present invention understood, and should be understood as not limiting to the embodiments and states specifically listed as described above. do.
본 발명을 설명함에 있어서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지 않을 수 있다.In describing the present invention, terms such as first and second may be used to describe various elements, but the elements may not be limited by terms.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element.
어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다.When a component is connected to or is referred to as being connected to another component, it can be understood that it may be directly connected or connected to the other component, but other components may exist in the middle. .
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.The terms used in the present specification are only used to describe specific embodiments, and are not intended to limit the present invention, and expressions in the singular may include a plurality of expressions unless the context clearly indicates otherwise.
본 명세서에서, 포함하다 또는 구비하다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.In the present specification, terms such as include or include are intended to designate the existence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, and one or more other features or numbers, It may be understood that the presence or addition of steps, operations, components, parts, or combinations thereof, does not preclude the possibility of preliminary exclusion.
이하, 첨부된 도면을 참조하여 본 발명인 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템의 바람직한 실시예를 상세하게 설명한다.Hereinafter, a preferred embodiment of a speech correction system for language learners using audio information and speech recognition results according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따른 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템의 전체 구성도이다.1 is an overall configuration diagram of a language learner's speech correction system using audio information and speech recognition results according to an embodiment of the present invention.
도 1에 도시한 바와 같이, 본 발명인 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템은, 학습자단말기(100), 학습관리서버(200), 원어민단말기(300)를 포함하여 구성되게 된다.As shown in FIG. 1, the language learner's speech correction system using audio information and voice recognition results of the present invention includes a
구체적으로 본 발명의 실시예에 따른 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템은,Specifically, the speech correction system for language learners using audio information and speech recognition results according to an embodiment of the present invention,
학습관리서버(200)에 접속후, 학습관리서버(200)가 제공하는 문제 콘텐츠에 따라 학습자가 발화한 음성정보를 학습관리서버(200)로 제공하고, 학습관리서버(200)에서 생성한 최종 교정 결과정보를 시,청각적으로 표출하여 학습자가 교정 결과를 확인할 수 있도록 하는 학습자단말기(100)와;After connecting to the
학습자단말기(100)로 문제 컨텐츠를 제공하고, 학습자단말기(100)가 제공하는 학습자의 음성정보를 텍스트로 변환처리한 텍스트 정보를 생성하고, 음성정보와 텍스트정보를 이용하여 1차 교정결과정보를 생성하고, 생성한 1차 교정결과정보에 대한 감수를 원어민단말기(300)로 요청하고, 원어민단말기(300)가 제공하는 감수정보를 반영하여 최종 교정결과정보를 생성하고, 생성된 최종 교정결과정보를 접속된 학습자단말기(100)가 시,청각적으로 확인 할 수 있도록 하는 학습관리서버(200)와;Providing problem content to the
학습관리서버(200)에 접속후, 학습관리서버(200)가 1차 교정결과정보에 대한 감수 요청 시, 학습관리서버(200)가 제공한 정보를 이용하여 감수정보를 생성하여 학습관리서버(200)로 제공하는 원어민단말기(300);를 포함하여 구성되는 것을 특징으로 한다.After connecting to the
상기 학습자단말기(100)는 학습관리서버(200)에 접속후, 학습관리서버(200)가 제공하는 문제 콘텐츠에 따라 학습자가 발화한 음성정보를 학습관리서버(200)로 제공하게 된다.After the
또한, 학습관리서버(200)에서 생성한 최종 교정 결과정보를 학습자단말기로 제공하게 되면, 학습자단말기에서는 도 7과 같이, 최종 교정결과정보를 시,청각적으로 표출하여 학습자가 교정 결과를 확인할 수 있도록 하는 것이다.In addition, when the final correction result information generated by the
또한, 학습관리서버(200)는 학습자단말기(100)로 문제 컨텐츠를 제공하게 되는데, 예를 들어, 학습자가 학습관리서버에서 제공되는 문제 콘텐츠들을 확인하고, 자신이 원하는 문제 콘텐츠를 선택하게 되면 해당 문제 콘텐츠를 학습자단말기로 제공하여 말하기 연습을 수행하도록 한다.In addition, the
또한, 학습자가 발화한 음성정보를 학습관리서버로 제공하게 되며, 학습관리서버에서는 학습자단말기(100)가 제공하는 학습자의 음성정보를 텍스트로 변환처리한 텍스트 정보를 생성하고, 음성정보와 텍스트정보를 이용하여 1차 교정 결과정보를 생성하게 된다.In addition, the voice information spoken by the learner is provided to the learning management server, and the learning management server generates text information obtained by converting the learner's voice information provided by the learner's terminal 100 into text, and generates voice information and text information. The first calibration result information is generated by using.
상기 1차 교정 결과정보는 학습관리서버에서 1차적으로 교정한 결과 정보를 의미하며, 상기 생성한 1차 교정 결과정보에 대한 감수를 원어민단말기(300)로 요청하게 된다.The primary correction result information means information on a result of the primary correction in the learning management server, and a request is made to the
즉, 원어민단말기를 통해 교정자(원어민)은 학습관리서버가 수행한 1차 교정결과정보에 대한 감수를 수행하고, 감수정보를 학습관리서버로 제공하게 되며, 이때, 학습관리서버는 원어민단말기(300)가 제공하는 감수정보를 반영하여 최종 교정결과정보를 생성하게 되는 것이다.That is, through a native speaker terminal, the proofreader (native speaker) supervises the first correction result information performed by the learning management server, and provides the review information to the learning management server. In this case, the learning management server is a
이후, 학습관리서버에서 생성된 최종 교정 결과정보를 학습관리서버에 접속한 학습자단말기(100)가 확인(시,청각적으로)할 수 있도록 하는 것이다.Thereafter, the final correction result information generated by the learning management server can be checked (visually and audibly) by the
또한, 원어민단말기(300)는 학습관리서버(200)에 접속하게 되며, 학습관리서버(200)가 1차 교정 결과정보에 대한 감수 요청시, 학습관리서버(200)가 제공한 정보들을 이용해 감수를 실시하게 되며, 원어민단말기는 생성된 감수정보를 학습관리서버(200)로 제공하게 되는 것이다.In addition, the native-speaking
상기와 같은 학습자단말기(100), 학습관리서버(200), 원어민단말기(300)의 구성요소 및 동작에 대하여 도면을 참조하여 구체적으로 설명하도록 한다.The components and operations of the
도 1에 도시한 바와 같이, 상기 학습자단말기(100)는,As shown in Figure 1, the
학습관리서버에서 제공하는 문제 콘텐츠를 화면에 표출시키기 위한 학습자용콘텐츠표출부(110);A
화면에 표출된 문제 콘텐츠에 따라 학습자가 발화한 음성정보를 획득하여 학습관리서버로 제공하기 위한 학습자발화음성정보획득부(120);A learner speech voice
학습관리서버에서 제공한 최종 교정 결과정보를 시,청각적으로 표출하기 위한 최종교정결과정보표출부(130);를 포함하여 구성되게 된다.And a final calibration result
구체적으로 설명하면, 상기 학습자용콘텐츠표출부(110)는 도 5와 같이, 학습관리서버에서 제공하는 문제 콘텐츠를 화면에 표출시키게 된다.Specifically, as shown in FIG. 5, the
예를 들어, 학습자가 지문 따라 말하기, 커리큘럼에 따라 말하기, 주제별 자유로운 말하기, 듣고 대답하기 등의 발화를 할 수 있도록 하는 다양한 형태의 문제 콘텐츠가 제공되고, 이중에서 학습자가 어느 하나를 선택하게 되면 학습관리서버는 학습자가 선택한 해당 문제 콘텐츠를 제공하고, 제공된 문제 콘텐츠를 도 5와 같이 표출시키게 된다. 이때, 학습자는 화면에 표출된 문제 콘텐츠를 보고, 발화하게 되는 것이다.For example, various types of problem contents are provided that enable learners to speak according to the text, speak according to the curriculum, free speech by topic, listen and answer. The management server provides the corresponding problem content selected by the learner, and displays the provided problem content as shown in FIG. 5. At this time, the learner sees and speaks the problem content displayed on the screen.
상기 학습자발화음성정보획득부(120)는 상기 화면에 표출된 문제 콘텐츠에 대하여 발화한 학습자의 음성정보를 획득하여 학습관리서버로 제공하게 되는 것이다.The learner's speech speech
이후, 학습관리서버에서는 해당 발화 내용 및 발음에 대한 최종 교정 결과정보를 학습자단말기로 제공하게 된다. 이때, 상기 최종교정결과정보표출부(130)는 도 7과 같이, 학습관리서버에서 제공한 최종 교정 결과정보를 학습자가 확인할 수 있도록 시,청각적으로 표출하게 되는 것이다.Thereafter, the learning management server provides the final correction result information for the corresponding speech content and pronunciation to the learner's terminal. In this case, the final correction result
다음은 학습관리서버(200)의 구성에 대하여 구체적으로 설명하도록 한다.Next, the configuration of the
도 1에 도시한 바와 같이, 상기 학습관리서버(200)는 연습부(210), 교정부(220), 교정표출부(230), 학습정보DB(240)를 포함하여 구성되게 된다.As shown in Fig. 1, the
즉, 상기 학습관리서버(200)는,That is, the
학습자가 다양한 문제 콘텐츠를 선택할 수 있도록 문제 콘텐츠 선택 정보를 학습자단말기(100)로 제공하고, 학습자에 의해 선택된 문제 콘텐츠를 학습자단말기로 제공하고, 선택된 문제 콘텐츠에 따라 학습자가 발화한 음성정보를 획득하는 연습부(210);Providing problem content selection information to the
상기 획득된 학습자의 음성정보를 텍스트로 변환한 텍스트정보를 생성하고, 학습자의 음성정보, 변환된 텍스트정보, 문제콘텐츠의 텍스트 원문 정보를 이용하여 1차 교정결과정보를 생성하고, 감수를 위하여 학습자의 음성정보, 변환된 텍스트정보, 해당 문제콘텐츠의 텍스트 원문 정보, 1차 교정결과정보를 원어민단말기(300)로 제공하고, 원어민단말기(300)가 제공하는 감수정보를 반영하여 최종 교정결과정보를 생성하는 교정부(220);Generate text information obtained by converting the obtained learner's voice information into text, and generate primary correction result information using the learner's voice information, the converted text information, and the original text information of the problem content, and the learner for supervision Voice information, converted text information, original text information of the problem content, and primary correction result information are provided to the
생성된 최종 교정결과정보가 학습자단말기에서 시,청각적으로 표출될 수 있도록 처리하는 교정표출부(230);A
문제 콘텐츠 정보, 문제콘텐츠별 수준과 주제와 학습시간과 난이도를 포함한 메타 정보, 학습자가 연습한 문제콘텐츠정보와 음성정보를 포함한 연습원문정보, 음성정보, 텍스트정보, 1차 교정 결과정보, 감수정보, 최종 교정결과정보를 저장하고 있는 학습정보DB(240);를 포함하여 구성되며,Problem content information, meta information including the level and topic of each problem content and learning time and difficulty, the original text information including the problem content information and audio information that the learner practiced, audio information, text information, primary correction result information, supervision information , And learning
상기 1차 교정결과정보와 최종 교정결과정보는 교정단위별 발음교정정보와 텍스트교정정보를 포함하는 것을 특징으로 한다.The first correction result information and the final correction result information may include pronunciation correction information and text correction information for each correction unit.
구체적으로 설명하면, 상기 연습부(210)는 학습자가 다양한 문제 콘텐츠를 선택할 수 있도록 문제 콘텐츠 선택 정보를 학습자단말기(100)로 제공하고, 학습자에 의해 선택된 문제 콘텐츠를 학습자단말기로 제공한 후, 학습자에 의해 발화된 음성정보를 획득하는 기능을 수행하게 된다.Specifically, the
본 발명에서 설명하고 있는 문제 콘텐츠는 문제 형태의 질문, 길게 읽을 수 있는 지문, 보고 설명할 수 있는 이미지, 듣고 말할 수 있는 음성, 보고 말할 수 있는 문자 또는 그림, 도표를 포함하는 것을 특징으로 한다. Problem content described in the present invention is characterized by including a question in the form of a problem, a fingerprint that can be read long, an image that can be viewed and explained, a voice that can be heard and spoken, a character or picture that can be seen and spoken, and a diagram.
따라서, 수험자가 지문, 이미지, 음성 등을 보고, 들으면서 자가 학습을 수행할 수 있는 음성을 발화하게 되는 것이다.Thus, the examinee speaks a voice that enables self-learning while seeing and listening to fingerprints, images, and voices.
상기 교정부(220)는 획득된 학습자의 음성정보를 텍스트로 변환한 텍스트정보를 생성하고, 학습자의 음성정보, 변환된 텍스트정보, 문제콘텐츠의 텍스트 원문 정보를 이용하여 1차 교정결과정보를 생성하고, 감수를 위하여 학습자의 음성정보, 변환된 텍스트정보, 해당 문제콘텐츠의 텍스트 원문 정보, 1차 교정결과정보를 원어민단말기(300)로 제공하고, 원어민단말기(300)가 제공하는 감수정보를 반영하여 최종 교정결과정보를 생성하는 기능을 수행하게 된다.The
상기와 같이, 1차 교정 결과정보를 생성하는 이유는 먼저 학습관리서버에서 1차적으로 교정을 실시한 후, 1차 교정결과정보를 원어민단말기로 제공함으로써, 1차 교정에 대한 감수를 받기 위한 것이다.As described above, the reason for generating the first calibration result information is to receive the supervision for the first calibration by first performing calibration in the learning management server and then providing the first calibration result information to a native speaker terminal.
또한, 1차 교정결과정보에 감수정보를 반영하여 최종 교정결과정보를 생성함으로 교정에 대한 정확성과 편의성을 도모하게 된다.In addition, by reflecting the supervisory information on the first calibration result information and generating the final calibration result information, the accuracy and convenience of calibration are promoted.
상기 교정표출부(230)는 생성된 최종 교정결과정보가 학습자단말기에서 시,청각적으로 표출될 수 있도록 처리하는 기능을 수행하게 된다. 이때, 상기 생성된 최종 교정결과정보는 하기의 학습정보DB(240)에 저장하여 관리하게 된다.The
상기 학습정보DB(240)에는 문제 콘텐츠 정보, 문제콘텐츠별 수준과 주제와 학습시간과 난이도를 포함한 메타 정보, 학습자가 연습한 문제콘텐츠정보와 음성정보를 포함한 연습원문정보, 음성정보, 음성정보별 교정음성 정보, 텍스트정보, 1차 교정 결과정보, 감수정보, 최종 교정결과정보를 저장하고 있게 된다.The learning
도 2은 본 발명의 실시예에 따른 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템의 연습부(210) 블록도이다.2 is a block diagram of a
도 2에 도시한 바와 같이, 상기 연습부(210)는 문제선택모듈(211), 말하기선택모듈(212), 학습진행방식선택모듈(213), 상세학습방식선택모듈(214), 수동문제출제모듈(215), 자동출제조건설정모듈(216), 자동문제출제모듈(217), 학습자말하기연습용음성정보송출모듈(218)을 포함하여 구성되게 된다.As shown in Fig. 2, the
구체적으로 도 2과 도 8를 참조하여 설명하면, 상기 문제선택모듈(211)은 학습자에게 수동 문제 혹은 자동 출제 중 어느 하나를 선택하도록 선택페이지를 제공하기 위한 기능을 수행한다.Specifically, referring to FIGS. 2 and 8, the
도 8에 도시한 바와 같이, 학습자가 다양한 유형, 형태의 말하기 연습을 수행할 수 있는 문제 출제 및 선택 방식을 학습자에게 제공하는 것이다.As shown in FIG. 8, it is to provide the learner with a questionnaire and selection method for the learner to perform various types and types of speaking practice.
즉, 문제선택모듈을 통해 학습자가 수동 문제 혹은 자동 출제 중 어느 하나를 선택하기 위한 선택페이지를 제공하게 되는 것이다.That is, through the problem selection module, a selection page is provided for the learner to select either a manual question or an automatic questionnaire.
이때, 학습자가 수동 문제를 선택하게 되면, 말하기선택모듈(212)은 읽고 말하기 혹은 듣고 말하기 중 어느 하나를 선택하도록 선택페이지를 제공하게 된다.At this time, when the learner selects a manual problem, the speaking
즉, 문제를 학습자가 읽고 말하는 방식 혹은 학습자에게 문장을 들려 주고 말하는 방식 중 어느 하나를 선택하기 위한 선택페이지를 제공하는 것이다.In other words, a selection page is provided for the learner to select one of the way the learner reads and speaks the problem or the way the learner hears and speaks sentences.
이때, 상기 학습진행방식선택모듈(213)은 상기 말하기선택모듈을 통해 선택한 말하기 유형에 따라 지문 읽고/듣고 말하기, 학습 커리큘럼 진행, 주제별 자유 말하기 중 어느 하나를 선택하도록 선택페이지를 제공하게 되는 것이다.At this time, the learning progress
예를 들어, 읽고 말하기를 선택하게 되면 지문 읽고/듣고 말하기, 학습 커리큘럼 진행, 주제별 자유 말하기 중 어느 하나를 선택하기 위한 선택페이지를 제공하는 것이다.For example, if you choose to read and speak, a selection page is provided to select one of reading/listening and speaking the passage, progressing the learning curriculum, and free speaking by topic.
이후, 상세학습방식선택모듈(214)은 학습진행방식선택모듈(213)을 통해 선택한 학습 진행 방식이 지문 읽고/듣고 말하기일 경우에 지문 주제/길이 선택 페이지를 제공하며, 학습 커리큘럼 진행일 경우에 커리큘럼 수준/단계 선택 페이지를 제공하며, 주제별 자유 말하기일 경우에 주제 선택 페이지를 제공하게 되는 것이다.Thereafter, the detailed learning
예를 들어, 지문 주제로 과학, 역사, 수학, 일상생활 등의 주제를, 길이는 단문, 중문, 장문 등의 문장의 길이를 선택할 수 있는 선택페이지를 제공하는 것이며, 학습 커리큘럼 진행일 경우에는 커리큘럼의 수준을 상, 중, 하 중 어느 하나를 선택할 수 있는 선택페이지를 제공하는 것이며, 주제별 자유 말하기는 과학, 역사, 수학, 일생생활 등의 주제를 제공하고 이 중 어느 하나를 선택하기 위한 선택페이지를 제공하는 것이다.For example, it provides a selection page that allows you to select the length of sentences such as science, history, mathematics, and daily life as the subject of the fingerprint, and the length of sentences such as short, Chinese, and long sentences. In the case of a learning curriculum, the curriculum It provides a selection page where you can select one of the highest, medium, and low levels of the subject, and free speaking by topic provides topics such as science, history, mathematics, and life, and a selection page for selecting any one of them. Is to provide.
그리고, 수동문제출제모듈(115)은 상기 상세학습방식선택모듈(214)을 통해 선택한 지문 주제/길이에 해당하는 선택 유형 지문을 제시하며, 선택한 커리큘럼 수준/단계에 해당하는 선택 커리큘럼을 진행하기 위한 문제를 제공하며, 선택한 주제에 해당하는 문제를 출제하게 되는 것이다.And, the manual question questionnaire module 115 presents a selection type fingerprint corresponding to the subject/length of the fingerprint selected through the detailed learning
도 5을 참조하여 설명하자면, 제시 지문 따라 말하기를 선택하게 되면, '음악은 소리로 된 예술이다. 예술이 아름다움을 추구한다면 음악 또한 아름다움을 추구해야 할 것이다. 그렇다면 아름다운 음악 작품은 듣기 좋은 소리로만 만들어 질 수 있는 것일까? 음악적 아름다움은 어떻게 구현되는 것일까?'라는 지문을 제시하고, 이를 따라 말하기를 진행시키는 것이다.To explain with reference to FIG. 5, when selecting to speak according to the presentation fingerprint,'music is art in sound. If art pursues beauty, music should also pursue beauty. So, can a beautiful piece of music be made only with sounds that are good to hear? How is the musical beauty embodied?'
그리고, 커리큘럼에 따른 말하기 연습은 ''그래서'를 포함하여 말해보세요'라는 지문을 제시하고, 이를 따라 말하기를 진행시키는 것이다.And, speaking practice according to the curriculum is to present the passage ``Speak with'so', and then proceed with speaking.
그리고, 주제별 자유로운 말하기 연습은 '환경 보호에 관한 주제를 선택했습니다. 최근 일본 원전사고와 함께 원자력 발전을 줄이고 태양광 에너지 등 신재생에너지의 전환 등 환경보호와 에너지 정책에 관해 말해보세요'라는 지문을 제시하고, 이를 따라 말하기를 진행시키는 것이다.And, for free speaking practice by topic,'I chose a topic on environmental protection. Along with the recent nuclear accident in Japan, talk about environmental protection and energy policies, such as reducing nuclear power generation and the conversion of renewable energy such as solar energy.'
한편, 학습자가 자동 출제를 선택할 경우에 자동출제조건설정모듈(216)은 학습 수준 등록, 선호 주제 등록, 1회 학습량 등록을 위한 자동출제등록페이지를 제공하게 된다.On the other hand, when the learner selects the automatic questionnaire, the automatic questionnaire
이때, 상기 자동출제등록페이지 상에는 학습 수준, 선호 주제, 1회 학습량 등을 선택할 수 있는 선택페이지를 제공하게 되는 것이다.At this time, on the automatic test registration page, a selection page for selecting a learning level, a preferred topic, and an amount of one-time learning is provided.
따라서, 자동문제출제모듈(217)은 자동출제조건설정모듈(216)을 통해 선택한 학습 수준, 선호 주제, 1회 학습량 정보를 토대로 문제 난이도 확인, 문제 주제 확인, 문제 길이 확인 페이지를 제공하게 된다.Accordingly, the automatic
예를 들어, 학습 수준을 '상', 선호 주제를 '환경', 1회 학습량은 '1시간'으로 선택하게 되면 학습자가 자신이 선택한 사항을 확인할 수 있도록 문제 난이도 확인, 문제 주제 확인, 문제 길이 확인 페이지를 제공하게 된다.For example, if you select'Higher' as the learning level,'Environment' as the preferred topic, and '1 hour' as the amount of one study, you can check the difficulty level of the problem, check the problem topic, and the length of the problem so that the learner can check their choice. You will be presented with a confirmation page.
이때, 학습자가 자신이 선택한 결과가 일치하여 일치함을 알리기 위한 버튼이나 페이지를 선택하게 되면 확인 결과 정보를 획득하게 되며, 이를 토대로 문제 난이도, 문제 주제, 문제 길이에 맞는 문제를 자동으로 선택하여 학습자단말기의 화면에 출력시키게 되는 것이다.At this time, if the learner selects a button or page to inform that the result of his or her choice is consistent and matched, the confirmation result information is obtained.Based on this, the learner automatically selects a problem suitable for the difficulty level, problem topic, and problem length. It is displayed on the screen of the terminal.
이후, 최종적으로 학습자말하기연습용음성정보송출모듈(218)은 학습자에 의해 말하기를 연습할 경우에, 발화된 음성 정보를 획득하여 교정부(220)로 전송하게 되는 것이다.Thereafter, the voice
종래에는 학습자가 말하기 학습하는 방법이 원어민과의 발음 비교 및 평가, 주어진 원어민 발음의 청취를 통한 따라하기 등 시스템에서 정하는 특정한 형태의 제약된 말하기 연습만 가능하였다. Conventionally, the learner's speaking learning method was limited to specific types of speaking practice determined by the system, such as comparing and evaluating pronunciation with native speakers, and following through listening to a given native speaker's pronunciation.
이는 정형화된 학습 시스템으로 제약된 말하기 학습 방식만을 제공하기 때문이고 사람의 개입없이 정해진 콘텐츠의 재사용 또는 제약적 상황에서만 구동하는 하는 기술을 기반으로 시스템이 구성되었기 때문이다.This is because the standardized learning system provides only a limited speech learning method, and the system is constructed based on a technology that operates only in restricted situations or reuse of predetermined contents without human intervention.
본 발명에서는 정형화된 시스템을 지향하는 것이 아닌 사람이 개입하는 자유로운 시스템을 통해 교정 지도를 함으로써, 학습자는 제약된 형태의 학습이 아닌 다양한 형태의 자유로운 구조로 학습자의 성향, 수준에 맞는 말하기 연습을 선택할 수 있다.In the present invention, by providing correction guidance through a free system involving human intervention rather than a standardized system, the learner selects speaking practice appropriate to the learner's disposition and level through various forms of free structure rather than limited form of learning. I can.
도 8와 같이, 학습자는 학습자의 학습 수준, 성향 등에 따라 학습정보DB(240)에 저장된 문제 콘텐츠를 다양한 방식으로 선택할 수 있다. 즉, 다양한 문제, 주제, 지문, 커리큘럼 등 문자 또는 음성으로 구성된 글감을 선택하여 학습자는 연습할 수 있다. As shown in FIG. 8, the learner can select the problem content stored in the learning
또한, 학습자가 미리 등록한 방식, 정보에 따라 학습자가 연습할 수 있는 문제 콘텐츠를 자동으로 제공할 수 있다. 이러한 방식을 통해 학습자가 연습할 수 있는 말하기 형태는 도 5과 같이 다양하게 제시될 수 있다. In addition, it is possible to automatically provide problem content that the learner can practice according to the method and information previously registered by the learner. Through this method, the form of speech that the learner can practice can be presented in various ways as shown in FIG. 5.
도 5과 같은 다양한 말하기 연습을 위해 학습정보DB(240)에 저장된 문제 콘텐츠는 도 9의 예시와 같이 콘텐츠 별로 수준, 주제, 길이, 난이도 등의 다양한 메타 정보를 포함한다.The problem content stored in the learning
즉, 특정 문제콘텐츠에 연결된 메타 정보는,In other words, the meta information linked to the specific problem content,
문제코드 정보, 유형 정보, 토픽수준 정보, 대주제 정보, 중주제 정보, 소주제 정보, 학습시간 정보, 어휘난이도 정보, 문제형태 정보, 연습문법 정보를 포함하는 것을 특징으로 한다.It is characterized by including problem code information, type information, topic level information, major topic information, medium topic information, sub-topic information, learning time information, vocabulary difficulty information, problem type information, and practice grammar information.
예를 들어, 문제는 문제코드 - T001, 유형 - 텍스트, TOPIK 수준 - 1급, 대주제 - 인사, 중주제 - -, 소주제 - 자기소개, 학습시간 - 3분 미만, 어휘난이도 - 상, 문제 형태 - 대화형, 연습문법 - 인칭 등의 메타 정보를 저장하게 된다.For example, the problem is problem code-T001, type-text, TOPIK level-1st level, major topic-greeting, middle topic--, sub topic-self-introduction, study time-less than 3 minutes, vocabulary difficulty-award, problem type- Interactive, practice grammar-Meta information such as person is stored.
따라서, 학습자는 정형화된 학습이 아닌 학습자의 수준, 성향에 맞는 다양한 말하기 연습을 수행할 수 있는 효과적인 학습이 가능하게 되는 것이다.Therefore, the learner is able to perform effective learning that can perform various speaking exercises suitable for the learner's level and disposition, rather than a formal learning.
도 3는 본 발명의 실시예에 따른 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템의 교정부(220) 블록도이다.3 is a block diagram of a
도 3에 도시한 바와 같이, 상기 교정부(220)는 음성정보획득모듈(221), 음성분할모듈(222), 음성전사모듈(223), 1차교정결과정보생성모듈(224), 1차교정결과정보제공모듈(225), 최종교정결과정보제공모듈(226)을 포함하여 구성되게 된다.As shown in Fig. 3, the
구체적으로 설명하면, 상기 음성정보획득모듈(221)은 연습부(210)로부터 학습자의 음성정보를 획득하게 된다. 즉, 도 10과 같이, 학습자의 음성정보를 획득하게 되는데, 음성정보는 예를 들어, 학습자 아이디, 문제코드, 말하기 아이디, 말하기 파일명, 길이 등을 포함하게 된다.Specifically, the voice
상기 음성분할모듈(222)은 상기 획득된 음성정보를 교정단위로 분할시키기 위한 기능을 수행하게 된다.The
예를 들어, 학습자의 음성을 교정 단위로 분할(통상 문장 단위로 분할하지만 교정자의 교정 방식에 따라 여러 단위로 분할할 수 있다.)하게 되며, 음성 분할 기술은 음성 가공분야에서 널리 사용되고 있는 기술이므로 상세한 설명은 생략하도록 한다.For example, the learner's voice is divided into correction units (usually divided into sentences, but can be divided into several units depending on the proofreader's correction method), and since the speech segmentation technology is widely used in the field of speech processing. Detailed description will be omitted.
상기 음성전사모듈(223)은 교정단위로 분할된 음성정보들을 텍스트로 변환처리하여 교정단위로 분할된 텍스트 정보를 생성하는 기능을 수행하게 된다.The
즉, 상기 교정단위로 분할된 텍스트들은 교정단위로 분할된 음성정보에 각각 매칭된 텍스트들인 것이다. 예를 들어, 음성정보가 100개의 교정단위로 분할되는 경우, 10번째 텍스트는 10번째 음성정보를 텍스트로 변환 처리한 것이다.That is, the texts divided by the correction unit are texts that are matched to the voice information divided by the correction unit. For example, when voice information is divided into 100 correction units, the tenth text is converted into text from the tenth voice information.
상기 1차교정결과정보생성모듈(224)은 학습자에게 제공된 문제콘텐츠 정보, 교정단위로 분할된 음성 정보, 교정단위로 분할된 텍스트 정보를 이용하여 1차 교정결과정보를 생성하게 된다.The primary correction result
상기 학습자에게 제공된 문제콘텐츠 정보는 학습정보DB(240)에 저장되어 있는 문제 콘텐츠 정보이고, 상기 교정단위로 분할된 음성 정보는 상술한 음성분할모듈(222)이 분할한 음성정보이고, 교정단위로 분할된 텍스트 정보는 상술한 음성전사모듈(223)이 변환 처리한 텍스트 정보이다.The problem content information provided to the learner is problem content information stored in the learning
본 발명의 상기 1차교정결과정보생성모듈(224)은 상기 정보(학습자에게 제공된 문제콘텐츠 정보, 교정단위로 분할된 음성 정보, 교정단위로 분할된 텍스트 정보)들을 이용해 발음교정정보와 텍스트교정정보를 포함한 1차교정결과정보를 생성하는 것이다.The primary correction result
예를 들어, 학습자에게 원문 텍스트를 제시하고 읽어보라는 문제 콘텐츠가 주어지는 경우, 분할된 음성정보들중 10번째 교정단위 음성정보가 '201812120007.mp3'이고 분할된 텍스트정보중 10번째 교정단위 음성정보(201812120007.mp3)를 텍스트로 변환한 텍스트정보가 '듣기조은'이고 이에 해당하는 문제콘텐츠 원문 텍스트가 '듣기좋은'인 경우, 상기 1차교정결과정보생성모듈(224)은 10번째 교정단위 음성정보인 '201812120007.mp3'이 문제콘텐츠 원문 텍스트인 '듣기좋은'에 해당하는 발음인지를 비교 판단하고, 10번째 교정단위 텍스트정보인 '듣기조은'이 문제콘텐츠 원문 텍스트인 '듣기좋은'에 해당하는 텍스트인지를 비교 판단한다. 그 결과 발음도 잘못되고 텍스트도 잘못되었다면 " 학습자 발음: 201812120007.mp3(듣기조은에 해당하는 발음), 교정발음: 201812120007-1.mp3(듣기좋은에 해당하는 발음), 학습자텍스트:듣기조은, 교정텍스트: 듣기좋은 " 과 같은 1차 교정 결과 정보를 생성하는 것이다.For example, if problem content is given to the learner to present and read the original text, the tenth correction unit voice information among the divided voice information is '201812120007.mp3' and the tenth correction unit voice information among the divided text information. When the text information converted from (201812120007.mp3) into text is'hearing joy' and the original text of the problem content is'good to hear', the first calibration result
이때, 교정단위로 분할된 음성정보와 텍스트정보들은 도 13와 같이, 시작위치와 종료위치를 각각 포함하고 있는 정보를 의미한다.At this time, the voice information and text information divided into calibration units mean information including a start position and an end position, respectively, as shown in FIG. 13.
이후, 상기 1차교정결과정보제공모듈(225)은 상기 1차교정결과정보생성모듈에 의해 생성된 1차 교정결과정보, 학습자 음성정보, 교정단위로 분할된 음성정보, 교정단위로 분할된 텍스트정보, 해당 문제콘텐츠 정보를 원어민단말기로 제공하여 감수를 진행하도록 하는 것이다.Thereafter, the primary calibration result
예를 들어, 도 6에 도시된 바와 같은 감수를 위한 교정화면이 원어민단말기에 표시되고 원어민은 감수를 수행하게 된다.For example, a correction screen for proofreading as shown in FIG. 6 is displayed on a native speaker's terminal, and the native speaker performs the proofreading.
도 6에 도시된 바와 같은 감수를 위한 교정화면의 음성정보출력레이어에는 학습자의 음성정보가 출력되고, 음성정보 교정단위 분할 레이어에는 교정단위로 분할된 학습자의 음성정보가 출력되고, 음성정보 텍스트변환 레이어에는 교정단위로 분할된 텍스트정보가 출력되고, 텍스트교정 레이어에는 학습자의 발화 텍스트와 학습자의 발화텍스트에 대한 교정문이 출력되고, 이러한 화면을 이용하여 원어민 교정자는 감수를 위한 교정을 수행한다. As shown in Fig. 6, the learner's voice information is output to the voice information output layer of the correction screen for supervision, and the voice information of the learner divided into correction units is output to the voice information correction unit division layer, and voice information text conversion Text information divided into correction units is output to the layer, and correction text for the learner's spoken text and the learner's spoken text is output to the text correction layer, and a native-speaking proofreader performs correction for supervision using this screen.
도 6에는 도시되지 않았지만 1차 교정결과정보에 포함된 발음교정정보(예: 학습자 발음: 201812120007.mp3(듣기조은에 해당하는 발음), 교정발음: 201812120007-1.mp3(듣기좋은에 해당하는 발음))를 이용하여 발음에 대한 감수도 수행하게 된다.Although not shown in Fig. 6, pronunciation correction information included in the primary correction result information (e.g., learner pronunciation: 201812120007.mp3 (pronunciation corresponding to listening), corrective pronunciation: 201812120007-1.mp3 (pronunciation corresponding to good listening) )) is also used to supervise pronunciation.
즉, 1차적으로 본 발명의 학습관리서버에서 교정을 실시하고, 이를 다시 원어민단말기에서 감수를 진행시켜 학습관리서버에서의 교정 상의 문제점을 해결할 수 있는 장점을 제공하게 된다.That is, it provides the advantage of solving the problem of calibration in the learning management server by first performing calibration in the learning management server of the present invention, and then performing the supervision again in a native speaker terminal.
상기 최종교정결과정보제공모듈(226)은 원어민단말기(300)가 제공하는 감수정보를 반영하여 최종 교정결과정보를 생성하게 된다. 최종교정결과정보제공모듈(226)의 최종 교정결과정보 생성은 상술한 1차교정결과정보생성모듈(224)의 1차 교정결과정보 생성과 유사한 방식으로 생성한다. 차이점은 원어민단말기가 제공한 감수정보를 반영한다는 점이다.The final calibration result
도 4는 본 발명의 실시예에 따른 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템의 교정표출부(230) 블록도이다.4 is a block diagram of a
도 4에 도시한 바와 같이, 상기 교정표출부(230)는 교정부(220)가 생성된 최종 교정결과정보가 학습자단말기에서 시,청각적으로 표출될 수 있도록 처리하는 구성으로서, 원문및교정문비교처리모듈(231), 학습안내정보처리모듈(232), 학습자및원어민발음비교처리모듈(233), 지도내용정보처리모듈(234)을 포함하여 구성되게 된다.As shown in Fig. 4, the
구체적으로 설명하면, 상기 원문및교정문비교처리모듈(231)은 교정부(220)가 생성한 최종 교정결과정보를 이용하여 학습자에 의해 선택된 문제 콘텐츠의 텍스트 원문과 학습자의 음성정보를 텍스트 변환 처리한 텍스트 정보가 매칭 병기되도록 처리하고, 처리 결과가 학습자단말기에서 시각적으로 표출될 수 있도록 하되, 학습자의 음성정보를 텍스트 변환 처리한 텍스트 정보중 교정된 부분을 특정 색깔로 표시하여 학습자로 하여금 교정된 부분이 무엇인지를 시각적으로 확인할 수 있도록 하는 기능을 수행하게 된다.Specifically, the original text and the correction text
예를 들어, 도 7과 같이, 학습자에 의해 선택된 문제 콘텐츠의 텍스트 원문("아름다운 음악 작품은 듣기좋은 소리로만 만들어 질수 있는 것일까? 음악적 아름다움은 어떻게 구현되는 것일까?")에 학습자의 음성정보를 텍스트 변환 처리한 텍스트 정보가 매칭 병기되도록 처리하는데, 이때 학습자의 음성정보를 텍스트 변환 처리한 텍스트 정보중 교정된 부분만(듣기조은, 소리로마, 만드러, 거실까, 구혀대는, 거실까) 문제 콘텐츠의 텍스트 원문에 매칭 병기되도록 한다.For example, as shown in Fig. 7, the learner's voice information is added to the text of the text of the problem content selected by the learner ("Can a beautiful piece of music be made with only audible sound? How is the musical beauty realized?"). The converted text information is processed so that it is matched, and at this time, only the corrected part of the text information processed by the text conversion process of the learner's voice information (listening, sound, making, living room, rolling, living room) Match the text to the original text.
이때, 학습자의 음성정보를 텍스트 변환 처리한 텍스트 정보중 교정된 부분(듣기조은, 소리로마, 만드러, 거실까, 구혀대는, 거실까)을 특정 색깔(도 7과 같이 붉은색)로 표시하여 학습자로 하여금 교정된 부분이 무엇인지를 시각적으로 확인할 수 있도록 한다. At this time, the corrected part of the text information processed by text conversion processing of the learner's voice information (listening, sound, making, living room, rolling, living room) is displayed in a specific color (red as shown in Fig. 7) to the learner. It allows the user to visually check what has been corrected.
상기 학습안내정보처리모듈(232)은 학습자에 의해 상기 특정 색깔로 표시된 교정된 부분 선택시, 해당 교정된 부분에 대한 학습 안내 정보가 학습자단말기에서 시각적으로 표출될 수 있도록 하는 기능을 수행하게 된다.The learning guide
예를 들어, 도 7과 같이, 학습자단말기에 표시된 교정결과 중 '소리로마'를 학습자가 선택하는 경우, " 원문은 '소리로만'입니다. 원어민 발음을 들어보세요"라는 학습 안내 정보가 학습자 단말기에 시각적으로 표시될 수 있도록 하는 것이다.For example, as shown in FIG. 7, when the learner selects'Sound Roman' among the correction results displayed on the learner's terminal, the learning guide information "The original text is'only with sound". Listen to the pronunciation of a native speaker" is displayed on the learner's terminal. It is to be displayed visually.
상기 학습자및원어민발음비교처리모듈(233)은 학습자에 의해 상기 특정 색깔로 표시된 교정된 부분 선택시, 해당 교정된 부분에 대한 학습자의 음성정보와 원어민의 음성정보가 학습자단말기에서 청각적으로 표출될 수 있도록 하는 기능을 수행하게 된다.When the learner and native speaker pronunciation
예를 들어, 예를 들어, 도 7과 같이, 학습자단말기에 표시된 교정결과 중 '소리로마'를 학습자가 선택하는 경우, 학습자의 음성 정보인 '소리로마'와 교정 음성 정보인 '소리로만'이 순차적으로 학습자단말기에서 청각적으로 표출될 수 있도록 하는 것이다.For example, as shown in FIG. 7, when a learner selects'Sound Roman' among the correction results displayed on the learner's terminal,'Sound Roman', which is the learner's voice information, and'Sound only', which is the corrected voice information It is to be displayed aurally in the learner's terminal in sequence.
한편, 부가적인 양태에 따라, 교정 음성 정보를 교정자에 의해 교정 녹음한 녹음 정보를 저장시킬 수도 있으며, 이러한 교정음성 정보는 다양한 형태로 제공되어질 수 있다는 것은 자명한 사실이다.On the other hand, according to an additional aspect, it is obvious that recording information obtained by calibrating and recording the corrected voice information by a proofreader may be stored, and such corrected voice information may be provided in various forms.
상기 지도내용정보처리모듈(234)은 학습자의 음성 정보에 대한 전체 지도를 위한 교정자의 총평, 의견, 학습 방향 정보를 포함하는 지도 내용 정보가 학습자단말기에서 시각적으로 표출될 수 있도록 하는 기능을 수행하게 된다.The instruction content
예를 들어, 도 7과 같이, '총평 : 받침있는 글자가 발음하기 어렵지만, 천천히 발음을 연습해 보세요'라는 교정자의 총평, 의견, 학습 방향 정보 중 어느 하나 이상의 지도 내용 정보가 학습자단말기에서 시각적으로 표출될 수 있도록 하는 것이다.For example, as shown in FIG. 7, instruction content information of at least one of the proofreader's general review, opinion, and learning direction information, saying'General review: Supported letters are difficult to pronounce, but try to practice your pronunciation slowly' is visually displayed on the learner's terminal. It is to be able to be expressed.
상기 학습정보DB(240)에는 문제 콘텐츠 정보, 문제콘텐츠별 수준과 주제와 학습시간과 난이도를 포함한 메타 정보, 학습자가 연습한 문제콘텐츠정보와 음성정보를 포함한 연습원문정보, 음성정보, 음성정보별 교정음성 정보, 텍스트정보, 1차 교정 결과정보, 감수정보, 최종 교정결과정보를 저장하고 있게 된다.The learning
특히, 상기 1차 교정결과정보와 최종 교정결과정보는 음성정보별 교정음성 정보와 교정된 텍스트 정보를 포함한다.In particular, the first correction result information and the final correction result information include correction voice information for each voice information and corrected text information.
상기 문제 콘텐츠 정보는 문제 형태의 질문, 길게 읽을 수 있는 지문, 보고 설명할 수 있는 이미지, 듣고 말할 수 있는 음성, 보고 말할 수 있는 문자 또는 그림, 도표를 포함하는 것을 특징으로 한다.The problem content information is characterized in that it includes a question in the form of a problem, a fingerprint that can be read long, an image that can be viewed and explained, a voice that can be heard and spoken, a character or picture that can be viewed and spoken, and a diagram.
문제 콘텐츠 정보는 도 9의 예시와 같이 콘텐츠 별로 수준, 주제, 길이, 난이도 등의 다양한 메타 정보를 포함한다. 즉, 특정 문제콘텐츠에 연결된 메타 정보는 문제코드 정보, 유형 정보, 토픽수준 정보, 대주제 정보, 중주제 정보, 소주제 정보, 학습시간 정보, 어휘난이도 정보, 문제형태 정보, 연습문법 정보를 포함하는 것을 특징으로 한다.The problem content information includes various meta information such as level, subject, length, and difficulty level for each content, as shown in the example of FIG. 9. In other words, meta-information linked to specific problem content includes problem code information, type information, topic level information, major topic information, medium topic information, sub-topic information, learning time information, vocabulary difficulty information, problem type information, and practice grammar information. It is characterized.
상기 연습원문정보는 학습자 아이디, 문제코드, 말하기 아이디, 말하기 화일명, 길이 정보를 포함하는 것을 특징으로 한다. 도 10에 도시한 바와 같이, 예를 들어, 학습자 아이디 : 001, 002를, 문제코드 : T002, A001를, 말하기 아이디 : A002, A003을, 말하기 화일명 : 201812120007.mp3, 201812120008.mp3을, 길이 : 3분 30초, 7분 21초 등의 정보를 포함하게 된다.따라서, 각각의 말하기 아이디를 고유한 키로하여 교정자가 연습원문을 획득할 수 있게 되는 것이다.The training text information is characterized in that it includes learner ID, problem code, speaking ID, speaking file name, and length information. As shown in FIG. 10, for example, learner ID: 001, 002, problem code: T002, A001, speaking ID: A002, A003, speaking file name: 201812120007.mp3, 201812120008.mp3, length: It includes information such as 3 minutes 30 seconds, 7 minutes 21 seconds, etc. Therefore, the proofreader can obtain the original text by using each speaking ID as a unique key.
상기 음성 정보는 말하기 아이디 정보, 문장 순서 정보, 시작 시각 정보, 종료 시각 정보를 포함하는 것을 특징으로 한다. 도 11에 도시한 바와 같이, 예를 들어, 말하기 아이디 정보 : A002, A003을, 문장 순서 정보 : 1,2,3,4,1을, 시작 시각 정보 : 00분 01초, 00분 47초, 01분 30초, 02분 48초, 00분 02초를, 종료 시각 정보 : 00분 45초, 01분 27초, 02분 42초, 03분 30초, 00분 32초를 포함하게 된다.The voice information may include speaking ID information, sentence order information, start time information, and end time information. As shown in FIG. 11, for example, speaking ID information: A002, A003, sentence order information: 1,2,3,4,1, start time information: 00 minutes 01 seconds, 00 minutes 47 seconds, 01 minutes 30 seconds, 02 minutes 48 seconds, 00
상기 텍스트정보는 말하기 아이디 정보, 문장 순서 정보, 시작 시각 정보, 종료 시각 정보, 텍스트 내용 정보를 포함하는 것을 특징으로 한다. 도 12에 도시한 바와 같이, 예를 들어, 말하기 아이디 정보 : A002를, 문장 순서 정보 : 1,2,3,4를, 시작 시각 정보 : 00분 00초, 00분 47초, 01분 30초, 02분 48초를, 종료 시각 정보 : 00분 45초, 01분 27초, 02분 42초, 03분 30초를, 전사 내용 정보 : 음악은 소리로 된 예술이다, 예술이 아름다움을 추구한다면 음악 또한 아름다움을 추구해야 할 것이다, 그렇다면 아름다운 음악 작품은 듣기조은 소리로마 만드러 질 수 있는 거실까?, 음악적 아름다움은 어떻게 구혀되는 거실까? 를 포함하는 것이다.The text information is characterized in that it includes speech ID information, sentence order information, start time information, end time information, and text content information. As shown in Fig. 12, for example, speaking ID information: A002, sentence order information: 1,2,3,4, start time information: 00 minutes 00 seconds, 00 minutes 47 seconds, 01 minutes 30 seconds , 02 minutes 48 seconds, end time information: 00 minutes 45 seconds, 01 minutes 27 seconds, 02 minutes 42 seconds, 03 minutes 30 seconds, transcription content information: music is art in sound, if art pursues beauty Music should also pursue beauty. Then, is a living room where beautiful musical works can be made with a sound that is not easy to hear? How is the living room where musical beauty is bent? It includes.
상기 감수정보는 말하기 아이디 정보, 문장 순서 정보, 시작 시각 정보, 종료 시각 정보, 전사 내용 정보, 원문 정보, 교정문 정보, 원문 및 교정문의 시작 위치 정보, 원문 및 교정문의 종료 위치 정보를 포함하는 것을 특징으로 한다. 도 13에 도시한 바와 같이, 예를 들어, 말하기 아이디 정보 : A002를, 문장 순서 정보 : 3, 4를, 시작 시각 정보 : 01분 30초, 02분 48초를, 종료 시각 정보 : 02분 42초, 03분 30초를, 전사 내용 정보 : 그렇다면 아름다운 음악 작품은 듣기조은 소리로마 만드러 질 수 있는 거실까?, 음악적 아름다움은 어떻게 구혀되는 거실까? 를, 원문 정보 : 듣기조은, 소리로마, 만드러, 거실까, 구혀되는, 거실까 를, 교정문 정보 : 듣기좋은, 소리로만, 만들어, 것일까, 구현되는, 것일까 를, 원문 및 교정문의 시작 위치 정보 : 59, 64, 69, 80, 99, 105 를, 원문 및 교정문의 종료 위치 정보 : 62, 67, 71, 82, 103, 107 를 포함하게 된다.The supervision information includes speaking ID information, sentence order information, start time information, end time information, transcription content information, original text information, correction text information, start position information of the original text and correction text, and end position information of the original text and correction text. It is characterized. As shown in FIG. 13, for example, speaking ID information: A002, sentence order information: 3, 4, start time information: 01 minute 30 seconds, 02 minutes 48 seconds, end time information: 02 minutes 42 Seconds, 03 minutes and 30 seconds, transcription content information: Then, is a living room where beautiful music works can be made with a soft sound?, How is the living room where musical beauty is bent? E, original text information: listening joeun, sound roma, to make, living room, bent, living room, correction text information: good to hear, sound only, made, will, realized, will be, original text and start position information of correction text : 59, 64, 69, 80, 99, 105, and end position information of the original text and correction text: 62, 67, 71, 82, 103, 107.
상기 1차 교정결과정보와 최종 교정결과정보에 포함되는 교정단위별 발음교정정보와 텍스트교정정보는 말하기 아이디 정보, 문장 순서 정보, 시작 시각 정보, 종료 시각 정보, 전사 내용 정보, 원문 정보, 교정문 정보, 원문 및 교정문의 시작 위치 정보, 원문 및 교정문의 종료 위치 정보, 교정 음성 아이디 정보, 교정 화일명 정보, 원문 시작 시각 정보, 원문 종료 시각 정보를 포함하는 것을 특징으로 한다.The pronunciation correction information and text correction information for each correction unit included in the first correction result information and the final correction result information are speech ID information, sentence order information, start time information, end time information, transcription content information, original text information, and correction text. Information, original text and correction text start position information, original text and correction text end position information, correction voice ID information, correction file name information, original text start time information, and original text end time information.
도 14에 도시한 바와 같이, 예를 들어, 말하기 아이디 정보 : A002를, 문장 순서 정보 : 3, 4를, 시작 시각 정보 : 01분 30초, 02분 48초를, 종료 시각 정보 : 02분 42초, 03분 30초를, 전사 내용 정보 : 그렇다면 아름다운 음악 작품은 듣기조은 소리로마 만드러 질 수 있는 거실까?, 음악적 아름다움은 어떻게 구혀되는 거실까? 를, 원문 정보 : 듣기조은, 소리로마, 만드러, 거실까, 구혀되는, 거실까 를, 교정문 정보 : 듣기좋은, 소리로만, 만들어, 것일까, 구현되는, 것일까 를, 원문 및 교정문의 시작 위치 정보 : 59, 64, 69, 80, 99, 105 를, 원문 및 교정문의 종료 위치 정보 : 62, 67, 71, 82, 103, 107 를, 교정 음성 아이디 정보 : AC-001, AC-002, AC-003, AC-004, AC-005, AC-006 을, 교정 화일명 정보 : 201812120007_301, 201812120007_302, 201812120007_303, 201812120007_304, 201812120007_401, 201812120007_402 를, 원문 시작 시각 정보 : 1분 42초, 1분 58초, 2분 12초, 2분 31초, 3분 2초, 3분 23초 를, 원문 종료 시각 정보 : 1분 55초, 2분 5초, 2분 28초, 2분 40초, 3분 12초, 3분 28초 를 포함하게 되는 것이다.As shown in Fig. 14, for example, speaking ID information: A002, sentence order information: 3, 4, start time information: 01 minutes 30 seconds, 02 minutes 48 seconds, end time information: 02 minutes 42 Seconds, 03 minutes and 30 seconds, transcription content information: Then, is a living room where beautiful music works can be made with a soft sound?, How is the living room where musical beauty is bent? E, original text information: Listening joeun, sound roma, to make, living room, crumpled, living room, proofread information: good to hear, sound only, made, will, realized, will, original text and start position information of proofread : 59, 64, 69, 80, 99, 105, information on the end of original text and correction text: 62, 67, 71, 82, 103, 107, correction voice ID information: AC-001, AC-002, AC- 003, AC-004, AC-005, AC-006, calibration file name information: 201812120007_301, 201812120007_302, 201812120007_303, 201812120007_304, 201812120007_401, 201812120007_402, original text start time information: 1 minute 42 seconds, 1 minute 58 seconds, 2 minutes 12 Second, 2 minutes 31 seconds, 3
다음은 도 1을 참조하여 원어민단말기(300)에 대한 구성요소 및 동작 과정을 구체적으로 설명하도록 한다.Next, components and operation processes of the
도 1에 도시한 바와 같이, 상기 원어민단말기(300)는 1차교정결과정보표출부(310), 감수정보생성부(320)를 포함하여 구성되게 된다.As shown in FIG. 1, the native-speaking
구체적으로 설명하면, 상기 1차교정결과정보표출부(310)은 감수를 위해 학습관리서버(200)의 교정부(220)가 제공하는 학습자의 음성정보, 교정단위로 분할된 음성정보, 교정단위로 분할된 텍스트정보, 1차 교정결과정보, 해당 문제콘텐츠 정보를 설정된 레이어에 표출시키기 위한 기능을 수행하게 된다.Specifically, the primary calibration result
예를 들어, 도 6에 도시된 바와 같은 감수를 위한 교정화면의 음성정보출력레이어에는 학습자의 음성정보가 출력되고, 음성정보 교정단위 분할 레이어에는 교정단위로 분할된 학습자의 음성정보가 출력되고, 음성정보 텍스트변환 레이어에는 교정단위로 분할된 텍스트정보가 출력되고, 텍스트교정 레이어에는 학습자의 발화 텍스트와 학습자의 발화텍스트에 대한 교정문이 출력되고, 이러한 화면을 이용하여 원어민 교정자는 감수를 위한 교정을 수행한다. For example, the learner's voice information is output to the voice information output layer of the correction screen for supervision as shown in FIG. 6, and the learner's voice information divided into correction units is output to the voice information correction unit division layer, The text information divided into correction units is output on the voice information text conversion layer, and the corrected text for the learner's spoken text and the learner's spoken text is output on the text correction layer. Perform.
도 6에는 도시되지 않았지만 1차 교정결과정보에는 교정단위별 발음교정정보가 포함되어 있다. 예를 들어, 학습자 발음: 201812120007.mp3(듣기조은에 해당하는 발음), 교정발음: 201812120007-1.mp3(듣기좋은에 해당하는 발음)과 같은 발음교정정보가 포함되어 있기 때문에 이를 이용하여 원어민은 발음에 대한 감수도 수행하게 된다.Although not shown in FIG. 6, the primary correction result information includes pronunciation correction information for each correction unit. For example, pronunciation correction information such as learner's pronunciation: 201812120007.mp3 (pronunciation that corresponds to listening sound), corrective pronunciation: 201812120007-1.mp3 (pronouncement that corresponds to good listening) is included, so native speakers can use it You will also perform a review of pronunciation.
상기 감수정보생성부(320)는 상기 레이어에 표시된 각 정보를 토대로 학습자의 음성정보에 대한 발음 감수와 변환된 텍스트에 대한 텍스트 내용 감수를 수행하여 감수정보를 생성하고, 생성된 감수정보를 학습관리서버(200)로 제공한다.The supervision
예를 들어, 도 6과 같이, 텍스트에 대한 1차 교정 결과 정보인 '유지하는 것은'을 '활용하는 것은'으로 교체하라는 감수를 수행하게 된다. 이후 생성된 감수정보는 학습관리서버(200)로 제공하게 되는 것이다.For example, as shown in FIG. 6, the supervision of replacing'what to keep', which is information about the result of the primary correction of the text, with'what to use' is performed. After that, the generated supervision information is provided to the
종래의 말하기 학습은 정형적이고 단편적인 말하기의 한 부분(발음위주)만을 제공했다. 제시된 원어민과의 음성을 듣고 학습자가 녹음한 음성과의 비교 학습, 기계를 통한 발음 평가 등 말하기의 발음에 치중되어 있거나, 전화 회화 등 언어 학습에서 중요한 반복 학습을 할 수 없는 방법으로 제공되었으며, 말하기 발음 외 말하기의 내용 구성이나 표현 등 내용적 부분을 학습할 수 있는 방법은 제공되지 않았다. Conventional speaking learning provided only one part (pronunciation-oriented) of formal and fragmentary speech. It was provided in a way that it was not possible to repeat important repetitive learning in language learning such as phone conversation, etc., focusing on the pronunciation of speaking, such as comparative learning with the voice recorded by the learner, and pronunciation evaluation through a machine after listening to the suggested voice with a native speaker. Other than pronunciation, no method was provided to learn the content structure or expression of speech.
이러한 문제로 학습자는 효과적인 학습이 불가능할 뿐만 아니라, 말하기는 영화, 음악 등을 통해 원어민의 말을 따라하는 수준의 발음 연습에서 벗어나지 못했다. Due to these problems, not only is it impossible for learners to learn effectively, but also for speaking, they have not escaped from practicing pronunciation at the level of imitating the words of native speakers through movies and music.
이에 따라 효과적인 말하기 학습을 위해서는 학습자가 연습한 말하기의 발음 및 말하기 내용 구성이나 표현 부분을 종합한 학습 방법을 제공할 필요가 있다. Accordingly, for effective speaking learning, it is necessary to provide a learning method in which the pronunciation of the speaking practiced by the learner and the composition or expression of speaking content are synthesized.
말하기의 발음과 말하기의 내용 구성이나 표현을 복합적으로 교정, 지도해야하는 필요성은 교육의 현실에서 오래전부터 공감하던 사실이나 이를 지원할 수 있는 방법이 제시되지 못했다. The necessity of correcting and guiding the pronunciation of speech and the composition or expression of speech in a complex way is a fact that has long been recognized in the reality of education, but a method to support it has not been presented.
본 발명은 학습관리서버와 원어민단말기의 교정을 통해 학습자의 말하기 음성에 대한 복합적인 교정이 가능한 장점을 제공한다. The present invention provides the advantage of capable of complex correction of a learner's speech voice through correction of a learning management server and a native speaker terminal.
본 발명에서 학습자의 음성정보를 텍스트로 변환하는 기술은 종래의 STT(Speech to text) 기술을 이용하여 자동으로 문자로 변환하거나 학습자의 음성을 들으면서 해당 음성 구간의 내용을 교정자가 문자로 기재한다.In the present invention, the technology for converting the learner's voice information to text is automatically converted to text using the conventional STT (Speech to text) technology, or the proofreader writes the contents of the corresponding voice section as text while listening to the learner's voice.
결국, 상기와 같은 본 발명의 구성 및 동작을 통해 학습자가 연습한 말하기 발음에 대한 발음 교정과 말하기 내용 교정을 통해 학습자가 효과적으로 말하기 학습을 할 수 있도록 도와주어 학습자의 학습 효율 개선과 말하기 실력을 향상시킬 수 있는 효과를 발휘하게 된다. 또한, 말하기의 내용과 발음에 대한 교정결과정보를 연계하여 화면에 제공함으로써, 종합적이고 효과적으로 교정할 수 있는 효과를 발휘하게 된다.In the end, through the configuration and operation of the present invention as described above, it helps the learner to effectively learn speaking through pronunciation correction and speech content correction for the spoken pronunciation practiced by the learner, thereby improving the learner's learning efficiency and improving the speaking ability. It will exert the effect that can be made. In addition, by providing the information on the screen in connection with the content of speech and the correction result information on pronunciation, the effect of comprehensive and effective correction is exhibited.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and is generally used in the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. Various modifications can be implemented by a person having the knowledge of, of course, these modifications should not be individually understood from the technical spirit or prospect of the present invention.
100 : 학습자단말기
200 : 학습관리서버
300 : 원어민단말기100: learner terminal
200: learning management server
300: native speaker terminal
Claims (9)
학습관리서버(200)에 접속후, 학습관리서버(200)가 제공하는 문제 콘텐츠에 따라 학습자가 발화한 음성정보를 학습관리서버(200)로 제공하고, 학습관리서버(200)에서 생성한 최종 교정 결과정보를 시,청각적으로 표출하여 학습자가 교정 결과를 확인할 수 있도록 하는 학습자단말기(100)와;
학습자단말기(100)로 문제 컨텐츠를 제공하고, 학습자단말기(100)가 제공하는 학습자의 음성정보를 텍스트로 변환처리한 텍스트 정보를 생성하고, 음성정보와 텍스트정보를 이용하여 1차 교정결과정보를 생성하고, 생성한 1차 교정결과정보에 대한 감수를 원어민단말기(300)로 요청하고, 원어민단말기(300)가 제공하는 감수정보를 반영하여 최종 교정결과정보를 생성하고, 생성된 최종 교정결과정보를 접속된 학습자단말기(100)가 시,청각적으로 확인 할 수 있도록 하는 학습관리서버(200)와;
학습관리서버(200)에 접속후, 학습관리서버(200)가 1차 교정결과정보에 대한 감수 요청 시, 학습관리서버(200)가 제공한 정보를 이용하여 감수정보를 생성하여 학습관리서버(200)로 제공하는 원어민단말기(300);를 포함하여 구성되는 것을 특징으로 하는 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템.
In the speech correction system for language learners using audio information and speech recognition results,
After connecting to the learning management server 200, the voice information uttered by the learner according to the problem content provided by the learning management server 200 is provided to the learning management server 200, and the final generated by the learning management server 200 A learner terminal 100 that visually and audibly displays the correction result information so that the learner can check the correction result;
Providing problem content to the learner terminal 100, generating text information obtained by converting the learner's voice information provided by the learner terminal 100 into text, and using the voice information and text information to generate the primary correction result information. The generated and generated primary correction result information is requested to the native speaker terminal 300, and the final correction result information is generated by reflecting the inspection information provided by the native speaker terminal 300, and the generated final correction result information A learning management server 200 that allows the connected learner terminal 100 to visually and audibly check;
After connecting to the learning management server 200, when the learning management server 200 requests supervision of the primary correction result information, the supervision information is generated using the information provided by the learning management server 200, and the learning management server ( A language learner's speech correction system using audio information and speech recognition results, comprising: a native speaker terminal 300 provided to 200).
상기 학습자단말기(100)는,
학습관리서버에서 제공하는 문제 콘텐츠를 화면에 표출시키기 위한 학습자용콘텐츠표출부(110);
화면에 표출된 문제 콘텐츠에 따라 학습자가 발화한 음성정보를 획득하여 학습관리서버로 제공하기 위한 학습자발화음성정보획득부(120);
학습관리서버에서 제공한 최종 교정 결과정보를 시,청각적으로 표출하기 위한 최종교정결과정보표출부(130);를 포함하여 구성되는 것을 특징으로 하는 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템.
The method of claim 1,
The learner terminal 100,
A content display unit 110 for learners to display problem content provided by the learning management server on a screen;
A learner speech voice information acquisition unit 120 for acquiring the voice information spoken by the learner according to the problem content displayed on the screen and providing it to the learning management server;
Language learner speech correction using audio information and voice recognition results, comprising: a final correction result information display unit 130 for visually and audibly displaying the final correction result information provided by the learning management server system.
상기 학습관리서버(200)는,
학습자가 다양한 문제 콘텐츠를 선택할 수 있도록 문제 콘텐츠 선택 정보를 학습자단말기(100)로 제공하고, 학습자에 의해 선택된 문제 콘텐츠를 학습자단말기로 제공하고, 선택된 문제 콘텐츠에 따라 학습자가 발화한 음성정보를 획득하는 연습부(210);
상기 획득된 학습자의 음성정보를 텍스트로 변환한 텍스트정보를 생성하고, 학습자의 음성정보, 변환된 텍스트정보, 문제콘텐츠 정보를 이용하여 1차 교정결과정보를 생성하고, 학습자의 음성정보, 변환된 텍스트정보, 해당 문제콘텐츠 정보, 1차 교정결과정보를 원어민단말기(300)로 제공하고, 원어민단말기(300)가 제공하는 감수정보를 반영하여 최종 교정결과정보를 생성하는 교정부(220);
생성된 최종 교정결과정보가 학습자단말기에서 시,청각적으로 표출될 수 있도록 처리하는 교정표출부(230);
문제 콘텐츠 정보, 문제콘텐츠별 수준과 주제와 학습시간과 난이도를 포함한 메타 정보, 학습자가 연습한 문제콘텐츠정보와 음성정보를 포함한 연습원문정보, 음성정보, 텍스트정보, 1차 교정 결과정보, 감수정보, 최종 교정결과정보를 저장하고 있는 학습정보DB(240);를 포함하여 구성되며,
상기 1차 교정결과정보와 최종 교정결과정보는 교정단위별 발음교정정보와 텍스트교정정보를 포함하는 것을 특징으로 하는 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템.
The method of claim 1,
The learning management server 200,
Providing problem content selection information to the learner terminal 100 so that the learner can select various problem content, providing the problem content selected by the learner to the learner terminal, and acquiring the voice information uttered by the learner according to the selected problem content. Training unit 210;
Generates text information obtained by converting the obtained learner's voice information into text, generates primary correction result information using the learner's voice information, converted text information, and problem content information, and generates the learner's voice information, the converted text information. A correction unit 220 that provides text information, corresponding problem content information, and primary correction result information to the native speaker terminal 300, and generates final correction result information by reflecting the supervision information provided by the native speaker terminal 300;
A correction display unit 230 for processing the generated final correction result information to be visually and audibly displayed in the learner's terminal;
Problem content information, meta information including the level and topic of each problem content and learning time and difficulty, the original text information including the problem content information and audio information that the learner practiced, audio information, text information, primary correction result information, supervision information , And learning information DB 240 storing the final correction result information;
The first correction result information and the final correction result information includes pronunciation correction information and text correction information for each correction unit. A speech correction system for language learners using audio information and speech recognition results.
상기 연습부(210)는,
학습자에게 수동 문제 혹은 자동 출제 중 어느 하나를 선택하도록 선택페이지를 제공하기 위한 문제선택모듈(211);
문제선택모듈을 통해 선택한 문제가 수동 문제일 경우에 읽고 말하기 혹은 듣고 말하기 중 어느 하나를 선택하도록 선택페이지를 제공하기 위한 말하기선택모듈(212);
상기 말하기선택모듈을 통해 선택한 말하기 유형에 따라 지문 읽고/듣고 말하기, 학습 커리큘럼 진행, 주제별 자유 말하기 중 어느 하나를 선택하도록 선택페이지를 제공하기 위한 학습진행방식선택모듈(213);
상기 학습진행방식선택모듈(213)을 통해 선택한 학습 진행 방식이 지문 읽고/듣고 말하기일 경우에 지문 주제/길이 선택 페이지를 제공하며, 학습 커리큘럼 진행일 경우에 커리큘럼 수준/단계 선택 페이지를 제공하며, 주제별 자유 말하기일 경우에 주제 선택 페이지를 제공하기 위한 상세학습방식선택모듈(214);
상기 상세학습방식선택모듈(214)을 통해 선택한 지문 주제/길이에 해당하는 선택 유형 지문을 제시하며, 선택한 커리큘럼 수준/단계에 해당하는 선택 커리큘럼을 진행하기 위한 문제를 제공하며, 선택한 주제에 해당하는 문제를 출제하기 위한 수동문제출제모듈(215);
문제선택모듈을 통해 선택한 문제가 자동 출제일 경우에 학습 수준 등록, 선호 주제 등록, 1회 학습량 등록을 위한 자동출제등록페이지를 제공하기 위한 자동출제조건설정모듈(216);
상기 자동출제조건설정모듈(216)을 통해 선택한 학습 수준, 선호 주제, 1회 학습량 정보를 토대로 문제 난이도 확인, 문제 주제 확인, 문제 길이 확인 페이지를 제공하고, 학습자로부터 확인 결과 정보를 획득할 경우에 상기 문제 난이도, 문제 주제, 문제 길이에 맞는 문제를 자동으로 선택하여 화면에 출력시키기 위한 자동문제출제모듈(217);
학습자에 의해 말하기를 연습할 경우에, 발화된 음성 정보를 획득하여 교정부(220)로 전송하기 위한 학습자말하기연습용음성정보송출모듈(218);을 포함하여 구성되는 것을 특징으로 하는 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템.
The method of claim 3,
The exercise unit 210,
A problem selection module 211 for providing a selection page to the learner to select either a manual question or an automatic questionnaire;
A speaking selection module 212 for providing a selection page to select one of reading and speaking or listening and speaking when the problem selected through the problem selection module is a manual problem;
A learning progress method selection module 213 for providing a selection page to select any one of reading/listening and speaking a fingerprint, progressing a learning curriculum, and free speaking by topic according to the speaking type selected through the speaking selection module;
When the learning progress method selected through the learning progress method selection module 213 is reading/listening and speaking a fingerprint, a fingerprint subject/length selection page is provided, and when the learning curriculum progresses, a curriculum level/level selection page is provided, A detailed learning method selection module 214 for providing a subject selection page in the case of free speech by subject;
Through the detailed learning method selection module 214, a selection type fingerprint corresponding to the selected subject/length is presented, and a problem for proceeding with the selection curriculum corresponding to the selected curriculum level/stage is provided, and corresponding to the selected subject A manual problem questioning module 215 for questioning a problem;
An automatic questionnaire condition setting module 216 for providing an automatic questionnaire registration page for registering a learning level, registering a preferred topic, and registering a one-time study amount when the question selected through the question selection module is an automatic questionnaire;
In the case of providing a page for checking the difficulty level, checking the problem topic, and checking the length of a problem based on the learning level, preferred topic, and one-time learning amount information selected through the automatic test condition setting module 216, and obtaining the confirmation result information from the learner An automatic problem questioning module 217 for automatically selecting and outputting a problem suitable for the difficulty level, problem subject, and problem length on the screen;
In the case of practicing speaking by the learner, the learner speaking practice speech information transmission module 218 for acquiring the spoken speech information and transmitting it to the correction unit 220; audio information and speech comprising: Speech correction system for language learners using recognition results.
상기 교정부(220)는,
연습부(210)로부터 학습자의 음성정보를 획득하기 위한 음성정보획득모듈(221);
상기 획득된 음성정보를 교정단위로 분할시키기 위한 음성분할모듈(222);
상기 교정단위로 분할된 음성정보들을 텍스트로 변환처리하여 교정단위로 분할된 텍스트 정보를 생성하기 위한 음성전사모듈(223);
학습자에게 제공된 문제콘텐츠 정보, 교정단위로 분할된 음성 정보, 교정단위로 분할된 텍스트 정보를 이용하여 1차 교정결과정보를 생성하기 위한 1차교정결과정보생성모듈(224);
학습자의 음성정보, 교정단위로 분할된 음성정보, 교정단위로 분할된 텍스트정보, 1차 교정결과정보, 해당 문제콘텐츠 정보를 원어민단말기로 제공하기 위한 1차교정결과정보제공모듈(225);
원어민단말기(300)가 제공하는 감수정보를 반영하여 최종 교정결과정보를 생성하는 최종교정결과정보제공모듈(226)을 포함하여 구성되는 것을 특징으로 하는 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템.
The method of claim 3,
The calibration unit 220,
A voice information acquisition module 221 for obtaining the learner's voice information from the training unit 210;
A voice division module 222 for dividing the obtained voice information into calibration units;
A voice transcription module (223) for converting the voice information divided into the correction unit into text to generate text information divided into the correction unit;
A primary correction result information generation module 224 for generating primary correction result information by using problem content information provided to the learner, voice information divided into correction units, and text information divided into correction units;
A primary correction result information providing module 225 for providing the learner's voice information, voice information divided into correction units, text information divided into correction units, first correction result information, and corresponding problem content information to a native speaker terminal;
Language learner speech correction using audio information and speech recognition results, comprising a final correction result information providing module 226 that generates final correction result information by reflecting the supervision information provided by the native speaker terminal 300 system.
상기 교정표출부(230)는,
교정부(220)가 생성한 최종 교정결과정보를 이용하여 학습자에 의해 선택된 문제 콘텐츠의 텍스트 원문과 학습자의 음성정보를 텍스트 변환 처리한 텍스트 정보가 매칭 병기되도록 처리하고, 처리 결과가 학습자단말기에서 시각적으로 표출될 수 있도록 하되, 학습자의 음성정보를 텍스트 변환 처리한 텍스트 정보중 교정된 부분을 특정 색깔로 표시하여 학습자로 하여금 교정된 부분이 무엇인지를 시각적으로 확인할 수 있도록 하는 원문및교정문비교처리모듈(231);
학습자에 의해 상기 특정 색깔로 표시된 교정된 부분 선택시, 해당 교정된 부분에 대한 학습 안내 정보가 학습자단말기에서 시각적으로 표출될 수 있도록 하는 학습안내정보처리모듈(232);
학습자에 의해 상기 특정 색깔로 표시된 교정된 부분 선택시, 해당 교정된 부분에 대한 학습자의 음성정보와 원어민의 음성정보가 학습자단말기에서 청각적으로 표출될 수 있도록 하는 학습자및원어민발음비교처리모듈(233);
학습자의 음성 정보에 대한 전체 지도를 위한 교정자의 총평, 의견, 학습 방향 정보를 포함하는 지도 내용 정보가 학습자단말기에서 시각적으로 표출될 수 있도록 하는 지도내용정보처리모듈(234);을 포함하여 구성되는 것을 특징으로 하는 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템.
The method of claim 3,
The calibration display unit 230,
Using the final correction result information generated by the correction unit 220, the original text of the problem content selected by the learner and the text information converted to text of the learner's voice information are processed so that the text information is matched together, and the processing result is visually displayed in the learner's terminal. The original text and the corrected text comparison processing that allows the learner to visually check what the corrected part is by displaying the corrected part of the text information processed by text conversion of the learner's voice information in a specific color. Module 231;
A learning guide information processing module (232) for visually displaying learning guide information on the corrected portion by a learner when the corrected portion is selected by the learner;
When the learner selects the corrected part displayed in the specific color, the learner's and native speaker's pronunciation comparison processing module 233 so that the learner's voice information and the native speaker's voice information for the corrected part can be aurally expressed in the learner's terminal. );
The instruction content information processing module 234 for visually expressing instruction content information including information on the proofreader's general review, opinion, and learning direction for the entire instruction of the learner's voice information is visually expressed on the learner's terminal; Language learner speech correction system using audio information and speech recognition results, characterized in that.
상기 원어민단말기(300)는,
감수를 위해 학습관리서버(200)의 교정부(220)가 제공하는 학습자의 음성정보, 변환된 텍스트정보, 해당 문제콘텐츠의 텍스트 원문 정보, 1차 교정결과정보를 설정된 레이어에 표출시키기 위한 1차교정결과정보표출부(310);
상기 레이어에 표시된 각 정보를 토대로 학습자의 음성정보에 대한 발음 감수와 변환된 텍스트에 대한 텍스트 내용 감수를 수행하여 감수정보를 생성하고, 생성된 감수정보를 학습관리서버(200)로 제공하기 위한 감수정보생성부(320)를 포함하여 구성되는 것을 특징으로 하는 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템.
The method of claim 1,
The native speaker terminal 300,
The primary for expressing the learner's voice information, the converted text information, the original text information of the problem content, and the primary correction result information provided by the correction unit 220 of the learning management server 200 for supervision Calibration result information display unit 310;
Based on each information displayed on the layer, the user's pronunciation is reviewed and the text content is reviewed on the converted text to generate the review information, and to provide the generated review information to the learning management server 200 Language learner speech correction system using audio information and speech recognition results, characterized in that it comprises an information generation unit (320).
상기 학습관리서버(200)가 학습자단말기(100)로 제공하는 문제 콘텐츠는,
문제 형태의 질문, 길게 읽을 수 있는 지문, 보고 설명할 수 있는 이미지, 듣고 말할 수 있는 음성, 보고 말할 수 있는 문자 또는 그림, 도표를 포함하는 것을 특징으로 하는 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템.
The method of claim 1,
Problem content provided by the learning management server 200 to the learner terminal 100,
Language learners using audio information and speech recognition results characterized by including question-type questions, long readings, images that can be seen and explained, voices that can be heard and spoken, characters or pictures that can be seen and spoken, and diagrams Speech correction system.
상기 학습정보DB(240)에 저장된 메타 정보는 문제코드 정보, 유형 정보, 토픽수준 정보, 대주제 정보, 중주제 정보, 소주제 정보, 학습시간 정보, 어휘난이도 정보, 문제형태 정보, 연습문법 정보를 포함하고,
상기 학습정보DB(240)에 저장된 연습원문정보는 학습자 아이디, 문제코드, 말하기 아이디, 말하기 화일명, 길이 정보를 포함하고,
상기 학습정보DB(240)에 저장된 음성 정보는 말하기 아이디 정보, 문장 순서 정보, 시작 시각 정보, 종료 시각 정보를 포함하고,
상기 학습정보DB(240)에 저장된 텍스트 정보는 문장 순서 정보, 시작 시각 정보, 종료 시각 정보, 텍스트 내용 정보를 포함하고,
상기 학습정보DB(240)에 저장된 감수정보는 말하기 아이디 정보, 문장 순서 정보, 시작 시각 정보, 종료 시각 정보, 전사 내용 정보, 원문 정보, 교정문 정보, 원문 및 교정문의 시작 위치 정보, 원문 및 교정문의 종료 위치 정보를 포함하고,
상기 학습정보DB(240)에 저장된 1차 교정결과정보와 최종 교정결과정보에 포함되는 음성정보별 교정음성 정보는 말하기 아이디 정보, 문장 순서 정보, 시작 시각 정보, 종료 시각 정보, 전사 내용 정보, 원문 정보, 교정문 정보, 원문 및 교정문의 시작 위치 정보, 원문 및 교정문의 종료 위치 정보, 교정 음성 아이디 정보, 교정 화일명 정보, 원문 시작 시각 정보, 원문 종료 시각 정보를 포함하고,는 것을 특징으로 하는 오디오 정보와 음성인식 결과를 이용한 언어학습자 말하기 교정시스템.
The method of claim 3,
Meta information stored in the learning information DB 240 includes problem code information, type information, topic level information, major topic information, medium topic information, sub-topic information, learning time information, vocabulary difficulty information, problem type information, and practice grammar information. and,
The training original text information stored in the learning information DB 240 includes learner ID, problem code, speaking ID, speaking file name, and length information,
The voice information stored in the learning information DB 240 includes speaking ID information, sentence order information, start time information, and end time information,
The text information stored in the learning information DB 240 includes sentence order information, start time information, end time information, and text content information,
The supervision information stored in the learning information DB 240 includes speaking ID information, sentence order information, start time information, end time information, transcription content information, original text information, correction text information, original text and correction text start position information, original text and correction Includes information on the end of the inquiry,
The first correction result information stored in the learning information DB 240 and correction voice information for each voice information included in the final correction result information include speaking ID information, sentence order information, start time information, end time information, transcription content information, and original text. Information, correction text information, original text and correction text start position information, original text and correction text end position information, correction voice ID information, correction file name information, original text start time information, and original text end time information. Speech correction system for language learners using information and speech recognition results.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190033236A KR102269126B1 (en) | 2019-03-23 | 2019-03-23 | A calibration system for language learner by using audio information and voice recognition result |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190033236A KR102269126B1 (en) | 2019-03-23 | 2019-03-23 | A calibration system for language learner by using audio information and voice recognition result |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200113143A true KR20200113143A (en) | 2020-10-06 |
| KR102269126B1 KR102269126B1 (en) | 2021-06-24 |
Family
ID=72826437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190033236A KR102269126B1 (en) | 2019-03-23 | 2019-03-23 | A calibration system for language learner by using audio information and voice recognition result |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102269126B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102389153B1 (en) * | 2021-06-21 | 2022-04-21 | 김영은 | Method and device for providing voice responsive e-book |
| KR102574916B1 (en) * | 2023-05-30 | 2023-09-06 | 주식회사 골드앤에스 | English Learning Method using English Learning Materials based on Communication-centered Interaction |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102434912B1 (en) * | 2022-01-24 | 2022-08-23 | 주식회사 하이 | Method and device for improving dysarthria |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100788781B1 (en) | 2006-09-21 | 2007-12-27 | 주식회사 씨디아이홀딩스 | System for learning foreign language and method thereof |
| KR20120027647A (en) * | 2010-09-13 | 2012-03-22 | 에스케이 텔레콤주식회사 | Learning contents generating system and method thereof |
| KR101125572B1 (en) * | 2009-06-18 | 2012-03-23 | 황세희 | Interactive multi-functional language learning method |
| KR101160414B1 (en) | 2010-07-08 | 2012-06-26 | 이상태 | Study system and method for foreign language |
| KR101318377B1 (en) | 2012-09-17 | 2013-10-16 | 비전워크코리아(주) | System for evaluating foreign language speaking through on-line |
| KR20140004531A (en) * | 2012-07-03 | 2014-01-13 | (주)아이티씨교육 | Method for providing language training service based on concentrative type speaking test using speech recognition engine |
| KR101826714B1 (en) | 2015-03-16 | 2018-02-07 | 최병선 | Foreign language learning system and foreign language learning method |
| KR20180019423A (en) * | 2016-08-16 | 2018-02-26 | 주식회사 베코스 | Pronunciation learning system able to be corrected by an expert |
-
2019
- 2019-03-23 KR KR1020190033236A patent/KR102269126B1/en active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100788781B1 (en) | 2006-09-21 | 2007-12-27 | 주식회사 씨디아이홀딩스 | System for learning foreign language and method thereof |
| KR101125572B1 (en) * | 2009-06-18 | 2012-03-23 | 황세희 | Interactive multi-functional language learning method |
| KR101160414B1 (en) | 2010-07-08 | 2012-06-26 | 이상태 | Study system and method for foreign language |
| KR20120027647A (en) * | 2010-09-13 | 2012-03-22 | 에스케이 텔레콤주식회사 | Learning contents generating system and method thereof |
| KR20140004531A (en) * | 2012-07-03 | 2014-01-13 | (주)아이티씨교육 | Method for providing language training service based on concentrative type speaking test using speech recognition engine |
| KR101318377B1 (en) | 2012-09-17 | 2013-10-16 | 비전워크코리아(주) | System for evaluating foreign language speaking through on-line |
| KR101826714B1 (en) | 2015-03-16 | 2018-02-07 | 최병선 | Foreign language learning system and foreign language learning method |
| KR20180019423A (en) * | 2016-08-16 | 2018-02-26 | 주식회사 베코스 | Pronunciation learning system able to be corrected by an expert |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102389153B1 (en) * | 2021-06-21 | 2022-04-21 | 김영은 | Method and device for providing voice responsive e-book |
| KR102574916B1 (en) * | 2023-05-30 | 2023-09-06 | 주식회사 골드앤에스 | English Learning Method using English Learning Materials based on Communication-centered Interaction |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102269126B1 (en) | 2021-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Baker | Exploring teachers' knowledge of second language pronunciation techniques: Teacher cognitions, observed classroom practices, and student perceptions | |
| Saito | The acquisitional value of recasts in instructed second language speech learning: Teaching the perception and production of English/ɹ/to adult Japanese learners | |
| Li et al. | Effective approaches to teaching listening: Chinese EFL teachers’ perspectives | |
| Yenkimaleki et al. | Effects of attention to segmental vs. suprasegmental features on the speech intelligibility and comprehensibility of the EFL learners targeting the perception or production-focused practice | |
| Wagner et al. | he Role of Pronunciation in the Assessment of Second Language Listening Ability | |
| KR102269126B1 (en) | A calibration system for language learner by using audio information and voice recognition result | |
| KR20210048730A (en) | Language Teaching Service System and Method of providing thereof | |
| Sugiarto et al. | THE IMPACT OF SHADOWING TECHNIQUE ON TERTIARY STUDENTS’ENGLISH PRONUNCIATION | |
| Indrasari | Designing Listening Tasks For English Students | |
| Yenkimaleki et al. | The efficacy of segmental/suprasegmental vs. holistic pronunciation instruction on the development of listening comprehension skills by EFL learners | |
| KR20200081707A (en) | A apparatus of learning feedback and making express for speaking trainee | |
| Arslan | Enhancing Non-Native Prospective English Language Teachers' Competency In Sentential Stress Patterns In English | |
| Li et al. | Intelligibility and Comprehensibility of the Filipino English Accent to Hong Kong English Speakers. | |
| KR102415006B1 (en) | Phone Language Learning Automation System Using Speech Visualization and Storytelling Chatbot Framework | |
| van der Walt et al. | Oral proficiency assessment: the use of automatic speech recognition systems | |
| Takenouchi | The Effects of Pronunciation Instruction Using Speech Recognition Software for Adult Learners of English | |
| Yonesaka | Learner Perceptions of Online Peer Pronunciation Feedback through P-Check. | |
| Shamsitdinova | Listening Collaboratively Is An Art to Enhance the Role of Perception in Listening Comprehension | |
| Huong | The intelligibility of Vietnamese accented English | |
| Darwissyah Irwan et al. | Designing listening tasks for English students | |
| Cojo Guatame | Fostering segmental pronunciation through self-assessment | |
| Liu | A combination of metalinguistic instruction and task repetition in teaching Chinese prosody | |
| Widiyati | Developing listening materials for the second-grade multimedia department students of SMKN 2 Wonosari based on 2013 curriculum | |
| MOSHER | A Report on the Use of Smartphones to Teach Pronunciation | |
| Nawi | An Analysis Offactors Affecting Students’ Speaking Perferomance On Thethird Semesterstudents Of English Study Program FKIP-UIR |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |