KR101509477B1 - Learning method and learning apparatus of correction of pronunciation by waveform analysis - Google Patents
Learning method and learning apparatus of correction of pronunciation by waveform analysis Download PDFInfo
- Publication number
- KR101509477B1 KR101509477B1 KR20130137782A KR20130137782A KR101509477B1 KR 101509477 B1 KR101509477 B1 KR 101509477B1 KR 20130137782 A KR20130137782 A KR 20130137782A KR 20130137782 A KR20130137782 A KR 20130137782A KR 101509477 B1 KR101509477 B1 KR 101509477B1
- Authority
- KR
- South Korea
- Prior art keywords
- waveform
- word
- unit
- sentence
- input
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012937 correction Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 238000013500 data storage Methods 0.000 claims description 25
- 238000012552 review Methods 0.000 claims description 20
- 229910052573 porcelain Inorganic materials 0.000 claims description 6
- 230000008030 elimination Effects 0.000 claims description 5
- 238000003379 elimination reaction Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 206010011878 Deafness Diseases 0.000 claims description 4
- 238000003780 insertion Methods 0.000 claims description 4
- 230000037431 insertion Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000002787 reinforcement Effects 0.000 description 4
- 230000003203 everyday effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000009747 swallowing Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/06—Foreign languages
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
- G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/086—Recognition of spelled words
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Entrepreneurship & Innovation (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
Description
본 발명은 파형분석을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법에 관한 것으로, 보다 상세하게는 사용자가 입력한 문장에 맞게 파형을 배치시키고, 사용자가 입력한 음성과 상기 미리 저장되거나 TTS엔진을 통해 생성된 파형 각각을 매칭시켜 매칭퍼센트를 산출하는 파형분석을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법에 관한 것이다.The present invention relates to a foreign language learning apparatus and a learning method for performing pronunciation correction by waveform analysis. More particularly, the present invention relates to a foreign language learning apparatus and a learning method thereof, in which waveforms are arranged according to a sentence input by a user, The present invention relates to a foreign language learning apparatus that performs pronunciation correction by waveform analysis that calculates a matching percentage by matching each of waveforms generated through an engine and a learning method thereof.
본 발명은 외국어 학습장치에 관한 것이다.The present invention relates to a foreign language learning apparatus.
최근 들어 산업의 전문화와 국제화의 추세에 따라 외국어에 대한 중요성이 날로 커지고 있고, 이러한 중요성에 따라 많은 사람들이 외국어 학습에 많은 시간을 할애하고 있으며, 이에 발맞추어 다양한 온-오프 라인 어학 강좌들이 개설되어 있다.In recent years, the importance of foreign languages has become more and more important due to the specialization of industry and internationalization. Many people are spending a lot of time learning foreign languages according to their importance. Various on-line language courses have been established have.
상기와 같은 외국어 학습 영역 중 회화의 중요성이 더 부각되고 있고, 외국어들 중 영어의 경우는 토플 TSE(Test of Spoken English)가 2005년 9월부터 전면 시행될 것으로 예정되어 있어 이에 따른 개인 어학 학습 교재와 모의 테스트 장치에 대한 요구가 증가되고 있다.The importance of conversation among the above-mentioned foreign language learning areas is becoming more important. In the case of English among foreign languages, the TOEFL TSE (Test of Spoken English) is scheduled to be fully implemented from September 2005, And the demand for simulated test equipment is increasing.
그러나, 일반적으로 발음이나 발음에 대한 교정은 외국인 강사와의 1:1 지도방식에 의해 이루어지고 있고, 이 경우 영어 학습에 많은 비용이 소요된다는 문제점이 있으며, 특별히 정해진 시간에 교육이 이루어지기 때문에 직장인 등과 같은 바쁜 일상생활을 영위하는 사람들에게는 그 학습에의 참여가 극히 제한적이라는 문제점이 있었다.However, in general, pronunciation and pronunciation are corrected by a 1: 1 mapping method with foreign instructors. In this case, there is a problem that it takes a lot of cost to learn English, and since education is performed at a predetermined time, There is a problem that the participation in the learning is extremely limited to those who are engaged in busy daily life such as the present invention.
따라서, 유휴 시간에 혼자서도 효과적으로 외국어에 대한 발음이나 발음 등을 학습하고, 원어민의 발음과 비교 평가하는 교육 프로그램 등을 필요로 하게 되었다.Therefore, it became necessary to study the pronunciation and pronunciation of a foreign language effectively in an idle time alone, and to provide an educational program for comparing and evaluating the pronunciation with a native speaker.
이러한, 요구에 부응하기 위하여 현재 음성인식을 이용한 다양한 어학용 프로그램들을 탑재한 어학용 학습기가 개발되어 보급되고 있다.In order to meet such a demand, a language learning machine equipped with various language programs using speech recognition has been developed and popularized.
상기와 같은 어학용 학습기의 외국어 발음 평가 방법은, 음성 신호 처리 기술을 이용한 발음 비교방법에 의하며, 여기에는 은닉 마코브 모델(Hidden Markov Model, 이하 HMM 이라 함)을 이용하여 학습자의 발음을 인식한 후, 이를 원어민의 음성과 비교하여 그 결과를 알려주는 프로그램들을 이용하여 실시하고 있다.The method for evaluating the pronunciation of a foreign language of the language learning device as described above is based on a pronunciation comparison method using a speech signal processing technique. The pronunciation of the learner is recognized using a hidden Markov model (HMM) , And the results are compared with those of native speakers and the results are reported using programs.
상기와 같은 종래의 외국어 발음 평가 방법은 학습자의 발음에 대한 분절적 특성 중 하나의 요소특성을 그에 대응하는 원어민의 특성과 비교하는 방법을 사용하여 발음의 정확도를 평가하였고, 특히 분절적 특성 중 음소에 대한 특성 데이터를 많이 사용하였다.In the conventional foreign language pronunciation evaluation method as described above, the accuracy of pronunciation is evaluated using a method of comparing element characteristics of one of the segmental characteristics of a learner with corresponding characteristics of a native speaker, and in particular, The data of the characteristics of
상기 사용되는 원어민의 특징 데이터는 훈련된 AM(Acoustic Model) 또는 발음 시점에서 원어민의 음성 데이터로부터 추출한 특성 데이터를 사용한다. 그러나 상기 AM이나 음성에서 추출된 특징 데이터는 전체 원어민의 개인적인 발음 성향에 대한 오차를 무시하게 됨으로써, 올바른 평가를 기대할 수 없으며, 음절이나 구문, 문장의 강세나 등시성 등에 대한 평가가 불가능하거나, 평가하더라도 그 정확성을 기대할 수 없다는 단점이 있었다.The characteristic data of the native speaker used is the trained AM (Acoustic Model) or the characteristic data extracted from the voice data of the native speaker at the pronunciation point. However, the characteristic data extracted from the AM or speech can not be evaluated correctly because all the native speakers are ignoring the error of the individual pronunciation tendency, and it is impossible to evaluate the syllable, phrase, The accuracy can not be expected.
또한, 상기와 같은 발음 비교분석 프로그램들은 모든 발음의 분절적, 비분절적 특성들에 대하여 동일한 또는 임의의 가중치를 일괄적으로 부여함으로써, 특정 문장 또는 단어 등의 억양, 강세, 발음 속도 등에 대한 개별적 특징의 평가에는 적용하지 못하는 문제점이 있었다.In addition, the pronunciation comparison and analysis programs as described above collectively impart the same or an arbitrary weight to the segmental and non-segmental characteristics of all pronunciations, so that individual characteristics such as intonation, There is a problem in that it can not be applied to the evaluation.
따라서, 상기와 같은 프로그램을 탑재한 학습기들은 디스플레이 수단을 통해 표시된 문장 중 어느 하나를 선택하여 음성을 입력하고, 입력된 학습자의 음성을 상기 프로그램에 의해 원어민의 발음과 단순히 비교 평가하여 그 결과를 점수로 학습자에게 제공하는 것이 대부분이었다.Therefore, the learning apparatuses equipped with the above-mentioned programs select one of the displayed sentences through the display means to input a voice, simply compare the input learner's voice with the pronunciation of the native speaker by the program, To the learner.
또한, 학습자는 표시된 점수로 자신의 발음이 얼마나 정확한지를 개략적으로는 알 수 있지만, 단어나 문장에 대한 발음 길이, 억양, 강세, 발음속도 등 발음에 대한 각 분야별로 비교할 수 있는 수단이 없어 정확한 비교 분석에 의해 학습을 진행할 수 없고, 이로 인해 발음 교정에 한계가 있다는 문제점이 있었다.In addition, the learner can roughly know how accurate his / her pronunciation is by the score displayed, but since there is no means to compare pronunciation in each field such as pronunciation length, intonation, accent, There is a problem that the learning can not be proceeded by the analysis and there is a limitation in the pronunciation correction.
또한, 종래의 음성인식 프로그램 또는 엔진이 탑재된 어학 학습기들은 획일적인 평가기준만을 구비하고 있어 학습자의 언어 사용 능력 또는 발음 특성을 적절히 반영하지 못하므로 학습자의 레벨 또는 개성에 맞는 학습을 진행할 수 없으며, 또한 종래의 음성인식기의 기술수준으로는 외국어 원어민의 AM에 대한 적응이 어렵고 근본적으로 다른 발음 및 언어 습관으로 인해 발음의 정확도에 대한 인식율이 기대에 미치지 못하고 있는 실정이다.In addition, the language learning apparatuses equipped with the conventional speech recognition program or engine have only uniform evaluation criteria and can not appropriately reflect the linguistic ability or pronunciation characteristic of the learner, so that learning can not be performed according to the learner's level or personality, In addition, it is difficult to adapt to the AM of a native speaker as a skill level of a conventional speech recognizer, and the recognition rate of the pronunciation accuracy is not satisfied due to fundamentally different pronunciation and language habits.
또한, 종래의 음성 인식기들에 의해서는 초보적인 학습 목표인 최소변별쌍(minimal pair)의 효과적인 구분조차 현실적으로 불가능하며, 잡음 환경에 대한 효과적인 대처가 불가능하고, 핵심어나 핵심 어구의 검출 성능이 낮거나 효과적이지 못한 실정이다.In addition, the conventional speech recognizers can not effectively distinguish the minimal pair, which is a rudimentary learning objective, and can not effectively cope with the noisy environment, and the detection performance of the key word or key word is low It is not effective.
또한, 현재까지의 어학 학습기는 교과서적인 학습 방법에 치우쳐서 실제 회화 환경에서 나타날 수 있는 다양한 언어 현상에 대한 해석과 대처가 불가능하다는 문제점이 있었다.In addition, there is a problem that the language learner till now tends to focus on the textbook learning method, and it is impossible to interpret and cope with various linguistic phenomena which can appear in actual painting environment.
또한, 종래의 어학 학습기들은 개별적으로 판매되는 관계로 제품구입에 따른 비용이 많이 든다는 문제점도 있었다.In addition, since the conventional language learning devices are sold individually, there is a problem that the cost of purchasing the product is high.
따라서, 현재 많이 보급되어 있는 인터넷을 활용하여 발음에 대한 자가 평가를 실시하는 것이 학습자 입장에서 비용을 절감할 수 있으나, 상기 인터넷 등 온라인 방식의 어학 학습 시스템들은 단순히 영어 작문이나 회화 등에 관한 것에 불과하며, 학습자가 발음한 외국어에 대한 다양하고 정확한 평가와 원어민과의 발음정도 차이를 알려주고, 평가결과를 수치화하도록 하는 시스템은 전무하다는 문제점이 있었다.Therefore, it is possible to reduce the cost of the learner from the self-evaluation of the pronunciation by utilizing the Internet, which is currently widely used. However, the online language learning systems such as the Internet are merely about English writing and conversation , There is no system for informing the divergent and precise evaluation of the foreign language pronounced by the learner and the degree of pronunciation with the native speaker, and for digitizing the evaluation results.
상술한 바와 같은 같은 문제점을 해결하기 위해 안출된 본 발명의 목적은, 사용자가 입력한 문장에 맞게 파형을 배치시키고, 사용자가 입력한 음성과 상기 미리 저장되거나 TTS엔진을 통해 생성된 파형 각각을 매칭시켜 매칭퍼센트를 산출하는 파형분석을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법을 제공하기 위함이다.According to an aspect of the present invention, there is provided an apparatus and method for providing a waveform to a user, the method comprising the steps of: The present invention provides a foreign language learning apparatus and a learning method for performing pronunciation correction by waveform analysis that calculates a matching percentage.
또한, 본 발명의 다른 목적은, 사용자가 입력한 음성과 미리 저장된 단어파형과의 매칭퍼센트를 상기 매칭퍼센트가 낮은 단어에 대해 커리큘럼을 구성하여 효과적인 발음교정을 실시하는 파형분석을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법을 제공하기 위함이다.Another object of the present invention is to provide a pronunciation correction method and a pronunciation correction method, in which a percentage of matching between a voice input by a user and a pre-stored word waveform is formed by a curriculum for words with low matching percentages, And a learning method thereof.
또한, 본 발명의 다른 목적은 에빙하우스 이론에 기반하여 진도 및 학습일자에 따른 자동 복습이 가능하며 학습성취도에 따라 강화학습, 단어보충학습, 발음보충학습 등으로 분기하여 개인별 맞춤학습을 지원해주고, 문법트리를 이용하여 문장학습진도에 따라 사용자가 습득한 문법항목의 내역을 확인할 수 있는 파형분석을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법을 제공하기 위함이다.Another object of the present invention is to provide a method and apparatus for automatically learning based on progress and learning dates based on the theory of living house and branching to reinforcement learning, word supplement learning, pronunciation supplementary learning, etc. according to learning achievement, The present invention provides a foreign language learning apparatus and a learning method thereof for performing pronunciation correction by waveform analysis that can confirm the details of grammar items acquired by a user in accordance with sentence learning progress using a grammar tree.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명은, TTS(Text to speech)엔진을 통해 입력된 문장을 음성으로 읽어주는 기능을 사용하는 외국어 학습장치에 있어서, 문장입력부를 통해 사용자가 제1문장을 입력하는 문장입력부; 상기 문장입력부를 통해 입력된 제1문장을 구성하는 철자를 검색하여 연음법칙에 해당하는 철자를 검출하는 연음철자검출부; 상기 연음철자검출부에서 검출된 연음법칙에 해당하는 철자를 제거하고, 상기 철자가 제거된 부분에 연음코드를 삽입하여 제2문장을 생성하는 연음철자제거부; 상기 연음철자제거부에서 생성된 제2문장의 시작점부터 연음코드가 삽입된 부분까지, 연음코드가 삽입된 부분부터 그 다음 연음코드가 삽입된 부분까지, 연음코드가 삽입된 부분부터 상기 제2문장의 끝점까지 상기 TTS엔진을 통해 하나 이상의 부분파형을 생성하는 부분파형생성부; 상기 문장입력부에서 입력된 제1문장에 따른 음성을 사용자가 입력하면 입력된 음성을 입력파형으로 변환하는 입력파형생성부; 및 상기 입력파형생성부에서 생성된 입력파형과 상기 부분파형생성부에서 생성된 하나 이상의 부분파형 각각을 비교하여 매칭도를 산출하되, 상기 하나 이상의 부분파형이 각각 배치된 순서대로 상기 입력파형의 처음부터 끝까지 이동하면서 매칭도가 가장 높은 부분을 검출하여 각각의 부분파형마다 매칭도가 가장 높은 부분의 부분매칭도를 산출하는 매칭도산출부;를 포함하고, 상기 연음철자검출부는, 상기 연음철자검출부에서 연음법칙에 해당하는 철자가 검출되면, 상기 철자가 포함된 단어가 데이터저장부에 미리 저장된 단어와의 일치여부를 판단하여 일치되는 단어를 검출하는 단어검출부; 및 상기 단어검출부에서 검출된 단어를 미리 저장된 단어에 해당하는 단어파형을 해당 위치에 삽입하는 단어파형삽입부;를 더 포함하는 것을 특징으로 하며, 상기 단어파형은, 단어를 구성하는 각 철자별로 음소단위로 구분되어 하나 이상의 음소파형으로 나뉘어 형성되는 것을 특징으로 하고, 상기 연음철자제거부는, 상기 단어파형에 해당하는 단어를 구성하는 철자중 상기 연음철자제거부에서 제거된 철자에 해당하는 부분의 음소파형을 제거하는 것을 특징으로 하며, 상기 부분파형 생성부는, 상기 연음철자제거부에서 생성된 제2문장의 시작점부터 단어파형이 삽입되는 부분의 전 철자까지, 단어파형이 삽입되는 부분의 다음 철자부터 그 다음 단어파형이 삽입되는 부분의 전 철자까지, 단어파형이 삽입되는 부분의 다음 철자부터 상기 제2문장의 끝점까지 상기 TTS엔진을 통해 하나 이상의 부분파형을 생성하는 것을 특징으로 하며, 상기 매칭도산출부는, 상기 입력파형생성부에서 생성된 입력파형과 상기 연음철자제거부에서 생성된 하나 이상의 단어파형 각각을 비교하여 매칭도를 산출하되, 상기 하나 이상의 단어파형이 각각 배치된 순서대로 상기 입력파형의 처음부터 끝까지 이동하면서 매칭도가 가장 높은 부분을 검출하여 각각의 단어파형마다 매칭도가 가장 높은 부분의 단어매칭도를 산출하는 것을 특징으로 하며, 상기 매칭도산출부에서 산출된 매칭도 중 가장 높은 매칭도에 해당하는 부분파형 또는 단어파형을 검출하여 상기 가장 높은 매칭도에 해당하는 부분파형 또는 단어파형의 재생길이를 기준으로 해당 부분의 입력파형 재생길이를 비교하여 비교속도를 산출하는 파형속도산출부; 및 상기 파형속도산출부에서 산출된 비교속도에 따라 전체 입력파형의 재생길이를 압축 또는 확장하여 전체 각 부분파형 또는 각 단어파형과 해당 부분의 입력파형과의 매칭도를 재산출하는 매칭도재산출부;를 더 포함하는 것을 특징으로 하고, 상기 매칭도산출부에서 산출된 입력파형의 부분매칭도 및 단어매칭도가 상기 제2문장의 배치순서와 동일하지 않으면 출력부로 재입력신호를 송신하는 배치순서판단부;를 더 포함하는 것을 특징으로 한다.According to an aspect of the present invention for achieving the above object, the present invention provides a foreign language learning apparatus using a function of reading a sentence input through a text to speech (TTS) engine by voice, A sentence input unit through which a user inputs a first sentence; An eraser spelling detector for detecting a spelling corresponding to the law of abstraction by searching a spelling constituting a first sentence input through the sentence input unit; An eraser spelling removing unit for removing a spelling corresponding to the spawning rule detected by the spelling detecting unit and generating a second sentence by inserting an edible code into the spelled portion; From the start point of the second sentence generated by the above-mentioned deaf-mute spell elimination to the portion where the start code is inserted, from the portion where the code is inserted to the portion where the next code is inserted, A partial waveform generation unit for generating at least one partial waveform through the TTS engine up to an end point of the TTS engine; An input waveform generator for converting the input speech into an input waveform when a user inputs a speech corresponding to the first sentence input from the sentence input unit; And calculating a matching degree by comparing each of the input waveforms generated by the input waveform generation unit and one or more partial waveforms generated by the partial waveform generation unit, And a matching degree calculator for calculating a degree of partial matching of a portion having the highest degree of matching for each partial waveform by detecting a portion having the highest degree of matching while moving from the upper portion to the lower portion, A word detecting unit for determining whether a word corresponding to the spelling rule is matched with a word stored in the data storage unit when the spelling corresponding to the spelling rule is detected and detecting a matching word; And a word waveform inserting unit for inserting the word detected by the word detecting unit into a corresponding position of the word waveform corresponding to the word stored in advance, Wherein the erasing spell removing unit is configured to erase the erase spelling of the part corresponding to the spelling removed from the erasing spell elimination among the spelling constituting the word corresponding to the word waveform, Wherein the partial waveform generation unit generates the partial waveform from the start point of the second sentence generated by the erasing spell removal unit to the spelling unit of the part where the word waveform is inserted, From the next spelling of the part where the word waveform is inserted to the spelling of the part where the next word waveform is inserted, And wherein the matching degree calculator calculates the matching degree of each of the one or more word waveforms generated by the input waveform generating unit and the one or more word waveforms generated by the tear- Wherein a part having the highest degree of matching is detected while moving from the beginning to the end of the input waveform in the order in which the one or more word waveforms are arranged in order to detect a part of the word having the highest degree of matching The matching degree calculating unit may be configured to detect a partial waveform or a word waveform corresponding to the highest matching degree among the matching degrees calculated by the matching degree calculating unit and calculate a partial waveform or a word waveform corresponding to the highest matching degree A waveform speed range that compares the playback length of the input waveform of the corresponding portion with respect to the playback length and calculates the comparison speed Section; And a step of compressing or expanding the reproduction length of the entire input waveform according to the comparison speed calculated by the waveform speed calculating unit to calculate a matching degree of each partial waveform or each word waveform and an input waveform of the corresponding part, And an arrangement order in which a re-input signal is transmitted to the output unit if the degree of partial matching of the input waveform and the word matching degree calculated by the matching degree calculating unit are not the same as the arrangement order of the second sentence, And a determination unit.
삭제delete
또한, 데이터저장부는, 상기 단어파형별 표준발음동영상을 저장하는 것을 특징으로 한다.In addition, the data storage unit stores the standard pronunciation moving picture for each word waveform.
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
본 발명인 파형분석을 통해 발음교정을 실시하는 외국어 학습방법은, TTS(Text to speech)엔진을 통해 입력된 문장을 음성으로 읽어주는 기능을 사용하는 외국어 학습방법에 있어서, (a) 문장입력부를 통해 사용자가 제1문장을 입력하는 단계; (b) 연음철자검출부가 상기 문장입력부를 통해 입력된 제1문장을 구성하는 철자를 검색하여 연음법칙에 해당하는 철자를 검출하는 단계; (c) 연음철자제거부가 상기 연음철자검출부에서 검출된 연음법칙에 해당하는 철자를 제거하고, 상기 철자가 제거된 부분에 연음코드를 삽입하여 제2문장을 생성하는 단계; (d) 부분파형생성부가 상기 연음철자제거부에서 생성된 제2문장의 시작점부터 연음코드가 삽입된 부분까지, 연음코드가 삽입된 부분부터 그 다음 연음코드가 삽입된 부분까지, 연음코드가 삽입된 부분부터 상기 제2문장의 끝점까지 상기 TTS엔진을 통해 하나 이상의 부분파형을 생성하는 단계; (e) 입력파형생성부가 상기 문장입력부에서 입력된 제1문장에 따른 음성을 사용자가 입력하면 입력된 음성을 입력파형으로 변환하는 단계; 및 (f) 매칭도산출부가 상기 입력파형생성부에서 생성된 입력파형과 상기 부분파형생성부에서 생성된 하나 이상의 부분파형 각각을 비교하여 매칭도를 산출하되, 상기 하나 이상의 부분파형이 각각 배치된 순서대로 상기 입력파형의 처음부터 끝까지 이동하면서 매칭도가 가장 높은 부분을 검출하여 각각의 부분파형마다 매칭도가 가장 높은 부분의 부분매칭도를 산출하는 단계;를 포함하고, 상기 (b)단계는, (b1) 단어검출부가 상기 연음철자검출부에서 연음법칙에 해당하는 철자가 검출되면, 상기 철자가 포함된 단어가 데이터저장부에 미리 저장된 단어와의 일치여부를 판단하여 일치되는 단어를 검출하는 단계; 및 (b2) 단어파형삽입부가 상기 단어검출부에서 검출된 단어를 미리 저장된 단어에 해당하는 단어파형을 해당 위치에 삽입하는 단계;를 더 포함하는 것을 특징으로 하며, 상기 단어파형은, 단어를 구성하는 각 철자별로 음소단위로 구분되어 하나 이상의 음소파형으로 나뉘어 형성되는 것을 특징으로 하며, 상기 연음철자제거부는, 상기 단어파형에 해당하는 단어를 구성하는 철자중 상기 연음철자제거부에서 제거된 철자에 해당하는 부분의 음소파형을 제거하는 것을 특징으로 하고, 상기 부분파형 생성부는, 상기 연음철자제거부에서 생성된 제2문장의 시작점부터 단어파형이 삽입되는 부분의 전 철자까지, 단어파형이 삽입되는 부분의 다음 철자부터 그 다음 단어파형이 삽입되는 부분의 전 철자까지, 단어파형이 삽입되는 부분의 다음 철자부터 상기 제2문장의 끝점까지 상기 TTS엔진을 통해 하나 이상의 부분파형을 생성하는 것을 특징으로 하며, 상기 매칭도산출부는, 상기 입력파형생성부에서 생성된 입력파형과 상기 연음철자제거부에서 생성된 하나 이상의 단어파형 각각을 비교하여 매칭도를 산출하되, 상기 하나 이상의 단어파형이 각각 배치된 순서대로 상기 입력파형의 처음부터 끝까지 이동하면서 매칭도가 가장 높은 부분을 검출하여 각각의 단어파형마다 매칭도가 가장 높은 부분의 단어매칭도를 산출하는 것을 특징으로 하며, (g) 배치순서판단부가 상기 매칭도산출부에서 산출된 입력파형의 부분매칭도 및 단어매칭도가 상기 제2문장의 배치순서와 동일하지 않으면 출력부로 재입력신호를 송신하는 단계;를 더 포함하는 것을 특징으로 하고, (h) 파형속도산출부가 상기 매칭도산출부에서 산출된 매칭도 중 가장 높은 매칭도에 해당하는 부분파형 또는 단어파형을 검출하여 상기 가장 높은 매칭도에 해당하는 부분파형 또는 단어파형의 재생길이를 기준으로 해당 부분의 입력파형 재생길이를 비교하여 비교속도를 산출하는 파형속도산출부; 및 (i) 매칭도재산출부가 상기 파형속도산출부에서 산출된 비교속도에 따라 전체 입력파형의 재생길이를 압축 또는 확장하여 전체 각 부분파형 또는 각 단어파형과 해당 부분의 입력파형과의 매칭도를 재산출하는 단계;를 더 포함하는 것을 특징으로 한다.A foreign language learning method for performing pronunciation correction through waveform analysis according to the present invention is a foreign language learning method using a function of reading a sentence inputted through a text to speech (TTS) engine by voice, comprising: (a) Inputting a first sentence by a user; (b) detecting a spelling corresponding to the law of abstraction by searching a spelling constituting a first sentence inputted through the sentence input unit by the spelling detection unit; (c) generating a second sentence by removing a spelling corresponding to a rule of the first sentence detected by the first spelling detecting unit and inserting an edited code into the spelled portion; (d) a partial waveform generating unit for generating a soft code from the start point of the second sentence generated in the above-described deaf spell removing unit to the portion where the soft code is inserted, from the portion where the soft code is inserted to the portion where the next soft code is inserted, Generating at least one partial waveform through the TTS engine from a portion of the first sentence to an end of the second sentence; (e) when the input waveform generating unit inputs a voice according to the first sentence input from the sentence input unit, converting the inputted voice into an input waveform; And (f) the matching degree calculating unit compares the input waveform generated by the input waveform generating unit and each of at least one partial waveform generated by the partial waveform generating unit to calculate a matching degree, wherein the one or more partial waveforms And calculating a partial matching degree of a portion having the highest degree of matching for each partial waveform by detecting a portion having the highest degree of matching while sequentially moving from the beginning to the end of the input waveform, (b1) when the word detection unit detects a spell corresponding to the law of the meandering in the above-mentioned spell-detecting unit, judges whether or not the word including the spell matches the word stored in the data storage unit and detects a word ; And (b2) inserting a word waveform corresponding to a word stored in the word detection unit into a corresponding position, wherein the word waveform insertion unit inserts the word detected at the word detection unit at a corresponding position, Wherein each of the plurality of spelling units is divided into at least one phoneme waveform and divided into phonemes in units of spellings, wherein the spelling corrector extracts spellings corresponding to the words corresponding to the spelling removed from the spell removal unit Wherein the partial waveform generation unit generates a partial waveform from the start point of the second sentence generated in the erasing spell removal unit to the spelling unit where the word waveform is inserted, From the next spelling of the word to the next spelling of the word to which the next word is inserted, And generating one or more partial waveforms through the TTS engine up to the end point of the second sentence, wherein the matching degree calculator calculates the matching degree based on the input waveform generated by the input waveform generating unit and the one or more And a matching degree is calculated by comparing each of the word waveforms, and a part having the highest degree of matching is detected while moving from the beginning to the end of the input waveform in the order in which the one or more word waveforms are arranged, (G) the partial matching degree of the input waveform and the word matching degree calculated by the matching degree calculating unit are the same as the arrangement order of the second sentence (H) the waveform speed calculating unit calculates the matching degree in the matching degree calculating unit, A partial waveform or a word waveform corresponding to the highest matching degree among the calculated matching degrees is detected to compare the input waveform reproduction lengths of the partial waveforms or word waveforms corresponding to the highest matching degree based on the reproduction lengths of the corresponding partial waveforms or word waveforms, A waveform speed calculating unit for calculating a speed; And (i) the matching porcelain calculating unit compresses or expands the reproduction length of the entire input waveform according to the comparison speed calculated by the waveform speed calculating unit to calculate a matching degree between the entire partial waveforms or the input waveforms of the respective word waveforms And the step of shipment of the property.
삭제delete
또한, 상기 데이터저장부는, 상기 단어파형별 표준발음동영상을 저장하는 것을 특징으로 한다.In addition, the data storage unit may store a standard pronunciation moving picture for each word waveform.
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
또한, 본 발명인 파형분석을 통해 발음교정을 실시하는 외국어 학습방법은, (j) 복습부가 입력부로부터 복습요청신호가 생성되면, 기 출력된 상기 단어파형을 다시 출력하되, 에빙하우스의 망각주기에 해당하는 복습주기에 맞춰 상기 단어파형을 주기적으로 출력하는 단계;를 더 포함한다.In addition, the foreign language learning method of performing pronunciation correction through waveform analysis according to the present invention includes: (j) if a review request signal is generated from a review unit's input unit, the previously output word waveform is output again, And outputting the word waveform periodically according to a review cycle of the word waveform.
이상 살펴본 바와 같은 본 발명에 따르면, 사용자가 입력한 문장에 맞게 파형을 배치시키고, 사용자가 입력한 음성과 상기 미리 저장되거나 TTS엔진을 통해 생성된 파형 각각을 매칭시켜 매칭퍼센트를 산출하는 파형분석을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법을 제공할 수 있다.According to the present invention as described above, a waveform analysis is performed in which a waveform is matched to a sentence input by a user, and a matching percentage is calculated by matching a voice input by a user with a waveform previously stored or generated through a TTS engine It is possible to provide a foreign language learning apparatus and a learning method thereof that perform pronunciation correction through a speech recognition apparatus.
또한, 본 발명에 따르면, 사용자가 입력한 음성과 미리 저장된 단어파형과의 매칭퍼센트를 상기 매칭퍼센트가 낮은 단어에 대해 커리큘럼을 구성하여 효과적인 발음교정을 실시하는 파형분석을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법을 제공할 수 있다.According to the present invention, there is also provided a method of correcting a pronunciation in a foreign language which performs pronunciation correction by waveform analysis in which a matching percentage of a speech input by a user and a word waveform stored in advance is used to construct a curriculum for words with low matching percentage, A learning apparatus and a learning method thereof.
또한, 본 발명에 따르면, 에빙하우스 이론에 기반하여 진도 및 학습일자에 따른 자동 복습이 가능하며 학습성취도에 따라 강화학습, 단어보충학습, 발음보충학습 등으로 분기하여 개인별 맞춤학습을 지원해주고, 문법트리를 이용하여 문장학습진도에 따라 사용자가 습득한 문법항목의 내역을 확인할 수 있는 파형분석을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법을 제공할 수 있다.Further, according to the present invention, it is possible to perform automatic review according to the progress and learning dates based on the theory of everyday living, and to support personalized learning by branching to reinforcement learning, word supplement learning, pronunciation supplementary learning etc. according to learning achievement, The present invention can provide a foreign language learning apparatus and a learning method for performing pronunciation correction by waveform analysis that can confirm the details of grammar items acquired by the user in accordance with sentence learning progress using a tree.
도 1은 본 발명의 실시예에 따른 파형분석을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법을 나타낸 블럭도
도 2 내지 3은 본 발명의 실시예에 따른 파형분석을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법의 구동예를 나타낸 예시도
도 4는 본 발명의 실시예에 따른 파형분석을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법의 제공순서를 나타낸 순서도이다.1 is a block diagram showing a foreign language learning apparatus for performing pronunciation correction through waveform analysis according to an embodiment of the present invention and a learning method thereof
Figs. 2 to 3 are diagrams showing an example of driving a foreign language learning apparatus for performing pronunciation correction through waveform analysis according to an embodiment of the present invention and its learning method
4 is a flowchart showing a procedure of providing a foreign language learning apparatus and a learning method for performing pronunciation correction through waveform analysis according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.
이하, 본 발명의 실시예들에 의하여 파형분석을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
Hereinafter, the present invention will be described with reference to drawings for explaining a foreign language learning apparatus and a learning method for performing pronunciation correction through waveform analysis according to embodiments of the present invention.
본 발명은, TTS(Text to speech)엔진을 통해 입력된 문장을 음성으로 읽어주는 기능을 사용하는 외국어 학습장치 및 그 학습방법에 관한 것이다.The present invention relates to a foreign language learning apparatus using a function of reading a sentence input through a TTS (Text to Speech) engine by voice and a learning method thereof.
도 1은 본 발명의 실시예에 따른 파형분석을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법(100)을 나타낸 블럭도이고, 도 2 내지 3은 본 발명의 실시예에 따른 파형분석을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법(100)의 구동예를 나타낸 예시도이다.FIG. 1 is a block diagram showing a foreign language learning apparatus and a learning method thereof 100 for performing pronunciation correction through waveform analysis according to an embodiment of the present invention. FIGS. 2 and 3 are waveform diagrams illustrating waveform analysis according to an embodiment of the present invention. And a driving example of the learning method (100) according to an embodiment of the present invention.
도 1 내지 도 3을 참고하면, 본 발명인 파형분석을 통해 발음교정을 실시하는 외국어 학습장치는, 문장입력부(110), 연음철자검출부(120), 연음철자제거부(130), 부분파형생성부(140), 입력파형생성부(150), 매칭도산출부(160), 배치순서판단부(170), 음성인식처리부(210), 파형속도산출부(180), 매칭도재산출부(190), 데이터저장부(240), 학습성취도표시부 및 복습부(220)를 포함한다.1 to 3, a foreign language learning apparatus for performing pronunciation correction through waveform analysis according to the present invention includes a
문장입력부(110)는, 사용자가 제1문장을 입력한다.The
연음철자검출부(120)는, 상기 문장입력부(110)를 통해 입력된 제1문장을 구성하는 철자를 검색하여 연음법칙에 해당하는 철자를 검출한다.The erasing
또한, 상기 연음철자검출부(120)는, 제1연음법칙, 제2연음법칙, 제3연음법칙 및 제4연음법칙을 포함한다.In addition, the erasure
제1연음법칙은, 한 단어 또는 두 단어에서 3개의 자음이 연이으면 상기 3개의 자음 중 중간 자음에 해당되는 철자를 검출한다.The first arithmetic rule detects a spelling corresponding to an intermediate consonant among the three consonants when three consonants are tied in one word or two words.
이는, 한 단어 또는 두 단어에서 3개의 자음이 연이으면 상기 3개의 자음 중 중간 자음에 해당 음이 탈락되는 현상인데, friendly(d검출), apartment(t검출), directly(t검출) 등과 같은 단어임이 바람직하다.If three consonants in one word or two words are tied, the corresponding consonants are dropped in the intermediate consonants of the three consonants. The words such as friendly (d detection), apartment (t detection) .
제2연음법칙은, S 뒤에 위치하는 P, T 또는 K가 위치하면 상기 P, T 또는 K를 검출한다.The second law of the second law detects P, T or K when P, T or K located after S is located.
이는, S 뒤에 위치하는 P, T 또는 K가 위치하면 상기 P, T 또는 K에서 된소리가 나기때문에 된소리가 발생되는 철자를 검출하는 것인데, special(p검출), street(t검출) 등과 같은 단어임이 바람직하다.If P, T, or K is located after S, it detects spelling in which P, T, or K sounds, and special (p detection), street (t detection) desirable.
제3연음법칙은, 두 단어가 이어지고, 앞 단어가 자음으로 끝나고 뒤의 단어가 모음으로 시작하는 경우 앞의 단어의 맨 뒷 자음과 뒤의 단어의 맨 앞 모음을 검출한다.The third law of the parentheses is to detect the last consonant of the preceding word and the first vowel of the following word if two words follow and the preceding word ends with a consonant and the latter word begins with a vowel.
이는, 두 단어가 이어지고, 앞 단어가 자음으로 끝나고 뒤의 단어가 모음으로 시작하는 경우 앞의 자음이 뒷모음에 붙는 형태로 연음이 되기 때문에 검출하는 것인데, come out(m과 o검출), work out(k와 o검출) 등과 같은 단어임이 바람직하다.This is because the two consecutive words are followed by the consonant and the last word begins with vowel, and the preceding consonant is attached to the back vowel, out (k and o detection), and the like.
제4연음법칙은, 모임과 모음 사이에, D 또는 T가 위치하면 상기 D 또는 T를 검출한다.The fourth arctic rule detects D or T if D or T is located between the group and the vowel.
이는, 모임과 모음 사이에, D 또는 T가 위치하면 상기 D 또는 T가 r발음이 나기 때문인데, BETTER(TT검출), WATER(T검출) 등과 같은 단어임이 바람직하다.
This is because, if D or T is positioned between the group and the vowel, D or T is pronounced r, which is preferably words such as BETTER (TT detection), WATER (T detection)
그리고, 연음철자검출부(120)는, 단어검출부(122), 단어파형삽입부(124)를 더 포함한다.The erasing
단어검출부(122)는, 상기 연음철자검출부(120)에서 연음법칙에 해당하는 철자가 검출되면, 상기 철자가 포함된 단어가 데이터저장부(240)에 미리 저장된 단어와의 일치여부를 판단하여 일치되는 단어를 검출한다.The
즉, 상기 연음법칙에 해당되는 단어들은 TTS엔진을 통해 파형을 생성할 경우 된소리가 나거나 연음이 발생하는 등의 현상을 구현하지 못하기 때문에, 이러한 단어들을 데이터저장부(240)에 저장하고, 상기 데이터저장부(240)에 저장된 단어 이외의 단어들은 TTS엔진을 통해 구동하되 연음법칙에 해당되는 철자가 발견되면 그 철자에 해당되는 부분은 연음코드를 삽입하는 것이 바람직하다.That is, since the words corresponding to the above-mentioned rules do not implement a phenomenon such as a loud noise or a generation of a tongue when a waveform is generated through the TTS engine, these words are stored in the data storage unit 240, Words other than the words stored in the data storage unit 240 are driven through the TTS engine, and if a spelling corresponding to the law of abstraction is found, the part corresponding to the spelling is preferably inserted into the spelling code.
즉, The hospital is near my house.의 문장을 예로 들어보면,hospital의 철자 중 네번째 철자인 p와 6번째 철자인 t 및 8번째 철자인 l 및 is의 첫번째 철자인 i에서 연음법칙이 발생되는데, 상기 hospital이 데이터저장부(240)에 미리 저장되어 있을 경우, 상기 hospital부분이 검출되게 된다.For example, in the sentence of The hospital is near my house., The parentheses of the fourth letter of the hospital, t, the sixth letter, and i, the first letter of the letter l and is, If the hospital is previously stored in the data storage unit 240, the hospital part is detected.
단어파형삽입부(124)는, 상기 단어검출부에서 검출된 단어를 상기 단어에 해당하는 단어파형을 삽입한다.The word
즉, 상기 음소단위로 구분된 hospitl의 p와 t부분의 음소파형이 제거된 단어파형을 상기 데이터저장부(240)에서 불러와 삽입하는 것이 바람직하다.That is, it is preferable that a word waveform in which the phoneme waveform of the p and t portions of the hospitl divided by the phoneme unit is removed is inserted in the data storage unit 240.
또한, 단어 is가 hospital의 뒷부분에 붙음으로 인해 상기 hospital의 8번째 철자인 l과 상기 is의 첫번째 철자인 i에 연음이 발생되는데 각각의 부분에 해당하는 음소파형을 제거하는 것이 바람직하다.In addition, due to the fact that the word is is attached to the rear part of the hospital, an algebraic signal is generated at the i-th spelling i of the hospital and the eighth spelling of the hospital, and it is preferable to remove the phoneme waveform corresponding to each part.
여기서, 상기 단어파형은, 단어를 구성하는 각 철자별로 음소단위로 구분되어 형성되고, 상기 구분된 각 음소단위마다 음소파형이 매칭되어 있는 것을 특징으로 한다.Here, the word waveform is formed by dividing phonemes in units of spellings constituting words, and a phoneme waveform is matched for each of the divided phoneme units.
즉, hospital의 단어를 구성하는 철자인 h,o,s,p,i,t,a,l의 각 철자에 음소파형이 부여되어 각 음소별로 제거가 가능하다.In other words, a phoneme waveform is assigned to the spelling of h, o, s, p, i, t, a,
따라서, hospital이라는 단어파형에서 음소파형을 제거하게되면 hos_i_a_가 된다.Therefore, when the phoneme waveform is removed from the word "hospital", it becomes hos_i_a_.
연음철자제거부(130)는, 상기 연음철자검출부(120)에서 검출된 연음법칙에 해당하는 철자를 제거하고, 상기 철자가 제거된 부분에 해당하는 음소파형을 제거하여 제2문장을 생성한다.The erasing
그리고, 연음철자제거부(130)는, 상기 단어파형에 해당하는 단어를 구성하는 철자중 상기 연음철자제거부(130)에서 제거된 철자에 해당하는 부분의 음소파형을제거하는 것을 특징으로 한다.The erasing
즉, This is a picture of a street의 문장을 예로 들어보면, this의 4번째 철자인 s와 is의 첫번째 철자인 i, of의 두번째 철자인 f와 a, street의 두번째 철자인 t에서 연음이 발생하게 된다.For example, in the sentence of this is a picture of a street, the second letter of i, of the first letter of s and is, the fourth letter of this, f and a, and the second letter of street, t, .
각 단어가 단어검출부(122)에서 검출되지 않았다고 가정하면, 연음이 발생된 철자들을 제거하여 thi_ _s picture o_ _ s_reet이라는 제2문장을 생성하는 것이 바람직하다.If it is assumed that the respective words are not detected by the
부분파형생성부(140)는, 상기 연음철자제거부(130)에서 생성된 제2문장의 시작점부터 연음코드가 삽입된 부분까지, 연음코드가 삽입된 부분부터 그 다음 연음코드가 삽입된 부분까지, 연음코드가 삽입된 부분부터 상기 제2문장의 끝점까지 상기 TTS엔진을 통해 하나 이상의 부분파형을 생성한다.The partial
또한, 부분파형 생성부(140)는, 상기 연음철자제거부(130)에서 생성된 제2문장의 시작점부터 단어파형이 삽입되는 부분의 전 철자까지, 단어파형이 삽입되는 부분의 다음 철자부터 그 다음 단어파형이 삽입되는 부분의 전 철자까지, 단어파형이 삽입되는 부분의 다음 철자부터 상기 제2문장의 끝점까지 상기 TTS엔진을 통해 하나 이상의 부분파형을 생성한다.The partial
여기서, 단어파형은, 상기 부분파형이 생성된 후 삽입되는 것이 바람직하다.Here, it is preferable that the word waveform is inserted after the partial waveform is generated.
상기 연음철자 제거부에서 생성된 제2문장의 한 예인 thi_ _s picture o_ _ s_reet를 예로 들으면, 상기 제2문장의 시작점인 t부터 처음 연음코드가 삽입된 부부인 i까지 즉 thi까지의 부분파형을 생성하고, 연음코드가 삽입된 부분의 다음인 s부터 그 다음 연음코드가 삽입된 부분인 o까지 즉 s picture o까지의 부분파형을 생성한 후, s의 부분파형을 생성하고, 또 다른 연음코드 삽입부분인 r부터 상기 제2문장의 끝점인 t까지 reet까지의 부분파형을 생성하는 것이 바람직하다.In the case of thi_s_picture_s_ref, which is an example of the second sentence generated by the above-mentioned spelling removal, the partial waveform from the starting point t of the second sentence to the i-th part where the first code is inserted, that is, And generates a partial waveform of s from the next s of the part where the code is inserted to the part o which is the part where the next code is inserted, that is, s picture o, and then generates a partial waveform of s, It is preferable to generate a partial waveform from the insertion portion r to the end point t of the second sentence until reet.
만약, 여기서, street라는 단어가 데이터저장부에 미리 저장된 단어에 포함된다면, thi_ _s picture o_ _ ______로 제2문장이 형성되고, 여기서의 부분파형은 thi, s picture o가 되며, 상기 ______부분에 street에 해당하는 단어파형이 삽입되되, t가 연음에 해당하므로 s_reet에 해당하는 단어파형이 삽입되어 두개의 부분파형과 한개의 단어파형으로 형성되는 것이 바람직하다.Here, if the word street is included in a word stored in the data storage unit in advance, a second sentence is formed with thi_s_picture_______, where the partial waveform is thi, s picture o, The word waveform corresponding to street is inserted into the part, and since t corresponds to the tidal wave, it is preferable that the word waveform corresponding to s_reet is inserted and formed into two partial waveforms and one word waveform.
입력파형생성부(150)는, 상기 문장입력부(110)에서 입력된 제1문장에 따른 음성을 사용자가 입력하면 입력된 음성을 입력파형으로 변환한다.The
상기 입력파형생성부(150)는, 사용자는 MIC 등과 같은 음성입력기기를 통해 음성을 입력하는 것이 바람직하다.The
매칭도산출부(160)는, 상기 입력파형생성부(150)에서 생성된 입력파형과 상기 부분파형생성부(140)에서 생성된 하나 이상의 부분파형을 비교하여 매칭도를 산출하되, 상기 하나 이상의 부분파형이 각각 배치된 순서대로 상기 입력파형의 처음부터 끝까지 이동하면서 매칭도가 가장 높은 부분을 검출하여 각각의 부분파형마다 매칭도가 가장 높은 부분의 부분매칭도를 산출한다.The matching
또한 매칭도산출부(160)는, 상기 입력파형생성부(150)에서 생성된 입력파형과 상기 연음철자제거부(130)에서 생성된 하나 이상의 단어파형 각각을 비교하여 매칭도를 산출하되, 상기 하나 이상의 단어파형이 각각 배치된 순서대로 상기 입력파형의 처음부터 끝까지 이동하면서 매칭도가 가장 높은 부분을 검출하여 각각의 단어파형마다 매칭도가 가장 높은 부분의 단어매칭도를 산출한다.The matching
즉, 제2문장의 한 예인 thi_ _s picture o_ _ s_reet에 대한 부분매칭도를 산출해보면, thi의 부분파형을 입력파형 전체의 처음부터 끝까지 비교하여 thi와 입력파형간의 부분매칭도를 산출하고, s picture o의 부분파형을 입력파형 전체의 처음부터 끝까지 비교하여s picture o와 입력파형간의 부분매칭도를 산출하며, s의 부분파형을 입력파형 전체의 처음부터 끝까지 비교하여 s와 입력파형간의 부분매칭도를 산출하고, treet의 부분파형을 입력파형 전체의 처음부터 끝까지 비교하여 treet와 입력파형간의 부분매칭도를 산출하는 것이 바람직하다.That is, the partial matching degree for thi_s_picture__s_reet, which is an example of the second sentence, is calculated. The partial matching degree between thi and the input waveform is calculated by comparing the partial waveform of thi from the beginning to the end of the entire input waveform, the partial waveform of picture o is compared from the beginning of the input waveform to the end of the input waveform to calculate the degree of partial matching between the s picture o and the input waveform and the partial waveform of s is compared from the beginning to the end of the input waveform, It is preferable to calculate the partial matching degree between the treet and the input waveform by comparing the partial waveform of the treet from the beginning to the end of the entire input waveform.
만약, 여기서, street라는 단어가 데이터저장부에 미리 저장된 단어에 해당하면, 제2문장은 thi_ _s picture o_ _ ______가 되고, thi의 부분파형을 입력파형 전체의 처음부터 끝까지 비교하여 thi와 입력파형간의 부분매칭도를 산출하고, s picture o의 부분파형을 입력파형 전체의 처음부터 끝까지 비교하여s picture o와 입력파형간의 부분매칭도를 산출하며, ______에 해당하는 단어인 s_reet의 단어파형을 입력파형 전체의 처음부터 끝까지 비교하여 s_reet와 입력파형간의 단어매칭도를 산출하는 것이 바람직하다.If the word street corresponds to a word pre-stored in the data storage unit, the second sentence becomes thi_s_picture__ ______, and the partial waveform of thi is compared from the beginning to the end of the entire input waveform, The partial matching degree between waveforms is calculated, and the partial waveform of s picture o is compared from the beginning to the end of the entire input waveform to calculate the partial matching degree between s picture o and the input waveform, and the word waveform of s_reet corresponding to ______ Is calculated from the beginning to the end of the entire input waveform to calculate the word matching degree between s_reet and the input waveform.
또한, 배치순서판단부(170)는, 상기 매칭도산출부(160)에서 산출된 입력파형의 부분매칭도 및 단어매칭도가 상기 제2문장의 배치순서와 동일하지 않으면 출력부(230)로 재입력신호를 송신하는 것이 바람직하다.If the degree of partial matching of the input waveform and the word matching degree calculated by the matching
즉, 부분매칭도가 산출된 부분이 부분파형의 배치순서와 동일하지 않다면 사용자에게 제1문장에 해당하는 음성을 재입력하도록 재입력신호를 출력부(230)로 송신하는 것이 바람직하다.That is, if the calculated partial matching degree is not the same as the arrangement order of the partial waveforms, it is preferable to transmit a re-input signal to the
또한, 상기 매칭도산출부(160)는, 상기 입력파형과 상기 단어파형을 비교하여 단어별 매칭퍼센트를 산출하고, 부분파형별로 상기 입력파형과 상기 부분파형을 비교하여 부분별 매칭퍼센트를 산출하며, 상기 단어별 매칭퍼센트와 상기 부분별 매칭퍼센트를 모두 합하고 각각의 매칭퍼센트의 총개수를 나눠 문장별 매칭퍼센트를 산출하여 상기 산출된 단어별 매칭퍼센트, 부분별 매칭퍼센트 및 상기 문장별 매칭퍼센트를 출력부(230)로 전송하는 것을 특징으로 한다.The
즉, This is a picture of a street에서 street이라는 단어의 단어파형이 미리 생성되어져 있는 상태라면, 상기 문장의 연음철자를 제거하면 thi_ _s picture o_ _ s_reet가 된다.That is, if the word waveform of the word street is generated in advance in this picture of a street, if the spelling of the sentence is removed, thi__s picture o_s_reet is obtained.
여기서, 각각의 부분파형 및 단어파형별로 입력파형과의 매칭퍼센트를 산출하게되었을때, thi 부분파형의 값이 70, s picture o 부분파형의 값이 60, s_reet단어파형의 값이 50이 나왔다고 가정하면, 부분파형의 값은 70과 60이 나오고 단어파형의 값은 50이 나오게 된다.Here, assuming that the value of the thi partial waveform is 70, the value of the s picture o partial waveform is 60, and the value of the s_reet word waveform is 50, when the matching percentage of the input waveform to each partial waveform and the word waveform is calculated, The value of the partial waveform is 70 and 60, and the value of the word waveform is 50.
이를 통해 문장별 매칭퍼센트를 산출해보면 (70+60+50)/3이 되고, 문장별 매칭퍼센트는 60으로 산출되게 된다.(70 + 60 + 50) / 3, and the matching percentage for each sentence is calculated as 60.
파형속도산출부(180)는, 상기 매칭도산출부(160)에서 산출된 매칭도 중 가장 높은 매칭도에 해당하는 부분파형 또는 단어파형을 검출하여 상기 가장 높은 매칭도에 해당하는 부분파형 또는 단어파형의 재생길이를 기준으로 해당 부분의 입력파형 재생길이를 비교하여 비교속도를 산출한다.The waveform
매칭도재산출부(190)는, 상기 파형속도산출부(180)에서 산출된 비교속도에 따라 전체 입력파형의 재생길이를 압축 또는 확장하여 전체 각 부분파형 또는 각 단어파형과 해당 부분의 입력파형과의 매칭도를 재산출한다.The matching
즉, 입력파형의 재생속도에 따라 그 매칭도가 달라질 경우가 발생하기 때문에 이를 방지하기 위해 입력파형의 재생길이를 압축 또는 확장하여 매칭도를 산출하는 것이 바람직하다.That is, since the degree of matching may vary depending on the playback speed of the input waveform, it is desirable to compress or expand the playback length of the input waveform to calculate the matching degree.
또한, 입력파형과 각각의 부분파형 및 각각의 단어파형의 속도를 비교하기 때문에 어느 구간 어느 단어에 대한 발음의 빠르기가 잘못되었는지를 확인할 수 있다.In addition, since the speeds of the input waveforms, the partial waveforms, and the respective word waveforms are compared with each other, it is possible to confirm the erroneous speed of pronunciation of a certain word in which section.
데이터저장부(240)는, 이미 저장된 단어, 상기 단어에 해당하는 하나 이상의 단어파형 및 상기 단어파형별 표준발음동영상을 저장한다.The data storage unit 240 stores already-stored words, one or more word waveforms corresponding to the words, and standard pronunciation videos for the word waveforms.
즉, 데이터저장부에 저장된 단어파형별 표준발음동영상은 상기 데이터저장부에 저장된 단어에 해당하는 단어파형별로 저장되는 것이 바람직하다.That is, the standard pronunciation moving picture for each word waveform stored in the data storage unit is preferably stored for each word waveform corresponding to the word stored in the data storage unit.
또한, 상기 매칭도산출부(160)는, 단어파형별로 상기 입력파형과 상기 단어파형을 비교하여 단어파형별 매칭퍼센트를 산출하고, 부분파형별로 상기 입력파형과 상기 부분파형을 비교하여 부분별 매칭퍼센트를 산출하며, 상기 단어별 매칭퍼센트와 상기 부분별 매칭퍼센트를 모두 합하고 각각의 매칭퍼센트의 총개수를 나눠 문장별 매칭퍼센트를 산출하여 상기 산출된 단어파형별 매칭퍼센트, 부분별 매칭퍼센트 및 상기 문장별 매칭퍼센트를 출력부(230)로 전송하는 것을 특징으로 한다.The matching
또한, 본 발명인 파형분석을 통해 발음교정을 실시하는 외국어 학습장치는, 상기 단어별 매칭퍼센트 또는 상기 문장별 매칭퍼센트가 미리 설정된 기준일치도 미만인 상기 단어파형에 해당하는 표준발음동영상을 데이터저장부(240)로부터 수신하여, 출력부(230)로 출력하는 학습성취도표시부(200);를 더 포함한다.Further, the foreign language learning apparatus performing the pronunciation correction through the waveform analysis according to the present invention stores the standard pronunciation moving picture corresponding to the word-based matching percentage or the word-based waveform whose matching percentage per sentence is less than the preset reference matching degree, And outputs the result to the
이에 따라, 사용자는 기준일치도 미만의 발음인 경우, 발음학습을 실시하여 사용자의 취약발음에 대하여 집중적으로 정확한 발음법에 대해 학습을 실시한다.Accordingly, when the user is pronouncing less than the reference agreement degree, the user performs pronunciation learning and learns the accurate pronunciation method intensively with respect to the user's weak pronunciation.
예를 들면, 알(R)음소의 경우 이 음소가 포함된 perpect, door, river 등등의 단어들과 "the door is opened", "He is going to han-gang river" 등과 같은 문장을 연습하게 된다.For example, in the case of an al (R) phoneme, you will practice words such as perpect, door, river, etc. that contain this phoneme and phrases such as "the door is opened" and "He is going to han-gang river" .
이때 사용자의 입력한 알(R)음소들은 그 평균값을 계산하여 기준일치도와 비교하고, 기준일치도에 만족하게 되면 그 기준일치도의 기준을 상향시켜 사용자가 취약한 알(R)음소에 대해 더 많은 학습을 하게 해준다.In this case, the user's inputted R (R) phonemes are calculated and compared with the reference agreement degree, and when the reference agreement degree is satisfied, the user raises the reference of the reference agreement degree so that the user learns more about the fragile R It is.
여기서, 음성인식 학습은 단계별로 기준일치도를 상향시키고 그 발음에 해당하는 다수의 문장 및 단어를 연습하게 해주어 사용자 발음의 정확도를 향상시켜준다. Here, the speech recognition learning improves the accuracy of the user's pronunciation by allowing the user to practice a plurality of sentences and words corresponding to the pronunciation by raising the reference degree of agreement in stages.
또한, 상기 학습성취도표시부(200)는, 상기 단어별 평균값에 따라, 개인별 맞춤학습을 진행시키는 것을 특징으로 한다.Further, the learning
여기서 개인별 맞춤학습은 사용자가 기준일치도 미만인 단어에 대해 반복학습을 실시할 수 있게 해주는 것이 바람직하다.Here, it is desirable that the personalized learning allows the user to perform the repeated learning on the words that are less than the reference match degree.
또한, 상기 학습성취도표시부(200)는, 상기 단어별 평균값이 기준일치도 미만인 단어파형 전부 또는 일부의 단어파형별 표준 발음동영상을 출력한 후, 출력된 단어파형의 단어별 매칭퍼센트를 상향시키도록 상기 단어가 포함된 문장데이터를 검색하여 출력부(230)로 전송하는 것을 특징으로 하되, 상기 데이터저장부(240)는, 하나 이상의 문장데이터가 저장된 것을 특징으로 한다.In addition, the learning
예를 들면, "street"라는 단어에 대한 매칭퍼센트 값이 세번의 테스트에 따라 80, 60, 40의 값이 나왔다면 여기서 산출되는 그 발음에 대한 매칭퍼센트의 평균값은 60이다.For example, if the matching percentage value for the word "street" is 80, 60, or 40 according to three tests, the average value of matching percentages for that pronunciation is 60.
이렇게, 산출되는 매칭퍼센트의 평균값에 따라, 개인별 맞춤학습을 진행시킨다.Thus, personalized learning is carried out according to the average value of the calculated matching percentages.
여기서, 평균값이 100~80이면 강화학습, 도전모드를 이용할 수 있고, 평균값이 79~60이면 전체복습, 오답복습을 이용할 수 있으며, 평균값이 59 그 이하이면 전체복습과 발음학습을 실시할 수 있다.Here, if the average value is 100 to 80, the reinforcement learning and challenge mode can be used. If the average value is 79 to 60, the entire review and the incorrect answer review can be used. If the average value is 59 or less, .
여기서, 강화학습은 원어민음성을 고속으로 재생하여 사용자의 말하기 수준을 높여주고, 도전모드는 자신이 달성한 평균값을 지속적으로 갱신하여 자신의 학습수준을 높일 수 있으며, 전체복습은 말 그대로 이미 학습한 내용 전체를 다시 학습하는 것이고, 오답복습은 사용자가 틀린 발음에 대하여 다시 학습을 할 수 있게 해주며, 발음학습은 문장파형별 표준발음동영상을 출력한 후 사용자의 취약발음에 대하여 집중적으로 학습하는 것을 말한다.Here, the reinforcement learning enhances the speaking level of the user by reproducing the native voice at a high speed, and the challenge mode can increase the learning level by continuously updating the average value achieved by the user. It is to re-learn the whole contents, and the wrong answer review allows the user to learn again about the wrong pronunciation, and the pronunciation learning is to concentrate on the user's weak pronunciation after outputting the standard pronunciation video by sentence waveform It says.
즉, 기준일치도가 80으로 되어 있다면, 기준일치도미만인 want에 대한 표준발음동영상을 데이터저장부(240)로부터 수신하여 출력부(230)로 출력하고 사용자가 반복학습을 할 수 있게 해주는 것이 바람직하다.That is, if the reference agreement degree is 80, it is preferable that the standard pronunciation video for want less than the reference match degree is received from the data storage unit 240 and output to the
복습부(220)는, 입력부로부터 복습요청신호가 생성되면, 기 출력된 상기 단어파형을 다시 출력하되, 에빙하우스의 망각주기에 해당하는 복습주기에 맞춰 상기 단어파형을 주기적으로 출력한다.When a review request signal is generated from the input unit, the
여기서, 에빙하우스 이론이란 인간의 기억은 시간의 흐름에 제곱에 반비례하는 것에 입각하여, 감소하는 기억을 장기기억으로 영구히 보존하기 위해 망각곡선의 주기에 따라서 적절한 시점에 적절한 반복이 중요하다는 이론을 말하고 그 복습주기인 10분 후, 1일 후, 1주일 후, 1달 후에 맞춰 복습요청신호를 송출한다.
Here, the theory of everyday house is based on the fact that human memory is inversely proportional to the square of the flow of time, and that proper repetition is important at appropriate points according to the cycle of the obliteration curve to permanently preserve the decreasing memory in long- After 10 minutes, 1 day, 1 week, and 1 month after the review cycle, a review request signal is sent out.
도 4는 본 발명의 실시예에 따른 파형분석을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법(100)의 제공순서를 나타낸 순서도이다.4 is a flowchart showing a procedure of providing a foreign language learning apparatus and a learning method (100) for performing pronunciation correction through waveform analysis according to an embodiment of the present invention.
도 4를 참고하면, 우선, 문장입력부(110)를 통해 사용자가 제1문장을 입력한다(s110).Referring to FIG. 4, the user inputs a first sentence through the sentence input unit 110 (S110).
그 다음, 연음철자검출부(120)가 상기 문장입력부(110)를 통해 입력된 제1문장을 구성하는 철자를 검색하여 연음법칙에 해당하는 철자를 검출한다(s120).Next, the
만약, 연음법칙에 해당하는 철자가 없다면 s160인 부분파형을 생성하는 단계로 넘어간다.If there is no corresponding spelling, go to step s160 to generate a partial waveform.
그 다음, 단어검출부(122)가 상기 연음철자검출부(120)에서 연음법칙에 해당하는 철자가 검출되면, 상기 철자가 포함된 단어가 데이터저장부(240)에 미리 저장된 단어와의 일치여부를 판단하여 일치되는 단어를 검출한다(s130).Then, if the
만약, 일치되는 단어가 없다면, 바로 연음철자를 제거하는 s150단계로 넘어간다.If there is no matching word, proceed to step s150 to immediately remove the spelling.
그 다음, 단어파형삽입부(124)가 상기 단어검출부(122)에서 검출된 단어를 미리 저장된 단어에 해당하는 단어파형을 삽입한다(s140).Next, the word
그 다음, 연음철자제거부(130)가 상기 연음철자검출부(120)에서 검출된 연음법칙에 해당하는 철자를 제거하고, 상기 철자가 제거된 부분에 연음코드를 삽입하여 제2문장을 생성한다(s150).Next, the
여기서, 상기 단어파형에 해당하는 단어를 구성하는 철자중 상기 연음철자제거부(130)에서 제거된 철자에 해당하는 부분의 음소코드가 검출되면 이를 검출하여 상기 음소코드에 해당하는 음소를 제거한 후, 상기 제거된 부분에 연음코드를 삽입한다.Here, if a phoneme code corresponding to a spell removed from the eraser
그 다음, 부분파형생성부(140)가 상기 연음철자제거부(130)에서 생성된 제2문장의 시작점부터 연음코드가 삽입된 부분까지, 연음코드가 삽입된 부분부터 그 다음 연음코드가 삽입된 부분까지, 연음코드가 삽입된 부분부터 상기 제2문장의 끝점까지, 상기 제2문장의 시작점부터 단어파형이 삽입되는 부분의 전 철자까지, 단어파형이 삽입되는 부분의 다음 철자부터 그 다음 단어파형이 삽입되는 부분의 전 철자까지, 단어파형이 삽입되는 부분의 다음 철자부터 상기 제2문장의 끝점까지 상기 TTS엔진을 통해 하나 이상의 부분파형을 생성한다(s160).Then, the partial
그 다음, 입력파형생성부(150)가 상기 문장입력부(110)에서 입력된 제1문장에 따른 음성을 사용자가 입력하면 입력된 음성을 입력파형으로 변환한다(s170).Then, the
그 다음, 매칭도산출부(160)가 상기 입력파형생성부(150)에서 생성된 입력파형과 상기 부분파형생성부(140)에서 생성된 하나 이상의 부분파형과 상기 단어파형을 비교하여 매칭도를 산출하되, 상기 하나 이상의 부분파형 및 단어파형이 각각 배치된 순서대로 상기 입력파형과 각각 매칭시켜 각각의 부분파형 및 단어파형마다 매칭도가 가장 높은 부분의 부분매칭도를 산출한다(s180).Then, the matching
그 다음, 배치순서판단부(170)가 상기 매칭도산출부(160)에서 산출된 입력파형 및 단어파형의 부분매칭도가 상기 제2문장의 배치순서와 동일하지 않으면 출력부(230)로 재입력신호를 송신한다(s190).If the arrangement
그 다음, 파형속도산출부(180)가 상기 매칭도산출부(160)에서 산출된 매칭도 중 가장 높은 매칭도에 해당하는 부분파형 또는 단어파형을 검출하여 상기 가장 높은 매칭도에 해당하는 부분파형 또는 단어파형의 재생길이를 기준으로 상기 입력파형의 재생길이를 비교하여 비교속도를 산출한다(s200).Next, the waveform
그 다음, 상기 파형속도산출부에서 산출된 비교속도에 따라 전체 입력파형의 재생길이를 압축 또는 확장하여 전체 각 부분파형 또는 각 단어파형과 해당 부분의 입력파형과의 매칭도를 재산출한다(s210).Then, the reproduction length of the entire input waveform is compressed or expanded in accordance with the comparison speed calculated by the waveform speed calculation unit to re-calculate the matching degree between each partial waveform or each word waveform and the input waveform of the corresponding portion (s210 ).
그 다음, 학습성취도표시부가 상기 단어파형별 매칭퍼센트가 미리 설정된 기준일치도 미만인 상기 단어파형에 해당하는 표준발음동영상을 데이터저장부(240)로부터 수신하여, 출력부(230)로 출력한다(s220).Then, the learning achievement display unit receives from the data storage unit 240 a standard pronunciation video corresponding to the word waveform whose matching percentage per word waveform is less than a preset reference match degree, and outputs the standard pronunciation video to the output unit 230 (s 220) .
여기서, 본 발명은, 상기 단어파형별 표준발음동영상을 저장하는 데이터저장부(240)를 더 포함하는 것을 특징으로 하고, 파형분석을 통해 발음교정을 실시하는 외국어 학습장치는, 사용자의 문장학습진행시 음성입력부(155)로부터 입력파형을 수신하고, 음성인식처리부(210)가 그 입력파형을 상기 TTS엔진을 통해 적어도 하나 이상의 단어별로 나눈 개별음성파형들을 데이터저장부(240)에 저장한다.Here, the present invention may further include a data storage unit 240 for storing the standard pronunciation moving picture for each word waveform, and the foreign language learning apparatus for performing pronunciation correction through waveform analysis may be configured to perform a sentence learning process The
그리고, 상기 학습성취도표시부(200)는, 적어도 하나 이상의 단어파형이 출력부(230)로 출력되고, 이에 대응되는 각각의 사용자 음성이 입력부로부터 입력되고, 이에 따른 각각의 단어파형의 상기 단어별 매칭퍼센트가 각각 생성된 후, 각각의 단어파형별로 단어별 평균값을 산출하고, 산출된 단어별 평균값을 단어파형별로 출력부(230)에 출력하는 것을 특징으로 한다.The learning achievement
또한, 상기 학습성취도표시부(200)는, 상기 단어파형별 평균값에 따라, 개인별 맞춤학습을 진행시키는 것을 특징으로 한다.In addition, the learning
그리고, 상기 학습성취도표시부(200)는, 상기 단어파형별 평균값이 기준일치도 미만인 단어파형 전부 또는 일부의 단어파형별 표준 발음동영상을 출력한 후, 출력된 단어파형의 단어별 매칭퍼센트를 상향시키도록 상기 단어파형이 포함된 문장데이터를 검색하여 출력부(230)로 전송하는 것을 특징으로 하되, 상기 데이터저장부(240)는, 하나 이상의 문장데이터가 저장된 것을 특징으로 한다.Then, the learning
그 다음, 복습부(220)가 입력부로부터 복습요청신호가 생성되면, 기 출력된 상기 단어파형을 다시 출력하되, 에빙하우스의 망각주기에 해당하는 복습주기에 맞춰 상기 단어파형을 주기적으로 출력한다(s230).
Then, when the
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
It will be understood by those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. The scope of the present invention is defined by the appended claims rather than the foregoing detailed description, and all changes or modifications derived from the meaning and scope of the claims and the equivalents thereof are included in the scope of the present invention Should be interpreted.
100: 파형분석을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법
110: 문장입력부 120: 연음철자검출부
122: 단어검출부 124: 단어파형삽입부
130: 연음철자제거부 140: 부분파형생성부
150: 입력파형생성부 155: 음성입력부
160: 매칭도산출부 170: 배치순서판단부
180: 파형속도산출부 190: 매칭도재산출부
200: 학습성취도 표시부 210: 복습부
220: 출력부 230: 데이터저장부100: A foreign language learning device that performs pronunciation correction through waveform analysis and its learning method
110: sentence input unit 120:
122: word detection unit 124: word waveform insertion unit
130: Spell demerit 140: Partial waveform generator
150: input waveform generating unit 155:
160: matching degree calculation unit 170: arrangement order determination unit
180: Waveform speed calculating unit 190: Matching porcelain calculating unit
200: learning achievement display section 210: review section
220: output unit 230: data storage unit
Claims (18)
문장입력부를 통해 사용자가 제1문장을 입력하는 문장입력부;
상기 문장입력부를 통해 입력된 제1문장을 구성하는 철자를 검색하여 연음법칙에 해당하는 철자를 검출하는 연음철자검출부;
상기 연음철자검출부에서 검출된 연음법칙에 해당하는 철자를 제거하고, 상기 철자가 제거된 부분에 연음코드를 삽입하여 제2문장을 생성하는 연음철자제거부;
상기 연음철자제거부에서 생성된 제2문장의 시작점부터 연음코드가 삽입된 부분까지, 연음코드가 삽입된 부분부터 그 다음 연음코드가 삽입된 부분까지, 연음코드가 삽입된 부분부터 상기 제2문장의 끝점까지 상기 TTS엔진을 통해 하나 이상의 부분파형을 생성하는 부분파형생성부;
상기 문장입력부에서 입력된 제1문장에 따른 음성을 사용자가 입력하면 입력된 음성을 입력파형으로 변환하는 입력파형생성부; 및
상기 입력파형생성부에서 생성된 입력파형과 상기 부분파형생성부에서 생성된 하나 이상의 부분파형 각각을 비교하여 매칭도를 산출하되, 상기 하나 이상의 부분파형이 각각 배치된 순서대로 상기 입력파형의 처음부터 끝까지 이동하면서 매칭도가 가장 높은 부분을 검출하여 각각의 부분파형마다 매칭도가 가장 높은 부분의 부분매칭도를 산출하는 매칭도산출부;를 포함하고,
상기 연음철자검출부는,
상기 연음철자검출부에서 연음법칙에 해당하는 철자가 검출되면, 상기 철자가 포함된 단어가 데이터저장부에 미리 저장된 단어와의 일치여부를 판단하여 일치되는 단어를 검출하는 단어검출부; 및
상기 단어검출부에서 검출된 단어를 미리 저장된 단어에 해당하는 단어파형을 해당 위치에 삽입하는 단어파형삽입부;를 더 포함하는 것을 특징으로 하며,
상기 단어파형은,
단어를 구성하는 각 철자별로 음소단위로 구분되어 하나 이상의 음소파형으로 나뉘어 형성되는 것을 특징으로 하고,
상기 연음철자제거부는,
상기 단어파형에 해당하는 단어를 구성하는 철자중 상기 연음철자제거부에서 제거된 철자에 해당하는 부분의 음소파형을 제거하는 것을 특징으로 하며,
상기 부분파형 생성부는,
상기 연음철자제거부에서 생성된 제2문장의 시작점부터 단어파형이 삽입되는 부분의 전 철자까지, 단어파형이 삽입되는 부분의 다음 철자부터 그 다음 단어파형이 삽입되는 부분의 전 철자까지, 단어파형이 삽입되는 부분의 다음 철자부터 상기 제2문장의 끝점까지 상기 TTS엔진을 통해 하나 이상의 부분파형을 생성하는 것을 특징으로 하며,
상기 매칭도산출부는,
상기 입력파형생성부에서 생성된 입력파형과 상기 연음철자제거부에서 생성된 하나 이상의 단어파형 각각을 비교하여 매칭도를 산출하되, 상기 하나 이상의 단어파형이 각각 배치된 순서대로 상기 입력파형의 처음부터 끝까지 이동하면서 매칭도가 가장 높은 부분을 검출하여 각각의 단어파형마다 매칭도가 가장 높은 부분의 단어매칭도를 산출하는 것을 특징으로 하며,
상기 매칭도산출부에서 산출된 매칭도 중 가장 높은 매칭도에 해당하는 부분파형 또는 단어파형을 검출하여 상기 가장 높은 매칭도에 해당하는 부분파형 또는 단어파형의 재생길이를 기준으로 해당 부분의 입력파형 재생길이를 비교하여 비교속도를 산출하는 파형속도산출부; 및
상기 파형속도산출부에서 산출된 비교속도에 따라 전체 입력파형의 재생길이를 압축 또는 확장하여 전체 각 부분파형 또는 각 단어파형과 해당 부분의 입력파형과의 매칭도를 재산출하는 매칭도재산출부;를 더 포함하는 것을 특징으로 하고,
상기 매칭도산출부에서 산출된 입력파형의 부분매칭도 및 단어매칭도가 상기 제2문장의 배치순서와 동일하지 않으면 출력부로 재입력신호를 송신하는 배치순서판단부;를 더 포함하는 것을 특징으로 하는 파형분석을 통해 발음교정을 실시하는 외국어 학습장치.
A foreign language learning apparatus using a function of reading a sentence inputted through a text to speech (TTS) engine by voice,
A sentence input unit in which a user inputs a first sentence through a sentence input unit;
An eraser spelling detector for detecting a spelling corresponding to the law of abstraction by searching a spelling constituting a first sentence inputted through the sentence input unit;
An eraser spelling removing unit for removing a spelling corresponding to the spawning rule detected by the spelling detecting unit and generating a second sentence by inserting an edible code into the spelled portion;
From the start point of the second sentence generated by the above-mentioned deaf-mute spell elimination to the portion where the start code is inserted, from the portion where the code is inserted to the portion where the next code is inserted, A partial waveform generation unit for generating at least one partial waveform through the TTS engine up to an end point of the TTS engine;
An input waveform generator for converting the input speech into an input waveform when a user inputs a speech corresponding to the first sentence input from the sentence input unit; And
Wherein the matching waveform is calculated by comparing the input waveform generated by the input waveform generating unit and each of at least one partial waveform generated by the partial waveform generating unit, wherein the matching degree is calculated from the beginning of the input waveform in the order in which the one or more partial waveforms are arranged, And a matching degree calculator for calculating a partial matching degree of a part having the highest degree of matching for each partial waveform by detecting a part having the highest degree of matching while moving to the end,
The erroneous spell-
A word detection unit for detecting whether a word corresponding to the spelling rule matches the word stored in the data storage unit when the spelling corresponding to the law of the phoneme is detected in the falsification detecting unit and detecting a word to be matched; And
And a word waveform inserting unit for inserting the word detected by the word detecting unit into a corresponding position of a word waveform corresponding to a previously stored word,
The word-
Wherein the plurality of phonemes are divided into phonemes according to respective spellings constituting a word,
The eraser spell-
And removing the phoneme waveform corresponding to the spelling removed from the eraser spelling removal part of the spelling constituting the word corresponding to the word waveform,
Wherein the partial waveform generator comprises:
From the starting point of the second sentence generated in the above-mentioned erasing spell removal to the spelling of the part where the word waveform is inserted, from the next spelling of the part where the word waveform is inserted to the spelling of the part where the next word waveform is inserted, Wherein at least one partial waveform is generated through the TTS engine from a next spelling of the inserted portion to an end point of the second sentence,
The matching-
Wherein the matching waveform is calculated by comparing the input waveform generated by the input waveform generator and the one or more word waveforms generated in the erasing spell elimination to each other in the order in which the one or more word waveforms are arranged, And the word matching degree of the part with the highest degree of matching is calculated for each word waveform by detecting the part with the highest degree of matching,
A partial waveform or a word waveform corresponding to the highest matching degree among the matching degrees calculated by the matching degree calculating unit and detects a partial waveform or a word waveform corresponding to the highest matching degree, A waveform speed calculating unit for comparing the reproduction lengths to calculate a comparison speed; And
A matching porcelain calculating unit that compresses or expands the reproduction length of the entire input waveform according to the comparison speed calculated by the waveform speed calculating unit and outputs a matching degree of each partial waveform or each word waveform and the input waveform of the corresponding portion; Further comprising:
And a placement order determination unit that transmits a re-input signal to an output unit when the partial matching degree and the word matching degree of the input waveform calculated by the matching degree calculation unit are not the same as the arrangement order of the second sentence. A foreign language learning device that performs pronunciation correction through waveform analysis.
상기 단어파형별 표준발음동영상을 저장하는 것을 특징으로 하는 파형분석을 통해 발음교정을 실시하는 외국어 학습장치.
The data processing apparatus according to claim 1,
And the standard pronunciation moving picture for each word waveform is stored.
(a) 문장입력부를 통해 사용자가 제1문장을 입력하는 단계;
(b) 연음철자검출부가 상기 문장입력부를 통해 입력된 제1문장을 구성하는 철자를 검색하여 연음법칙에 해당하는 철자를 검출하는 단계;
(c) 연음철자제거부가 상기 연음철자검출부에서 검출된 연음법칙에 해당하는 철자를 제거하고, 상기 철자가 제거된 부분에 연음코드를 삽입하여 제2문장을 생성하는 단계;
(d) 부분파형생성부가 상기 연음철자제거부에서 생성된 제2문장의 시작점부터 연음코드가 삽입된 부분까지, 연음코드가 삽입된 부분부터 그 다음 연음코드가 삽입된 부분까지, 연음코드가 삽입된 부분부터 상기 제2문장의 끝점까지 상기 TTS엔진을 통해 하나 이상의 부분파형을 생성하는 단계;
(e) 입력파형생성부가 상기 문장입력부에서 입력된 제1문장에 따른 음성을 사용자가 입력하면 입력된 음성을 입력파형으로 변환하는 단계; 및
(f) 매칭도산출부가 상기 입력파형생성부에서 생성된 입력파형과 상기 부분파형생성부에서 생성된 하나 이상의 부분파형 각각을 비교하여 매칭도를 산출하되, 상기 하나 이상의 부분파형이 각각 배치된 순서대로 상기 입력파형의 처음부터 끝까지 이동하면서 매칭도가 가장 높은 부분을 검출하여 각각의 부분파형마다 매칭도가 가장 높은 부분의 부분매칭도를 산출하는 단계;를 포함하고,
상기 (b)단계는,
(b1) 단어검출부가 상기 연음철자검출부에서 연음법칙에 해당하는 철자가 검출되면, 상기 철자가 포함된 단어가 데이터저장부에 미리 저장된 단어와의 일치여부를 판단하여 일치되는 단어를 검출하는 단계; 및
(b2) 단어파형삽입부가 상기 단어검출부에서 검출된 단어를 미리 저장된 단어에 해당하는 단어파형을 해당 위치에 삽입하는 단계;를 더 포함하는 것을 특징으로 하며,
상기 단어파형은,
단어를 구성하는 각 철자별로 음소단위로 구분되어 하나 이상의 음소파형으로 나뉘어 형성되는 것을 특징으로 하며,
상기 연음철자제거부는,
상기 단어파형에 해당하는 단어를 구성하는 철자중 상기 연음철자제거부에서 제거된 철자에 해당하는 부분의 음소파형을 제거하는 것을 특징으로 하고,
상기 부분파형 생성부는,
상기 연음철자제거부에서 생성된 제2문장의 시작점부터 단어파형이 삽입되는 부분의 전 철자까지, 단어파형이 삽입되는 부분의 다음 철자부터 그 다음 단어파형이 삽입되는 부분의 전 철자까지, 단어파형이 삽입되는 부분의 다음 철자부터 상기 제2문장의 끝점까지 상기 TTS엔진을 통해 하나 이상의 부분파형을 생성하는 것을 특징으로 하며,
상기 매칭도산출부는,
상기 입력파형생성부에서 생성된 입력파형과 상기 연음철자제거부에서 생성된 하나 이상의 단어파형 각각을 비교하여 매칭도를 산출하되, 상기 하나 이상의 단어파형이 각각 배치된 순서대로 상기 입력파형의 처음부터 끝까지 이동하면서 매칭도가 가장 높은 부분을 검출하여 각각의 단어파형마다 매칭도가 가장 높은 부분의 단어매칭도를 산출하는 것을 특징으로 하며,
(g) 배치순서판단부가 상기 매칭도산출부에서 산출된 입력파형의 부분매칭도 및 단어매칭도가 상기 제2문장의 배치순서와 동일하지 않으면 출력부로 재입력신호를 송신하는 단계;를 더 포함하는 것을 특징으로 하고,
(h) 파형속도산출부가 상기 매칭도산출부에서 산출된 매칭도 중 가장 높은 매칭도에 해당하는 부분파형 또는 단어파형을 검출하여 상기 가장 높은 매칭도에 해당하는 부분파형 또는 단어파형의 재생길이를 기준으로 해당 부분의 입력파형 재생길이를 비교하여 비교속도를 산출하는 파형속도산출부; 및
(i) 매칭도재산출부가 상기 파형속도산출부에서 산출된 비교속도에 따라 전체 입력파형의 재생길이를 압축 또는 확장하여 전체 각 부분파형 또는 각 단어파형과 해당 부분의 입력파형과의 매칭도를 재산출하는 단계;를 더 포함하는 것을 특징으로 하는 파형분석을 통해 발음교정을 실시하는 외국어 학습방법.
A foreign language learning method using a function of reading a sentence inputted through a text to speech (TTS) engine by voice,
(a) inputting a first sentence by a user through a sentence input unit;
(b) detecting a spelling corresponding to the law of abstraction by searching a spelling constituting a first sentence inputted through the sentence input unit by the spelling detection unit;
(c) generating a second sentence by removing a spelling corresponding to a rule of the first sentence detected by the first spelling detecting unit and inserting an edited code into the spelled portion;
(d) a partial waveform generating unit for generating a soft code from the start point of the second sentence generated in the above-described deaf spell removing unit to the portion where the soft code is inserted, from the portion where the soft code is inserted to the portion where the next soft code is inserted, Generating at least one partial waveform through the TTS engine from a portion of the first sentence to an end of the second sentence;
(e) when the input waveform generating unit inputs a voice according to the first sentence input from the sentence input unit, converting the inputted voice into an input waveform; And
(f) a matching degree calculation unit compares input waveforms generated by the input waveform generation unit and at least one partial waveform generated by the partial waveform generation unit to calculate a matching degree, Detecting a portion having the highest degree of matching while moving from the beginning to the end of the input waveform to calculate a partial matching degree of a portion having the highest degree of matching for each partial waveform,
The step (b)
(b1) when the word detecting unit detects a spelling corresponding to the law of the phoneme in the above-mentioned spelling detection unit, determining whether or not the word including the spelling matches the word stored in the data storage unit and detecting a word to be matched; And
and (b2) inserting the word detected by the word waveform insertion unit in the word detection unit into the corresponding position of the word waveform corresponding to the previously stored word,
The word-
Wherein the plurality of phonemes are divided into phonemes according to respective spellings constituting a word,
The eraser spell-
And removing the phoneme waveform corresponding to the spelling removed from the eraser spelling removal from the spelling constituting the word corresponding to the word waveform.
Wherein the partial waveform generator comprises:
From the starting point of the second sentence generated in the above-mentioned erasing spell removal to the spelling of the part where the word waveform is inserted, from the next spelling of the part where the word waveform is inserted to the spelling of the part where the next word waveform is inserted, Wherein at least one partial waveform is generated through the TTS engine from a next spelling of the inserted portion to an end point of the second sentence,
The matching-
Wherein the matching waveform is calculated by comparing the input waveform generated by the input waveform generator and the one or more word waveforms generated in the erasing spell elimination to each other in the order in which the one or more word waveforms are arranged, And the word matching degree of the part with the highest degree of matching is calculated for each word waveform by detecting the part with the highest degree of matching,
(g) transmitting the re-input signal to the output unit if the arrangement order determining unit does not match the partial matching degree and the word matching degree of the input waveform calculated by the matching degree calculating unit with the arrangement order of the second sentence .
(h) The waveform speed calculating unit detects a partial waveform or word waveform corresponding to the highest degree of matching among the degrees of matching calculated by the matching degree calculating unit, and calculates a reproduction length of the partial waveform or word waveform corresponding to the highest matching degree A waveform speed calculating unit for calculating a comparison speed by comparing an input waveform reproduction length of a corresponding portion with a reference; And
(i) The matching porcelain calculating unit compresses or expands the reproduction length of the entire input waveform according to the comparison speed calculated by the waveform speed calculating unit to calculate the matching degree between the entire partial waveform or each word waveform and the input waveform of the corresponding part, And the step of shipment further comprises a step of performing pronunciation correction using waveform analysis.
상기 단어파형별 표준발음동영상을 저장하는 것을 특징으로 하는 파형분석을 통해 발음교정을 실시하는 외국어 학습방법.
11. The apparatus of claim 10,
And the standard pronunciation moving picture for each word waveform is stored, and the pronunciation correction is performed through the waveform analysis.
(j) 복습부가 입력부로부터 복습요청신호가 생성되면, 기 출력된 상기 단어파형을 다시 출력하되, 에빙하우스의 망각주기에 해당하는 복습주기에 맞춰 상기 단어파형을 주기적으로 출력하는 단계;를 더 포함하는 파형분석을 통해 발음교정을 실시하는 외국어 학습방법.11. The method of claim 10,
(j) if the review request signal is generated from the review unit's input unit, outputting the previously output word waveform again, and periodically outputting the word waveform in accordance with a review cycle corresponding to the forgetting cycle of the living house A foreign language learning method that performs pronunciation correction through waveform analysis.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20130137782A KR101509477B1 (en) | 2013-11-13 | 2013-11-13 | Learning method and learning apparatus of correction of pronunciation by waveform analysis |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20130137782A KR101509477B1 (en) | 2013-11-13 | 2013-11-13 | Learning method and learning apparatus of correction of pronunciation by waveform analysis |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101509477B1 true KR101509477B1 (en) | 2015-04-08 |
Family
ID=53033818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR20130137782A KR101509477B1 (en) | 2013-11-13 | 2013-11-13 | Learning method and learning apparatus of correction of pronunciation by waveform analysis |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101509477B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR0146549B1 (en) * | 1995-06-05 | 1998-09-15 | 양승택 | Korean language text acoustic translation method |
KR20070103095A (en) * | 2006-04-18 | 2007-10-23 | (주)오케이웨이브영어 | System for studying english using bandwidth of frequency and method using thereof |
-
2013
- 2013-11-13 KR KR20130137782A patent/KR101509477B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR0146549B1 (en) * | 1995-06-05 | 1998-09-15 | 양승택 | Korean language text acoustic translation method |
KR20070103095A (en) * | 2006-04-18 | 2007-10-23 | (주)오케이웨이브영어 | System for studying english using bandwidth of frequency and method using thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101487005B1 (en) | Learning method and learning apparatus of correction of pronunciation by input sentence | |
US5857173A (en) | Pronunciation measurement device and method | |
US7299188B2 (en) | Method and apparatus for providing an interactive language tutor | |
Witt et al. | Computer-assisted pronunciation teaching based on automatic speech recognition | |
US20070055514A1 (en) | Intelligent tutoring feedback | |
US7624013B2 (en) | Word competition models in voice recognition | |
CN103594087B (en) | Improve the method and system of oral evaluation performance | |
US20070067174A1 (en) | Visual comparison of speech utterance waveforms in which syllables are indicated | |
Tsubota et al. | Practical use of English pronunciation system for Japanese students in the CALL classroom | |
WO2021074721A2 (en) | System for automatic assessment of fluency in spoken language and a method thereof | |
KR20160122542A (en) | Method and apparatus for measuring pronounciation similarity | |
TW200849218A (en) | Voice processing methods and systems, and machine readable medium thereof | |
Van Doremalen et al. | Optimizing automatic speech recognition for low-proficient non-native speakers | |
Sugiarto et al. | THE IMPACT OF SHADOWING TECHNIQUE ON TERTIARY STUDENTS’ENGLISH PRONUNCIATION | |
Liao et al. | A prototype of an adaptive Chinese pronunciation training system | |
KR20130068598A (en) | Apparatus and method for evaluating pronunciation of foreign language learner | |
KR101487007B1 (en) | Learning method and learning apparatus of correction of pronunciation by pronunciation analysis | |
KR101487006B1 (en) | Learning method and learning apparatus of correction of pronunciation for pronenciaion using linking | |
Kabashima et al. | Dnn-based scoring of language learners’ proficiency using learners’ shadowings and native listeners’ responsive shadowings | |
JP2007148170A (en) | Foreign language learning support system | |
JP2001249679A (en) | Foreign language self-study system | |
KR102274766B1 (en) | Pronunciation prediction and evaluation system for beginner foreign language learners | |
KR101854379B1 (en) | English learning method for enhancing memory of unconscious process | |
Shi et al. | Automatic Assessment and Error Detection of Shadowing Speech: Case of English Spoken by Japanese Learners. | |
KR101509477B1 (en) | Learning method and learning apparatus of correction of pronunciation by waveform analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |