KR20220086923A - English pronunciation automatic evaluation system and method - Google Patents
English pronunciation automatic evaluation system and method Download PDFInfo
- Publication number
- KR20220086923A KR20220086923A KR1020200177162A KR20200177162A KR20220086923A KR 20220086923 A KR20220086923 A KR 20220086923A KR 1020200177162 A KR1020200177162 A KR 1020200177162A KR 20200177162 A KR20200177162 A KR 20200177162A KR 20220086923 A KR20220086923 A KR 20220086923A
- Authority
- KR
- South Korea
- Prior art keywords
- evaluation
- information
- unit
- speech
- words
- Prior art date
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 263
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000000605 extraction Methods 0.000 claims description 15
- 230000002776 aggregation Effects 0.000 claims description 9
- 238000004220 aggregation Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/06—Foreign languages
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Signal Processing (AREA)
- Machine Translation (AREA)
Abstract
본 발명은 영어 발음 자동 평가 시스템 및 방법에 관한 것으로, 보다 구체적으로 피평가자에게 문제를 제공하는 문제 제공부, 상기 문제에 따른 피평가자의 발화 음성을 입력받는 발화 음성 입력부, 음성인식 기술기반으로 상기 발화 음성을 음성열로 변환한 발화 정보를 생성하는 발화 정보 생성부, 상기 발화 정보로부터 상기 발화 음성의 높낮이를 표시한 억양 정보를 추출하고, 상기 억양 정보를 기반으로 상기 발화 정보가 평가된 제1 평가 정보를 생성하는 제1 평가부, 상기 제1 평가 정보로부터 상기 발화 음성의 길이를 추출하고, 상기 발화 음성의 길이를 기반으로 상기 제1 평가 정보가 평가된 제2 평가 정보를 생성하는 제2 평가부, 상기 제2 평가 정보로부터 의미상 독립적 경계 유무를 판별하고 상기 제2 평가 정보에 상기 의미상 독립적 경계 당 하나의 휴지구간(pause)이 추가된 제3 평가 정보를 생성하는 제3 평가부, 상기 제3 평가 정보를 점수화하고, 피평가자에게 평가점수를 제공하는 평가점수 제공부 및 상기 문제 또는 평가점수 중 적어도 하나가 표시되는 인터페이스부를 포함하는 영어 발음 자동 평가 시스템 및 방법에 관한 것이다.The present invention relates to an automatic English pronunciation evaluation system and method, and more specifically, to a problem providing unit for providing a problem to an evaluated person, an uttered voice input unit for receiving the uttered voice of the evaluated subject according to the above problem, and the uttered voice based on voice recognition technology Speech information generating unit for generating speech information converted into a speech sequence, extracting intonation information indicating the height of the spoken voice from the speech information, and first evaluation information in which the speech information is evaluated based on the intonation information a first evaluation unit generating , a third evaluation unit that determines the presence or absence of a semantically independent boundary from the second evaluation information and generates third evaluation information in which one pause per semantically independent boundary is added to the second evaluation information; To a system and method for automatic evaluation of English pronunciation, comprising: an evaluation score providing unit that scores third evaluation information and provides evaluation scores to a person to be evaluated; and an interface unit that displays at least one of the problem or evaluation score.
Description
본 발명은 영어 발음 자동 평가 시스템 및 방법에 관한 것으로, 보다 구체적으로 문제에 따른 피평가자의 발화 음성을 입력받고, 발화 음성의 특징값을 추출한 후 상기 특징값에 따른 평가점수를 제공하는 영어 발음 자동 평가 시스템 및 방법에 관한 것이다. The present invention relates to a system and method for automatic evaluation of English pronunciation, and more specifically, automatic evaluation of English pronunciation that receives the utterance voice of a subject according to a problem, extracts a feature value of the uttered voice, and provides an evaluation score according to the feature value It relates to systems and methods.
외국어 학습의 중요성 및 어학관련 평생교육이 보편화 되면서 영어회화를 시작하거나 배우는 사람이 늘고 있다. 영어 말하기를 배우는 방법은 크게 사람에 의한 평가와 기계에 의한 평가로 배우는 방법으로 구분할 수 있다. As the importance of foreign language learning and language-related lifelong education become more common, more and more people are starting or learning English conversation. The method of learning to speak English can be largely divided into the method of learning by evaluation by humans and by evaluation by machines.
사람에 의한 평가로 영어 말하기를 배우는 방법은 평가자의 경험과 배경지식 등에 따라 평가 대상자의 의도와 문장의 질적인 부분까지 평가할 수 있지만, 평가자의 주관에 따라 때때로 객관적이지 않은 평가결과를 제공할 수 있다. 예컨대, 평가자가 누구인지, 동일 평가자라 하더라도 평가하는 시간과 그 환경에 따라 평가결과가 달라질 수 있으며, 평가 시간도 많이 소요될 수 있다.The method of learning to speak English through human evaluation can evaluate the intention of the subject and the quality of the sentence according to the evaluator's experience and background knowledge, etc., but depending on the subjectivity of the evaluator, sometimes non-objective evaluation results can be provided. . For example, the evaluation result may vary depending on who the evaluator is, and the evaluation time and environment, even for the same evaluator, and may take a lot of evaluation time.
또한, 기계에 의한 평가로 영어 말하기를 배우는 방법은 시간과 환경의 제약 없이 빠른 시간에 일관적인 평가를 수행할 수 있지만, 평가 대상자의 발화가 원어민의 발화와 유사한 정도를 판단하고 적합한 피드백 제공할 수 있는 보다 신뢰도 있는 평가 기준 및 방법이 필요한 실정이다.In addition, the method of learning to speak English through evaluation by a machine can perform a consistent evaluation in a short time without time and environment restrictions, but it is possible to judge the degree to which the subject's speech is similar to that of a native speaker and provide appropriate feedback. There is a need for more reliable evaluation criteria and methods.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로 평가 대상자의 발화가 원어민의 발화와 유사한 정도를 판단하고 보다 신뢰도 있는 평가가 가능하도록 음성인식 기술기반으로 발화 정보를 생성하고, 상기 발화 정보로부터 음성의 높낮이, 음성의 길이, 휴지구간(pause)을 특징값으로 평가점수를 제공하는 영어 발음 자동 평가 시스템 및 방법을 제공하는 것을 목적으로 한다.The present invention is to solve the above problems, and generates utterance information based on speech recognition technology to determine the degree of similarity of the utterance of the subject to be evaluated to that of a native speaker and to enable a more reliable evaluation, and from the utterance information An object of the present invention is to provide an automatic English pronunciation evaluation system and method for providing evaluation scores using feature values such as pitch, voice length, and pause.
상기 목적을 달성하기 위하여, 본 발명의 영어 발음 자동 평가 시스템은 피평가자에게 문제를 제공하는 문제 제공부; 상기 문제에 따른 피평가자의 발화 음성을 입력받는 발화 음성 입력부; 음성인식 기술기반으로 상기 발화 음성을 음성열로 변환한 발화 정보를 생성하는 발화 정보 생성부; 상기 발화 정보로부터 상기 발화 음성의 높낮이를 표시한 억양 정보를 추출하고, 상기 억양 정보를 기반으로 상기 발화 정보가 평가된 제1 평가 정보를 생성하는 제1 평가부; 상기 제1 평가 정보로부터 상기 발화 음성의 길이를 추출하고, 상기 발화 음성의 길이를 기반으로 상기 제1 평가 정보가 평가된 제2 평가 정보를 생성하는 제2 평가부; 상기 제2 평가 정보로부터 의미상 독립적 경계 유무를 판별하고 상기 제2 평가 정보에 상기 의미상 독립적 경계 당 하나의 휴지구간(pause)이 추가된 제3 평가 정보를 생성하는 제3 평가부; 상기 제3 평가 정보를 점수화하고, 피평가자에게 평가점수를 제공하는 평가점수 제공부; 및 상기 문제 또는 평가점수 중 적어도 하나가 표시되는 인터페이스부;를 제공한다.In order to achieve the above object, the automatic English pronunciation evaluation system of the present invention is a problem providing unit for providing a problem to the subject; an uttered voice input unit for receiving the uttered voice of the person to be evaluated according to the above problem; a speech information generation unit for generating speech information obtained by converting the speech speech into speech heat based on speech recognition technology; a first evaluation unit extracting intonation information indicating the height of the spoken voice from the utterance information and generating first evaluation information in which the utterance information is evaluated based on the intonation information; a second evaluation unit extracting a length of the spoken voice from the first evaluation information and generating second evaluation information in which the first evaluation information is evaluated based on the length of the spoken voice; a third evaluation unit that determines whether there is a semantically independent boundary from the second evaluation information and generates third evaluation information in which one pause per semantically independent boundary is added to the second evaluation information; an evaluation score providing unit for scoring the third evaluation information and providing an evaluation score to the evaluated; and an interface unit for displaying at least one of the problem or the evaluation score.
또한 상기 목적을 달성하기 위하여, 본 발명의 영어 발음 자동 평가 방법은 문제 제공부에 의하여, 피평가자에게 문제가 표시되도록 인터페이스부에 상기 문제가 전송되는 문제 전송단계; 발화 음성 입력부에 의하여, 상기 인터페이스부에 표시된 상기 문제에 따른 피평가자의 발화 음성이 입력되는 발화 음성 입력단계; 발화 정보 생성부에 의하여, 음성인식 기술기반으로 상기 발화 음성이 음성열로 변환된 발화 정보가 생성되는 발화 정보 생성단계; 제1 평가부에 의하여, 상기 발화 정보로부터 상기 발화 음성의 높낮이가 표시된 억양 정보가 추출되고, 상기 억양 정보가 기반이 되어 상기 발화 정보가 평가된 제1 평가 정보가 생성되는 제1 평가단계; 제2 평가부에 의하여, 상기 제1 평가 정보로부터 상기 발화 음성의 길이가 추출되고, 상기 발화 음성의 길이가 기반이 되어 상기 제1 평가 정보가 평가된 제2 평가 정보가 생성되는 제2 평가단계; 제3 평가부에 의하여, 상기 제2 평가 정보로부터 의미상 독립적 경계 유무가 판별되고, 상기 제2 평가 정보에 상기 의미상 독립적 경계 당 하나의 휴지구간(pause)이 추가된 제3 평가 정보가 생성되는 제3 평가단계; 평가점수 제공부에 의하여, 상기 제3 평가 정보가 점수화되고, 피평가자에게 평가점수가 제공되는 평가점수 제공단계; 및 인터페이스부에 의하여, 상기 평가점수가 표시되는 평가점수 표시단계;를 제공한다.In addition, in order to achieve the above object, the automatic evaluation method of English pronunciation of the present invention includes, by the problem providing unit, a problem transmission step of transmitting the problem to the interface unit so that the problem is displayed to the evaluated; an uttered voice input step of inputting, by the uttered voice input unit, the uttered voice of the subject to be evaluated according to the problem displayed on the interface unit; an utterance information generation step of generating, by the utterance information generator, utterance information in which the uttered voice is converted into a voice sequence based on a voice recognition technology; a first evaluation step of extracting, by the first evaluation unit, intonation information indicating the height of the spoken voice from the utterance information, and generating first evaluation information on which the utterance information is evaluated based on the intonation information; a second evaluation step in which, by the second evaluation unit, the length of the spoken voice is extracted from the first evaluation information, and the length of the spoken voice is used as a basis to generate second evaluation information in which the first evaluation information is evaluated ; The third evaluation unit determines whether there is a semantically independent boundary from the second evaluation information, and generates third evaluation information in which one pause per semantically independent boundary is added to the second evaluation information a third evaluation step to be; an evaluation score providing step in which the third evaluation information is scored by the evaluation score providing unit and the evaluation score is provided to the evaluated; and an evaluation score display step in which the evaluation score is displayed by the interface unit.
본 발명에 의하면 음성인식 기술기반으로 발화 정보를 생성하고, 상기 발화 정보로부터 음성의 높낮이, 음성의 길이, 휴지구간(pause)을 특징값으로 평가점수를 제공하도록 구비함으로써, 평가 대상자의 발화가 원어민의 발화와 유사한 정도를 판단하고 보다 신뢰도 있는 평가가 가능한 효과가 있다. 또한, 사람에 의한 평가 시 빈번히 발생하는 평가자 간 점수 편차를 크게 줄여 평가시험의 신뢰성을 높이고, 평가에 소요되는 시간 및 인력부담을 경감할 수 있을 효과가 있다.According to the present invention, by generating utterance information based on speech recognition technology, and providing evaluation scores from the utterance information to the height of the voice, the length of the voice, and the pause period as feature values, the utterance of the subject to be evaluated is a native speaker It has the effect of judging the degree of similarity to the utterance of In addition, it is possible to greatly reduce the score deviation between evaluators, which occurs frequently during human evaluation, to increase the reliability of the evaluation test, and to reduce the time required for evaluation and the burden of manpower.
도 1은 본 발명의 영어 발음 자동 평가 시스템 구성도이다.
도 2는 본 발명의 영어 발음 자동 평가 방법 흐름도이다.1 is a configuration diagram of an automatic English pronunciation evaluation system of the present invention.
2 is a flowchart of an automatic evaluation method for English pronunciation of the present invention.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in this specification have been selected as currently widely used general terms as possible while considering the functions in the present invention, but these may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not
영어 발음 자동 평가 시스템English pronunciation automatic evaluation system
이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 1은 본 발명의 영어 발음 자동 평가 시스템 구성도이다.Hereinafter, an embodiment according to the present invention will be described in detail with reference to the accompanying drawings. 1 is a configuration diagram of an automatic English pronunciation evaluation system of the present invention.
도 1을 보면, 본 발명의 영어 발음 자동 평가 시스템은 문제 제공부(100), 발화 음성 입력부(200), 발화 정보 생성부(300), 제1 평가부(400), 제2 평가부(500), 제3 평가부(600), 평가점수 제공부(700) 및 인터페이스부(800)를 포함한다.Referring to FIG. 1 , the automatic English pronunciation evaluation system of the present invention includes a
보다 구체적으로, 상기 문제 제공부(100)는 피평가자에게 문제를 제공한다. 즉, 상기 문제 제공부(100)는 다수 개의 문제가 기 저장될 수 있고, 관리자에 의해서 업데이트될 수 있다. 그리고 상기 문제 제공부(100)는 상기 인터페이스부(800)에 상기 문제를 전송할 수 있고, 상기 인터페이스부(800)는 상기 문제를 상기 문제 제공부(100)로부터 전송받아 피평가자가 시각적으로 확인할 수 있도록 디스플레이에 표시할 수 있다. More specifically, the
다음으로, 상기 발화 음성 입력부(200)는 상기 문제에 따른 피평가자의 발화 음성을 입력받는다. 상기 발화 음성 입력부(200)는 피평가자의 음성을 기계가 인식할 수 있도록 아날로그 데이터를 디지털 데이터로 변환하는 장치일 수 있고, 가장 바람직하게 유/무선 마이크, 헤드셋 등일 수 있다. Next, the spoken
다음으로, 상기 발화 정보 생성부(300)는 음성인식 기술기반으로 상기 발화 음성을 음성열로 변환한 발화 정보를 생성한다.Next, the utterance
일반적으로, 말하기 평가의 유형에 따라 음성을 텍스트로 전환하는 방식에는 낭독 발화 방식과 자유 발화 방식이 있다. 상기 낭독 발화 방식은 문제에 이미 텍스트가 주어지고 피평가자의 낭독 발화로부터 생성된 음성을 음성열로 변환하는 방식이므로 비교적 쉽게 전환이 이루어지는 반면, 자유 발화 방식은 정해진 텍스트 없이 피평가자의 자유로운 발화로부터 생성된 음성을 딥러닝 기술기반의 음성열 추출 알고리즘을 이용하여 음성열로 변환하는 방식이므로 다소 복잡한 과정을 거쳐 전환이 이루어진다. 예컨대, 딥러닝 기술기반의 음향 모델링, 데이터기반 언어모델 및 비원어민 화자의 특성을 반영한 음성열 모델링 등이 포함될 수 있다. In general, a method of converting speech into text according to the type of speech evaluation includes a reading speech method and a free speech method. The read-out speech method is a method in which text is already given to the problem and the speech generated from the read speech of the subject is converted into a speech sequence, so the conversion is relatively easy, whereas the free speech method is a speech generated from the free speech of the subject without a fixed text is a method of converting into a voice sequence using a voice sequence extraction algorithm based on deep learning technology, so the conversion takes place through a rather complicated process. For example, deep learning technology-based acoustic modeling, data-based language models, and voice heat modeling reflecting the characteristics of non-native speakers may be included.
가장 바람직하게, 본 발명은 자유 발화 방식임으로, 상기 문제 제공부(100)는 피평가자에게 기 저정된 텍스트를 낭독하는 문제를 제공하는 것이 아닌, 예컨대 그림을 문제로 제공할 수 있다. 상기 발화 음성 입력부(200)는 정해진 시간 동안 상기 그림을 묘사하는 피평가자의 발화 음성을 입력받을 수 있다. 그리고 상기 발화 정보 생성부(300)는 음성열 추출 알고리즘을 이용하여 상기 발화 음성을 음성열로 변환한 발화 정보를 생성할 수 있다. 상기 음성열은 주파수 데이터와 텍스트 데이터를 모두 포함할 수 있다. Most preferably, since the present invention is a free speech method, the
다음으로, 상기 제1 평가부(400)는 상기 발화 정보로부터 상기 발화 음성의 높낮이를 표시한 억양 정보를 추출하고, 상기 억양 정보를 기반으로 상기 발화 정보가 평가된 제1 평가 정보를 생성한다.Next, the
상기 제1 평가부(400)는 상기 발화 정보로부터 상기 발화 음성의 높낮이를 표시한 억양 정보를 추출하기 위하여 단어 추출부(410), 단어간격 판별부(420), 발화 정보 집단화부(430) 및 음계 결정부(440)를 포함할 수 있다.The
우선, 상기 단어 추출부(410)는 상기 발화 정보로부터 하나 이상의 단어를 추출할 수 있다. 상기 발화 정보는 하나 이상의 구, 절 또는 문장일 수 있고, 상기 하나 이상의 구, 절 또는 문장에는 하나 이상의 단어를 포함할 수 있다. 따라서 상기 하나 이상의 구, 절 또는 문장에 포함된 하나 이상의 단어를 추출할 수 있다. First, the
다음으로, 상기 단어간격 판별부(420)는 상기 하나 이상의 단어 간 간격인 단어간격을 판별할 수 있다. 하기 [표 1]을 보면, 상기 단어간격 판별부(420)는 상기 단어 추출부(410)로부터 추출된 하나 이상의 단어 중에서 임의의 단어를 기준으로 단어 간 간격이 0초 이상 ~ 0.25초 미만인 경우 음소 및 단어 사이인 것으로 판단하고, 단어 간 간격이 0.25초 이상 ~ 0.5초 미만인 경우 구(phrase) 사이인 것으로 판단하고, 단어 간 간격이 0.5초 이상인 경우 쉼표 및 마침표가 있는 문장 사이인 것으로 판단할 수 있다. Next, the word
다음으로, 상기 발화 정보 집단화부(430)는 상기 단어 추출부(410)로부터 추출된 하나 이상의 단어 중 서술부를 추출할 수 있다. 그리고 상기 서술부를 기준으로 상기 단어 추출부(410)로부터 추출된 상기 하나 이상의 단어를 구(phrase) 단위로 집단화할 수 있다. Next, the utterance
다시 말하면, 상기 발화 정보 집단화부(430)는 상기 서술부가 기준이 되어 상기 발화 정보 내 하나 이상의 단어들을 전반부 구(phrase), 주요동사부 구(phrase), 후반부 구(phrase)로 나눌 수 있고, 각각의 구(phrase)에 포함된 단어들은 동일집단으로 판단하고 집단화할 수 있다. In other words, the utterance
다음으로, 상기 음계 결정부(440)는 상기 발화 정보 집단화부(430)로부터 집단화된 임의의 구(phrase)와 서로 이웃하는 구(phrase)의 음계를 비교한 후 구간 음계 관계를 결정하고, 상기 구간 음계 관계가 결정된 각각의 구(phrase)에 포함된 단어 간 음계를 비교한 후 단어 간 음계 관계를 결정한다.Next, the
하기 [표 2]를 이용하여 보다 상세히 설명해본다.It will be described in more detail using the following [Table 2].
상기 [표 2]를 보면, 상기 음계 결정부(440)는 품사 및 동사 정보가 기 저장될 수 있고, 이에 따라 상기 서술부가 2형식동사인지, 아닌지를 확인할 수 있다. 그리고 상기 음계 결정부(440)는 상기 서술부가 2형식동사라면 상기 구간 음계 관계가 ‘미레미’일 수 있고, 문장의 말단을 일컫는 문미에 부사가 포함되면 상기 구간 음계 관계가 ‘미레미미’, 포함되지 않으면 ‘미레미’로 상기 발화 정보 집단화부(430)로부터 집단화된 구(phrase) 간 높낮이를 도출할 수 있다. 이는 상기 서술부가 2형식동사일 경우에는 보어 및 부사에 강세를 주어야하기 때문이다.Referring to [Table 2], the
반면에, 상기 서술부가 2형식동사가 아니라면 구간 음계 관계가 ‘레미레’일 수 있고, 문미에 부사/보어가 포함되면 ‘레미레미’로 상기 발화 정보 집단화부(430)로부터 집단화된 구(phrase) 간 높낮이를 도출할 수 있다. 이는 상기 서술부가 2형식동사가 아닐 경우에는 타동사, 보어, 부사에 강세를 주어야하기 때문이다. On the other hand, if the predicate is not a two-form verb, the interval scale relationship may be 'Remire', and if an adverb/bore is included at the end, the phrase grouped from the utterance
또한, 상기 구(phrase)에 포함된 단어 간 음계 관계는 하기 [표 2]를 이용하여 보다 상세히 설명해본다. In addition, the scale relationship between words included in the phrase will be described in more detail using [Table 2] below.
우선, 상기 발화 정보가 ‘What happens will have an important impact.’ 이면, 상기 발화 정보 집단화부(430)는 상기 발화 정보를 (What happen)/(will have)/(an important impact.)와 같이 구(phrase) 단위로 집단화할 수 있다. First, if the utterance information is 'What happens will have an important impact.', the
다음에, 상기 음계 결정부(440)는 상기 서술부인 have를 기준으로 음계를 결정할 수 있다. have는 목적어를 갖는 타동사이고, 문미에 목적어 이외의 구(phrase)를 포함하지 않으므로, 상기 발화 정보인 (What happen)/(will have)/(an important impact.)는 상기 [표 2]에 따라 ‘레미레’로 구간 음계 관계를 결정할 수 있다. Next, the
또한, 상기 음계 결정부(440)는 상기 구(phrase)에 포함된 단어 간 음계 관계를 결정할 수 있다. 하기 [표 3]는 구 (phrase)에 포함된 단어 간 음계 관계를 표시한 것이다. 하기 [표 3]을 이용하여 보다 상세히 설명해본다. Also, the
예컨대, 상기 발화 정보인 (What happen)/(will have)/(an important impact.)에 있어서, 상기 음계 결정부(440)는 (What happen) 구(phrase)를 전체 문장으로 보면 ‘레’로 구간 음계 관계를 결정할 수 있고, 구(phrase) 내 각각의 단어는 상기 [표 3]에서 ‘단어+동사’에 포함하고, ‘낮음-높음’ 관계에 있다고 판단할 수 있다. 이는 ‘what’ 보다 ‘happen’ 에 악센트가 세게 들어가는 것이 원어민 억양에 더 가깝기 때문이다.For example, in the speech information (What happen)/(will have)/(an important impact.), the
또한, 상기 음계 결정부(440)는 (will have) 구(phrase)를 전체 문장으로 보면 ‘미’로 구간 음계 관계를 결정할 수 있고, 구(phrase) 내 각각의 단어는 상기 [표 3]에서 ‘조동사+동사’에 포함하고, ‘낮음-높음’ 관계에 있다고 판단할 수 있다. 이는 ‘will’ 보다 ‘have’ 에 악센트가 세게 들어가는 것이 원어민 억양에 더 가깝기 때문이다.Also, when the (will have) phrase is viewed as a whole sentence, the
또한, 상기 음계 결정부(440)는 (an important impact) 구(phrase)를 전체 문장으로 보면 ‘레’로 구간 음계 관계를 결정할 수 있고, 구(phrase) 내 각각의 단어는 상기 [표 3]에서 ‘형용사+명사’에 포함하고, ‘높음-낮음’ 관계에 있다고 판단할 수 있다. 이는 ‘an’ 이나 ‘impact’ 보다 ‘important’ 에 악센트가 세게 들어가는 것이 원어민 억양에 더 가깝기 때문이다.In addition, the scale determiner 440 (an important impact) can determine the interval scale relationship as 're' when looking at the phrase as a whole sentence, and each word in the phrase is shown in [Table 3] In 'adjective + noun', it can be determined that there is a 'high-low' relationship. This is because the accent on ‘important’ is closer to that of a native speaker than ‘an’ or ‘impact’.
즉, 종합해보면, 상기 음계 결정부(440)는 상기 발화 정보인 (What happen)/(will have)/(an important impact.) 전체 문장을 상기 억양 정보를 기반으로 상기 발화 정보가 평가된 상기 제1 평가 정보가 레(레/미)/미(레/미)/레(미/레/미)로 추출할 수 있다.That is, in summary, the
다음으로, 상기 제2 평가부(500)는 상기 제1 평가 정보로부터 상기 발화 음성의 길이를 추출하고, 상기 발화 음성의 길이를 기반으로 상기 제1 평가 정보가 평가된 제2 평가 정보를 생성한다.Next, the
즉, 상기 제2 평가부(500)는 상기 제1 평가 정보에 포함된 임의의 구(phrase)를 대상으로 내부 배열이 명사, 단어순이면, 상기 명사는 0.5초의 음의 길이를 부여하고, 상기 단어는 (0.5/단어수)초의 음의 길이를 부여할 수 있다. 반대로, 상기 제2 평가부(500)는 상기 제1 평가 정보에 포함된 임의의 구(phrase)를 대상으로 내부 배열이 단어, 명사 순이면, 상기 단어는 (0.5/단어수)초의 음의 길이를 부여하고, 상기 명사는 0.5초의 음의 길이를 부여할 수 있다. 또한, 상기 제2 평가부(500)는 상기 제1 평가 정보에 포함된 임의의 구(phrase)가 동사구이면 주요 동사에 0.5초의 음의 길이를 부여할 수 있다.That is, if the internal arrangement of the arbitrary phrase included in the first evaluation information is in the order of nouns and words, the
예컨대, 상기 제2 평가부(500)는 상기 발화 정보인 (What happen)/(will have)/(an important impact.) 전체 문장에서 동사구는 ‘will have’ 이고, 주요 동사는 ‘have’이므로 0.5초의 음의 길이를 부여할 수 있고, 동사구의 나머지 단어는 1개이므로 (0.5초/1)하여, ‘will’에 0.5초의 음의 길이를 부여할 수 있다. 상기 ‘What happen’ 구(phrase)에서는 ‘What’은 대명사이므로 0.5초의 음의 길이를 부여할 수 있고, 해당 구(phrase)의 나머지 단어는 1개이므로 (0.5초/1)하여, ‘happen’에 0.5초의 음의 길이를 부여할 수 있다. 상기 ‘an important impact’ 구(phrase)에서는 ‘impact’는 명사이므로 0.5초의 음의 길이를 부여할 수 있고, 해당 구(phrase)의 나머지 단어는 2개이므로 (0.5초/2)하여, ‘an’과 ‘important’에 각각 0.25초의 음의 길이를 부여할 수 있다. For example, the
즉, 종합해보면, 상기 제2 평가부(500)는 상기 발화 정보인 (What happen)/(will have)/(an important impact.) 전체 문장을 상기 발화 음성의 길이를 기반으로 상기 제1 평가 정보가 평가된 제2 평가 정보인 레(레(0.5)/미(0.5))/미(레(0.5)/미(0.5))/레(미(0.25)/레(0.25)/미(0.5))로 추출할 수 있다.That is, in summary, the
다음으로, 상기 제3 평가부(600)는 상기 제2 평가 정보로부터 의미상 독립적 경계 유무를 판별하고, 상기 제2 평가 정보에 상기 의미상 독립적 경계 당 하나의 휴지구간이 추가된 제3 평가 정보를 생성한다. 하기 [표 4]를 보면, 상기 의미상 독립적인 경계는 쉼표, 마침표 후 절이나 문장이 끝나는 지점을 일컫는다. Next, the
(Pause)rest period
(Pause)
0.25초 미만0 seconds or more
less than 0.25 seconds
0.5초 미만0.25 seconds or more
less than 0.5 seconds
예컨대, 상기 제3 평가부(600)는 상기 발화 정보인 (What happen)/(will have)/(an important impact.) 전체 문장에서 상기 의미상 독립적인 경계가 ‘an important impact.’ 뒤에 발생하나, 단일 문장만 발화된 경우에는 휴지기간(Pause)이 추가되지 않고, 반면에 추가적인 문장이 덧붙여진다면 휴지기간(Pause)을 1 추가할 수 있다. For example, the
한편, 상기 제3 평가부(600)는 문장 전체의 주파수를 평활화하기 위해서 상기 음계 결정부(440)로부터 결정된 상대적인 상기 구간 음계 관계 및 단어 간 음계 관계를 절대값으로 전환한 후 상기 제3 평가 정보를 생성할 수 있다. 하기 [표 5]는 상대적 음계관계를 음계 절대값으로 표시한 것이다.Meanwhile, the
상기 [표 5]를 보면, 예컨대 상기 제3 평가부(600)는 상기 발화 정보인 (What happen)/(will have)/(an important impact.) 전체 문장이 추출된 상기 제2 평가 정보인 레(레(0.5)/미(0.5))/미(레(0.5)/미(0.5))/레(미(0.25)/레(0.25)/미(0.5))에 있어서, ‘What’을 ‘레’에서 기준이 되는 5를 음계 절대값으로 결정할 수 있고, ‘happen’을 ‘레’에서 ‘What’보다 높은 음계 절대값인 6으로 결정할 수 있다. Referring to [Table 5], for example, the
그리고 상기 제3 평가부(600)는 ‘will’을 ‘미’에서 기준이 되는 8을 음계 절대값으로 결정할 수 있고, ‘have’을 ‘미’에서 ‘will’보다 높은 음계 절대값인 9로 결정할 수 있다. In addition, the
그리고 상기 제3 평가부(600)는 ‘an’을 ‘레’에서 기준이 되는 5를 음계 절대값으로 결정할 수 있고, ‘important’를 ‘레’에서 ‘an’보다 높은 음계 절대값인 6로 결정할 수 있고, ‘impact’를 ‘레’에서 ‘important’보다 낮은 음계 절대값인 5로 결정할 수 있다. In addition, the
즉, 종합해보면, 상기 제3 평가부(600)는 상기 발화 정보인 (What happen)/(will have)/(an important impact.) 전체 문장을 휴지기간 및 음계 절대값이 포함된 상기 제3 평가 정보를 (5(0.5)/6(0.5))/(8(0.5)/9(0.5))/(5(0.25)/6(0.25)/5(0.5))로 추출할 수 있다.That is, in summary, the
다음으로, 상기 평가점수 제공부(700)는 상기 제3 평가 정보를 점수화하고, 피평가자에게 평가점수를 제공한다. 가장 바람직하게 상기 평가점수 제공부(700)는 통계적인 방법인 다중회귀분석(Multiple Regression)을 이용할 수 있다. 일반적으로 다중회귀분석(Multiple Regression)은 독립 변수(설명 변수)가 2개 이상인 경우를 분석 대상으로 하는 회귀 분석 방법 중 하나이다. Next, the evaluation
다시 말하면, 상기 평가점수 제공부(700)는 하기 [수학식 1]로 상기 제3 평가 정보를 점수화할 수 있다. In other words, the evaluation
여기서, x는 특징값 1 내지 특징값 5를 표시한 a, b, c, d, e일 수 있다. 상기 특징값 1은 제3 평가 정보 내 의미상 독립적인 경계를 표시하는 휴지기간(pause), 상기 특징값 2는 상기 음계 결정부(440)로부터 결정된 구(Phrase) 간 높낮이, 상기 특징값 3은 상기 음계 결정부(440)로부터 결정된 구(Phrase) 내 단어 간 높낮이, 상기 특징값 4는 상기 제2 평가부(500)로부터 결정된 음길이, 상기 특징값 5는 상기 제3 평가부(600)로부터 결정된 음계 절대값일 수 있다. 상기 
각각의 특징값에 있어서, 상기 
가장 바람직하게, 상기 평가점수 제공부(700)는 상기 [수학식 1]로 점수화된 상기 제3 평가 정보를 하기 [수학식 2]에 대입하여 최종적으로 평가점수를 도출할 수 있다.Most preferably, the evaluation
여기서, 상기 
그리고 상기 평가점수 제공부(700)는 가장 바람직하게 상기 
다음으로, 상기 인터페이스부(800)는 상기 문제 또는 평가점수 중 적어도 하나가 표시된다. 한편, 상기 인터페이스부(800)는 버튼부를 더 구비할 수 있고, 사용자의 외력에 의하여 상기 버튼부가 입력되면 피평가자에게 상기 문제를 다시 제공할 수 있다.Next, the
이에 따라, 본 발명은 평가 대상자의 발화가 원어민의 발화와 유사한 정도를 판단하고 적합한 피드백을 제공할 수 있고, 사람에 의한 평가 시 빈번히 발생하는 평가자 간 점수 편차를 크게 줄여 평가시험의 신뢰성을 높이고, 평가에 소요되는 시간 및 인력부담을 경감할 수 있을 효과가 있다.Accordingly, the present invention can determine the degree to which the subject's speech is similar to that of a native speaker and provide appropriate feedback, and greatly reduce the score deviation between evaluators, which occurs frequently during evaluation by humans, to increase the reliability of the evaluation test, It has the effect of reducing the time required for evaluation and the burden of manpower.
영어 발음 자동 평가 방법How to automatically evaluate English pronunciation
이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 2는 본 발명의 영어 발음 자동 평가 방법 흐름도이다. Hereinafter, an embodiment according to the present invention will be described in detail with reference to the accompanying drawings. 2 is a flowchart of an automatic evaluation method for English pronunciation of the present invention.
도 2를 보면, 본 발명의 영어 발음 자동 평가 시스템을 이용한 평가 서비스 제공 방법은 문제 전송단계(S100), 발화 음성 입력단계(S200), 발화 정보 생성단계(S300), 제1 평가단계(S400), 제2 평가단계(S500), 제3 평가단계(S600), 평가점수 제공단계(S700) 및 평가점수 표시단계(S800)를 포함한다.Referring to FIG. 2 , the method of providing an evaluation service using the automatic English pronunciation evaluation system of the present invention includes a problem transmission step (S100), a speech input step (S200), a speech information generation step (S300), and a first evaluation step (S400). , a second evaluation step (S500), a third evaluation step (S600), an evaluation score providing step (S700), and an evaluation score display step (S800).
보다 구체적으로, 문제 전송단계(S100)는 문제 제공부(100)에 의하여, 피평가자에게 문제가 표시되도록 인터페이스부(800)에 상기 문제가 전송된다. More specifically, in the problem sending step (S100), the problem is transmitted to the
즉. 상기 문제 전송단계(S100)로부터 상기 문제가 상기 인터페이스부(800)에 전송되면, 피평가자가 시각적으로 확인할 수 있도록 상기 인터페이스부(800)의 디스플레이에 표시될 수 있다. In other words. When the problem is transmitted to the
다음으로, 상기 발화 음성 입력단계(S200)는 발화 음성 입력부(200)에 의하여, 상기 인터페이스부(800)에 표시된 상기 문제에 따른 피평가자의 발화 음성이 입력된다. 상기 발화 음성 입력부(200)는 가장 바람직하게 유/무선 마이크, 헤드셋 등일 수 있다. 그리고 상기 발화 음성 입력단계(S200)는 피평가자의 음성이 기계에 인식될 수 있도록 아날로그 데이터가 디지털 데이터로 변환될 수 있다.Next, in the speech speech input step ( S200 ), the speech
다음으로, 상기 발화 정보 생성단계(S300)는 발화 정보 생성부(300)에 의하여, 음성인식 기술기반으로 상기 발화 음성이 음성열로 변환된 발화 정보가 생성된다.Next, in the utterance information generation step ( S300 ), the utterance information in which the uttered voice is converted into a voice sequence is generated by the utterance
일반적으로, 말하기 평가의 유형에 따라 음성을 텍스트로 전환하는 방식에는 낭독 발화 방식과 자유 발화 방식이 있다. 상기 낭독 발화 방식은 문제에 이미 텍스트가 주어지고 피평가자의 낭독 발화로부터 생성된 음성을 음성열로 변환하는 방식이므로 비교적 쉽게 전환이 이루어지는 반면, 자유 발화 방식은 정해진 텍스트 없이 피평가자의 자유로운 발화로부터 생성된 음성을 딥러닝 기술 기반의 음성열 추출 알고리즘을 이용하여 음성열로 변환하는 방식이므로 다소 복잡한 과정을 거쳐 전환이 이루어진다. 예컨대, 딥러닝 기술기반의 음향 모델링, 데이터기반 언어모델 및 비원어민 화자의 특성을 반영한 음성열 모델링 등이 포함될 수 있다. In general, a method of converting speech into text according to the type of speech evaluation includes a reading speech method and a free speech method. The read-out speech method is a method in which text is already given to the problem and the speech generated from the read speech of the subject is converted into a speech sequence, so the conversion is relatively easy, whereas the free speech method is a speech generated from the free speech of the subject without a fixed text As it is a method of converting into a voice sequence using a voice sequence extraction algorithm based on deep learning technology, the conversion takes place through a rather complicated process. For example, deep learning technology-based acoustic modeling, data-based language models, and voice heat modeling reflecting the characteristics of non-native speakers may be included.
가장 바람직하게, 본 발명은 자유 발화 방식임으로, 상기 문제 제공단계(S100)는 피평가자에게 기 저정된 텍스트를 낭독하는 문제가 제공되는 것이 아닌, 예컨대 그림이 문제로 제공될 수 있다. 상기 발화 음성 입력단계(S200)는 정해진 시간 동안 상기 그림을 묘사하는 피평가자의 발화 음성이 입력될 수 있다. 그리고 상기 발화 정보 생성단계(S300)는 음성열 추출 알고리즘이 이용되어 상기 발화 음성이 음성열로 변환된 발화 정보가 생성될 수 있다. 상기 음성열은 주파수 데이터와 텍스트 데이터가 모두 포함될 수 있다. Most preferably, since the present invention is a free speech method, in the problem providing step (S100), the problem of reading a preset text to the subject is not provided, for example, a picture may be provided as a problem. In the speech speech input step S200, the speech speech of the person to be evaluated describing the picture may be input for a predetermined time. In the speech information generating step ( S300 ), a speech sequence extraction algorithm may be used to generate speech information in which the speech speech is converted into a speech sequence. The voice sequence may include both frequency data and text data.
다음으로, 상기 제1 평가단계(S400)는 제1 평가부(400)에 의하여, 상기 발화 정보로부터 상기 발화 음성의 높낮이가 표시된 억양 정보가 추출되고, 상기 억양 정보가 기반이 되어 상기 발화 정보가 평가된 제1 평가 정보가 생성된다.Next, in the first evaluation step (S400), intonation information indicating the height of the spoken voice is extracted from the utterance information by the
상기 제1 평가단계(S400)는 상기 발화 정보로부터 상기 발화 음성의 높낮이를 표시한 억양 정보를 추출하기 위하여 단어 추출단계(S410), 단어간격 판별단계(S420), 발화 정보 집단화단계(S430) 및 음계 결정단계(S440)가 포함될 수 있다.The first evaluation step (S400) is a word extraction step (S410), a word interval determination step (S420), a speech information aggregation step (S430) and A scale determination step (S440) may be included.
상기 단어 추출단계(S410)는 상기 단어 추출부(410)에 의하여, 상기 발화 정보로부터 하나 이상의 단어가 추출될 수 있다. 상기 발화 정보는 하나 이상의 구, 절 또는 문장일 수 있고, 상기 하나 이상의 구, 절 또는 문장에는 하나 이상의 단어가 포함될 수 있다. 따라서 상기 하나 이상의 구, 절, 또는 문장에 포함된 하나 이상의 단어가 추출될 수 있다.In the word extraction step ( S410 ), one or more words may be extracted from the utterance information by the
다음으로, 상기 단어간격 판별단계(S420)는 상기 단어간격 판별부(420)에 의하여, 상기 하나 이상의 단어 간 간격인 단어간격이 판별될 수 있다. 상기 [표 1]을 보면, 상기 단어간격 판별단계(S420)는 상기 단어 추출단계(S410)로부터 추출된 하나 이상의 단어 중에서 임의의 단어가 기준이 되어 단어 간 간격이 0초 이상 ~ 0.25초 미만인 경우 음소 및 단어 사이인 것으로 판단되고, 단어 간 간격이 0.25초 이상 ~ 0.5초 미만인 경우 구(phrase) 사이인 것으로 판단되고, 단어 간 간격이 0.5초 이상인 경우 쉼표 및 마침표가 있는 문장 사이인 것으로 판단될 수 있다. Next, in the step of determining the word spacing ( S420 ), the word spacing that is the spacing between the one or more words may be determined by the word spacing determining
다음으로, 상기 발화 정보 집단화단계(S430)는 상기 발화 정보 집단화부(430)에 의하여, 상기 단어 추출단계(S410)로부터 추출된 하나 이상의 단어 중 서술부가 추출될 수 있다. 그리고 상기 서술부가 기준이 되어 상기 단어 추출단계(S410)로부터 추출된 상기 하나 이상의 단어가 구(phrase) 단위로 집단화될 수 있다. Next, in the utterance information aggregation step S430 , a predicate may be extracted from the one or more words extracted from the word extraction step S410 by the utterance
다시 말하면, 상기 발화 정보 집단화단계(S430)는 상기 서술부가 기준이 되어 상기 발화 정보 내 하나 이상의 단어들이 전반부 구(phrase), 주요동사부 구(phrase), 후반부 구(phrase)로 나눠질 수 있고, 각각의 구(phrase)에 포함된 단어들은 동일집단으로 판단되어 집단화될 수 있다. In other words, in the utterance information aggregation step (S430), the predicate is the standard, and one or more words in the utterance information can be divided into a first part phrase, a main verb phrase, and a second part phrase. , words included in each phrase may be grouped by being determined to be the same group.
다음으로, 상기 음계 결정단계(S440)는 상기 음계 결정부(440)에 의하여, 상기 발화 정보 집단화부(430)로부터 집단화된 임의의 구(phrase)와 서로 이웃하는 구(phrase)의 음계가 비교된 후 구간 음계 관계가 결정되고, 상기 구간 음계 관계가 결정된 각각의 구(phrase)에 포함된 단어 간 음계가 비교된 후 단어 간 음계 관계가 결정될 수 있다.Next, in the scale determining step (S440), the
상기 [표 2]를 보면, 상기 음계 결정단계(S440)는 상기 음계 결정부(440)에 기 저장된 품사 및 동사 정보가 바탕이 되어, 상기 서술부가 2형식동사인지, 아닌지가 확인될 수 있다. 그리고 상기 음계 결정단계(S440)는 상기 서술부가 2형식동사라면 상기 구간 음계 관계가 ‘미레미’일 수 있고, 문장의 말단을 일컫는 문미에 부사가 포함되면 상기 구간 음계 관계가 ‘미레미미’, 포함되지 않으면 ‘미레미’로 상기 발화 정보 집단화단계(S430)로부터 집단화된 구(phrase) 간 높낮이가 도출될 수 있다. 이는 상기 서술부가 2형식동사일 경우에는 보어 및 부사에 강세를 주어야하기 때문이다.Referring to [Table 2], the scale determining step (S440) is based on the part-of-speech and verb information previously stored in the
반면에, 상기 서술부가 2형식동사가 아니라면 구간 음계 관계가 ‘레미레’일 수 있고, 문미에 부사/보어가 포함되면 ‘레미레미’로 상기 발화 정보 집단화단계(S430)로부터 집단화된 구(phrase) 간 높낮이가 도출될 수 있다. 이는 상기 서술부가 2형식동사가 아닐 경우에는 타동사, 보어, 부사에 강세를 주어야하기 때문이다. On the other hand, if the predicate is not a two-form verb, the interval scale relationship may be 'remire', and if an adverb/bore is included in the end, the phrase grouped from the utterance information aggregation step (S430) into 'remiremi'. ) can be derived. This is because, when the above predicate is not a two-form verb, stress must be given to transitive verbs, complements, and adverbs.
또한, 상기 음계 결정단계(S440)는 상기 발화 정보 집단화단계(S430)로부터 집단화된 각각의 구(phrase)에 포함된 단어 간 음계가 결정될 수 있다. 상기 구(phrase)에 포함된 단어 간 음계 관계는 상기 [표 2]를 이용하여 보다 상세히 설명해본다. In addition, in the step of determining the scale ( S440 ), the scale between words included in each grouped phrase from the step of grouping the utterance information ( S430 ) may be determined. The scale relationship between words included in the phrase will be described in more detail using [Table 2].
우선, 상기 발화 정보가 ‘What happens will have an important impact.’ 이면, 상기 발화 정보 집단화단계(S430)는 상기 발화 정보가 (What happen)/(will have)/(an important impact.)와 같이 구(phrase) 단위로 집단화될 수 있다. First, if the utterance information is 'What happens will have an important impact.' (phrase) can be grouped into units.
다음에, 상기 음계 결정단계(S440)는 상기 서술부인 have가 기준이 되어 음계가 결정될 수 있다. have는 목적어를 갖는 타동사이고, 문미에 목적어 이외의 구(phrase)를 포함하지 않으므로, 상기 발화 정보인 (What happen)/(will have)/(an important impact.)는 상기 [표 2]에 따라 ‘레미레’로 구(phrase) 간 음계가 결정될 수 있다. Next, in the scale determining step (S440), the scale may be determined based on have, which is the predicate, as a reference. have is a transitive verb having an object, and does not include a phrase other than the object at the end, so the utterance information (What happen)/(will have)/(an important impact.) is according to [Table 2] above The scale between phrases can be determined with 'remire'.
또한, 상기 음계 결정단계(S440)는 상기 구(phrase)에 포함된 단어 간 음계 관계가 결정될 수 있다. 상기 [표 3]를 이용하여 보다 상세히 설명해본다. In addition, in the scale determining step ( S440 ), a scale relationship between words included in the phrase may be determined. It will be described in more detail using the above [Table 3].
예컨대, 상기 발화 정보인 (What happen)/(will have)/(an important impact.)에 있어서, 상기 음계 결정단계(S440)는 (What happen) 구(phrase)를 전체 문장으로 보면 ‘레’로 구간 음계 관계가 결정될 수 있고, 구(phrase) 내 각각의 단어는 상기 [표 3]에서 ‘단어+동사’에 포함되고, ‘낮음-높음’ 관계에 있다고 판단될 수 있다. 이는 ‘what’ 보다 ‘happen’ 에 악센트가 세게 들어가는 것이 원어민 억양에 더 가깝기 때문이다.For example, in the utterance information (What happen)/(will have)/(an important impact.), the scale determining step (S440) is a (What happen) phrase when viewed as a whole sentence as 're' An interval scale relationship may be determined, and each word in a phrase may be included in 'word + verb' in Table 3 above, and may be determined to have a 'low-high' relationship. This is because the accent on ‘happen’ is closer to that of a native speaker than ‘what’.
또한, 상기 음계 결정단계(S440)는 (will have) 구(phrase)를 전체 문장으로 보면 ‘미’로 음계가 결정될 수 있고, 구(phrase) 내 각각의 단어는 상기 [표 3]에서 ‘조동사+동사’에 포함되고, ‘낮음-높음’ 관계에 있다고 판단될 수 있다. 이는 ‘will’ 보다 ‘have’ 에 악센트가 세게 들어가는 것이 원어민 억양에 더 가깝기 때문이다. In addition, in the scale determining step (S440), when the (will have) phrase is viewed as a whole sentence, the scale can be determined as 'mi', and each word in the phrase is an 'auxiliary verb' in [Table 3]. It is included in '+verb' and can be judged to have a 'low-high' relationship. This is because a stronger accent on ‘have’ than on ‘will’ is closer to a native-speaking accent.
또한, 상기 음계 결정단계(S440)는 (an important impact) 구(phrase)를 전체 문장으로 보면 ‘레’로 구간 음계 관계가 결정될 수 있고, 구(phrase) 내 각각의 단어는 상기 [표 3]에서 ‘형용사+명사’에 포함되고, ‘높음-낮음’ 관계에 있다고 판단될 수 있다. 이는 ‘an’ 이나 ‘impact’ 보다 ‘important’ 에 악센트가 세게 들어가는 것이 원어민 억양에 더 가깝기 때문이다.In addition, in the scale determining step (S440), (an important impact) when the phrase is viewed as a whole sentence, the interval scale relationship can be determined as 're', and each word in the phrase is shown in [Table 3] It is included in 'adjective + noun' and can be judged to have a 'high-low' relationship. This is because the accent on ‘important’ is closer to that of a native speaker than ‘an’ or ‘impact’.
즉, 종합해보면, 상기 음계 결정단계(S440)는 상기 발화 정보인 (What happen)/(will have)/(an important impact.) 전체 문장을 상기 억양 정보가 기반이 되어 상기 발화 정보가 평가된 상기 제1 평가 정보가 레(레/미)/미(레/미)/레(미/레/미)로 추출될 수 있다.That is, in summary, the scale determining step (S440) is the entire sentence of the utterance information (What happen)/(will have)/(an important impact.), the intonation information is the basis, and the utterance information is evaluated. The first evaluation information may be extracted as re(re/mi)/mi(re/mi)/re(mi/re/mi).
다음으로, 상기 제2 평가단계(S500)는 상기 제2 평가부(500)에 의하여, 상기 제1 평가 정보로부터 상기 발화 음성의 길이가 추출되고, 상기 발화 음성의 길이가 기반이 되어 상기 제1 평가 정보가 평가된 제2 평가 정보가 생성된다.Next, in the second evaluation step (S500), the length of the spoken voice is extracted from the first evaluation information by the
즉, 상기 제2 평가단계(S500)는 상기 제1 평가 정보에 포함된 임의의 구(phrase)를 대상으로 내부 배열이 명사, 단어순이면, 상기 명사는 0.5초의 음의 길이가 부여되고, 상기 단어는 (0.5/단어수)초의 음의 길이가 부여될 수 있다. 반대로, 상기 제2 평가부(500)는 상기 제1 평가 정보에 포함된 임의의 구(phrase)를 대상으로 내부 배열이 단어, 명사 순이면, 상기 단어는 (0.5/단어수)초의 음의 길이가 부여되고, 상기 명사는 0.5초의 음의 길이가 부여될 수 있다. 또한, 상기 제2 평가부(500)는 상기 제1 평가 정보에 포함된 임의의 구(phrase)가 동사구이면 주요 동사에 0.5초의 음의 길이가 부여될 수 있다.That is, in the second evaluation step (S500), if the internal arrangement of an arbitrary phrase included in the first evaluation information is in the order of nouns and words, the noun is given a negative length of 0.5 seconds, and the Words can be given a note length of (0.5/word count) seconds. Conversely, if the internal arrangement of the arbitrary phrases included in the first evaluation information is in the order of words and nouns, the
예컨대, 상기 제2 평가단계(S500)는 상기 발화 정보인 (What happen)/(will have)/(an important impact.) 전체 문장에서 동사구는 ‘will have’ 이고, 주요 동사는 ‘have’이므로 0.5초의 음의 길이가 부여될 수 있고, 동사구의 나머지 단어는 1개이므로 (0.5초/1)하여, ‘will’에 0.5초의 음의 길이가 부여될 수 있다. 상기 ‘What happen’ 구(phrase)에서는 ‘What’은 대명사이므로 0.5초의 음의 길이가 부여될 수 있고, 해당 구(phrase)의 나머지 단어는 1개이므로 (0.5초/1)하여, ‘happen’에 0.5초의 음의 길이가 부여될 수 있다. 상기 ‘an important impact’ 구(phrase)에서는 ‘impact’는 명사이므로 0.5초의 음의 길이가 부여될 수 있고, 해당 구(phrase)의 나머지 단어는 2개이므로 (0.5초/2)하여, ‘an’과 ‘important’에 각각 0.25초의 음의 길이가 부여될 수 있다. For example, in the second evaluation step S500, the verb phrase is 'will have' and the main verb is 'have' in the entire sentence of the utterance information (What happen)/(will have)/(an important impact.) A note length of seconds can be given, and since there is one remaining word in the verb phrase (0.5 seconds/1), a note length of 0.5 seconds can be given to 'will'. In the 'What happen' phrase, 'What' is a pronoun, so a negative length of 0.5 seconds can be given, and since the remaining words of the phrase are one (0.5 seconds/1), 'happen' can be given a note length of 0.5 seconds. In the phrase 'an important impact', since 'impact' is a noun, a negative length of 0.5 seconds can be given, and since the remaining words of the phrase are two (0.5 seconds/2), 'an A note length of 0.25 seconds can be given to ' and 'important', respectively.
즉, 종합해보면, 상기 제2 평가단계(S500)는 상기 발화 정보인 (What happen)/(will have)/(an important impact.) 전체 문장이 상기 발화 음성의 길이가 기반이 되어 상기 제1 평가 정보가 평가된 제2 평가 정보인 레(레(0.5)/미(0.5))/미(레(0.5)/미(0.5))/레(미(0.25)/레(0.25)/미(0.5))로 추출될 수 있다.That is, in summary, in the second evaluation step S500, the entire sentence, which is the utterance information (What happen)/(will have)/(an important impact.), is based on the length of the uttered voice, so that the first evaluation The second evaluation information for which the information was evaluated, Re(Le(0.5)/Mi(0.5))/Mi(Le(0.5)/Mi(0.5))/Re(Mi(0.25)/Re(0.25)/Mi(0.5) )) can be extracted.
다음으로, 상기 제3 평가단계(S600)는 상기 제3 평가부(600)에 의하여, 상기 제2 평가 정보로부터 의미상 독립적 경계 유무가 판별되고, 상기 제2 평가 정보에 상기 의미상 독립적 경계 당 하나의 휴지구간이 추가된 제3 평가 정보가 생성된다. 상기 [표 4]를 보면, 상기 의미상 독립적인 경계는 쉼표, 마침표 후 절이나 문장이 끝나는 지점을 일컫는다. Next, in the third evaluation step (S600), the presence or absence of a semantically independent boundary is determined from the second evaluation information by the
예컨대, 상기 제3 평가단계(S600)는 상기 제3 평가부(600)에 의하여, 상기 발화 정보인 (What happen)/(will have)/(an important impact.) 전체 문장에서 상기 의미상 독립적인 경계가 ‘an important impact.’ 뒤에 발생되나, 단일 문장만 발화된 경우에는 휴지기간(Pause)이 추가되지 않고, 반면에 추가적인 문장이 덧붙여진다면 휴지기간(Pause)이 1 추가될 수 있다. For example, the third evaluation step (S600) is, by the
한편, 상기 제3 평가단계(S600)는 상기 제3 평가부(600)에 의하여, 문장 전체의 주파수가 평활화되기 위해서 상기 음계 결정부(440)로부터 결정된 상대적인 상기 구간 음계 관계 및 단어 간 음계 관계가 절대값으로 전환된 후 상기 제3 평가 정보가 생성될 수 있다. Meanwhile, in the third evaluation step (S600), the relative interval scale relation and the inter-word scale relation determined by the
상기 [표 5]를 보면, 예컨대, 상기 제3 평가단계(S600)는 상기 발화 정보인 (What happen)/(will have)/(an important impact.) 전체 문장이 추출된 상기 제2 평가 정보인 레(레(0.5)/미(0.5))/미(레(0.5)/미(0.5))/레(미(0.25)/레(0.25)/미(0.5))에 있어서, ‘What’을 ‘레’에서 기준이 되는 5가 음계 절대값으로 결정될 수 있고, ‘happen’이 ‘레’에서 ‘What’보다 높은 음계 절대값인 6으로 결정될 수 있다. Referring to Table 5, for example, the third evaluation step (S600) is the second evaluation information from which the entire sentence of the utterance information (What happen)/(will have)/(an important impact.) is extracted. In Re(Le(0.5)/Mi(0.5))/Mi(Le(0.5)/Mi(0.5))/Re(Mi(0.25)/Le(0.25)/Mi(0.5)), ‘What’ is In 'Re', 5 may be determined as an absolute scale value, and 'happen' may be determined as a scale absolute value 6, which is higher than 'What' in 'Re'.
그리고 상기 제3 평가단계(S600)는 ‘will’이 ‘미’에서 기준이 되는 8이 음계 절대값으로 결정될 수 있고, ‘have’가 ‘미’에서 ‘will’보다 높은 음계 절대값인 9로 결정될 수 있다. And, in the third evaluation step (S600), 'will' may be determined as the absolute scale value of 8 in 'mi', and 'have' is set to 9, which is a scale absolute value higher than 'will' in 'mi'. can be decided.
그리고 상기 제3 평가단계(S600)는 ‘an’이 ‘레’에서 기준이 되는 5가 음계 절대값으로 결정될 수 있고, ‘important’가 ‘레’에서 ‘an’보다 높은 음계 절대값인 6으로 결정될 수 있고, ‘impact’가 ‘레’에서 ‘important’보다 낮은 음계 절대값인 5로 결정될 수 있다. And in the third evaluation step (S600), 'an' may be determined as an absolute value of a 5-scale scale that is a reference in 'Le', and 'important' is set to 6, which is an absolute value of a scale higher than that of 'an' in 'Re'. may be determined, and 'impact' may be determined to be 5, which is an absolute value lower than 'important' in 're'.
즉, 종합해보면, 상기 제3 평가단계(S600)는 상기 발화 정보인 (What happen)/(will have)/(an important impact.) 전체 문장이 휴지기간 및 음계 절대값이 포함된 상기 제3 평가 정보가 (5(0.5)/6(0.5))/(8(0.5)/9(0.5))/(5(0.25)/6(0.25)/5(0.5))로 추출될 수 있다.That is, in summary, in the third evaluation step S600, the entire sentence, which is the utterance information (What happen)/(will have)/(an important impact.), includes a pause period and an absolute value of the scale. The information can be extracted as (5(0.5)/6(0.5))/(8(0.5)/9(0.5))/(5(0.25)/6(0.25)/5(0.5)).
다음으로, 상기 평가점수 제공단계(S700)는 상기 평가점수 제공부(700)에 의하여, 상기 제3 평가 정보가 점수화되고, 피평가자에게 평가점수가 제공된다. 상기 평가점수 제공단계(S700)는 통계적인 방법인 다중회귀분석(Multiple Regression)이 이용될 수 있다. 일반적으로 다중회귀분석(Multiple Regression)은 독립 변수(설명 변수)가 2개 이상인 경우를 분석 대상으로 하는 회귀 분석 방법 중 하나이다. Next, in the step of providing the evaluation score ( S700 ), the third evaluation information is scored by the evaluation
다시 말하면, 상기 평가점수 제공단계(S700)는 상기 [수학식 1]로 상기 제3 평가 정보가 점수화될 수 있다. In other words, in the step of providing the evaluation score ( S700 ), the third evaluation information may be scored by Equation 1 above.
여기서, x는 특징값 1 내지 특징값 5를 표시한 a, b, c, d, e일 수 있다. 상기 특징값 1은 제3 평가 정보 내 의미상 독립적인 경계를 표시하는 휴지기간(pause), 상기 특징값 2는 상기 음계 결정단계(S440)로부터 결정된 구(Phrase) 간 높낮이, 상기 특징값 3은 상기 음계 결정단계(S440)로부터 결정된 구(Phrase) 내 단어 간 높낮이, 상기 특징값 4는 상기 제2 평가단계(S500)로부터 결정된 음길이, 상기 특징값 5는 상기 제3 평가단계(S600)로부터 결정된 음계 절대값일 수 있다. 상기 
각각의 특징값에 있어서, 상기 
가장 바람직하게, 상기 평가점수 제공단계(S700)는 상기 [수학식 1]로 점수화된 상기 제3 평가 정보가 상기 [수학식 2]에 대입되어 최종적으로 평가점수가 도출될 수 있다. Most preferably, in the step of providing the evaluation score ( S700 ), the third evaluation information scored by the [Equation 1] may be substituted into the [Equation 2] to finally derive the evaluation score.
여기서, 상기 
그리고 상기 평가점수 제공단계(S700)는 가장 바람직하게 상기 
다음으로, 상기 평가점수 표시단계(S800)는 상기 인터페이스부(800)에 의하여, 상기 평가점수 도출부(700)로부터 전송받은 상기 평가점수가 표시된다. 즉, 상기 평가점수 표시단계(S800)는 피평가자에게 상기 평가점수 제공단계(S700)로부터 부여된 상기 
이에 따라, 본 발명은 평가 대상자의 발화가 원어민의 발화와 유사한 정도가 판단된 후 적합한 피드백이 제공될 수 있고, 사람에 의한 평가 시 빈번히 발생하는 평가자 간 점수 편차가 크게 줄어 평가시험의 신뢰성이 높아지고, 평가에 소요되는 시간 및 인력부담이 경감되는 효과가 있다.Accordingly, according to the present invention, appropriate feedback can be provided after determining that the subject's speech is similar to that of a native speaker, and the score deviation between evaluators that occurs frequently during evaluation by humans is greatly reduced, thereby increasing the reliability of the evaluation test. However, it has the effect of reducing the time required for evaluation and the burden of manpower.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible from the above description by those skilled in the art. For example, the described techniques are performed in an order different from the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.
그러므로 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims also fall within the scope of the following claims.
100.. 문제 제공부
200.. 발화 음성 입력부
300.. 발화 정보 생성부
400.. 제1 평가부
410.. 단어 추출부
420.. 단어간격 판별부
430.. 발화 정보 집단화부
440.. 음계 결정부
500.. 제2 평가부
600.. 제3 평가부
700.. 평가점수 제공부
800.. 인터페이스부100.. Problem Provision Department
200. Speech voice input
300.. Speech information generation unit
400.. First Evaluation Division
410. Word Extraction Unit
420. Word Spacing Determination Unit
430. Speech information aggregation unit
440.. Scale Determination Section
500.. 2nd Evaluation Division
600.. 3rd Evaluation Division
700.. Evaluation point provider
800.. Interface
Claims (5)
상기 문제에 따른 피평가자의 발화 음성을 입력받는 발화 음성 입력부;
음성인식 기술기반으로 상기 발화 음성을 음성열로 변환한 발화 정보를 생성하는 발화 정보 생성부;
상기 발화 정보로부터 상기 발화 음성의 높낮이를 표시한 억양 정보를 추출하고, 상기 억양 정보를 기반으로 상기 발화 정보가 평가된 제1 평가 정보를 생성하는 제1 평가부;
상기 제1 평가 정보로부터 상기 발화 음성의 길이를 추출하고, 상기 발화 음성의 길이를 기반으로 상기 제1 평가 정보가 평가된 제2 평가 정보를 생성하는 제2 평가부;
상기 제2 평가 정보로부터 의미상 독립적 경계 유무를 판별하고 상기 제2 평가 정보에 상기 의미상 독립적 경계 당 하나의 휴지구간(pause)이 추가된 제3 평가 정보를 생성하는 제3 평가부;
상기 제3 평가 정보를 점수화하고, 피평가자에게 평가점수를 제공하는 평가점수 제공부; 및
상기 문제 또는 평가점수 중 적어도 하나가 표시되는 인터페이스부;를 포함하는 영어 발음 자동 평가 시스템.a problem providing unit that provides problems to the evaluated;
an uttered voice input unit for receiving the uttered voice of the person to be evaluated according to the above problem;
a speech information generation unit for generating speech information obtained by converting the speech speech into speech heat based on speech recognition technology;
a first evaluation unit extracting intonation information indicating the height of the spoken voice from the utterance information and generating first evaluation information in which the utterance information is evaluated based on the intonation information;
a second evaluation unit extracting a length of the spoken voice from the first evaluation information and generating second evaluation information in which the first evaluation information is evaluated based on the length of the spoken voice;
a third evaluation unit that determines whether there is a semantically independent boundary from the second evaluation information and generates third evaluation information in which one pause per semantically independent boundary is added to the second evaluation information;
an evaluation score providing unit for scoring the third evaluation information and providing an evaluation score to the evaluated; and
An automatic English pronunciation evaluation system comprising a; an interface unit for displaying at least one of the problem or the evaluation score.
상기 제1 평가부는,
상기 발화 정보로부터 하나 이상의 단어를 추출하는 단어 추출부;
상기 하나 이상의 단어 간 간격인 단어간격을 판별하는 단어간격 판별부;
상기 단어 추출부로부터 추출된 하나 이상의 단어 중에서 서술부를 기준으로 상기 하나 이상의 단어를 구(phrase) 단위로 집단화하는 발화 정보 집단화부; 및
상기 발화 정보 집단화부로부터 집단화된 임의의 구(phrase)와 서로 이웃하는 구(phrase)의 음계를 비교한 후 구간 음계 관계를 결정하고, 상기 구간 음계 관계가 결정된 각각의 구(phrase)에 포함된 단어 간 음계를 비교한 후 단어 간 음계 관계를 결정하는 음계 결정부;를 포함하는 영어 발음 자동 평가 시스템.The method of claim 1,
The first evaluation unit,
a word extraction unit for extracting one or more words from the utterance information;
a word spacing determining unit that determines a word spacing that is an interval between the one or more words;
an utterance information grouping unit for grouping the one or more words in a phrase unit based on the predicate among the one or more words extracted from the word extracting unit; and
After comparing the scales of an arbitrary phrase grouped by the utterance information aggregation unit with the neighboring phrases, the interval scale relationship is determined, and the interval scale relationship is included in each of the determined phrases. English pronunciation automatic evaluation system comprising; a scale determining unit that compares the scales between words and determines the scale relationship between words.
상기 제3 평가부는,
상기 음계 결정부로부터 결정된 상기 구간 음계 관계 및 단어 간 음계 관계를 절대값으로 전환한 후 상기 제3 평가 정보를 생성하는 것을 특징으로 하는 것을 특징으로 하는 영어 발음 자동 평가 시스템. 3. The method of claim 2,
The third evaluation unit,
and generating the third evaluation information after converting the interval scale relationship and the scale relationship between words determined by the scale determining unit into absolute values.
상기 평가점수 제공부는,
하기 [수학식 1]로 상기 제3 평가 정보를 점수화하고, 점수화된 상기 제3 평가 정보를 모두 더한 값을 평가점수로 도출하는 것을 특징으로 하는 영어 발음 자동 평가 시스템.
[수학식 1]
여기서, 상기
The evaluation score providing unit,
An automatic evaluation system for English pronunciation, characterized in that the third evaluation information is scored by the following [Equation 1], and a value obtained by adding all of the scored third evaluation information is deduced as an evaluation score.
[Equation 1]
Here, the
발화 음성 입력부에 의하여, 상기 인터페이스부에 표시된 상기 문제에 따른 피평가자의 발화 음성이 입력되는 발화 음성 입력단계;
발화 정보 생성부에 의하여, 음성인식 기술기반으로 상기 발화 음성이 음성열로 변환된 발화 정보가 생성되는 발화 정보 생성단계;
제1 평가부에 의하여, 상기 발화 정보로부터 상기 발화 음성의 높낮이가 표시된 억양 정보가 추출되고, 상기 억양 정보가 기반이 되어 상기 발화 정보가 평가된 제1 평가 정보가 생성되는 제1 평가단계;
제2 평가부에 의하여, 상기 제1 평가 정보로부터 상기 발화 음성의 길이가 추출되고, 상기 발화 음성의 길이가 기반이 되어 상기 제1 평가 정보가 평가된 제2 평가 정보가 생성되는 제2 평가단계;
제3 평가부에 의하여, 상기 제2 평가 정보로부터 의미상 독립적 경계 유무가 판별되고, 상기 제2 평가 정보에 상기 의미상 독립적 경계 당 하나의 휴지구간(pause)이 추가된 제3 평가 정보가 생성되는 제3 평가단계;
평가점수 제공부에 의하여, 상기 제3 평가 정보가 점수화되고, 피평가자에게 평가점수가 제공되는 평가점수 제공단계; 및
인터페이스부에 의하여, 상기 평가점수가 표시되는 평가점수 표시단계;를 포함하는 영어 발음 자동 평가 방법. a problem sending step in which the problem is transmitted to the interface unit so that the problem is displayed to the examinee by the problem providing unit;
an uttered voice input step of inputting, by the uttered voice input unit, the uttered voice of the person to be evaluated according to the problem displayed on the interface unit;
an utterance information generation step of generating, by the utterance information generating unit, utterance information in which the uttered voice is converted into a voice sequence based on a voice recognition technology;
a first evaluation step of extracting, by the first evaluation unit, intonation information indicating the height of the spoken voice from the utterance information, and generating first evaluation information on which the utterance information is evaluated based on the intonation information;
a second evaluation step in which, by the second evaluation unit, the length of the spoken voice is extracted from the first evaluation information, and the length of the spoken voice is used as a basis to generate second evaluation information in which the first evaluation information is evaluated ;
The third evaluation unit determines whether there is a semantically independent boundary from the second evaluation information, and generates third evaluation information in which one pause per semantically independent boundary is added to the second evaluation information a third evaluation step to be;
an evaluation score providing step in which the third evaluation information is scored by the evaluation score providing unit and the evaluation score is provided to the evaluated; and
The automatic evaluation method for English pronunciation including; an evaluation score display step in which the evaluation score is displayed by the interface unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200177162A KR102416000B1 (en) | 2020-12-17 | 2020-12-17 | English pronunciation automatic evaluation system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200177162A KR102416000B1 (en) | 2020-12-17 | 2020-12-17 | English pronunciation automatic evaluation system and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220086923A true KR20220086923A (en) | 2022-06-24 |
| KR102416000B1 KR102416000B1 (en) | 2022-06-30 |
Family
ID=82214893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200177162A KR102416000B1 (en) | 2020-12-17 | 2020-12-17 | English pronunciation automatic evaluation system and method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102416000B1 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110024624A (en) * | 2009-09-02 | 2011-03-09 | 주식회사 케이티 | System and method for evaluating foreign language pronunciation |
| KR101318377B1 (en) | 2012-09-17 | 2013-10-16 | 비전워크코리아(주) | System for evaluating foreign language speaking through on-line |
| KR101460447B1 (en) * | 2013-07-25 | 2014-11-12 | 포항공과대학교 산학협력단 | Apparatus of learning intonations for learning foreign language and method thereof |
| KR20170108622A (en) * | 2016-03-18 | 2017-09-27 | 한국전자통신연구원 | Apparatus and method for rating prosody and fluency of english talk |
| KR20180048136A (en) * | 2016-11-02 | 2018-05-10 | 한국전자통신연구원 | Method for pronunciation assessment and system using the method |
| KR101959080B1 (en) * | 2017-10-13 | 2019-07-04 | 주식회사 하얀마인드 | Apparatus and method for evaluating linguistic performance based on silence interval |
| KR20200088073A (en) | 2019-01-14 | 2020-07-22 | 김주혁 | English speaking evaluation system and method thereof |
-
2020
- 2020-12-17 KR KR1020200177162A patent/KR102416000B1/en active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110024624A (en) * | 2009-09-02 | 2011-03-09 | 주식회사 케이티 | System and method for evaluating foreign language pronunciation |
| KR101318377B1 (en) | 2012-09-17 | 2013-10-16 | 비전워크코리아(주) | System for evaluating foreign language speaking through on-line |
| KR101460447B1 (en) * | 2013-07-25 | 2014-11-12 | 포항공과대학교 산학협력단 | Apparatus of learning intonations for learning foreign language and method thereof |
| KR20170108622A (en) * | 2016-03-18 | 2017-09-27 | 한국전자통신연구원 | Apparatus and method for rating prosody and fluency of english talk |
| KR20180048136A (en) * | 2016-11-02 | 2018-05-10 | 한국전자통신연구원 | Method for pronunciation assessment and system using the method |
| KR101959080B1 (en) * | 2017-10-13 | 2019-07-04 | 주식회사 하얀마인드 | Apparatus and method for evaluating linguistic performance based on silence interval |
| KR20200088073A (en) | 2019-01-14 | 2020-07-22 | 김주혁 | English speaking evaluation system and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102416000B1 (en) | 2022-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10217464B2 (en) | Vocabulary generation system | |
| KR102191425B1 (en) | Apparatus and method for learning foreign language based on interactive character | |
| US7860705B2 (en) | Methods and apparatus for context adaptation of speech-to-speech translation systems | |
| US5752227A (en) | Method and arrangement for speech to text conversion | |
| US8204747B2 (en) | Emotion recognition apparatus | |
| US10861458B2 (en) | Response sentence generation apparatus, method and program, and voice interaction system | |
| US20040215456A1 (en) | Two-way speech recognition and dialect system | |
| Anderson et al. | Recognition of elderly speech and voice-driven document retrieval | |
| KR20160008949A (en) | Apparatus and method for foreign language learning based on spoken dialogue | |
| JP2007148039A (en) | Speech translation device and speech translation method | |
| US9805740B2 (en) | Language analysis based on word-selection, and language analysis apparatus | |
| JP2013025648A (en) | Interaction device, interaction method and interaction program | |
| Seljan et al. | Combined automatic speech recognition and machine translation in business correspondence domain for english-croatian | |
| KR102288797B1 (en) | Cognitive test system | |
| JP2006208644A (en) | Server system and method for measuring linguistic speaking ability | |
| KR20180022156A (en) | Dialog management apparatus and method | |
| Amrouche et al. | Design and Implementation of a Diacritic Arabic Text-To-Speech System. | |
| KR102416000B1 (en) | English pronunciation automatic evaluation system and method | |
| KR101188982B1 (en) | Stress studying system and method for studying foreign language | |
| Gibson et al. | Polysyllabic shortening in speakers exposed to two languages | |
| CN109918651B (en) | Synonym part-of-speech template acquisition method and device | |
| KR101004940B1 (en) | Method for evaluating spoken ability through computer-lead speech recognition | |
| NO318112B1 (en) | Speech-to-speech conversion system and method | |
| KR101775865B1 (en) | Method and apparatus for training languages | |
| Ykhlef et al. | Towards building an emotional speech corpus of Algerian dialect: criteria and preliminary assessment results |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |