KR20160115041A - 음성인식 기반의 발음 학습 장치 및 학습 방법 - Google Patents

음성인식 기반의 발음 학습 장치 및 학습 방법 Download PDF

Info

Publication number
KR20160115041A
KR20160115041A KR1020150041698A KR20150041698A KR20160115041A KR 20160115041 A KR20160115041 A KR 20160115041A KR 1020150041698 A KR1020150041698 A KR 1020150041698A KR 20150041698 A KR20150041698 A KR 20150041698A KR 20160115041 A KR20160115041 A KR 20160115041A
Authority
KR
South Korea
Prior art keywords
pronunciation
learner
native
speech
learning
Prior art date
Application number
KR1020150041698A
Other languages
English (en)
Inventor
오유리
정의석
전형배
박전규
이윤근
이윤경
강점자
정호영
이성주
최우용
강병옥
김현우
훈 정
송화전
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150041698A priority Critical patent/KR20160115041A/ko
Publication of KR20160115041A publication Critical patent/KR20160115041A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명에 따른 음성인식 기반의 발음 학습 장치는 비원어민 학습자의 발음 오류를 반영한 멀티미디어 강의 콘텐츠를 제공하고, 말하기 연습을 위한 발성 스크립트를 제공하는 강의 콘텐츠 제공부, 발성 스크립트를 제공받은 비원어민 학습자의 학습자 음성 신호를 수신하고, 수신된 학습자 음성 신호 인식을 통해 인식된 음성 정보를 생성하는 음성 인식부 및 발성 스크립트 및 인식된 음성 정보에 기초하여 발음 평가 피드백 정보를 생성하는 발음 평가부를 포함한다.

Description

음성인식 기반의 발음 학습 장치 및 학습 방법{APPARATUS AND METHOD FOR PRONUNCIATION}
본 발명은 언어학습에 관한 기술로서, 보다 상세하게는 음성인식 기술을 이용한 발음 학습에 관한 기술이다.
현대 사회의 국제화 추세에 따라 과거보다 외국어에 대한 관심이 점차 커지고 있다. 이와 같은 시대 흐름에 대응하여 외국어 학습과 관련된 다양한 어학용 응용프로그램이 개발되고 있다. 그리고, 최근 들어 음성인식 기술이 발전하면서, 음성인식 기술을 이용한 자가 언어학습을 위한 응용프로그램들이 개발되고 있다. 이와 같이 음성인식 기술을 이용한 언어학습 프로그램들은 사용자의 음성 입력을 인식하여 설정된 음성과 비교하여 일치하는지를 비교하여 결과를 제공하여 사용자에게 보다 높은 학습 효과를 제공할 수 있다. 하지만, 종래의 음성인식을 이용한 학습 기술은 단순히 음성인식을 통해 사용자의 음성을 인식하여 비교할 뿐, 학습자의 발음을 교정하는 학습 방법을 제공하지 못한다.
대한민국 등록특허 제10-0997255호
본 발명이 해결하고자 하는 과제는 비원어민 학습자의 발음 학습을 위한 말하기 연습 중심의 교육 서비스를 제공하고, 음성인식 기반 말하기 연습을 통해 학습자의 발음을 스스로 교정할 수 있는 음성인식 기반의 발음 학습 장치를 제공하는 것이다.
본 발명에 따른 음성인식 기반의 발음 학습 장치는 비원어민 학습자의 발음 오류를 반영한 멀티미디어 강의 콘텐츠를 제공하고, 말하기 연습을 위한 발성 스크립트를 제공하는 강의 콘텐츠 제공부, 발성 스크립트를 제공받은 비원어민 학습자의 학습자 음성 신호를 수신하고, 수신된 학습자 음성 신호 인식을 통해 인식된 음성 정보를 생성하는 음성 인식부 및 발성 스크립트 및 인식된 음성 정보에 기초하여 발음 평가 피드백 정보를 생성하는 발음 평가부를 포함한다.
강의 콘텐츠 제공부는 비원어민 학습자가 오류를 범하기 쉬운 조음현상 발음에 대한 학습 콘텐츠를 포함하는 멀티미디어 강의를 비원어민 학습자에게 제공한다. 그리고, 강의 콘텐츠 제공부는 비원어민 학습자가 모국어의 영향으로 범하게 되는 발음 오류의 특성에 대한 설명 및 원어민과 같이 발음하기 위한 방법에 대한 설명을 포함하는 멀티미디어 강의를 비원어민 학습자에게 제공한다.
발음 평가부는 비원어민 발성 특성 정보를 이용하여 발성 스크립트와 상기 인식된 음성 정보를 비교하고, 비교 결과에 따라 비원어민 학습자의 학습자 음성이 정상 발음 인지 여부를 판단할 수 있다. 강의 콘텐츠 제공부는 발음 평가부의 피드백 정보에 기초하여 비원어민 학습자에게 발음 평가 및 결과를 제공한다. 이 과정에서, 강의 콘텐츠 제공부는 피드백 정보에 따라 정상 발음이라고 판단되면, 비원어민 학습자에게 발화 성공을 알리고, 콘텐츠의 다른 단어 또는 문장 학습을 유도할 수 있다. 반면에, 강의 콘텐츠 제공부는 피드백 정보에 따라 정상 발음이 아니라고 판단되면, 비원어민 학습자에게 피드백 정보에 기초하여 개선 가능한 방법을 제시하고, 동일한 단어 또는 문장을 다시 연습하도록 유도할 수 있다.
본 발명에 따른 음성인식 기반의 발음 학습 방법은 먼저, 비원어민 학습자로부터 학습할 발음을 선택 받고, 선택된 발음에 대해 비원어민 학습자의 발음 오류를 반영한 멀티미디어 강의 콘텐츠를 제공한다. 멀티미디어 콘텐츠를 제공한 후, 말하기 연습을 위한 발성 스크립트를 비원어민 학습자에게 제공한다. 비원어민 학습자가 제공된 발성 스크립트를 읽고 발성하면, 비원어민 학습자의 학습자 음성 신호 인식을 통해 인식된 음성 정보를 생성하고, 발성 스크립트 및 인식된 음성 정보에 기초하여 발음 평가 피드백 정보를 생성한다. 그리고. 피드백 정보에 따라 발음 평가 및 결과를 제공한다. 여기서, 멀티미디어 강의 콘텐츠를 제공하는 단계는 비원어민 학습자가 모국어의 영향으로 범하게 되는 발음 오류의 특성에 대한 설명 및 원어민과 같이 발음하기 위한 방법에 대한 설명을 포함하는 멀티미디어 강의를 비원어민 학습자에게 제공한다.
발음 평가 및 결과를 제공하는 단계는 피드백 정보에 따라 정상 발음이라고 판단되면, 비원어민 학습자에게 발화 성공을 알리고, 콘텐츠의 다른 단어 또는 문장 학습을 유도할 수 있다. 반면에, 피드백 정보에 따라 정상 발음이 아니라고 판단되면, 비원어민 학습자에게 상기 피드백 정보에 기초하여 개선 가능한 방법을 제시하고, 동일한 단어 또는 문장을 다시 연습하도록 유도할 수 있다.
본 발명에 따른 음성인식 기반의 발음 학습 장치 및 학습 방법은 비원어민 학습자의 발음 특징에 특화된 강의 및 콘텐트 제공을 통하여 학습자의 발음 오류를 스스로 인지하고, 반복된 말하기 연습 및 피드백 제공을 통해 학습자 스스로 발음을 교정하는 효과를 제공한다.
도 1은 본 발명에 따른 음성인식 기반의 발음 학습 장치(100)의 일 실시예를 나타내는 구성도이다.
도 2는 본 발명의 일 실시예에 따른 음성인식 기반의 발음 학습 장치(100)의 발음 학습 과정을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 음성인식 기반의 발음 학습 장치(100)의 발음 학습 콘텐츠를 나타내는 구성도이다.
도 4는 본 발명의 일 실시예에 따른 음성인식 기반의 발음 학습 장치(100)의 발음 평과 및 결과 제공 과정을 나타내는 도면이다.
이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 상세하게 설명한다. 본 명세서에서 사용되는 용어 및 단어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 발명의 의도 또는 관례 등에 따라 달라질 수 있다. 따라서 후술하는 실시예에서 사용된 용어는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
도 1은 본 발명에 따른 음성인식 기반의 발음 학습 장치(100)의 일 실시예를 나타내는 구성도이다.
도 1을 참조하면, 본 발명에 따른 음성인식 기반의 발음 학습 장치(100)는 강의 콘텐츠 제공부(110), 음성 인식부(120) 및 발음 평가부(130)를 포함한다. 음성인식 기반의 발음 학습 장치(100)는 비원어민 학습자(10)의 특성을 반영한 발음 학습 콘텐츠를 바탕으로 진행되는 발음 학습 방법이다.
강의 콘텐츠 제공부(110)는 비원어민 학습자(10)의 발음 오류 특성을 파악할 수 있는 발음 학습 콘텐츠를 제공한다. 비원어민 학습자(10)의 발음 오류 특성은 학습자고자 하는 대상 언어와 비원어민 학습자(10)의 언어(모국어) 사이의 차이에 따른 특성이다. 예를 들어, 비원어민 학습자(10)인 한국인이 영어(대상 언어)를 학습하는 경우, 두 언어 사이의 발음 특성 차이가 발생할 수 있다. 영어 발음 /b/의 경우 한국어 /ㅂ/ 발음으로 잘못 발음할 수 있다. 영어 발음 /b/는 유성음인 반면, 한국어 발음 /ㅂ/는 무성음이기 때문에, 한국 지명 '부산'이 영어 원어민에게는 '푸산'과 유사하게 들릴 수 있다, 그러므로, 한국인이 발화한 /b/ 발음을 영어 원어민은 영어 무성음 발음 /p/로 인지하는 경우가 발생할 수 있다. 발음 오류 특성은 이와 같은 언어 차이에 의해 발생하는 발음 오류에 대한 특성을 나타낸다.
발음 학습 콘텐츠는 학습하는 언어를 구성하는 음소 발음, 비원어민 학습자(10)가 오류를 범하기 쉬운 조음현상 발음 등에 대한 학습 콘텐츠로 구성되어 있으며, 각 학습 발음에 대해 비원어민 학습자(10)의 발음 오류 정보를 포함하는 멀티미디어 강의 자료 및 학습 발음을 포함하는 단어, 문장에 대한 원어민 음성, 해석, 발음 자료를 포함할 수 있다.
강의 콘텐츠 제공부(110)는 발음 학습 콘텐츠를 사용하여 비원어민 학습자(10)의 발음 오류를 반영한 멀티미디어 강의를 학습자(10)에게 제공할 수 있다. 발음 학습 콘텐츠는 비원어민 학습자(10)가 모국어의 영향으로 범하게 되는 발음 오류의 특성에 대한 설명과 원어민과 같이 발음하기 위한 방법에 대한 설명을 학습자(10)에게 제공할 수 있다.
그리고, 강의 콘텐츠 제공부(110)는 발음 학습 콘텐츠에 기반한 멀티미디어 강의를 학습자(10)에게 제공한 후, 말하기 연습을 위한 발성 스크립트를 통해 학습자(10)에게 말하기 학습 콘텐츠를 제공한다. 말하기 학습 콘텐츠는 학습 발음 자체에 대한 말하기 연습, 학습 발음을 포함하는 단어에 대한 말하기 연습, 학습 발음을 포함하는 문장에 대한 말하기 연습 등을 순차적으로 진행시켜 학습자(10)로 하여금 학습 발음을 반복적으로 연습하게 한다. 말하기 학습 콘텐츠의 각각의 문장 또는 단어를 구성하는 발성 스크립트는 발음 평가부(130)로 전달된다.
비원어민 학습자(10)는 강의 콘텐츠 제공부(110)에 의해 발음 학습 콘텐츠에 기반한 멀티미디어 강의를 제공받아 모국어의 영향으로 범하게 되는 발음 오류의 특성에 대한 설명과 원어민과 같이 발음하기 위한 방법에 대한 설명을 들을 수 있다. 그리고, 멀티미디어 강의를 들은 후 비원어민 학습자(10)는 강의 콘텐츠 제공부(110)로부터 발성 스크립트 기반의 말하기 학습 콘텐츠를 제공받는다. 비원어민 학습자(10)는 제공된 말하기 학습 콘텐츠의 발성 스크립트(발성 문장)을 읽고 해당하는 단어를 음성으로 발음한다. 학습자(10)의 음성은 음성 인식부(120)를 통해 인식된다.
음성 인식부(120)는 학습자(10)의 발성 스크립트에 의해 입력되는 학습자(10) 음성 신호를 인식한다. 발성 스크립트는 말하기 학습 콘텐츠를 통해 학습자(10)에게 제공하기 위해 선정되는 문장으로 학습자(10)는 발성 스크립트를 읽고 해당 단어나 문장을 발음한다. 음성 인식부(120)는 학습자(10) 음성 및 발성 스크립트를 이용하여 비원어민 음성에 특화된 음성 인식을 수행한다. 비원어민 음성에 특화된 음성 인식은 상술한 비원어민 학습자(10)의 발음 오류 특성을 고려한 음성 인식을 나타낸다. 그리고, 발성 스크립트를 이용하는 것은 음성 인식을 수행하는 과정에 있어서 음성 인식 대상은 학습자(10)가 선택한 문장 및 단어에 제한됨을 의미한다.
음성 인식부(120)는 학습자(10) 음성 신호로부터 음성 특징 정보를 추출한다. 음성 특징 추출은 MFCC(Mel Frequency Cepstral Coefficient), LPC(Linear Predictive Coding) 및 PLP(Perceptual Linear Prediction) 등과 같이 다양한 알고리즘을 이용하여 추출할 수 있다. 그리고, 음성 인식부(120)는 음질 향상 기법, 특징 보상 기법 및 모델 적응 기법 등을 이용하여 잡음을 제거할 수 있다. 음성 인식부(120)는 인식된 음성 정보를 발음 평가부(130)로 전달한다.
발음 평가부(130)는 강의 콘텐츠 제공부(110)로부터 수신된 발성 스크립트 및 음성 인식부(120)로부터 수신된 인식된 음성 정보를 비교하여 인식된 음성 정보가 발성 스크립트를 정확하게 발음하고 있는지 여부를 판단한다. 비원어민 학습자(10)는 발성 스크립트를 읽고 발음하여 음성을 전달한다. 발음 평가부(130)는 비원어민 발성 특성 정보를 이용하여 학습자(10)로부터 인식된 음성 정보를 발성 스크립트와 비교하여 해당 발성 스크립트에 해당하는 단어 또는 문장을 실제 원어민과 유사하게 발음하였는지를 확인할 수 있다. 비원어민 발성 특성 정보는 비원어민 학습자(10)의 발음 오류 특성에 따른 발성 특성으로, 비원어민 학습자(10)의 모국어와 학습 대상 언어 사이의 차이에서 발생하는 특성을 나타낸다. 발음 평가부(130)는 이와 같이 발성 스크립트와 인식된 음성 정보를 비교한 결과에 기초하여 피드백 정보를 생성하여, 강의 콘텐츠 제공부(110)로 전달한다.
강의 콘텐츠 제공부(110)는 발음 평가부(130)로부터 수신된 피드백 정보에 기초하여 학습자에게 발음 평가 및 결과를 제공한다. 그리고, 강의 콘텐츠 제공부(110)는 피드백 정보에 따른 비교 결과에 따라 발음이 제대로 발성되었다고 판단되는 경우, 학습자(10)에게 발화 성공을 알릴 수 있으며, 보유한 발음학습 콘텐츠의 다른 단어 또는 문장에 대한 학습을 유도할 수 있다. 반면에, 강의 콘텐츠 제공부(110)는 비교 결과에 따라 발음이 제대로 발성되지 않았다고 판단되는 경우, 학습자(10)에게 계산된 발음 정보와 개선 가능한 방법을 제시한 후, 학습자(10)가 다시 말하기 연습을 시도할 수 있도록 콘텐츠를 제공할 수 있다.
도 2는 본 발명의 일 실시예에 따른 음성인식 기반의 발음 학습 장치(100)의 발음 학습 과정을 나타내는 흐름도이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 음성인식 기반의 발음 학습 장치(100)의 발음 학습 과정은 비원어민 학습자의 특성을 반영한 발음학습 콘텐츠를 기반으로 한다. 먼저, 음성인식 기반의 발음 학습 장치(100)는 학습자로부터 학습할 발음을 선택 받는다(S201). 음성인식 기반의 발음 학습 장치(100)는 학습자의 선택에 따라 발음학습 콘텐츠를 기반으로 비원어민 학습자의 발음 오류를 반영한 멀티미디어 강의를 제공한다(S202). 발음 학습 콘텐츠는 학습하는 언어를 구성하는 음소 발음, 비원어민 학습자가 오류를 범하기 쉬운 조음현상 발음 등에 대한 학습 콘텐츠로 구성되어 있으며, 각 학습 발음에 대해 비원어민 학습자의 발음 오류 정보를 포함하는 멀티미디어 강의 자료 및 학습 발음을 포함하는 단어, 문장에 대한 원어민 음성, 해석, 발음 자료를 포함할 수 있다. 음성인식 기반의 발음 학습 장치(100)는 발음 학습 콘텐츠를 사용하여 비원어민 학습자의 발음 오류를 반영한 멀티미디어 강의를 학습자에게 제공할 수 있다. 발음 학습 콘텐츠는 비원어민 학습자가 모국어의 영향으로 범하게 되는 발음 오류의 특성에 대한 설명과 원어민과 같이 발음하기 위한 방법에 대한 설명을 학습자에게 제공할 수 있다.
다음으로, 음성인식 기반의 발음 학습 장치(100)는 말하기 연습(발음 연습)을 위한 과정을 진행한다(S203). 음성인식 기반의 발음 학습 장치(100)는 발음 학습 콘텐츠에 기반한 멀티미디어 강의를 학습자에게 제공한 후, 말하기 연습을 위한 발성 스크립트를 통해 학습자에게 말하기 학습 콘텐츠를 제공한다. 말하기 학습 콘텐츠는 학습 발음 자체에 대한 말하기 연습, 학습 발음을 포함하는 단어에 대한 말하기 연습, 학습 발음을 포함하는 문장에 대한 말하기 연습 등을 순차적으로 진행시켜 학습자로 하여금 학습 발음을 반복적으로 연습하게 된다.
말하기 연습 과정은 학습할 발음 자체 말하기 연습(S203-1), 학습할 발음을 포함한 단어 말하기 연습(S203-2) 및 학습할 발음을 포함한 문장 말하기 연습(S203-3)의 순서로 진행될 수 있다. 음성인식 기반의 발음 학습 장치(100)는 먼저 학습할 특정한 발음(발음 기호) 자체를 연습하기 위한 콘텐츠를 제공한다. 그리고, 연습한 특정 발음을 포함하는 단어를 연습하고, 다음으로 연습한 발음을 포함하는 문장을 연습할 수 있다. 이와 같이, 본 발명에서는 특정 발음에서 시작하여 해당 발음을 포함하는 단어 및 문장 형태로 확장하여 연습을 진행할 수 있다. 학습자가 말하기 연습을 통해 발성하면, 음성인식 기반의 발음 학습 장치(100)는 학습자 음성 신호를 수신한다.
음성인식 기반의 발음 학습 장치(100)는 수신된 학습자 음성을 인식하고, 인식된 음성 정보 및 발성 스크립트를 비교하여 피드백 정보를 생성하여 발음 평가 및 결과를 제공한다(S204). 음성인식 기반의 발음 학습 장치(100)는 수신된 발성 스크립트 및 인식된 음성 정보를 비교하여 인식된 음성 정보가 발성 스크립트를 정확하게 발음하고 있는지 여부를 판단한다. 음성인식 기반의 발음 학습 장치(100)는 학습자로부터 인식된 음성 정보를 발성 스크립트와 비교하여 해당 발성 스크립트에 해당하는 단어 또는 문장을 실제 원어민과 유사하게 발음하였는지를 확인할 수 있다. 음성인식 기반의 발음 학습 장치(100)는 이와 같이 발성 스크립트와 인식된 음성 정보를 비교한 결과에 기초하여 피드백 정보를 생성한다. 음성인식 기반의 발음 학습 장치(100)는 비교 결과에 따라 발음이 제대로 발성되었다고 판단되는 경우, 학습자에게 발화 성공을 알릴 수 있으며, 보유한 발음학습 콘텐츠의 다른 단어 또는 문장에 대한 학습을 유도할 수 있다. 반면에, 음성인식 기반의 발음 학습 장치(100)는 비교 결과에 따라 발음이 제대로 발성되지 않았다고 판단되는 경우, 학습자에게 계산된 발음 정보와 개선 가능한 방법을 제시한 후, 학습자가 다시 말하기 연습을 시도할 수 있도록 콘텐츠를 제공할 수 있다.
발음 평가 및 결과를 제공하는 단계(S204)는 말하기 연습 단계(S203) 전체의 연급 과정을 수행한 후 판단하는 방식으로 서비스 될 수 있다. 또한, 발음 평가 및 결과를 제공하는 단계(S204)는 말하기 연습 단계(S203)의 각 과정(S203-1 내지 S203-3)을 수행할 때 마다 제공될 수 있다. 예를 들어, 학습할 발음 자체 말하기 연습(S203-1)에 따른 학습자 음성을 평가하여 정상적인 발음으로 판단될 경우에만, 다음 단계를 진행할 수 있도록 하는 형태로 제공될 수 있다.
도 3은 본 발명의 일 실시예에 따른 음성인식 기반의 발음 학습 장치(100)의 발음 학습 콘텐츠를 나타내는 구성도이다.
도 1 및 도 3을 참조하면, 음성인식 기반의 발음 학습 장치(100)는 비원어민 학습자의 발음 오류를 개선하기 위해 먼저 비원어민 학습자의 특성을 반영한 발음학습 콘텐츠를 기초로 비원어민 학습자의 발음 오류를 반영한 멀티미디어 강의를 제공한다. 서로 다른 언어는 서로 다른 발음 체계를 가진다. 비원어민 학습자의 발음 오류는 비원어민 학습자가 사용하는 언어(모국어)와 발음 교정을 원하는 대상 언어 사이에 존재하는 서로 다른 발음 체계로 인해 발생하는 발음 오류를 나타낸다. 따라서, 비원어민 학습자는 자신이 사용하는 언어와 발음 교정을 원하는 대상 언어 사이의 발음 체계 차이로 인해 발생하는 일반적인 발음 오류를 가질 수 있다.
이와 같이, 음성인식 기반의 발음 학습 장치(100)는 학습하는 언어를 구성하는 음소 발음, 비원어민 학습자가 오류를 범하기 쉬운 조음현상 발음 등으로 구성될 수 있다. 음성인식 기반의 발음 학습 장치(100)는 각각의 발음 별로 비원어민 학습자의 발음 오류 정보를 포함하는 멀티미디어 강의 자료(301) 및 각 학습 발음을 포함하는 단어, 문장에 대한 원어민 음성, 해석, 발음 자료(302)를 포함한다. 사용자는 음성인식 기반의 발음 학습 장치(100)를 통해 비원어민 학습자의 발음 오류 정보를 포함하는 멀티미디어 강의 자료(301) 및 각 학습 발음을 포함하는 단어, 문장에 대한 원어민 음성, 해석, 발음 자료(302)를 각각의 발음 별로 제공받아 학습할 수 있다.
도 4는 본 발명의 일 실시예에 따른 음성인식 기반의 발음 학습 장치(100)의 발음 평과 및 결과 제공 과정을 나타내는 도면이다.
도 4를 참조하면, 음성인식 기반의 발음 학습 장치(100)는 발음학습 콘텐츠에 기초하여 제공된 발성 스크립트(41)와 학습자로부터 수신된 학습자 음성(20)에 기초하여 비원어민 음성 특성이 반영된 모델을 이용한 음성인식을 수행한다(S401). 학습자는 발성 스크립트(41)에 따라 소정의 발성을 내어 학습자 음성(42)을 음성인식 기반의 발음 학습 장치(100)로 전달한다. 음성인식 기반의 발음 학습 장치(100)는 발성 스크립트(41) 및 학습자 음성(42)을 이용하여 비원어민 음성에 특화된 음성인식을 수행한다. 음성인식에 사용되는 모델은 음향모델, 언어모델, 발음모델 등이 있으며, 비원어민 음성 특성 모델은 음성학 등의 지식을 이용하여 규칙을 생성한 뒤 각 모델에 반영하거나, 음성 및 텍스트 데이터베이스를 이용하여 자동으로 생성될 수 있다. 비원어민 음성 특성이 반영된 모델을 이용한 음성인식은 위와 같이 학습된 모델을 이용하여 음성인식을 수행하는 것을 의미한다.
다음으로, 음성인식 기반의 발음 학습 장치(100)는 비원어민 발성 특성 정보(43)에 기초해 인식된 학습자 음성(42)과 발성 스크립트(41)를 비교하여 학습자 음성에 대한 발음 평가 피드백을 도출한다(S402). 비원어민 발성 특성 정보는 도 1에 기재된 바와 같이, 비원어민(학습자)의 언어와 학습 대상 언어 사이의 발성 차이에서 발생하는 특성을 나타낸다.음성인식 기반의 발음 학습 장치(100)는 학습자로부터 인식된 음성 정보를 발성 스크립트와 비교하여 해당 발성 스크립트에 해당하는 단어 또는 문장을 실제 원어민과 유사하게 발음하였는지를 확인할 수 있다. 음성인식 기반의 발음 학습 장치(100)는 피드백 도출 결과에 따라 학습자의 발성이 정상 발성 인지 여부를 판단한다(S403).
음성인식 기반의 발음 학습 장치(100)는 비교 결과에 따라 발음이 제대로 발성되었다고 판단되는 경우, 학습자에게 발화 성공을 알리고(S404), 보유한 발음학습 콘텐츠의 다른 단어 또는 문장에 대한 학습을 유도한다(S405). 반면에, 음성인식 기반의 발음 학습 장치(100)는 비교 결과에 따라 발음이 제대로 발성되지 않았다고 판단되는 경우, 학습자에게 계선된 발음 정보와 개선 가능한 방법을 제시(S406, S407)한 후, 학습자가 다시 말하기 연습을 시도할 수 있도록 콘텐츠를 제공한다(S408).
상술한 내용을 포함하는 본 발명은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체 또는 정보저장매체에 저장되고, 컴퓨터에 의하여 판독되고 실행함으로써 본 발명의 방법을 구현할 수 있다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상 바람직한 실시예를 들어 본 발명을 상세하게 설명하였으나, 본 발명은 전술한 실시예에 한정되지 않고, 본 발명의 기술적 사상의 범위 내에서 당분야에서 통상의 지식을 가진자에 의하여 여러 가지 변형이 가능하다.
100: 음성인식 기반의 발음 학습 장치
110: 강의 콘텐츠 제공부
120: 음성 인식부
130: 발음 평가부

Claims (11)

  1. 비원어민 학습자의 발음 오류를 반영한 멀티미디어 강의 콘텐츠를 제공하고, 말하기 연습을 위한 발성 스크립트를 제공하는 강의 콘텐츠 제공부;
    상기 발성 스크립트를 제공받은 비원어민 학습자의 음성을 인식하여 인식된 음성 정보를 생성하는 음성 인식부; 및
    상기 발성 스크립트 및 상기 인식된 음성 정보에 기초하여 발음 평가 피드백 정보를 생성하는 발음 평가부;
    를 포함하는 것을 특징으로 하는 음성인식 기반의 발음 학습 장치.
  2. 제1항에 있어서,
    상기 강의 콘텐츠 제공부는 상기 비원어민 학습자가 오류를 범하기 쉬운 조음현상 발음에 대한 학습 콘텐츠를 포함하는 멀티미디어 강의를 상기 비원어민 학습자에게 제공하는 것을 특징으로 하는 음성인식 기반의 발음 학습 장치.
  3. 제1항에 있어서,
    상기 강의 콘텐츠 제공부는 상기 비원어민 학습자가 모국어의 영향으로 범하게 되는 발음 오류의 특성에 대한 설명 및 원어민과 같이 발음하기 위한 방법에 대한 설명을 포함하는 멀티미디어 강의를 상기 비원어민 학습자에게 제공하는 것을 특징으로 하는 음성인식 기반의 발음 학습 장치.
  4. 제1항에 있어서,
    상기 발음 평가부는 비원어민 발성 특성 정보를 이용하여 상기 발성 스크립트와 상기 인식된 음성 정보를 비교하고, 비교 결과에 따라 상기 비원어민 학습자의 학습자 음성이 정상 발음 인지 여부를 판단하는 것을 특징으로 하는 음성인식 기반의 발음 학습 장치.
  5. 제1항에 있어서,
    상기 강의 콘텐츠 제공부는 상기 발음 평가부의 피드백 정보에 기초하여 상기 비원어민 학습자에게 발음 평가 및 결과를 제공하는 것을 특징으로 하는 음성인식 기반의 발음 학습 장치.
  6. 제5항에 있어서,
    상기 강의 콘텐츠 제공부는 상기 피드백 정보에 따라 정상 발음이라고 판단되면, 상기 비원어민 학습자에게 발화 성공을 알리고, 콘텐츠의 다른 단어 또는 문장 학습을 유도하는 것을 특징으로 하는 음성인식 기반의 발음 학습 장치.
  7. 제5항에 있어서,
    상기 강의 콘텐츠 제공부는 상기 피드백 정보에 따라 정상 발음이 아니라고 판단되면, 상기 비원어민 학습자에게 상기 피드백 정보에 기초하여 개선 가능한 방법을 제시하고, 동일한 단어 또는 문장을 다시 연습하도록 유도하는 것을 특징으로 하는 음성인식 기반의 발음 학습 장치.
  8. 비원어민 학습자가 선택한 발음에 대해 비원어민 학습자의 발음 오류를 반영한 멀티미디어 강의 콘텐츠를 제공하는 단계;
    말하기 연습을 위한 발성 스크립트를 제공하는 단계;
    상기 발성 스크립트를 제공받은 비원어민 학습자의 학습자 음성 신호 인식을 통해 인식된 음성 정보를 생성하는 단계;
    상기 발성 스크립트 및 상기 인식된 음성 정보에 기초하여 발음 평가 피드백 정보를 생성하는 단계; 및
    상기 피드백 정보에 따라 발음 평가 및 결과를 제공하는 단계;
    를 포함하는 것을 특징으로 하는 음성인식 기반의 발음 학습 방법.
  9. 제8항에 있어서,
    상기 멀티미디어 강의 콘텐츠를 제공하는 단계는 상기 비원어민 학습자가 모국어의 영향으로 범하게 되는 발음 오류의 특성에 대한 설명 및 원어민과 같이 발음하기 위한 방법에 대한 설명을 포함하는 멀티미디어 강의를 상기 비원어민 학습자에게 제공하는 것을 특징으로 하는 음성인식 기반의 발음 학습 방법.
  10. 제8항에 있어서,
    상기 발음 평가 및 결과를 제공하는 단계는 상기 피드백 정보에 따라 정상 발음이라고 판단되면, 상기 비원어민 학습자에게 발화 성공을 알리고, 콘텐츠의 다른 단어 또는 문장 학습을 유도하는 것을 특징으로 하는 음성인식 기반의 발음 학습 방법.
  11. 제8항에 있어서,
    상기 발음 평가 및 결과를 제공하는 단계는 상기 피드백 정보에 따라 정상 발음이 아니라고 판단되면, 상기 비원어민 학습자에게 상기 피드백 정보에 기초하여 개선 가능한 방법을 제시하고, 동일한 단어 또는 문장을 다시 연습하도록 유도하는 것을 특징으로 하는 음성인식 기반의 발음 학습 방법.
KR1020150041698A 2015-03-25 2015-03-25 음성인식 기반의 발음 학습 장치 및 학습 방법 KR20160115041A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150041698A KR20160115041A (ko) 2015-03-25 2015-03-25 음성인식 기반의 발음 학습 장치 및 학습 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150041698A KR20160115041A (ko) 2015-03-25 2015-03-25 음성인식 기반의 발음 학습 장치 및 학습 방법

Publications (1)

Publication Number Publication Date
KR20160115041A true KR20160115041A (ko) 2016-10-06

Family

ID=57165104

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150041698A KR20160115041A (ko) 2015-03-25 2015-03-25 음성인식 기반의 발음 학습 장치 및 학습 방법

Country Status (1)

Country Link
KR (1) KR20160115041A (ko)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101955818B1 (ko) 2017-09-29 2019-03-08 숭실대학교산학협력단 홀로그램 제어 교육 서비스 제공 방법 및 이를 수행하기 위한 기록매체.
KR20210079512A (ko) * 2019-12-20 2021-06-30 주식회사 에듀템 외국어 학습평가장치
WO2022035125A1 (ko) * 2020-08-13 2022-02-17 (주)인포마크 Ai 음성 인식 학습기를 이용한 외국어 학습 시스템 및 방법
KR20220036717A (ko) * 2020-09-16 2022-03-23 한양대학교 산학협력단 발성 학습 정보를 제공하는 방법, 이를 이용하는 서버 및 프로그램
KR20220038852A (ko) 2020-09-21 2022-03-29 주식회사 케이엠에듀 교수 매체를 이용한 영어 교수 방법 및 그 장치
KR20220078862A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 영어 교육 제공 프로그램을 기록한 기록매체
KR20220078867A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 영어 교육 프로그램을 기록한 기록매체
KR20220078865A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 발음 현상을 기반으로 영어 문장의 청해력을 향상시키는 영어 교육 프로그램을 기록한 기록매체
KR20220078876A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 영어 문장의 청해력을 향상시키는 영어 교육 프로그램
KR20220078870A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 발음 현상을 기반으로 영어 문장의 청해력을 향상시키는 영어 교육 방법
KR20220078873A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 교수 매체를 이용한 영어 교수 제공 프로그램
KR20220078875A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 영어 교육 프로그램
KR20220078861A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 기록매체
KR20220078874A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 영어 교육 제공 프로그램
KR20220078868A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 교수 매체를 이용한 영어 교수 방법
KR20220078872A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 교수 매체를 이용한 영어 교수 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100997255B1 (ko) 2010-03-11 2010-11-29 (주)말문이터지는영어 음성인식기술을 활용한 언어학습 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100997255B1 (ko) 2010-03-11 2010-11-29 (주)말문이터지는영어 음성인식기술을 활용한 언어학습 시스템

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101955818B1 (ko) 2017-09-29 2019-03-08 숭실대학교산학협력단 홀로그램 제어 교육 서비스 제공 방법 및 이를 수행하기 위한 기록매체.
KR20210079512A (ko) * 2019-12-20 2021-06-30 주식회사 에듀템 외국어 학습평가장치
WO2022035125A1 (ko) * 2020-08-13 2022-02-17 (주)인포마크 Ai 음성 인식 학습기를 이용한 외국어 학습 시스템 및 방법
KR20220036717A (ko) * 2020-09-16 2022-03-23 한양대학교 산학협력단 발성 학습 정보를 제공하는 방법, 이를 이용하는 서버 및 프로그램
KR20220038852A (ko) 2020-09-21 2022-03-29 주식회사 케이엠에듀 교수 매체를 이용한 영어 교수 방법 및 그 장치
KR20220078862A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 영어 교육 제공 프로그램을 기록한 기록매체
KR20220078867A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 영어 교육 프로그램을 기록한 기록매체
KR20220078865A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 발음 현상을 기반으로 영어 문장의 청해력을 향상시키는 영어 교육 프로그램을 기록한 기록매체
KR20220078876A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 영어 문장의 청해력을 향상시키는 영어 교육 프로그램
KR20220078870A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 발음 현상을 기반으로 영어 문장의 청해력을 향상시키는 영어 교육 방법
KR20220078873A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 교수 매체를 이용한 영어 교수 제공 프로그램
KR20220078875A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 영어 교육 프로그램
KR20220078861A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 기록매체
KR20220078874A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 영어 교육 제공 프로그램
KR20220078868A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 교수 매체를 이용한 영어 교수 방법
KR20220078872A (ko) 2020-12-04 2022-06-13 주식회사 케이엠에듀 교수 매체를 이용한 영어 교수 장치

Similar Documents

Publication Publication Date Title
KR20160115041A (ko) 음성인식 기반의 발음 학습 장치 및 학습 방법
KR102246943B1 (ko) 다중 언어 텍스트-음성 합성 방법
US8175882B2 (en) Method and system for accent correction
US7529678B2 (en) Using a spoken utterance for disambiguation of spelling inputs into a speech recognition system
US8024179B2 (en) System and method for improving interaction with a user through a dynamically alterable spoken dialog system
US11043213B2 (en) System and method for detection and correction of incorrectly pronounced words
US7624013B2 (en) Word competition models in voice recognition
DE69425564D1 (de) Verfahren und vorrichtung für sprachunterricht mittels interaktiver sprachsteuerung
WO2021074721A2 (en) System for automatic assessment of fluency in spoken language and a method thereof
KR101037247B1 (ko) 외국어 회화 연습 방법 및 장치와 이것의 빠른 개발과 검증을 돕는 학습자 시뮬레이션 방법과 장치
Van Doremalen et al. Optimizing automatic speech recognition for low-proficient non-native speakers
KR102062524B1 (ko) 음성 인식과 번역 방법 및 그를 위한 단말 장치와 서버
Tabbaa et al. Computer-aided training for Quranic recitation
Srikanth et al. Automatic pronunciation scoring and mispronunciation detection using CMUSphinx
Liao et al. A prototype of an adaptive Chinese pronunciation training system
KR101283271B1 (ko) 어학 학습 장치 및 어학 학습 방법
Kibishi et al. A statistical method of evaluating the pronunciation proficiency/intelligibility of English presentations by Japanese speakers
Krasnova et al. The use of speech technology in computer assisted language learning systems
Kitaoka et al. Effect of acoustic and linguistic contexts on human and machine speech recognition
Wang et al. Second language speech recognition using multiple-pass decoding with lexicon represented by multiple reduced phoneme sets.
van Doremalen et al. Utterance verification in language learning applications
KR20090109501A (ko) 언어학습용 리듬훈련 시스템 및 방법
van Doremalen Developing automatic speech recognition-enabled language learning applications: from theory to practice
KR20140068292A (ko) 말소리 유창성 향상을 위한 훈련 학습 시스템
Al-Barhamtoshy et al. Speak correct: phonetic editor approach

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment