KR101283271B1

KR101283271B1 - 어학 학습 장치 및 어학 학습 방법

Info

Publication number: KR101283271B1
Application number: KR1020110107940A
Authority: KR
Inventors: 이근배; 이종훈; 이진식; 서홍석
Original assignee: 포항공과대학교 산학협력단
Priority date: 2011-10-21
Filing date: 2011-10-21
Publication date: 2013-07-11
Also published as: KR20130043817A

Abstract

어학 학습 장치 및 어학 학습 방법이 개시된다. 어학 학습 장치는 음성 입력을 단어 단위로 인식하여 전사한 제1 전사자료를 생성하는 제1 음성 인식부와, 제1 전사자료에 기초하여 음성 입력을 음소 단위로 인식하여 전사한 제2 전사자료를 생성하는 제2 음성 인식부와, 제1 전사자료를 미리 정의된 표준발음으로 변환하여 제3 전사자료를 생성하는 표준발음 생성부와, 제2 및 제3 전사자료를 비교하여 미리 설정된 기준에 충족하지 않는 제2 전사자료의 부분에 대한 오류정보를 생성하는 오류 검출부와, 오류정보에 상응하는 피드백정보를 생성하는 피드백 생성부를 포함하여 구성된다. 따라서, 사용자의 학습 자유도를 향상시킬 수 있고, 이로 인하여 사용자는 실제 대화와 유사한 환경에서의 다양한 발화 내용을 연습하고 이에 대한 평가를 받을 수 있다.

Description

어학 학습 장치 및 어학 학습 방법{APPARATUS FOR LANGUAGE LEARNING AND METHOD THEREOF}

본 발명은 어학의 말하기 학습에 관한 것으로, 더욱 상세하게는 음성 입력을 분석하여 어학의 말하기 학습을 효과적으로 수행할 수 있는 어학 학습 장치 및 어학 학습 방법에 관한 것이다.

종래의 발음에 대한 오류의 판단과 피드백을 제공하는 어학 학습 장치 및 방법은 사용자의 발화(utterance) 내용을 미리 정의한 상태에서 상기 발화 내용에 대응되는 문장을 제시하여 읽도록 유도하고, 유도된 사용자의 발화 내용을 평가하는 이른바 고정된 발화 내용을 연습하는 것이다.

이러한 고정된 발화 내용을 연습하는 것은 사용자의 학습의 자유도를 감소시켜 사용자가 실제 대화와 유사한 환경에서 더욱 다양한 발화 내용을 연습하고 이에 대한 평가를 받을 수 있는 기회를 제공하지 못하는 문제가 있다.

한편, 종래의 어학 학습 장치 및 방법은 사용자의 발화 내용을 예측되는 범위하에서 제한하는 음성인식기술에 기초한 것으로, 이러한 기술은 미리 정해지지 않은 사용자의 발화 내용을 이용하여 어학 학습을 하는 경우에는 적용하기가 힘들다.

따라서, 종래의 어학 학습 장치 및 방법은 어학 학습에 필요한 충분한 수준의 음성인식성능을 제공할 수 없어 사용자의 발화 내용에 대한 평가의 신뢰도가 감소된다. 또한, 사용자의 발화 내용에 대한 구체적인 피드백을 제공할 수 없는 문제점이 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 음성 입력을 분석하여 상기 음성 입력에 대한 피드백을 사용자에게 제공할 수 있는 어학 학습 장치를 제공하는 데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 음성 입력을 분석하여 상기 음성 입력에 대한 피드백을 사용자에게 제공할 수 있는 어학 학습 방법을 제공하는 데 있다.

상기한 본 발명의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 어학 학습 장치는, 음성 입력을 단어 단위로 인식하여 전사한 제1 전사자료를 생성하는 제1 음성 인식부와, 상기 제1 전사자료에 기초하여 상기 음성 입력을 음소 단위로 인식하여 전사한 제2 전사자료를 생성하는 제2 음성 인식부와, 상기 제1 전사자료를 미리 정의된 표준발음으로 변환하여 제3 전사자료를 생성하는 표준발음 생성부와, 상기 제2 및 제3 전사자료를 비교하여 미리 설정된 기준에 충족하지 않는 상기 제2 전사자료의 부분에 대한 오류정보를 생성하는 오류 검출부와, 상기 오류정보에 상응하는 피드백정보를 생성하는 피드백 생성부를 포함한다.

상기한 본 발명의 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 어학 학습 방법은, 음성 입력을 단어 단위로 인식하여 전사한 제1 전사자료를 생성하는 단계와, 상기 제1 전사자료에 기초하여 상기 음성 입력을 음소 단위로 인식하여 전사한 제2 전사자료를 생성하는 단계와, 상기 제1 전사자료를 미리 정의된 표준발음으로 변환하여 제3 전사자료를 생성하는 단계와, 상기 제2 및 제3 전사자료를 비교하여 미리 설정된 기준에 충족하지 않는 상기 제2 전사자료의 부분에 대한 오류정보를 생성하는 단계와, 상기 오류정보에 상응하는 피드백정보를 생성하는 단계를 포함한다.

상기와 같은 본 발명에 따른 어학 학습 장치 및 어학 학습 방법은 미리 정의되지 않은 음성 입력까지도 인식함으로써 사용자의 학습 자유도를 향상시킬 수 있고, 이로 인하여 사용자는 실제 대화와 유사한 환경에서의 다양한 발화 내용을 연습하고 이에 대한 평가를 받을 수 있다.

또한, 본 발명에 따른 어학 학습 장치 및 방법은 음성 입력을 단어 단위로 인식하고, 상기 단어를 구성하는 음소 단위로 상기 음성 입력을 인식함으로써 음성인식의 성능을 향상시킬 수 있고, 사용자에게 제공하는 피드백정보를 구체적으로 생성할 수 있다.

또한, 상기 음성 입력에 대한 피드백정보의 신뢰성을 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 어학 학습 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 어학 학습 장치의 피드백 생성부의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 어학 학습 방법을 나타내는 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명의 실시예에서, 어학 학습 장치 및 방법의 입력인 음성 입력은 사용자가 발화한 음성이 될 수 있다. 또한, 상기 음성 입력은 사용자가 발화한 음성을 녹음장치로 녹음한 음성이 될 수 있다. 이러한 음성들은 마이크 등을 통하여 어학 학습 장치로 입력될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 어학 학습 장치의 구성을 나타내는 블록도이고, 도 2는 본 발명의 일 실시예에 따른 어학 학습 장치의 피드백생성부의 구성을 나타내는 블록도이다.

도 1 및 도 2를 참조하면, 어학 학습 장치(100)는 음성 입력을 인식하여 오류정보를 검출하고, 오류정보에 상응하는 피드백정보를 사용자에게 제공함으로써 음성 입력의 평가와, 음성 입력에 대한 구체적인 피드백을 제공할 수 있다.

어학 학습 장치(100)는 제1 음성 인식부(110), 제2 음성 인식부(120), 표준발음 생성부(130), 오류 검출부(140) 및 피드백 생성부(150)를 포함하여 구성된다.

또한, 어학 학습 장치(100)는 확장발음 생성부(160)를 더 포함하여 구성될 수 있다.

제1 음성 인식부(110)는 음성 입력을 제공받고, 음성 입력을 단어 단위로 인식하여 상기 음성 입력에 대한 제1 전사자료를 생성할 수 있다.

상기 음성 입력은 사용자의 발화(utterance) 내용을 미리 정의한 상태에서 상기 발화 내용에 대응되는 문장을 제시하여 읽도록 유도하고, 유도된 사용자의 발화 내용이 될 수 있다. 또한, 상기 음성 입력은 미리 정의하지 않은 상태의 발화 내용이 될 수 있다.

상기 제1 음성 인식부(110)에 사용되는 음성인식 모델로는 현존하는 다양한 음성인식 모델들이 채용될 수 있다. 예컨대, 현존하는 음성인식 모델들로는 통계적 모델인 은닉 마코프 모델(Hidden Markov Model: HMM), 신경회로망(Neural Network) 기반 모델, n-gram 모델 등이 있을 수 있다.

그러나, 본 발명에 따른 제1 음성 인식부(110)는 미리 정의되지 않은 발화 내용의 음성 입력까지도 단어 단위에서 음성인식하는 것을 목적하고 있고, 후술할 제2 음성 인식부(120)는 미리 정의되지 않은 발화 내용의 음성 입력까지도 음소 단위에서 음성인식하는 것을 목적하고 있으므로, 제1 음성 인식부(110) 및 제2 음성 인식부(120)는 이러한 특성에 부합되는 음성인식 모델을 채용할 수 있다.

추가적으로, 음성인식의 성능을 최대화하고, 비원어민에 맞도록 현존하는 음성인식 모델을 일부 조정하는 작업이 요구될 수도 있을 것이다.

제2 음성 인식부(120)는 제1 음성 인식부(110)에서 생성된 제1 전사자료 및 음성 입력을 제공받고, 제1 전사자료에 기초하여 음성 입력을 음소 단위로 인식하여 제2 전사자료를 생성할 수 있다.

상기 제2 음성 인식부(120)는 음성 입력에 포함되는 각각의 단어를 음소 단위로 인식함으로써 세밀한 음성인식결과를 획득할 수 있다.

구체적으로, 제2 음성 인식부(120)는 음성 입력에 대한 단어 단위의 음성인식 결과인 제1 전사자료와 음성 입력에 대한 음소 단위의 음성인식 결과인 제2 전사자료를 비교함으로써 미리 정의되지 않은 발화 내용이 음성 입력으로 제공되는 경우에도 음소 단위의 세밀한 음성인식결과를 획득할 수 있다.

또한, 상기 제2 음성 인식부(120)는 발음사전에 기초하여 음성 입력을 음소 단위로 인식할 수 있다.

상기 발음사전은 표준발음 및 준표준발음을 포함할 수 있다. 상기 준표준발음은 발음사전에 포함된 단어들에 대해 미리 설정된 확률을 초과하여 발음오류가 발생하는 표준발음이 아닌 발음을 의미할 수 있다.

예를 들어, 준표준발음은 비원어민 사용자가 빈번하게 범하는 표준발음이 아닌 발음을 의미할 수 있다. 상기 발음사전은 준표준발음을 포함할 수 있고, 상기 발음사전을 이용하는 제2 음성 인식부(120)는 더 구체적인 음성인식결과를 획득할 수 있다.

예를 들어, 영어단어 "rock"의 발음은 [rak]과 [

]이 표준발음이나 대부분의 사용자는 [lak]과 [

] 등으로 빈번하게 발음한다. 따라서, 발음사전은 [lak]과 [

]을 허용되는 준표준발음으로 정의하고, 이를 포함시킬 수 있다.

따라서, 제2 음성 인식부(120)는 표준발음만을 포함하는 발음사전을 이용하는 경우에 인식할 수 없었던 준표준발음이 입력되는 경우에도 정확하게 음성인식을 수행할 수 있는 장점이 있다.

표준발음 생성부(130)는 제1 음성 인식부(110)에서 생성된 제1 전사자료에 포함된 각 단어를 미리 정의된 표준발음으로 변환하여 제3 전사자료를 생성할 수 있다.

발음사전에는 상기 표준발음이 미리 정의되어 저장될 수 있다.

오류 검출부(140)는 제2 음성 인식부(120)에서 생성된 제2 전사자료와 표준발음 생성부(130)에서 생성된 제3 전사자료를 비교하여 미리 설정된 기준에 충족되지 않는 제2 전사자료의 부분에 대한 오류정보를 생성할 수 있다.

예를 들어, 오류 검출부(140)는 제1 음성 인식부(110)에서 생성된 단어 단위의 제1 전사결과를 표준발음으로 변환한 상기 제3 전사자료에 대한 표준발음과 제2 음성 인식부(120)에서 생성된 제2 전사자료를 비교하고, 비교결과 불일치하는 제2 전사자료의 부분을 검출하고, 검출된 불일치하는 부분들을 오류로 판단하며, 상기 오류로 판단된 부분에 대한 오류정보를 생성할 수 있다.

피드백 생성부(150)는 오류 검출부(140)에서 생성된 오류정보를 제공받아 오류정보에 상응하는 피드백정보를 생성할 수 있고, 상기 피드백정보를 사용자에게 제공함으로써 사용자에게 교육적인 피드백을 제공할 수 있다.

상기 피드백 생성부(150)는 오류중요도 산출모듈(151), 오류신뢰도 산출모듈(152), 단어신뢰도 산출모듈(153), 음소신뢰도 산출모듈(154) 및 피드백 결정모듈(155) 중 적어도 하나를 포함할 수 있다.

오류중요도 산출모듈(151)은 오류정보에 포함된 오류에 대한 오류 유형에 따른 중요도를 산출할 수 있고, 오류의 유형에 따라 가중치를 달리하여 중요도를 산출할 수도 있다.

오류신뢰도 산출모듈(152)은 검출된 오류에 대한 오류 검출의 신뢰도를 산출할 수 있다.

단어신뢰도 산출모듈(153)은 제1 음성 인식부(110)의 음성인식에 대한 신뢰도를 산출할 수 있다.

음소신뢰도 산출모듈(154)은 제2 음성 인식부(120)의 음성인식에 대한 신뢰도를 산출할 수 있다.

피드백 결정모듈(155)은 오류중요도 산출모듈(151), 오류신뢰도 산출모듈(152), 단어신뢰도 산출모듈(153) 및 음소신뢰도 산출모듈(154) 중 적어도 하나의 결과에 기초하여 피드백정보를 생성할 오류를 결정하고, 결정된 오류에 대한 피드백정보를 생성할 수 있다.

예를 들어, 피드백 결정모듈(155)은 오류중요도 산출모듈(151), 오류신뢰도 산출모듈(152), 단어신뢰도 산출모듈(153) 및 음소신뢰도 산출모듈(154) 중 적어도 하나의 결과에 서로 다른 가중치를 부여하여 피드백정보를 생성할 소정의 오류를 결정할 수 있다.

또한, 상기 피드백 결정모듈(155)은 오류에 대한 교정사항을 미리 저장한 피드백 데이터베이스(3000)에 기초하여 피드백정보를 생성할 수 있다.

확장발음 생성부(160)는 표준발음 및 준표준발음 포함하는 발음사전을 생성할 수 있다.

예를 들어, 확장발음 생성부(160)는 발음데이터 데이터베이스(1000)에 저장된 발음데이터를 기계학습하여 준표준발음을 생성하고, 생성된 준표준발음을 발음사전 데이터베이스(2000)에 저장할 수 있다.

발음데이터 데이터베이스(1000)에 저장된 발음데이터는 비원어민의 발음데이터를 의미할 수도 있다.

준표준발음은 발음사전에 포함된 단어들에 대해 미리 설정된 확률을 초과하여 발음오류가 발생하는 표준발음이 아닌 발음을 의미할 수 있다.

발음사전은 표준발음 및 준표준발음을 포함함으로써 상기 제2 음성 인식부(120)가 더 구체적인 음성인식결과를 획득할 수 있도록 한다.

도 3은 본 발명의 일 실시예에 따른 어학 학습 방법을 나타내는 흐름도이다.

도 3을 참조하면, 어학 학습 방법은 음성 입력을 제공받고(S100), 음성 입력을 단어 단위로 인식하여 제1 전사자료를 생성하고(S200), 제1 전사자료에 기초하여 음성 입력을 음소 단위로 인식하여 제2 전사자료를 생성할 수 있다(S300).

구체적으로, 상기 음성 입력은 사용자의 발화(utterance) 내용을 미리 정의한 상태에서 상기 발화 내용에 대응되는 문장을 제시하여 읽도록 유도하고, 유도된 사용자의 발화 내용이 될 수 있다. 또한, 상기 음성 입력은 미리 정의하지 않은 상태의 발화 내용이 될 수 있다.

상기 단계 200 및 단계 300에서 사용되는 음성인식 모델로는 현존하는 다양한 음성인식 모델들이 채용될 수 있다. 예컨대, 현존하는 음성인식 모델들로는 통계적 모델인 은닉 마코프 모델(Hidden Markov Model: HMM), 신경회로망(Neural Network) 기반 모델, n-gram 모델 등이 있을 수 있다.

그러나, 본 발명에 따른 단계 200에서는 미리 정의되지 않은 발화 내용의 음성 입력까지도 단어 단위에서 음성인식하는 것을 목적하고 있고, 단계 300에서는 미리 정의되지 않은 발화 내용의 음성 입력까지도 음소 단위에서 음성인식하는 것을 목적하고 있으므로, 단계 200 및 단계 300은 이러한 특성에 부합되는 음성인식 모델을 채용할 수 있다.

또한, 단계 300은 단계 200에서 생성된 제1 전사자료 및 음성 입력을 제공받고, 제1 전사자료에 기초하여 음성 입력을 음소 단위로 인식하여 제2 전사자료를 생성할 수 있다.

단계 300은 음성 입력에 포함되는 각각의 단어를 음소 단위로 인식함으로써 세밀한 음성인식결과를 획득할 수 있다.

구체적으로, 단계 300은 음성 입력에 대한 단어 단위의 음성인식 결과인 제1 전사자료와 음성 입력에 대한 음소 단위의 음성인식 결과인 제2 전사자료를 비교함으로써 미리 정의되지 않은 발화 내용이 음성 입력으로 제공되는 경우에도 음소 단위의 세밀한 음성인식결과를 획득할 수 있다.

또한, 단계 300은 발음사전에 기초하여 음성 입력을 음소 단위로 인식할 수 있다.

예를 들어, 준표준발음은 비원어민 사용자가 빈번하게 범하는 표준발음이 아닌 발음을 의미할 수 있다. 상기 발음사전은 준표준발음을 포함할 수 있고, 상기 발음사전을 이용하는 단계 300은 더 구체적인 음성인식결과를 획득할 수 있다.

예를 들어, 영어단어 "rock"의 발음은 [rak]과 [

]이 표준발음이나 대부분의 사용자는 [lak]과 [

] 등으로 빈번하게 발음한다. 따라서, 발음사전은 [lak]과 [

따라서, 단계 300은 표준발음만을 포함하는 발음사전을 이용하는 경우에 인식할 수 없었던 준표준발음이 입력되는 경우에도 정확하게 음성인식을 수행할 수 있는 장점이 있다.

다음으로, 상기 어학 학습 방법은 상기 제1 전사자료를 미리 정의된 표준발음으로 변환하여 제3 전사자료를 생성할 수 있다(S400).

구체적으로, 상기 단계 400은 제1 전사자료에 포함된 각 단어를 미리 정의된 표준발음으로 변환하여 제3 전사자료를 생성할 수 있다.

또한, 발음사전에는 상기 표준발음이 미리 정의되어 저장될 수 있다.

다음으로, 상기 어학 학습 방법은 상기 제2 및 제3 전사자료를 비교하여 미리 설정된 기준에 충족하지 않는 상기 제2 전사자료의 부분에 대한 오류정보를 생성하고(S500), 상기 오류정보에 상응하는 피드백정보를 생성할 수 있다(S600).

구체적으로, 단계 500은 단계 200에서 생성된 단어 단위의 제1 전사결과를 표준발음으로 변환한 단계 400에서 생성된 제 3 전사자료에 대한 표준발음과 단계 300에서 생성된 제2 전사자료를 비교하고, 비교결과 불일치하는 제2 전사자료의 부분을 검출하고, 검출된 불일치하는 부분들을 오류로 판단하며, 상기 오류로 판단된 부분에 대한 오류정보를 생성할 수 있다.

단계 600은 단계 500에서 생성된 오류정보를 제공받아 오류정보에 상응하는 피드백정보를 생성할 수 있고, 상기 피드백정보를 사용자에게 제공함으로써 사용자에게 교육적인 피드백을 제공할 수 있다.

구체적으로, 상기 단계 600은 오류정보에 포함된 오류에 대한 오류 유형에 따른 중요도를 산출하는 단계 및 상기 산출된 오류 유형에 따른 중요도에 기초하여 상기 피드백정보를 생성할 상기 오류를 결정하고, 상기 결정된 오류에 대한 상기 피드백정보를 생성하는 단계를 포함할 수 있다.

또한, 단계 600은 오류에 대한 신뢰도를 산출하는 단계를 더 포함할 수 있고, 이 경우에 상기 결정된 오류에 대한 피드백정보를 생성하는 단계는 산출된 오류 유형에 따른 중요도 및 산출된 오류에 대한 신뢰도 중 적어도 하나에 기초하여 상기 피드백정보를 생성할 상기 오류를 결정하고, 상기 결정된 오류에 대한 상기 피드백정보를 생성할 수 있다.

또한, 단계 600은 단어 단위의 음성인식에 대한 신뢰도를 산출하는 단계를 더 포함할 수 있고, 이 경우에 상기 결정된 오류에 대한 피드백정보를 생성하는 단계는 산출된 오류 유형에 따른 중요도, 산출된 오류에 대한 신뢰도 및 산출된 단어 단위의 음성인식에 대한 신뢰도 중 적어도 하나에 기초하여 상기 피드백정보를 생성할 상기 오류를 결정하고, 상기 결정된 오류에 대한 상기 피드백정보를 생성할 수 있다.

또한, 단계 600은 음소 단위의 음성인식에 대한 신뢰도를 산출하는 단계를 더 포함할 수 있고, 이 경우에 상기 결정된 오류에 대한 피드백정보를 생성하는 단계는 산출된 오류 유형에 따른 중요도, 산출된 오류에 대한 신뢰도, 산출된 단어 단위의 음성인식에 대한 신뢰도 및 산출된 음소 단위의 음성인식에 대한 신뢰도 중 적어도 하나에 기초하여 상기 피드백정보를 생성할 상기 오류를 결정하고, 상기 결정된 오류에 대한 상기 피드백정보를 생성할 수 있다.

예를 들어, 상기 단계 600은 산출된 오류 유형에 따른 중요도, 산출된 오류에 대한 신뢰도, 산출된 단어 단위의 음성인식에 대한 신뢰도 및 산출된 음소 단위의 음성인식에 대한 신뢰도 중 적어도 하나의 결과에 서로 다른 가중치를 부여하여 피드백정보를 생성할 소정의 오류를 결정할 수 있다.

또한, 단계 600은 오류에 대한 교정사항을 미리 저장한 피드백 데이터베이스(3000)에 기초하여 피드백정보를 생성할 수 있다.

한편, 어학 학습 방법은 표준발음 및 발음사전에 포함된 단어들에 대한 발음데이터를 기계학습하여 형성한 준표준발음을 포함하는 발음사전을 생성하는 단계를 더 포함할 수 있다.

예를 들어, 발음사전을 생성하는 단계는 발음데이터 데이터베이스(1000)에 저장된 발음데이터를 기계학습하여 준표준발음을 생성하고, 생성된 준표준발음을 발음사전 데이터베이스(2000)에 저장할 수 있다.

발음사전은 표준발음 및 준표준발음을 포함함으로써 단계 200 및 단계 300에서 구체적인 음성인식결과를 획득할 수 있도록 한다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 어학 학습 장치 110: 제1 음성 인식부
120: 제2 음성 인식부 130: 표준발음 생성부
140: 오류 검출부 150: 피드백 생성부
151: 오류중요도 산출모듈 152: 오류신뢰도 산출모듈
153: 단어신뢰도 산출모듈 154: 음소신뢰도 산출모듈
155: 피드백 결정모듈 160: 확장발음 생성부
1000: 발음 데이터 데이터베이스
2000: 발음사전 데이터베이스
3000: 피드백 데이터베이스

Claims

음성 입력을 단어 단위로 인식하여 전사한 제1 전사자료를 생성하는 제1 음성 인식부;
상기 제1 전사자료에 기초하여 상기 음성 입력을 음소 단위로 인식하여 전사한 제2 전사자료를 생성하는 제2 음성 인식부;
상기 제1 전사자료를 미리 정의된 표준발음으로 변환하여 제3 전사자료를 생성하는 표준발음 생성부;
상기 제2 및 제3 전사자료를 비교하여 미리 설정된 기준에 충족하지 않는 상기 제2 전사자료의 부분에 대한 오류정보를 생성하는 오류 검출부; 및
상기 오류정보에 상응하는 피드백정보를 생성하는 피드백 생성부를 포함하는 어학 학습 장치.
제1항에 있어서,
상기 제2 음성 인식부는,
상기 음성 입력을 상기 표준발음 및 준표준발음을 포함하는 발음사전을 통해 인식하고,
상기 준표준발음은,
상기 발음사전에 포함된 단어들에 대해 미리 설정된 확률을 초과하여 발음오류가 발생하는 상기 표준발음이 아닌 발음인 것을 특징으로 하는 어학 학습 장치.
제2항에 있어서,
상기 어학 학습 장치는,
상기 표준발음 및 상기 발음사전에 포함된 단어들에 대한 발음데이터를 기계학습하여 형성한 상기 준표준발음을 포함하는 상기 발음사전을 생성하는 확장발음 생성부를 더 포함하는 것을 특징으로 하는 어학 학습 장치.
제1항에 있어서,
상기 피드백 생성부는,
상기 오류정보에 포함된 오류에 대한 오류 유형에 따른 중요도를 산출하는 오류중요도 산출모듈; 및
상기 오류중요도 산출모듈의 산출결과에 기초하여 상기 피드백정보를 생성할 상기 오류를 결정하고, 결정된 상기 오류에 대한 상기 피드백정보를 생성하는 피드백 결정모듈을 포함하는 것을 특징으로 하는 어학 학습 장치.
제4항에 있어서,
상기 피드백 생성부는,
상기 오류에 대한 신뢰도를 산출하는 오류신뢰도 산출모듈을 더 포함하고,
상기 피드백 결정모듈은,
상기 오류중요도 산출모듈의 산출결과 및 상기 오류신뢰도 산출모듈의 산출결과 중 적어도 하나에 기초하여 상기 피드백정보를 생성할 상기 오류를 결정하고, 결정된 상기 오류에 대한 상기 피드백정보를 생성하는 것을 특징으로 하는 어학 학습 장치.
제5항에 있어서,
상기 피드백 생성부는,
상기 제1 음성 인식부의 음성인식에 대한 신뢰도를 산출하는 단어신뢰도 산출모듈을 더 포함하고,
상기 피드백 결정모듈은,
상기 오류중요도 산출모듈의 산출결과, 상기 오류신뢰도 산출모듈의 산출결과 및 상기 단어신뢰도 산출모듈의 산출결과 중 적어도 하나에 기초하여 상기 피드백정보를 생성할 상기 오류를 결정하고, 결정된 상기 오류에 대한 상기 피드백정보를 생성하는 것을 특징으로 하는 어학 학습 장치.
제6항에 있어서,
상기 피드백 생성부는,
상기 제2 음성 인식부의 음성인식에 대한 신뢰도를 산출하는 음소신뢰도 산출모듈을 더 포함하고,
상기 피드백 결정모듈은,
상기 오류중요도 산출모듈의 산출결과, 상기 오류신뢰도 산출모듈의 산출결과, 상기 단어신뢰도 산출모듈의 산출결과 및 상기 음소신뢰도 산출모듈의 산출결과 중 적어도 하나에 기초하여 상기 피드백정보를 생성할 상기 오류를 결정하고, 결정된 상기 오류에 대한 상기 피드백정보를 생성하는 것을 특징으로 하는 어학 학습 장치.
제4항에 있어서,
상기 피드백 결정모듈은,
상기 오류에 상응하는 상기 피드백정보를 상기 오류에 대한 교정사항을 미리 저장한 피드백 데이터베이스에 기초하여 생성하는 것을 특징으로 하는 어학 학습 장치.
어학 학습 장치를 이용한 어학 학습 방법에 있어서,
음성 입력을 단어 단위로 인식하여 제1 전사자료를 생성하는 단계;
상기 제1 전사자료에 기초하여 상기 음성 입력을 음소 단위로 인식하여 제2 전사자료를 생성하는 단계;
상기 제1 전사자료를 미리 정의된 표준발음으로 변환하여 제3 전사자료를 생성하는 단계;
상기 제2 및 제3 전사자료를 비교하여 미리 설정된 기준에 충족하지 않는 상기 제2 전사자료의 부분에 대한 오류정보를 생성하는 단계; 및
상기 오류정보에 상응하는 피드백정보를 생성하는 단계를 포함하는 어학 학습 방법.
제9항에 있어서,
상기 제1 전사자료에 기초하여 상기 음성 입력을 음소 단위로 인식하여 전사한 제2 전사자료를 생성하는 단계는,
상기 음성 입력을 상기 표준발음 및 준표준발음을 포함하는 발음사전을 통해 인식하고,
상기 준표준발음은,
상기 발음사전에 포함된 단어들에 대해 미리 설정된 확률을 초과하여 발음오류가 발생하는 상기 표준발음이 아닌 발음인 것을 특징으로 하는 어학 학습 방법.
제10항에 있어서,
상기 어학 학습 방법은,
상기 표준발음 및 상기 발음사전에 포함된 단어들에 대한 발음데이터를 기계학습하여 형성한 상기 준표준발음을 포함하는 상기 발음사전을 생성하는 단계를 더 포함하는 것을 특징으로 하는 어학 학습 방법.
제9항에 있어서,
상기 오류정보에 상응하는 피드백정보를 생성하는 단계는,
상기 오류정보에 포함된 오류에 대한 오류 유형에 따른 중요도를 산출하는 단계; 및
상기 산출된 오류 유형에 따른 중요도에 기초하여 상기 피드백정보를 생성할 상기 오류를 결정하고, 상기 결정된 오류에 대한 상기 피드백정보를 생성하는 단계를 포함하는 것을 특징으로 하는 어학 학습 방법.
제12항에 있어서,
상기 오류정보에 상응하는 피드백정보를 생성하는 단계는,
상기 오류에 대한 신뢰도를 산출하는 단계를 더 포함하고,
상기 산출된 오류 유형에 따른 중요도에 기초하여 상기 피드백정보를 생성할 상기 오류를 결정하고, 상기 결정된 오류에 대한 상기 피드백정보를 생성하는 단계는,
상기 산출된 오류 유형에 따른 중요도 및 상기 산출된 오류에 대한 신뢰도 중 적어도 하나에 기초하여 상기 피드백정보를 생성할 상기 오류를 결정하고, 상기 결정된 오류에 대한 상기 피드백정보를 생성하는 것을 특징으로 하는 어학 학습 방법.
제13항에 있어서,
상기 오류정보에 상응하는 피드백정보를 생성하는 단계는,
상기 단어 단위의 음성인식에 대한 신뢰도를 산출하는 단계를 더 포함하고,
상기 산출된 오류 유형에 따른 중요도에 기초하여 상기 피드백정보를 생성할 상기 오류를 결정하고, 상기 결정된 오류에 대한 상기 피드백정보를 생성하는 단계는,
상기 산출된 오류 유형에 따른 중요도, 상기 산출된 오류에 대한 신뢰도 및 상기 산출된 단어 단위의 음성인식에 대한 신뢰도 중 적어도 하나에 기초하여 상기 피드백정보를 생성할 상기 오류를 결정하고, 상기 결정된 오류에 대한 상기 피드백정보를 생성하는 것을 특징으로 하는 어학 학습 방법.
제14항에 있어서,
상기 오류정보에 상응하는 피드백정보를 생성하는 단계는,
상기 음소 단위의 음성인식에 대한 신뢰도를 산출하는 단계를 더 포함하고,
상기 산출된 오류 유형에 따른 중요도에 기초하여 상기 피드백정보를 생성할 상기 오류를 결정하고, 상기 결정된 오류에 대한 상기 피드백정보를 생성하는 단계는,
상기 산출된 오류 유형에 따른 중요도, 상기 산출된 오류에 대한 신뢰도, 상기 산출된 단어 단위의 음성인식에 대한 신뢰도 및 상기 산출된 음소 단위의 음성인식에 대한 신뢰도 중 적어도 하나에 기초하여 상기 피드백정보를 생성할 상기 오류를 결정하고, 상기 결정된 오류에 대한 상기 피드백정보를 생성하는 것을 특징으로 하는 어학 학습 방법.
제12항에 있어서,
상기 산출된 오류 유형에 따른 중요도에 기초하여 상기 피드백정보를 생성할 상기 오류를 결정하고, 상기 결정된 오류에 대한 상기 피드백정보를 생성하는 단계는,
상기 오류에 상응하는 상기 피드백정보를 상기 오류에 대한 교정사항을 미리 저장한 피드백 데이터베이스에 기초하여 생성하는 것을 특징으로 하는 어학 학습 방법.