KR101877559B1 - 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법, 이를 실행하는 모바일 단말기 및 이를 실행하기 위한 애플리케이션을 저장하는 기록매체 - Google Patents

Abstract

본 발명은 모바일 단말기의 녹음기능을 활용하여 학습자(user)가 외국어 등과 같은 언어 학습시 발음교정, 음조교정, 발성속도교정 등을 효율적이고 용이하게 할 수 있도록 하는 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법에 관한 것이다.
구체적으로, 본 발명은, 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법으로서, 언어학습용 음성정보를 생성 또는 저장하는 원본 학습파일 생성단계; 상기 모바일 단말기의 음향 출력부를 이용하여, 상기 원본 학습파일의 1차 입력 음성정보를 출력하는 1차 음성파일 재생단계; 상기 모바일 단말기의 음향 입력부를 이용하여, 사용자의 음성정보인 2차 입력 음성정보를 수신하여 더빙파일로 생성 및 저장하는 더빙파일 생성단계;를 포함한다.

Description

모바일 단말기를 이용한 언어 자가학습 서비스 제공방법, 이를 실행하는 모바일 단말기 및 이를 실행하기 위한 애플리케이션을 저장하는 기록매체{METHOD FOR ALLOWING USER SELF-STUDYING LANGUAGE BY USING MOBILE TERMINAL, MOBILE TERMINAL FOR EXECUTING THE SAID METHOD AND RECORD MEDIUM FOR STORING APPLICATION EXECUTING THE SAID METHOD}

본 발명은 모바일 단말기의 녹음기능을 활용하여 학습자(user)가 외국어 등과 같은 언어 학습시 발음교정, 음조교정, 발성속도교정 등을 효율적이고 용이하게 할 수 있도록 하는 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법, 이를 구현하는 모바일 단말기 및 이를 구현하기 위한 프로그램을 저장하는 기록매체에 관한 것이다.

현대시대는 글로벌 시대로서, 이러한 글로벌 시대의 도래로 인해 외국어 등을 공부할 수 있는 언어 학습장치 또는 언어 학습 프로그램이 다양한 형태로 지속적으로 개발되고 있다.

특히, 종래에 따른 어학용 장치는 기본적으로 음향 재생기능을 가지는 카세트, CD 플레이어, DVD 플레이어, MP3 플레이어, 스마트폰 등으로 발전되어 왔다. 그리고, 이러한 어학용 장치는 음향 재생기능 뿐만 아니라 녹음기능의 발전으로 인해 학습자가 자신이 발성한 외국어 발음 등을 들어 교정할 수 있도록 발전되어 왔다.

이러한 종래기술에 따른 어학용 장치의 일 예로서 대한민국 공개특허공보 제10-2009-0119598호에 개시된 녹음기 등을 들 수 있다.

그러나, 대한민국 공개특허공보 제10-2009-0119598호 등과 같이 종래기술에 따른 어학용 장치는 학습 컨텐츠의 음성 신호를 일시정지 또는 정지한 후, 별도로 학습자의 음성정보만을 녹음할 수 있도록 구성되어 있다.

이로 인해, 종래기술에 따른 어학용 장치는 학습 컨텐츠의 음성 신호(예를 들어, 외국인의 대화내용, 또는 외국인의 음성정보 등)의 재생기간과 학습자의 음성정보의 녹음기간이 시간 전후를 두고 이루어지므로, 학습자 자신이 학습 컨텐츠의 음성 신호와 얼마나 유사하게 또는 일치되도록(즉, 얼마나 외국인의 대화내용 또는 외국인의 음성정보에 대해 유사한 음조(tone)로, 얼마나 유사한 발음으로, 또는 얼마나 유사한 발성속도로) 발음하고 있는지에 대해 인지하기 쉽지 않은 문제점이 제기되어 왔다.

따라서, 본 발명의 목적은 종래기술에 따른 문제점을 해결하는 것이다.

구체적으로, 본 발명의 목적은 학습자(user)가 외국어 등과 같은 언어 학습시 발음교정, 음조교정, 발성속도교정 등을 효율적이고 정확하며 용이하게 할 수 있도록 하는 모바일 단말기, 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법 및 이를 저장하는 기록매체를 제공하는 것이다.

전술한 과제를 해결하기 위한 본 발명의 일 실시예에 따르면, 본 발명은, 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법으로서, 언어학습용 음성정보를 생성하는 원본 학습파일 생성단계; 상기 모바일 단말기의 음향 출력부를 이용하여, 상기 원본 학습파일의 1차 입력 음성정보를 출력하는 1차 음성파일 재생단계; 상기 모바일 단말기의 음향 입력부를 이용하여, 사용자의 음성정보인 2차 입력 음성정보를 수신하여 더빙파일로 생성 및 저장하는 더빙파일 생성단계;를 포함하는 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법을 제공할 수 있다.

또한, 바람직하게는, 상기 원본 학습파일 생성단계는, 상기 모바일 단말기의 음향 입력부를 이용하여, 사용자가 학습하고자 하는 언어학습용 음성정보인 1차 입력 음성정보를 녹음하여 원본 학습파일로 생성 및 저장하도록 실행되는 것을 특징으로 한다.

또한, 바람직하게는, 상기 원본 학습파일 생성단계는, 사용자의 입력신호에 따라 또는 자동으로. 상기 모바일 단말기의 메모리부에 저장된 음성정보 컨텐츠 및 동영상 컨텐츠에서 언어학습용 음성정보를 추출하여 저장하도록 실행되는 것을 특징으로 한다.

또한, 바람직하게는, 상기 원본 학습파일 생성단계는, 상기 모바일 단말기의 무선 통신부를 이용하여, 사용자가 학습하고자 하는 언어학습용 음성정보 또는 언어학습용 컨텐츠를 언어 자가학습 서비스 제공서버로부터 다운로드하여 원본 학습파일로 생성 및 저장하도록 실행되는 것을 특징으로 한다.

또한, 바람직하게는, 상기 더빙파일 생성단계는, 상기 1차 음성파일 재생단계 시작 후, 상기 더빙파일 생성단계를 실행하는 사용자 입력신호를 사용자로부터 수신하는 사용자 입력신호 수신단계; 상기 사용자 입력신호에 기초하여 상기 모바일 단말기의 음향 입력부를 구동시켜 상기 2차 입력 음성정보를 수신하는 2차 입력 음성정보 수신단계; 상기 원본 학습파일의 1차 입력 음성정보에 상기 2차 입력 음성정보를 중첩하여 중첩 음성정보를 생성하는 더빙파일 생성단계; 및 상기 중첩 음성정보를 상기 모바일 단말기의 메모리부에 저장하는 더빙파일 저장단계;를 포함하는 것을 특징으로 한다.

또한, 바람직하게는, 상기 1차 음성파일 재생단계는, 상기 1차 음성파일 재생단계를 실행하는 사용자 입력신호를 사용자로부터 수신하는 사용자 입력신호 수신단계;를 포함하고, 상기 사용자 입력신호가 수신되는 경우, 상기 1차 음성파일 재생단계와 상기 더빙파일 생성단계는 동시에 실행되는 것을 특징으로 한다.

또한, 바람직하게는, 상기 원본 학습파일 생성단계 및 상기 더빙파일 생성단계 중 적어도 하나 이상의 단계는, 상기 입력 음성정보에서 주변 노이즈 음성정보를 제거하는 노이즈 제거단계;를 포함하는 것을 특징으로 한다.

또한, 바람직하게는, 상기 모바일 단말기의 음향 출력부를 이용하여, 상기 더빙파일의 중첩 음성정보를 출력하는 2차 음성파일 재생단계;를 더 포함하는 것을 특징으로 한다.

또한, 바람직하게는, 상기 2차 음성파일 재생단계는, 상기 2차 음성파일 재생단계를 실행하는 사용자 입력신호를 사용자로부터 수신하는 사용자 입력신호 수신단계; 상기 사용자 입력신호에 기초하여 상기 더빙파일의 중첩 음성정보를 출력하는 더빙파일의 음성정보 출력단계;를 포함하는 것을 특징으로 한다.

또한, 바람직하게는, 상기 2차 음성파일 재생단계 이후에, 상기 더빙파일 재생성단계를 실행하는 사용자 입력신호를 사용자로부터 수신하는 사용자 입력신호 수신단계; 상기 사용자 입력신호에 기초하여 상기 모바일 단말기의 음향 입력부를 구동시켜 사용자의 재입력 음성정보인 3차 입력 음성정보를 수신하는 3차 입력 음성정보 수신단계; 상기 원본 학습파일의 1차 입력 음성정보에 상기 3차 입력 음성정보를 중첩하여 추가 중첩 음성정보를 생성하는 더빙파일 재생성단계; 및 상기 추가 중첩 음성정보를 상기 모바일 단말기의 메모리부에 저장하는 추가 더빙파일 저장단계;를 더 포함하는 것을 특징으로 한다.

또한, 바람직하게는, 상기 더빙파일 생성단계는, 사용자 입력신호에 따라 또는 자동으로, 상기 1차 입력 음성정보의 음량크기가 상기 2차 입력 음성정보의 음량크기보다 큰 제1 더빙파일을 생성하도록, 또는 상기 2차 입력 음성정보의 음량크기가 상기 1차 입력 음성정보의 음량크기보다 큰 제2 더빙파일을 생성하도록, 또는 상기 제1 더빙파일과 상기 제2 더빙파일을 모두 생성하도록, 실행되는 것을 특징으로 한다.

또한, 바람직하게는, 상기 2차 음성파일 재생단계는, 사용자 입력신호에 따라 또는 자동으로, 상기 제1 더빙파일을 출력하도록, 또는 상기 제2 더빙파일을 출력하도록, 또는 상기 제1 더빙파일 및 상기 제2 더빙파일을 순차적으로 출력하도록, 또는 상기 제2 더빙파일 및 상기 제1 더빙파일을 순차적으로 출력하도록, 실행되는 것을 특징으로 한다.

또한, 바람직하게는, 상기 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법은, 상기 더빙파일 생성단계 이후에, 상기 더빙파일의 중첩 음성정보에서 상기 2차 입력 음성정보만을 추출 및 저장하는 2차 입력 음성정보 추출단계;를 더 포함하는 것을 특징으로 한다.

또한, 바람직하게는, 상기 2차 음성파일 재생단계는, 상기 원본 학습파일의 음성정보인 1차 입력 음성정보를 출력하는 원본 학습파일 음성정보 출력단계; 상기 2차 입력 음성정보를 출력하는 2차 입력 음성정보 출력단계; 및 상기 더빙파일의 음성정보인 중첩 음성정보를 출력하는 더빙파일 음성정보 출력단계;를 포함하는 것을 특징으로 한다.

또한, 바람직하게는, 상기 원본 학습파일 생성단계의 시작 후에 실행되고, 상기 원본 학습파일로부터 텍스트정보를 추출하여 스크립트 파일로 생성 및 저장하는 스크립트 파일 생성단계; 및 상기 1차 음성파일 재생단계의 시작 후에 실행되고, 상기 모바일 단말기의 디스플레이부를 이용하여 상기 스크립트 파일의 텍스트정보를 출력하는 스크립트 파일 출력단계;를 더 포함하는 것을 특징으로 한다.

또한, 바람직하게는, 상기 스크립트 파일 출력단계는, 상기 1차 음성파일 재생단계의 시작 후에, 상기 1차 입력 음성파일의 재생시각 정보에 기초하여 상기 텍스트정보를 시각적으로 변화시키도록 실행되는 것을 특징으로 한다.

그리고, 전술한 과제를 해결하기 위한 본 발명의 다른 일 실시예에 따르면, 본 발명은, 전술한 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법을 실행하는 모바일 단말기를 제공할 수 있다.

그리고, 전술한 과제를 해결하기 위한 본 발명의 또 다른 일 실시예에 따르면, 전술한 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법을 실행하기 위한 애플리케이션을 저장하는 기록매체를 제공할 수 있다.

전술한 과제의 해결수단에 따르면, 본 발명은 더빙파일을 생성하고 상기 더빙파일을 재생하도록 구성됨으로써, 학습자가 자신이 발음한 언어 음성정보를 학습하고자 하는 원본 학습파일의 음성정보와 동시에 비교함으로써 학습자가 자신의 언어(예를 들어, 외국어) 학습시 발음, 음조 및 발성속도 등을 정확하고 용이하게 교정할 수 있도록 할 수 있다.

또한, 본 발명은 언어학습용 음성정보를 직접 녹음하여 생성할 수 있으므로 언어학습 컨텐츠를 무제한적으로 용이하게 생성할 수 있어, 언어학습 컨텐츠의 다양성을 현저히 향상시킬 수 있다.

또한, 본 발명은 동영상 컨텐츠로부터 음성정보만 추출하여 외국 영화, 외국 드라마 등을 활용한 언어학습을 용이하게 할 수 있다.

또한, 본 발명은 서비스 제공서버를 통하여 언어학습용 음성정보 또는 언어학습용 컨텐츠를 다운로드하여 사용할 수 있도록 구성됨으로써, 서비스 제공서버 공급자가 각종 음성정보 또는 컨텐츠를 판매하여 수익을 창출할 수 있도록 할 수 있다.

그리고, 본 발명은 노이즈 제거부를 포함함으로써 향상된 선명한 음질의 원본 학습파일 및/또는 더빙파일의 음질을 사용자에게 제공할 수 있어, 사용자의 언어 학습 편의성을 향상시킬 수 있다.

또한, 본 발명은 더빙파일 재생 중에 새로운 더빙파일을 생성할 수 있도록 구성됨으로써, 사용자가 실수로 발음하는 경우에도 용이하게 새로운 더빙파일을 생성할 수 있다.

또한, 본 발명은 더빙파일에서 원본 학습파일 음성정보(즉, 1차 입력 음성정보) 및 2차 입력 음성정보 중 하나를 다른 하나에 비해 상대적으로 음량이 크도록 더빙파일을 생성할 수 있고, 이를 선택적으로 또는 순차적으로 재생하도록 구성됨으로써, 사용자의 자기발음 인지성을 현저히 향상시켜 사용자의 언어 학습 효과을 증대시킬 수 있다.

또한, 본 발명은 2차 입력 음성정보만를 추출하여 별도로 저장하고 원본 학습파일, 2차 입력 음성정보 및 더빙파일을 선택적으로 및/또는 순차적으로 재생할 수 있도록 구성됨으로써, 사용자가 자신의 발음 음성정보와 원복 학습파일의 음성정보를 반복적으로 비교하여 자신의 발음 음성정보를 효율적으로 교정할 수 있도록 할 수 있다.

그리고, 본 발명은 스크립트를 생성하고 출력하도록 구성함으로써, 더빙파일 생성시 학습자가 용이하게 더빙작업을 수행할 수 있도록 할 수 있을 뿐만 아니라, 언어학습용 컨텐츠가 청각적 및 시각적으로 동시에 제공되므로 사용자의 언어 학습 효과를 현저히 향상시킬 수 있다.

게다가, 본 발명은 더빙파일 생성단계의 시작 후 원본 학습파일의 재생시각에 연동하여 스크립트의 텍스트정보를 시각적으로 변화시키도록 구성됨으로써, 사용자가 더빙작업을 보다 더 용이하고 정확하게 하도록 할 수 있다. 이로 인해, 사용자의 언어 발음 학습효과 및/또는 언어 발음 교정효과를 현저히 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 모바일 단말기에 대한 개략적인 블록선도이다.
도 2는 본 발명의 일 실시예에 따른 언어 자가학습 서비스 제공방법에 대한 개략적인 플로우챠트이다.
도 3은 도 2의 상세 플로우챠트이다.
도 4는 추가 실시예에 따른 원본 학습파일 생성단계에 대한 개략적인 플로우챠트이다.
도 5a는 본 발명에 따른 1차 음성파일 재생단계가 실행되는 경우 디스플레이부에 출력되는 음성파일재생 출력화면에 대한 개략도이고, 도 5b는 본 발명에 따른 더빙파일 생성단계가 실행되는 경우 디스플레이부에 출력되는 더빙 출력화면에 대한 개략도이다.
도 6는 제1 추가 실시예에 따른 언어 자가학습 서비스 제공방법에 대한 개략적인 플로우챠트이다.
도 7은 도 6의 상세 플로우챠트이다.
도 8은 제2 추가 실시예에 따른 언어 자가학습 서비스 제공방법에 대한 개략적인 플로우챠트이다.
도 9은 도 8의 스크립트 파일 생성단계에 대한 개략적인 플로우챠트이다.
도 10는 도 8의 스크립트 파일 출력단계에 대한 개략적인 플로우챠트이다.

이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 당해 분야의 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 설명하기로 한다. 첨부된 도면들에서 구성에 표기된 도면번호는 다른 도면에서도 동일한 구성을 표기할 때에 가능한 한 동일한 도면번호를 사용하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고 도면에 제시된 어떤 특징들은 설명의 용이함을 위해 확대 또는 축소 또는 단순화된 것이고, 도면 및 그 구성요소들이 반드시 적절한 비율로 도시되어 있지는 않다. 그러나 당업자라면 이러한 상세 사항들을 쉽게 이해할 것이다.

도 1은 본 발명의 일 실시예에 따른 모바일 단말기(1000)에 대한 개략적인 블록선도이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 모바일 단말기(1000)는, 무선 통신부(110)와, 터치형 입력부(121) 및 음향 입력부(122)를 포함하는 입력부(120)와, 음향 출력부(151)와 디스플레이부(152)를 포함하는 출력부(150)와, 각종 정보 및 데이터를 저장하는 메모리부(160)와, 인터페이스부(170)와, 본 발명에 따른 언어 자가학습 서비스 제공부(140)와, 전술한 구성요소들을 제어하는 제어부(130)를 포함한다.

여기서, 상기 모바일 단말기(1000)는, 휴대폰, 스마트폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿PC, PDA(Personal Digital Assistants), 웨어러블 디바이스(wearable device) 등을 포함할 수 있다.

상기 무선 통신부(110)는 상기 모바일 단말기(1000)와 언어 자가학습 서비스 제공서버와 상호 무선 데이터 통신가능하도록 구성된다.

상기 입력부(120)는, 사용자의 입력신호를 사용자의 수신호로 수신하는 터치형 입력부(121)와, 사용자의 입력신호를 사용자의 음성신호로 수신하는 음향 입력부(122)를 포함한다.

상기 터치형 입력부(121)는 터치스크린, 키보드, 물리버튼 등을 포함할 수 있다.

상기 음향 입력부(122)는 마이크를 포함하고, 상기 마이크는 마이크로폰(Microphone)에 의해 사용자의 음성 신호를 입력받아 전기적인 음성 정보(데이터)로 처리할 수 있다. 처리된 음성 정보(데이터)는 제어부(130)에서 인지가능한 형태로 변환되어 전송될 수 있다. 상기 마이크에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다. 물론 도면에 도시된 바와 같이, 상기 언어 자가학습 서비스 제공부(140)는 별도의 노이즈 제거부(148)를 포함할 수 있다.

상기 인터페이스부(170)는, 제어부(130)에 전기적 또는 통신 신호적으로 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 모바일 단말기(1000) 내부의 각 구성 요소에 전달하거나, 모바일 단말기(1000) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 충전 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.

상기 메모리부(160)는, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크(122)로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크, SSD(Solid State Drive) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 상기 모바일 단말기(1000)는 인터넷(internet)상에서 상기 메모리부(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.

상기 출력부(150)는 음향 출력부(151)와 디스플레이부(152)를 포함한다. 상기 음향 출력부(151)는 스피커, 이어폰 또는 헤드폰 등의 외부 음향장치 접속단자 등을 포함할 수 있다.

상기 제어부(130)는, 상기 무선 통신부(110), 상기 입력부(120), 상기 출력부(150), 상기 메모리부(160), 상기 인터페이스부(170) 등 상기 모바일 단말기(1000)에 포함되는 구성요소 및 프로그램(제어 알고리즘)을 제어하도록 구성된다.

상기 언어 자가학습 서비스 제공부(140)는, 사용자의 입력신호에 의해 무선 통신부(110)를 통하여 언어 자가학습 서비스 제공서버에서 언어 자가학습 서비스 애플리케이션을 상기 모바일 단말기(1000)(또는 상기 모바일 단말기(1000)의 메모리부(160))에 다운로드하여 실행하는 경우 제어부(130) 내에 또는 제어부(130)와 상호 구동하도록 설치되는 제어 알고리즘 또는 프로그램이다.

상기 언어 자가학습 서비스 제공부(140)는, 레코더 구동부(141)와, 재생 구동부(142)와, 더빙 구동부(143)와, 음성정보 필터부(144)와, 디스플레이 구동부(145)와, 음성-텍스트 변환부(146)와, 노이즈 제거부(148)와, 음성정보 추출부(149)를 포함한다.

상기 레코더 구동부(141)는 입력부(120) 및 제어부(130)를 통하여 음향 입력부(122)(예를 들어, 마이크)를 활성화시켜 녹음기능을 실행한다. 상기 레코더 구동부(141)는 후술할 원본 학습파일 생성단계(S1100)를 구동하도록 구성된다.

상기 재생 구동부(142)는 입력부(120) 및 제어부(130)를 통하여 음향 출력부(151)(예를 들어, 스피커)를 활성화시켜 동영상 컨텐츠 또는 음성 정보를 재생하는 플레이기능을 실행한다. 상기 재생 구동부(142)는 후술할 1차 음성파일 재생단계(S1200), 2차 음성파일 재생단계(1400)를 구동하도록 구성된다. 그리고, 상기 재생 구동부(142)는 하나의 음성정보 또는 파일을 반복하여 재생하도록 하는 반복 재생부와, 하나의 음성정보에서 일정 부분만을 반복하여 재생하도록 하는 구간반복 재생부를 포함할 수 있다.

상기 더빙 구동부(143)는 입력부(120) 및 제어부(130)를 통하여 음향 입력부(122)(예를 들어, 마이크)를 활성화시켜 녹음기능을 실행한다. 상기 더빙 구동부(143)는 후술할 더빙파일 생성단계(S1300), 더빙파일 재생성단계를 구동하도록 구성된다.

상기 음성정보 필터부(144)는 1차 입력 음성정보와 2차 입력 음성정보를 중첩적으로 포함하는 더빙파일에서 1차 입력 음성정보에 해당하는 음역대를 제거하여 2차 입력 음성정보만 추출하도록 구성된다.

상기 디스플레이 구동부(145)는 디스플레이부(152)와 제어부(130)를 통하여 상기 언어 자가학습 서비스와 관련된 화면정보, UI정보 및 아이콘형 입력부(120) 등이 상기 디스플레이부(152)에 출력되도록 구성된다.

상기 음성-텍스트 변환부(146)는 레코더 구동부(141)를 통하여 수신되는 언어학습용 음성정보(즉, 녹음된 원본 학습파일)를 텍스트정보로 변환하여 상기 메모리부(160)에 저장한다. 또한, 상기 음성-텍스트 변환부(146)는 상기 언어학습용 음성정보에서 상기 텍스트정보에 대응되는 대응 재생시각 정보를 추출하여 메모리부(160)에 저장한다.

상기 노이즈 제거부(148)는 입력부(120) 및 제어부(130)를 통하여 음향 입력부(122)(즉, 마이크)에서 수신되는 음성정보 및/또는 음향정보에서 노이즈를 제거하도록 구성된다. 상기 음성정보 필터부(144)는 후술할 노이즈 제거단계를 구동하도록 구성된다.

상기 음성정보 추출부(149)는 상기 모바일 단말기(1000)의 메모리부(160)에 저장된 동영상 컨텐츠에서 음성정보(예를 들어, 외국 영화 또는 드라마 속의 대화내용 등)만을 추출하도록 구성된다. 이렇게 추출된 음성정보는 원본 학습파일로 활용될 수 있다.

상기 언어 자가학습 서비스 제공부(140)의 각 구성요소에 대해서는 이하에서 기술할 본 발명에 따른 모바일 단말기(1000)를 이용한 언어 자가학습 서비스 제공방법(S1000)에 대한 설명에서 보다 구체적으로 기술하기로 한다.

도 2는 본 발명의 일 실시예에 따른 언어 자가학습 서비스 제공방법(S1000)에 대한 개략적인 플로우챠트이고, 도 3은 도 2의 상세 플로우챠트이고, 도 4는 추가 실시예에 따른 원본 학습파일 생성단계(S1100)에 대한 개략적인 플로우챠트이고, 도 5a는 본 발명에 따른 1차 음성파일 재생단계(S1200)가 실행되는 경우 디스플레이부(152)에 출력되는 음성파일재생 출력화면(152a)에 대한 개략도이고, 도 5b는 본 발명에 따른 더빙파일 생성단계(S1300)가 실행되는 경우 디스플레이부(152)에 출력되는 더빙 출력화면(152b)에 대한 개략도이다.

도 2 및 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 언어 자가학습 서비스 제공방법(S1000)은, 전술한 모바일 단말기(1000)에 포함된 구성요소 및 제어 알고리즘을 이용하여 구현되는 것으로서, 원본 학습파일 생성단계(S1100); 1차 음성파일 재생단계(S1200); 더빙파일 생성단계(S1300)를 포함하며, 나아가 2차 음성파일 재생단계(1400);를 더 포함한다.

우선, 상기 제어부(130)는 레코더 구동부(141)와 연동하여 음향 입력부(122)를 활성화 또는 비활성화시켜, 언어학습용 음성정보를 생성 또는 저장할 수 있다.(S1100)

구체적으로, 본 실시예에 따르면, 상기 원본 학습파일 생성단계(S1100)는, 상기 모바일 단말기(1000)의 음향 입력부(122)를 이용하여, 사용자가 학습하고자 하는 언어학습용 음성정보인 1차 입력 음성정보를 녹음하여 원본 학습파일로 생성 및 저장하도록 실행된다. 여기서, 상기 1차 입력 음성정보는, 사용자의 선택에 따라 외국어 대화내용, 외국어 수업내용, 외국어 영화내용, 외국어 음악가사, 외국어 뉴스내용 등을 포함할 수 있으며, 그 종류에 제한을 두지 않는다.

즉, 제어부(130)는 터치형 입력부(121)를 통하여 입력된 제1 사용자 입력신호를 수신한다(S1110). 여기서 상기 제1 사용자 입력신호는 사용자가 레코더 구동부(141) 및 음향 입력부(122)를 구동시키도록 사용자가 터치형 입력부(121)를 통하여 입력하는 신호이다.

바람직하게는, 상기 제1 사용자 입력신호 수신단계(S1110)에서 상기 제1 사용자 입력신호를 수신한 이후에, 상기 제어부가 상기 메모리부의 잔존 저장용량이 기설정된 용량(예를 들어, 100 Mbyte) 미만인 것으로 판단하는 경우, 상기 제어부는 사용자가 메모리부의 용량부족 상황을 시각적으로 및/또는 청각적으로 인지할 수 있는 용량부족 알림정보를 출력하도록 상기 디스플레이부 및/또는 음향 출력부를 제어할 수 있다.

여기서, 상기 용량부족 알림정보는 예를 들어 "저장공간이 부족합니다. 불필요한 파일을 삭제 후 다시 시도하세요."라는 텍스트 정보일 수 있다.

이후, 제어부(130)는 음향 입력부(122)를 통하여 입력된 1차 입력 음성정보(또는 언어학습용 음성정보)를 수신한다.(S1120) 여기서 상기 1차 입력 음성정보는 언어학습용 음성정보로서 외국어 대화내용, 외국어 수업내용, 외국어 영화내용, 외국어 음악가사, 외국어 뉴스내용 등을 포함할 수 있다.

이후, 제어부(130)는 상기 1차 입력 음성정보를 원본 학습파일로 생성한 후(S1130), 메모리부에 상기 원본 학습파일을 저장한다.(S1140) 상기 원본 학습파일은 이후에 사용자의 선택에 의해 재생 구동부(142)에 의해 재생될 수 있다.

바람직하게는, 상기 1차 입력 음성정보 수신단계(S1120) 실행 중에, 상기 제어부(130)는 노이즈 제거부(148)를 활성화시켜, 상기 1차 입력 음성정보에서 주변 노이즈 음성정보를 제거하도록 제어할 수 있다.

한편 추가 실시예에 따르면, 도 4에 도시된 바와 같이, 상기 원본 학습파일 생성단계(S1100)는, 사용자의 입력신호에 따라 또는 자동으로, 상기 모바일 단말기(1000)의 메모리부(160)에 저장된 음성정보 컨텐츠 및 동영상 컨텐츠에서 언어학습용 음성정보를 추출하여 저장하도록 실행될 수 있다.

이를 위하여, 우선 제어부(130)는 상기 메모리부(160)에 저장된 각동 데이터 및 정보들 중에서 동영상 컨텐츠를 검색하여 동영상 컨텐츠 리스트를 상기 디스플레이부(152)에 출력한다(S1150).

이후, 상기 제어부(130)는 사용자의 입력신호가 수신되는 경우 재생 구동부(142)를 활성화시켜 사용자의 입력신호에 따라 선택된 동영상 컨텐츠를 재생하도록 제어한다(S1160). 이때, 상기 동영상 컨텐츠는 실제 디스플레이부(152)에 출력될 수도 있지만, 디스플레이부(152)에 출력되지 않고 이후에 실행되는 음성정보 출력단계만 실행될 수도 있다.

이후, 상기 제어부(130)는 음성정보 추출부(149)를 활성화시켜 재생 구동부(142)에 의해 재생된 동영상 컨텐츠에서 음성정보만 추출하도록 제어한다(S1170).

이후, 상기 제어부(130)는 추출된 음성정보를 원본 학습파일로 메모리부(160)에 저장한다(S1180).

도면에 도시되진 않았지만, 또 다른 추가 실시예로서, 상기 원본 학습파일 생성단계(S1100)는, 상기 모바일 단말기(1000)의 무선 통신부(110)를 이용하여, 사용자가 학습하고자 하는 언어학습용 음성정보 또는 언어학습용 컨텐츠를 언어 자가학습 서비스 제공서버로부터 다운로드하여 원본 학습파일로 생성 및 저장하도록 실행될 수 있다.

상기 원본 학습파일 생성단계(S1100) 이후에, 상기 제어부(130)는 음향 출력부(151) 및 재생 구동부(142)를 활성화시켜 상기 원본 학습파일의 1차 입력 음성정보를 출력한다(S1200).

구체적으로, 우선 제어부(130)는 터치형 입력부(121)를 통하여 입력된 제2 사용자 입력신호를 수신한다.(S1210) 여기서, 상기 제2 사용자 입력신호는 원본 학습파일을 재생하고자 하는 사용자의 입력신호이다.

이후, 상기 제어부(130)는 재생 구동부(142) 및 음향 출력부(151)를 구동시켜 상기 원본 학습파일의 음성정보(즉, 1차 입력 음성정보 또는 어학학습용 음성정보)을 출력한다(S1220).

이때, 제어부(130)는 더빙파일 생성단계(S1300)를 순차적으로 실행할 수 있다.

추가 실시예에 따르면, 상기 제어부(130)는 상기 제2 사용자 입력신호를 수신되는 경우, 상기 1차 음성파일 재생단계(S1200)와 후속하는 더빙파일 생성단계(S1300)가 동시에 실행되도록 상기 재생 구동부(142), 상기 음향 출력부(151), 상기 더빙 구동부(143) 및 상기 음향 입력부(122)를 동시에 활성화시킬 수 있다.

바람직하게는, 상기 제어부는 상기 1차 음성파일 재생단계(S1100) 실행시 도 5a에 도시된 바와 같은 음성파일재생 출력화면(152a)을 디스플레이부에 출력할 수 있다.

상기 음성파일재생 출력화면(152a)은 재생단계 제어부(121a), 재생가능파일 리스트부(121b), 더빙실행부를 포함한다.

상기 재생단계 제어부(121a)는 출력화면인 동시에 사용자의 입력신호를 수신하는 터치형 입력부이며, 재생/일시정지 조절용 아이콘부, 뒤로 감기용 아이콘부, 앞으로 감기용 아이콘부, 반복재생 선택용 아이콘부, 반복구간 지정용 아이콘부, 음량조절용 아이콘부를 포함한다.

상기 재생가능파일 리스트부(121b)는 언어 자가학습 서비스 제공부(140)가 재생가능한 메모리부 내의 파일리스트에 대한 출력화면이며, 동시에 사용자의 입력신호를 수신하는 터치형 입력부이다.

상기 더빙실행부는 더빙 안내 정보 출력부(152a-1)와, 더빙실행용 아이콘(121c)를 포함한다.

상기 더빙실행용 아이콘(121c)을 통하여 사용자의 입력신호가 수신되는 경우, 상기 제어부는 도 5a의 음성파일재생 출력화면(152a)을 도 5b의 더빙 출력화면(152b)로 전환하도록 디스플레이부를 제어한다.

상기 더빙 출력화면(152b)은 더빙실행부 이외에는 음성파일재생 출력화면(152a)과 동일하게 구성된다. 상기 더빙 출력화면(152b)의 더빙실행부는 더빙실행시간 출력부(152b-1)와, 더빙상태정보 출력부(152b-2)와, 더빙 실행/일시정지 조절용 아이콘부(121d)와, 더빙완료용 아이콘부(121e)를 포함한다.

전술한 출력화면의 구성은 예시적인 것으로서, 본 발명은 이에 제한되지 않음은 당연하다.

상기 1차 음성파일 재생단계(S1200) 이후에, 상기 제어부(130)는 상기 모바일 단말기(1000)의 음향 입력부(122) 및 더빙 구동부(143)를 활성화시켜 사용자(즉, 학습자)의 음성정보인 2차 입력 음성정보를 수신하여 더빙파일로 생성 및 저장하도록 제어한다(S1300). 여기서, 상기 2차 입력 음성정보는 사용자가 원본 학습파일의 음성정보를 따라서 발음한 음성정보이다.

구체적으로, 우선 제어부(130)는, 상기 1차 음성파일 재생단계(S1200) 시작 후, 상기 더빙파일 생성단계(S1300)를 실행하는 제3 사용자 입력신호를 사용자로부터 수신한다(S1310). 예를 들어, 상기 제어부는 도 5a의 더빙실행용 아이콘부(121c)를 통하여 사용자의 입력신호를 수신하는 경우 상기 더빙파일 생성단계(S1300)를 시작한다.

이후, 상기 제어부(130)는 상기 제3 사용자 입력신호에 기초하여 상기 모바일 단말기(1000)의 음향 입력부(122)를 구동시켜 상기 2차 입력 음성정보를 수신한다.(S1320)

이후, 상기 제어부(130)는 원본 학습파일의 1차 입력 음성정보에 상기 2차 입력 음성정보를 시간적으로 중첩하여(또는, 재생시간과 더빙시간을 중첩하여) 중첩 음성정보를 더빙파일로 생성한다(S1330).

이후, 상기 제어부(130)는, 상기 중첩 음성정보를 담고 있는 더빙파일을 상기 모바일 단말기(1000)의 메모리부(160)에 저장한다(S1340).

바람직하게는, 상기 2차 입력 음성정보 수신단계(S1320) 실행 중에, 상기 제어부(130)는 노이즈 제거부(148)를 활성화시켜, 상기 2차 입력 음성정보에서 주변 노이즈 음성정보를 제거하도록 제어할 수 있다.

상기 더빙파일 생성단계(S1300)는 전술한 바와 같이 상기 1차 음성파일 재생단계(S1200)의 제2 사용자 입력신호 수신단계(S1210)에서 입력된 제2 사용자 입력신호에 의해 실행될 수도 있고, 상기 더빙파일 생성단계(S1300)의 제3 사용자 입력신호 수신단계(S1310)에서 입력된 제3 사용자 입력신호에 의해 실행될 수도 있다.

상기 더빙파일 생성단계(S1300) 이후에, 상기 제어부(130)는 상기 모바일 단말기(1000)의 음향 출력부(151) 및 재생 구동부(142)를 활성화시켜, 상기 더빙파일의 중첩 음성정보를 사용자에게 출력하도록 제어할 수 있다(S1400).

구체적으로, 우선 제어부(130)는 터치형 입력부(121)를 통하여 2차 음성파일 재생단계(1400)를 실행하는 제4 사용자 입력신호를 사용자로부터 수신한다(S1410).

이후, 상기 제어부(130)는 상기 제4 사용자 입력신호에 기초하여 상기 더빙파일의 중첩 음성정보를 음향 출력부(151)로 출력한다(S1420).

추가 실시예로서, 상기 2차 음성파일 재생단계(1400) 이후에, 상기 제어부(130)는 사용자의 입력신호에 기초하여 더빙파일을 수정하도록 더빙 구동부(143), 메모리부(160) 및 음향 출력부(151)를 제어할 수 있다.

구체적으로, 우선, 상기 제어부(130)는 상기 더빙파일 재생성단계(미도시)를 실행하는 제5 사용자 입력신호를 사용자로부터 수신한다.

이후, 상기 제어부(130)는 상기 제5 사용자 입력신호에 기초하여 원본 녹음파일의 음성정보를 재생하도록 메모리부(160), 재생 구동부(142) 및 음향 출력부(151)를 제어한다.

이후, 상기 제어부(130)는 상기 제5 사용자 입력신호에 기초하여 상기 모바일 단말기(1000)의 음향 입력부(122) 및 더빙 구동부(143)를 구동시켜 사용자의 재입력 음성정보인 3차 입력 음성정보를 수신한다.

이후, 상기 제어부(130)는, 상기 원본 학습파일의 1차 입력 음성정보에 상기 3차 입력 음성정보를 중첩하여 추가 중첩 음성정보를 생성한다.

이후, 상기 제어부(130)는 상기 추가 중첩 음성정보를 상기 모바일 단말기(1000)의 메모리부(160)에 저장한다.

상기 더빙파일 생성단계(S1300)의 추가 실시예로서, 상기 제어부(130)는, 사용자 입력신호에 따라(즉, 수동으로) 또는 자동으로, 상기 1차 입력 음성정보의 음량과 상기 2차 입력 음성정보의 음량크기를 상대적으로 조절하여 더빙파일을 생성하도록 제어할 수 있다.

구체적으로, 상기 제어부(130)는 상기 1차 입력 음성정보의 음량크기가 상기 2차 입력 음성정보의 음량크기보다 큰 제1 더빙파일을 생성하거나, 또는 상기 2차 입력 음성정보의 음량크기가 상기 1차 입력 음성정보의 음량크기보다 큰 제2 더빙파일을 생성하거나, 또는 상기 제1 더빙파일과 상기 제2 더빙파일을 모두 생성하도록 제어할 수 있다.

변형 실시예로서, 상기 더빙파일 생성단계(S1300)는, 초기 설정으로서, 상기 1차 입력 음성정보의 음량크기가 상기 2차 입력 음성정보의 음량크기보다 작은 제1 더빙파일을 생성하도록 실행되며, 이후에 입력되는 사용자의 입력신호에 따라 1차 입력 음성정보의 크기 및 2차 입력 음성정보의 크기가 조절된 더빙파일을 생성하도록 실행될 수도 있다. 즉, 상기 더빙파일 생성단계(S1300)는, 기본적으로 상기 제1 더빙파일(즉, 상기 1차 입력 음성정보의 음량크기가 상기 2차 입력 음성정보의 음량크기보다 작은 더빙파일)을 생성하도록 실행되나, 추후 입력부를 통해 입력되는 사용자의 입력신호에 따라 상기 2차 입력 음성정보의 음량크기가 상기 1차 입력 음성정보의 음량크기보다 작은 제2 더빙파일을 생성하도록 실행되거나, 또는 상기 1차 입력 음성정보의 음량크기와 상기 2차 입력 음성정보의 음량크기가 동일한 제3 더빙파일을 생성하도록 실행될 수 있다.

상기 더빙파일 생성단계(S1300)의 추가 실시예와 관련하여, 상기 2차 음성파일 재생단계(1400)의 추가 실시예로서, 상기 제어부(130)는 사용자 입력신호에 따라(수동으로) 또는 자동으로, 상기 제1 더빙파일을 음향 출력부(151)를 통하여 출력하도록, 또는 상기 제2 더빙파일을 음향 출력부(151)를 통하여 출력하도록, 또는 상기 제1 더빙파일 및 상기 제2 더빙파일을 순차적으로 음향 출력부(151)를 통하여 출력하도록, 또는 상기 제2 더빙파일 및 상기 제1 더빙파일을 순차적으로 음향 출력부(151)를 통하여 출력하도록, 제어할 수 있다.

도 6는 제1 추가 실시예에 따른 언어 자가학습 서비스 제공방법(S2000)에 대한 개략적인 플로우챠트이고, 도 7은 도 6의 상세 플로우챠트이다.

본 실시예에 따른 언어 자가학습 서비스 제공방법(S2000)은 전술한 실시예에 따른 언어 자가학습 서비스 제공방법(S1000)에 포함되는 기술적 특징을 (거의) 그대로 포함하므로, 설명의 명확성과 중복설명 방지를 위하여 전술한 내용과 중복되는 내용에 대해서는 이하에서 가급적 구체적인 설명을 생략하기로 한다.

본 실시예에 따르며, 본 발명은, 원본 학습파일 생성단계(S2100); 1차 음성파일 재생단계(S2200); 더빙파일 생성단계(S2300); 2차 입력 음성정보 추출단계(S2400); 및 2차 음성파일 재생단계(S2500);를 포함한다.

여기서, 본 실시예에 따른 원본 학습파일 생성단계(S2100), 1차 음성파일 재생단계(SQ200) 및 더빙파일 생성단계(S2300)는 전술한 실시예에 따른 원본 학습파일 생성단계(S1100), 1차 음성파일 재생단계(S1200) 및 더빙파일 생성단계(S1300)와 거의 동일하다.

본 실시예에 따르면, 상기 더빙파일 생성단계(S2300) 이후에, 상기 제어부(130)는 상기 더빙파일의 중첩 음성정보에서 상기 2차 입력 음성정보만을 추출 및 저장하는 2차 입력 음성정보 추출단계(S2400)를 실행한다.

구체적으로, 우선, 상기 제어부(130)는, 더빙파일을 복사하여 복사 더빙파일을 메모리부에 저장한다.

이후, 상기 제어부(130)는, 재생 구동부 및 음향 음성정보 필터부(144)를 활성화시켜 상기 복사 더빙파일의 음성정보에서 1차 입력 음성정보를 제거하도록 제어한다(S2410).

이후, 상기 제어부(130)는 상기 복사 더빙파일의 음성정보에서 잔존하는 2차 입력 음성정보(학습자 음성정보)를 생성한다(S2420).

이후, 상기 제어부(130)는 상기 2차 입력 음성정보를 메모리부에 저장한다(S2430).

본 실시예에 따른 2차 음성파일 재생단계(S2500)는, 상기 원본 학습파일의 음성정보인 1차 입력 음성정보를 출력하는 원본 학습파일 음성정보 출력단계(S2520); 상기 2차 입력 음성정보를 출력하는 2차 입력 음성정보 출력단계(S2530); 및 상기 더빙파일의 음성정보인 중첩 음성정보를 출력하는 더빙파일 음성정보 출력단계(S2540);를 포함한다.

예를 들어, 제어부(130)는, 원본 학습파일, 2차 입력 음성정보 및 더빙파일 순으로 출력되도록 재생 구동부 및 음향 출력부를 제어할 수 있다. 이러한 원본 학습파일, 2차 입력 음성정보 및 더빙파일의 출력 순서는 일예에 불과하며 사용자의 선택에 의해 적절하게 조절될 수 있다.

도 8은 제2 추가 실시예에 따른 언어 자가학습 서비스 제공방법(S3000)에 대한 개략적인 플로우챠트이고, 도 9은 도 8의 스크립트 파일 생성단계(S3200)에 대한 개략적인 플로우챠트이고, 도 10는 도 8의 스크립트 파일 출력단계(S3400)에 대한 개략적인 플로우챠트이다.

본 실시예에 따른 언어 자가학습 서비스 제공방법(S3000)은 전술한 실시예에 따른 언어 자가학습 서비스 제공방법(S1000)(S2000)에 포함되는 기술적 특징을 (거의) 그대로 포함하므로, 설명의 명확성과 중복설명 방지를 위하여 전술한 내용과 중복되는 내용에 대해서는 이하에서 가급적 구체적인 설명을 생략하기로 한다.

본 실시예에 따르며, 본 발명은, 원본 학습파일 생성단계(S3100); 스크립트 파일 생성단계(S3200); 1차 음성파일 재생단계(S3300); 스크립트 파일 출력단계(S3400); 더빙파일 생성단계(S3500); 및 2차 음성파일 재생단계(S3600);를 포함한다.

여기서, 본 실시예에 따른 원본 학습파일 생성단계(S3100), 1차 음성파일 재생단계(S3300) 및 더빙파일 생성단계(S3500) 및 2차 음성파일 재상단계(S3600)는 전술한 실시예에 따른 원본 학습파일 생성단계(S1100)(S2100), 1차 음성파일 재생단계(S1200)(S2200), 더빙파일 생성단계(S1300)(S2300) 및 2차 음성파일 재상단계(S1400)(S2500)와 거의 동일하며, 추가적으로 본 실시예에 따른 언어 자가학습 서비스 제공방법(S3000)은, 원본 녹음파일 생성단계(S3100)와 1차 음성파일 재생단계(S3300) 사이에 스크립트 파일 생성단계(S3200)와, 1차 음성파일 재생단계(S3300)와 순차적으로 또는 동시에 실행되는 스크립트 파일 출력단계(S3400)를 포함한다.

구체적으로, 우선, 원본 학습파일 생성단계(S3100)의 시작 이후에 또는 도중에, 상기 제어부(130)는 음향 입력부, 레코더 구동부 및 음성-텍스트정보 변환부(146)를 활성화시켜 상기 원본 학습파일로부터 텍스트정보를 추출하여 스크립트 파일로 생성 및 저장하도록 제어한다(S3200).

즉, 상기 제어부(130)는, 음향 입력부를 통하여 수신되는 또는 메모리부에서 불러들인 원본 학습파일의 음성정보에서 텍스트 정보를 추출 및/또는 변환하여 메모리부에 저장한다(S3210).

상기 S3210의 추가 실시예로서, 상기 텍스트 정보는 상기 원본 학습파일의 음성정보에 대응되는 텍스트 정보로서, 사용자의 입력신호에 따라 또는 자동으로 상기 언어 자가학습 서비스 제공서버로부터 다운로드되어 상기 메모리부에 저장되거나, 또는 사용자의 입력신호에 의해 상기 사용자의 외부 메모리장치에서 상기 메모리부로 이동되어 저장될 수 있다. 이때, 상기 텍스트 정보는 상기 원복 학습파일의 음성정보에 대응되는 대응 재생시각 정보를 포함한다.

그리고, 상기 제어부(130)는 상기 음성-텍스트정보 변환단계와 동시에 또는 순차적으로 상기 원복 학습파일의 음성정보에 대응되는 대응 재생시각 정보를 추출하여 메모리부에 저장한다(S3220).

이후, 상기 제어부(130)는 메모리부에 저장된 텍스트 정보 및 이에 대응되는 대응 재생시각 정보를 매칭하여 결합시시켜 스크립트 파일을 생성한다(S3230).

이후, 상기 제어부(130)는 상기 스크립트 파일을 메모리부에 저장한다(S3240).

상기 1차 음성파일 재생단계(S3300)의 시작 후에 또는 도중에, 상기 제어부(130)는 상기 모바일 단말기의 디스플레이부(152)를 이용하여 상기 스크립트 파일의 텍스트정보를 출력한다(S3400).

이후, 바람직하게는, 상기 스크립트 파일 출력단계(S3400)는, 상기 1차 음성파일 재생단계(S3300)의 시작 후에, 먼저 스크립트 파일의 텍스트정보를 출력한 후(S3410), 상기 1차 입력 음성파일의 재생시각 정보에 기초(또는 연동)하여(S3420) 상기 텍스트정보를 시각적으로 변화시키도록 실행될 수 있다(S3430).

이때, 상기 텍스트정보는 1차 입력 음성파일의 재생시각 정보에 따라 글자의 색상 또는 크기가 변화하도록 출력될 수 있다.

이하에서는, 본 발명의 일 실시예에 따른 모바일 단말기를 응용한 추가 실시예에 따른 모바일 단말기에 대하여 기술하기로 한다.

추가 실시예에 따른 모바일 단말기는, 사용자의 선택에 따른 동작 제어를 위한 입력 데이터를 입력하기 위한 터치형 입력부(121)와; 마이크(122)에 입력되는 음원을 녹음하는 레코더 구동부(141)와; 녹음된 음원을 스피커 등의 음향 출력부(151)를 통하여 재생하는 재생 구동부(142)와; 상기 재생되는 음원을 인식하고 상기 음원 재생 후 마이크(122)에 입력되는 사용자의 음성을 인식하는 음성정보 추출부(149)와; 상기 음원과 상기 음성정보 추출부에서 인식한 상기 사용자의 음성을 매칭시켜 매칭 데이터를 생성하는 매칭부(즉, 제어부(130)의 일 기능)와; 상기 매칭 데이터를 시각적으로 표시하는 디스플레이부(152); 사용자가 설정하는 재생 옵션에 따라 음원을 재생하도록 제어하는 제어부(130)를 포함한다.

이때, 상기 재생 옵션은 음원의 재생 속도, 재생 단위, 재생 반복 구간을 포함하고, 상기 재생 단위는 단어, 의미상의 분절, 문장, 문단을 포함할 수 있다.

본 실시예에서, 상기 음성정보 추출부(149)는 마이크를 통해 입력되는 사용자의 음성을 인식하고, 음성 분석 프로세스를 이용하여 상기 음성에서 음성 신호의 주파수를 분석하여 포먼트(formant)를 찾아냄으로써 음성을 분석하도록 구성된다.

재생 구동부(142)는 사용자의 선택에 따라 음원 즉, 사용자 음성 또는 학습용 컨텐츠를 녹음하고 녹음된 컨텐츠를 출력한다.

재생 구동부(142)는 카메라와 연동하여 동영상을 녹화하고 녹화된 컨텐츠를 출력할 수도 있다.

매칭부는 제어부에 포함된 일 기능으로서, 사용자의 음성과 학습용 컨텐츠를 매칭시킨다. 구체적으로, 매칭부는 사용자의 음성과 음원과의 매칭 정도를 파악하여 그 차이점을 보여주기 때문에 사용자는 음원(원어민의 발음)과 유사한 발음을 내기 위한 발음 연습을 효과적으로 할 수 있다.

메모리부(160)는 컨텐츠 데이터베이스, 사용자 정보 데이터베이스, 음성 분석 프로세스, TSS(text to speech), STT(speech to text) 등을 저장한다.

음성 분석 프로세스에 의해 마이크(122)에 입력된 아날로그 음성은 디지털 신호로 바뀐다. 이 디지털 신호는 1/10,000 초 단위의 근접한 시차로 신호의 진폭을 나타내는 숫자들로 구성되어 있다. 음성 분석 프로세스는 음성 신호의 주파수를 분석하여 포먼트(formant)를 찾아냄으로써 음성을 분석한다.

포먼트는 사람의 소리를 주파수로 분석하여 어떤 주파수에 어느 정도의 에너지가 있는지를 그래프 등으로 나타낸 스펙트럼이다. 예를 들면 누구든지 '아' 하고 발음하면 소리의 성질에 관계없이 '아'하고 들린다. 이것은 ‘아’의 스펙트럼이 어떤 사람의 소리인지 관계없이 같은 스펙트럼 분포를 이루기 때문이다.

TSS는 음성 합성이라고도 하며, 말소리의 음파를 기계가 자동으로 만들어 내는 기술로, 모델로 선정된 사람의 말소리를 녹음하여 일정한 음성 단위로 분할하고, 부호를 붙여 합성기에 입력하였다가 지시에 따라 필요한 음성단위만을 다시 합쳐 말소리를 인위로 만들어내는 기술이다. 반대로, STT는 입력되는 사람의 음성을 인식하여 문자화하는 기술이다.

제어부(130)는 사용자의 설정에 따라 재생되는 음원의 재생 속도, 재생 단위, 재생 반복 구간을 제어한다. 여기에서 재생 단위는 단어, 의미상의 분절, 문장, 문단이 될 수 있다. 예컨대, 상기 설정되는 재생 단위가 문장인 경우, 문장별로 끊어 한 문장씩 출력하여, 사용자가 출력된 문장을 따라 읽을 수 있도록 한다.

따라서, 본 발명은 학습 시에 음원과 사용자 목소리의 포먼트 대조를 통해 발음 유사도를 시각적으로 확인할 수 있기 때문에 사용자의 발음과 음원(원어민의 발음)이 어느 정도 유사한지 파악할 수 있어서 발음을 용이하게 교정할 수 있는 효과가 있다.

이하에서는, 추가 실시예에 따른 모바일 단말기를 이용한 추가 실시예에 따른 언어 자가학습 서비스 제공방법에 대하여 기술하기로 한다.

추가 실시예에 따른 언어 자가학습 서비스 제공방법은, 녹음 또는 녹화된 학습용 컨텐츠들 중 하나가 사용자의 선택에 의해 재생되는 재생 단계; 상기 재생 이후 사용자의 음성을 입력받아 인식하는 인식 단계; 상기 인식 단계에서 인식한 음성과 상기 음성 컨텐츠를 매칭시켜 매칭 데이터를 생성하는 매칭 데이터 생성 단계; 및 상기 매칭 데이터를 사용자에게 제공하는 제공 단계;를 포함한다.

위에 언급한 추가 실시예에 따른 서비스 제공방법에서 학습용 컨텐츠들 중 하나가 재생되는 재생단계는 전술한 도 2 또는 도 3에서 '1차 음성파일 재생단계(S1200)'에 해당할 수 있으며, 상기 재생 이후 사용자의 음성을 입력받아 인식하는 인식 단계는 전술한 도 2 또는 도 3에서 '2차 입력 음성정보 수신단계(S1320)'에 해당할 수 있다.

또한, 위에 언급한 추가 실시예에 따른 서비스 제공방법에서 상기 인식 단계에서 인식한 음성과 상기 음성 컨텐츠를 매칭시켜 매칭 데이터를 생성하는 매칭 데이터 생성 단계 및 상기 매칭 데이터를 사용자에게 제공하는 제공 단계는, 사용자의 선택에 따라 또는 자동으로 전술한 도 2 또는 도 3에서 '더빙파일 생성단계(S1300)' 이후에 수행될 수 있다.

여기서, 상기 재생 단계는, 사용자 입력에 의해 재생 속도를 설정하는 과정; 사용자 입력에 의해 재생 단위를 설정하는 과정; 및 사용자 입력에 의해 반복 재생 구간을 설정하는 과정;을 포함하도록 구성될 수 있다.

바람직하게는, 상기 인식 단계에서 사용자 음성을 주파수로 분석하여 어떤 주파수에 얼마큼의 에너지가 있는지를 확인할 수 있도록 실행될 수 있다.

그리고, 상기 제공 단계에서 상기 매칭 데이터를 그래프 또는 매칭 백분율 중 적어도 하나로 제공할 수 있다.

게다가, 추가 실시예에 따른 언어 자가학습 서비스 제공방법은, 상기 매칭 데이터가 일정기준 이하인 경우 상기 재생 단계로 되돌아가도록 실행될 수 있다.

추가 실시예에 따른 언어 자가학습 서비스 제공방법을 보다 구체적으로 살펴보면, 학습용 컨텐츠가 재생되면, 재생되는 학습용 컨텐츠의 포먼트가 디스플레이부(152)에 제공된다. 또한, 사용자의 설정에 따라 STT를 이용하여 디스플레이부(152)의 일부 영역에 학습용 컨텐츠의 텍스트가 표시될 수 있다.

상기 재생 단위에 따라 재생되는 학습용 컨텐츠를 사용자가 듣고 따라 말하면, 마이크(122)에 의해 입력되는 사용자 음성의 포먼트가 디스플레이부(152)에 제공된다.

마이크를 통해 입력된 사용자 음성은 음성 분석 프로세서에 의해 분석되며 그 분석에 따라 생성된 음성 포먼트는 FFT(Faster Fourier Transform)을 통해 필터링되어 제공되는 것이 바람직하다. 노이즈 제거부(148)을 이용한 필터링을 통해 잡음을 제거하면 신호처리의 품질을 향상시킬 수 있기 때문이다. 필터링된 포먼트는 그래프 등으로 시각화되어 저장될 수 있다.

따라서, 사용자는 발음에 따라 변화되는 주파수 대역을 실시간 눈으로 보면면서 자신의 발음을 확인할 수 있다.

예컨대, 한국어 마찰음 /ㅅ/ 과, 영어 마찰음은 /s/는 혀가 구강 내에서 접촉을 일으키는 조음점이 다르기 때문에 발음시 발생되는 소리의 주파수가 다르다. 이를 FFT 변환하면, 한국어 마찰음 /ㅅ/은 저역대(0~3000Hz)의 소리가 없으며, 중역대인 6000Hz 주변에서 가장 큰 음량이 분포되어 있는 반면, 영어 마찰음은 /s/는 /ㅅ/ 에 비해 저역대 주파수 음량이 적고 8000Hz 이상의 고역대 주파수의 음량이 더 크다는 것을 포먼트를 통해 시각적으로 확인할 수 있다.

이후, 상기 제어부는 매칭부를 구동시켜 상기 인식한 음성을 상기 재생되는 학습용 컨텐츠에 매칭하여 매칭 데이터를 생성한다.

매칭 데이터를 생성하기 위해, 학습용 컨텐츠의 재생시 메모리부(160)에 저장된 해당 학습용 컨텐츠의 포먼트가 매칭부에 제공된다. 이 포먼트를 제1 포먼트라 한다. 또한 마이크에 입력되는 사용자 음성의 포먼트가 매칭부에 제공된다. 이 포먼트를 제2 포먼트라 한다.

매칭부는 제1 포먼트와 제2 포먼트를 매칭시킨 후 생성한 매칭 데이터를 디스플레이부(152)에 제공한다.

상기 매칭 데이터는 매칭율을 포함한 학습에 대한 평가로서, 사용자가 확인하기 쉽도록 백분율, 점수 등으로 계량화 또는 수치화하여 점수로 제공된다. 학습자는 점수를 통해 매번 자신의 발음이 어느 정도 향상되었는지를 파악할 수 있다. 이러한 점수화는 학습자의 학습 동기를 유발하는 장점이 있다.

이후, 상기 제어부는 상기 매칭 데이터가 일정 기준 이상인지를 판단하여, 예컨대 매칭율이 일정기준(예를 들어, 90%) 이하인 경우 해당 부분을 다시 재생하도록 설정할 수 있다. 만약 상기 매칭 데이터가 일정 기준 이상인 경우에는 다음 재생 구간을 재생한다.

이상에서 본 발명의 기술적 사상을 예시하기 위해 구체적인 실시예로 도시하고 설명하였으나, 본 발명은 상기와 같이 구체적인 실시예와 동일한 구성 및 작용에만 국한되지 않고, 여러가지 변형이 본 발명의 범위를 벗어나지 않는 한도 내에서 실시될 수 있다. 따라서, 그와 같은 변형도 본 발명의 범위에 속하는 것으로 간주해야 하며, 본 발명의 범위는 후술하는 특허청구범위에 의해 결정되어야 한다.

1000 : 모바일 단말기
110 : 무선 통신부
120 : 입력부
130 : 제어부
140 : 언어 자가학습 서비스 제공부
150 : 출력부
160 : 메모리부
170 : 인터페이스부
S1000, S2000, S3000 : 언어 자가학습 서비스 제공방법

Claims (19)

1. 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법으로서,
   언어학습용 음성정보를 생성 또는 저장하는 원본 학습파일 생성단계;
   상기 모바일 단말기의 음향 출력부를 이용하여, 상기 원본 학습파일의 1차 입력 음성정보를 출력하는 1차 음성파일 재생단계;
   상기 모바일 단말기의 음향 입력부를 이용하여 사용자의 음성정보인 2차 입력 음성정보를 수신하여 더빙파일로 생성 및 저장하는 더빙파일 생성단계; 및
   사용자의 선택에 의해 상기 더빙파일의 중첩 음성정보에서 상기 2차 입력 음성정보만을 추출 및 저장하고, 상기 중첩 음성정보는 삭제되지 않는 2차 입력 음성정보 추출단계를 포함하고,
   상기 더빙파일 생성단계는 상기 원본 학습파일의 1차 입력 음성정보에 상기 2차 입력 음성정보를 중첩하여 중첩 음성정보를 생성하고, 상기 1차 입력 음성정보의 음량과 상기 2차 입력 음성정보의 음량크기를 상대적으로 조절하여 더빙파일을 생성하며,
   상기 1차 음성파일 재생단계에서 제어부가 디스플레이부를 통해 음성파일재생 출력화면을 출력하는 단계를 더 포함하고, 상기 음성파일재생 출력화면은 재생단계 제어부, 재생가능파일 리스트부, 더빙실행부를 포함하고,
   상기 재생단계 제어부는 재생/일시정지 조절용 아이콘부, 뒤로 감기용 아이콘부, 앞으로 감기용 아이콘부, 반복재생 선택용 아이콘부, 반복구간 지정용 아이콘부, 음량조절용 아이콘부를 포함하고, 상기 재생가능파일 리스트부는 언어 자가학습 서비스 제공부가 재생가능한 메모리부 내의 파일리스트에 대한 출력화면이며,상기 더빙실행부는 더빙 안내 정보 출력부와, 더빙실행용 아이콘을 포함하고,
   상기 더빙실행용 아이콘을 통하여 사용자의 입력신호가 수신되는 경우 상기 제어부가 상기 디스플레이부를 제어하여 상기 음성파일재생 출력화면을 더빙 출력화면으로 전환하는 단계를 더 포함하고,
   상기 더빙출력화면은 상기 재생단계 제어부, 상기 재생가능파일 리스트부와, 더빙실행시간 출력부와, 더빙상태정보 출력부와, 더빙 실행/일시정지 조절용 아이콘부와, 더빙완료용 아이콘부를 포함하고,
   상기 모바일 단말기의 음향 출력부를 이용하여, 상기 더빙파일의 중첩 음성정보를 출력하는 2차 음성파일 재생단계를 더 포함하고, 상기 2차 음성파일 재생단계는 상기 원본 학습파일의 음성정보인 1차 입력 음성정보를 출력하는 원본 학습파일 음성정보 출력단계, 상기 2차 입력 음성정보를 출력하는 2차 입력 음성정보 출력단계 및 상기 더빙파일의 음성정보인 중첩 음성정보를 출력하는 더빙파일 음성정보 출력단계를 포함하는 것을 특징으로 하는 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법.
2. 제1항에 있어서,
   상기 원본 학습파일 생성단계는,
   상기 모바일 단말기의 음향 입력부를 이용하여, 사용자가 학습하고자 하는 언어학습용 음성정보인 1차 입력 음성정보를 녹음하여 원본 학습파일로 생성 및 저장하도록 실행되는 것을 특징으로 하는 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법.
3. 제1항에 있어서,
   상기 원본 학습파일 생성단계는, 사용자의 입력신호에 따라 또는 자동으로
   상기 모바일 단말기의 메모리부에 저장된 음성정보 컨텐츠 및 동영상 컨텐츠에서 언어학습용 음성정보를 추출하여 저장하도록 실행되는 것을 특징으로 하는 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법.
4. 제1항에 있어서,
   상기 원본 학습파일 생성단계는,
   상기 모바일 단말기의 무선 통신부를 이용하여, 사용자가 학습하고자 하는 언어학습용 음성정보 또는 언어학습용 컨텐츠를 언어 자가학습 서비스 제공서버로부터 다운로드하여 원본 학습파일로 생성 및 저장하도록 실행되는 것을 특징으로 하는 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법.
5. 제1항에 있어서,
   상기 더빙파일 생성단계는,
   상기 1차 음성파일 재생단계 시작 후, 상기 더빙파일 생성단계를 실행하는 사용자 입력신호를 사용자로부터 수신하는 사용자 입력신호 수신단계;
   상기 사용자 입력신호에 기초하여 상기 모바일 단말기의 음향 입력부를 구동시켜 상기 2차 입력 음성정보를 수신하는 2차 입력 음성정보 수신단계;
   상기 원본 학습파일의 1차 입력 음성정보에 상기 2차 입력 음성정보를 중첩하여 중첩 음성정보를 생성하는 더빙파일 생성단계; 및
   상기 중첩 음성정보를 상기 모바일 단말기의 메모리부에 저장하는 더빙파일 저장단계;를 포함하는 것을 특징으로 하는 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법.
6. 제1항에 있어서,
   상기 1차 음성파일 재생단계는,
   상기 1차 음성파일 재생단계를 실행하는 사용자 입력신호를 사용자로부터 수신하는 사용자 입력신호 수신단계;를 포함하고,
   상기 사용자 입력신호가 수신되는 경우, 상기 1차 음성파일 재생단계와 상기 더빙파일 생성단계는 동시에 실행되는 것을 특징으로 하는 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법.
7. 제1항에 있어서,
   상기 원본 학습파일 생성단계 및 상기 더빙파일 생성단계 중 적어도 하나 이상의 단계는,
   상기 입력 음성정보에서 주변 노이즈 음성정보를 제거하는 노이즈 제거단계;를 포함하는 것을 특징으로 하는 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법.
8. 삭제
9. 제1항에 있어서,
   상기 2차 음성파일 재생단계는,
   상기 2차 음성파일 재생단계를 실행하는 사용자 입력신호를 사용자로부터 수신하는 사용자 입력신호 수신단계;
   상기 사용자 입력신호에 기초하여 상기 더빙파일의 중첩 음성정보를 출력하는 더빙파일의 음성정보 출력단계;를 더 포함하는 것을 특징으로 하는 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법.
10. 제1항에 있어서,
    상기 2차 음성파일 재생단계 이후에,
    더빙파일 재생성단계를 실행하는 사용자 입력신호를 사용자로부터 수신하는 사용자 입력신호 수신단계;
    상기 사용자 입력신호에 기초하여 상기 모바일 단말기의 음향 입력부를 구동시켜 사용자의 재입력 음성정보인 3차 입력 음성정보를 수신하는 3차 입력 음성정보 수신단계;
    상기 원본 학습파일의 1차 입력 음성정보에 상기 3차 입력 음성정보를 중첩하여 추가 중첩 음성정보를 생성하는 더빙파일 재생성단계; 및
    상기 추가 중첩 음성정보를 상기 모바일 단말기의 메모리부에 저장하는 추가 더빙파일 저장단계;를 더 포함하는 것을 특징으로 하는 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법.
11. 삭제
12. 제1항에 있어서,
    상기 더빙파일 생성단계는,
    상기 1차 입력 음성정보의 음량크기가 상기 2차 입력 음성정보의 음량크기보다 큰 제1 더빙파일을 생성하도록,
    또는 상기 2차 입력 음성정보의 음량크기가 상기 1차 입력 음성정보의 음량크기보다 큰 제2 더빙파일을 생성하도록,
    또는 상기 제1 더빙파일과 상기 제2 더빙파일을 모두 생성하도록,
    실행되는 것을 특징으로 하는 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법.
13. 제12항에 있어서,
    상기 2차 음성파일 재생단계는, 사용자 입력신호에 따라 또는 자동으로,
    상기 제1 더빙파일을 출력하도록,
    또는 상기 제2 더빙파일을 출력하도록,
    또는 상기 제1 더빙파일 및 상기 제2 더빙파일을 순차적으로 출력하도록,
    또는 상기 제2 더빙파일 및 상기 제1 더빙파일을 순차적으로 출력하도록,
    실행되는 것을 특징으로 하는 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법.
14. 삭제
15. 삭제
16. 제1항에 있어서,
    상기 원본 학습파일 생성단계의 시작 후에 실행되고, 상기 원본 학습파일로부터 텍스트정보를 추출하여 스크립트 파일로 생성 및 저장하는 스크립트 파일 생성단계; 및
    상기 1차 음성파일 재생단계의 시작 후에 실행되고, 상기 모바일 단말기의 디스플레이부를 이용하여 상기 스크립트 파일의 텍스트정보를 출력하는 스크립트 파일 출력단계;를 더 포함하는 것을 특징으로 하는 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법.
17. 제16항에 있어서,
    상기 스크립트 파일 출력단계는,
    상기 1차 음성파일 재생단계의 시작 후에, 상기 1차 입력 음성파일의 재생시각 정보에 기초하여 상기 텍스트정보를 시각적으로 변화시키도록 실행되는 것을 특징으로 하는 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법.
18. 제1항 내지 제7항 또는 제9항 내지 제10항 또는 제12항 내지 제13항 또는 제16항 내지 제17항 중 선택된 어느 한 항에 따른 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법을 실행하는 모바일 단말기.
19. 제1항 내지 제7항 또는 제9항 내지 제10항 또는 제12항 내지 제13항 또는 제16항 내지 제17항 중 선택된 어느 한 항에 따른 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법을 실행하기 위한 애플리케이션을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images