KR100995847B1 - 인터넷상에서의 소리분석 기반 어학 학습방법 및 시스템 - Google Patents

Abstract

본 발명은 인터넷상에서의 소리분석 기반 어학 학습방법 및 시스템에 관한 것이다. 본 발명의 방법은 학습자 컴퓨터와 어학학습 서비스 시스템이 인터넷으로 연결되어 학습자에게 어학학습을 제공할 수 있는 어학 학습방법에서, 학습자가 학습자 컴퓨터로 어학학습 서비스 시스템에 접속하여 로그인하면, 어학학습 서비스 시스템이 학습자 페이지를 제공하는 단계와, 학습자가 학습자 페이지 화면에서 학습하기를 선택하면, 어학학습 서비스 시스템이 해당 학습자의 이전 학습진도에 맞춰 학습할 학습 페이지를 제공하는 단계와, 학습자가 학습 페이지에서 학습한 후 답안을 입력하면, 어학학습 서비스 시스템이 정답과 비교하여 평가하고, 평가 결과에 따라 소정 기준치 이상일 경우에만 다음 학습 페이지를 제공하는 단계와, 학습자가 학습 페이지에서 녹음을 선택하면, 어학학습 서비스 시스템이 소정 시간의 시간제한 마크를 작동시키고 제한된 시간 안에 학습자의 음성을 녹음하는 단계와, 어학학습 서비스 시스템이 녹음된 학습자의 음성을 소리분석하는 단계와, 어학학습 서비스 시스템이 소리분석결과를 데이터베이스에 저장하여 관리하고 분석결과를 학습자측으로 제공하는 단계로 구성된다.

어학학습, 소리분석, 발음, 리듬, 소리근원, 시간제한, 녹음

Description

인터넷상에서의 소리분석 기반 어학 학습방법 및 시스템{ LANGUAGE TRAINING METHOD AND SYSTEM BASED SOUND ANALYSIS ON INTERNET }

본 발명은 컴퓨터를 이용한 온라인 어학학습 방법 및 시스템에 관한 것으로, 더욱 상세하게는 학습자의 올바른 어학습득을 위해 학습자의 소리를 과학적으로 분석하여 학습자가 체계적으로 학습할 수 있도록 하는 인터넷상에서의 소리분석 기반 어학 학습방법 및 시스템에 관한 것이다.

최근 들어, 교통 및 통신수단이 발전함에 따라 기업활동과 개인의 일상생활이 글로벌화되면서 외국어를 가르치는 어학 교육의 중요성이 매우 강조되고 있다. 종래의 전통적인 어학교육은 학원을 통해 이루어졌으나 인터넷이 널리 보급되면서 인터넷을 이용한 어학학습이 점차 각광을 받고 있다.

하지만 인터넷을 이용한 종래의 어학학습은 컨텐츠가 부실함과 단순한 반복 기능을 통해 언어를 습득하려 하며, 아울러 언어 습득에 가장 중요한 학습자 자신이 직접 말해보는 체계적인 훈련을 할 수 없을 뿐 아니라, 학습에 대한 과학적인 분석이 없이 단지 어학학원에서 진행하던 어학 학습 내용을 동영상으로 제공하거나 단순 반복 혹은 원어민의 말을 따라 하기 방식이어서 학습자의 학습욕구를 충족시켜주지 못하는 문제점이 있다.

또한 한국어에 익숙한 한국인에게는 영어의 소리에 들어 있는 발음이나 리듬뿐 아니라 언어의 가장 기본인 소리의 근원(한국어는 목에서, 영어는 배에서 소리가 남) 등이 한국어와 현격하게 다르므로, 아무리 영어를 공부해도 듣고 말하는 영어를 능숙하게 하는 것이 불가능하다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 본 발명의 목적은 다양한 학습 기능을 이용하여 학습자의 소리와 학습결과에 대한 과학적인 분석을 통해 학습자 스스로 언어 훈련을 하며, 원어민에 가까운 영어의 소리를 낼 수 있도록 하고, 학습자의 학습의욕을 지속적으로 유지시킬 수 있는 인터넷상에서의 소리분석 기반 어학 학습 방법 및 시스템을 제공하는 것이다.

본 발명의 다른 목적은 학습자의 말하기 학습 효과를 향상시키기 위해 녹음시 시간을 제한하고 학습자의 녹음 데이터를 정밀하게 소리 분석하여 구체적인 분석 항목으로 평가하는 인터넷상에서의 소리분석 기반 어학 학습 방법 및 시스템을 제공하는 것이다.

상기와 같은 목적을 달성하기 위하여 본 발명의 방법은 학습자 컴퓨터와 어학학습 서비스 시스템이 인터넷으로 연결되어 학습자에게 어학학습을 제공할 수 있는 어학 학습방법에 있어서, 학습자가 학습자 컴퓨터로 어학학습 서비스 시스템에 접속하여 로그인하면, 어학학습 서비스 시스템이 학습자 페이지를 제공하는 단계; 학습자가 상기 학습자 페이지 화면에서 학습하기를 선택하면, 어학학습 서비스 시스템이 해당 학습자의 이전 학습진도에 맞춰 학습할 학습 페이지를 제공하는 단계; 학습자가 상기 학습 페이지에서 학습한 후 답안을 입력하면, 어학학습 서비스 시스 템이 정답과 비교하여 평가하고, 평가 결과에 따라 소정 기준치 이상일 경우에만 다음 학습 페이지를 제공하는 단계; 학습자가 상기 학습 페이지에서 녹음을 선택하면, 어학학습 서비스 시스템이 소정 시간의 시간제한 마크를 작동시키고 제한된 시간 안에 학습자의 음성을 녹음하는 단계; 어학학습 서비스 시스템이 상기 녹음된 학습자의 음성을 소리분석하는 단계; 및 어학학습 서비스 시스템이 상기 소리분석결과를 데이터베이스에 저장하여 관리하고 분석결과를 상기 학습자측으로 제공하는 단계를 구비한다.

상기 학습자의 음성을 녹음하는 단계는 학습 페이지의 화면에서 녹음버튼을 선택받는 단계와, 녹음버튼이 선택되면 소정 시간의 시간제한마크를 표시하여 시간경과를 카운트하는 단계와, 시간제한마크의 시간경과 표시가 시작되면 학습자의 음성을 입력받아 녹음하는 단계와, 소정 시간이 경과되면 시간제한마크의 시간경과 표시를 종료시키고, 녹음을 정지하는 단계와, 업로드버튼이 선택되면 녹음된 학습자의 음성데이터를 소리분석서버로 전송하는 단계로 이루어진다. 상기 학습자의 음성을 녹음하는 단계는 어학학습 서비스 시스템이 보이스 레코딩 시스템 화면을 제공하여 제한시간에 녹음하게 하고, 업로드를 선택하면 녹음된 학습자의 음성데이터를 소리분석서버로 전송하는 것이다.

또한 상기 학습자의 음성을 소리분석하는 단계는 학습자의 음성데이터를 표준음 데이터와 비교하여 발음을 분석하는 발음분석단계와, 학습자의 음성데이터를 표준음 데이터의 리듬과 비교하여 리듬을 분석하는 리듬분석단계와, 학습자의 음성 데이터를 소정의 기준치와 비교하여 소리의 근원이 복부인지 성대인지를 판단하여 소리의 근원을 분석하는 소리근원분석단계로 이루어진다.

상기 리듬분석단계는 표준음 파형을 분석하여 처음에 무음이 아닌 곳을 찾아 연속하는 다음 3개의 점에 무음이 없으면 시작점으로 정하고, 무음이 3개 이상 연속되고 시작점과 끝점이 10픽셀 이상인 점을 봉우리의 끝점으로 정하는 단계; 학습자 파형을 분석하여 처음에 무음이 아닌 곳을 찾아 연속하는 다음 3개의 점에 무음이 없으면 시작점으로 정하고, 무음이 3개 이상 연속되고, 시작점과 끝점이 10픽셀 이상인 점을 봉우리의 끝점으로 정하는 단계; 상기 표준음 파형과 학습자 파형의 시작점이 같은가 판단하여 같으면, 표준음과 학습자의 파형면적을 비율로 계산하고, 무성음처리부분이면 표준음과 학습자의 파형의 끝점을 비교하여 무성음 처리가 되어 있는지 확인하는 단계; 상기 봉우리의 개수를 비교하여 일정구간의 매칭율을 계산하고, 악센트 구간을 찾기 위해 해쉬 테이블에 넣으면서 인덱스를 산출하는 단계; 상기 해쉬 테이블에서 비교시작점과 비교종료점을 찾아 악센트가 일치하는 비율을 산출하는 단계; 및 상기 표준음 파형과 학습자의 파형 면적 비율과 일정구간 매칭율과 악센트가 일치하는 비율을 평균하여 점수를 산출하는 단계로 구성된다.

상기 발음분석단계는 원본 문장파일을 음성인식엔진이 인식할 수 있도록 XML 파일로 변환하는 단계; 연음으로 인해 비슷하게 발음되는 단어를 인식하기 위해 특정 단어 및 구절을 입력하여 옵션 테이블을 만드는 단계; 학습자의 녹음 문장을 가져와 음성인식엔진에서 인식한 문장을 단어별로 분리하여 철자가 2개 이상되는 단어만 세팅하는 단계; 인식된 단어의 개수를 추출하는 단계; 추출한 단어에서 문장부호와 중복단어를 제거하는 단계; 원본 문장을 해쉬 테이블에 넣으면서 인덱스를 구하는 단계; 녹음 문장을 다른 해쉬 테이블에 넣으면서 인덱스를 구하는 단계; 원본 문장과 녹음 문장을 차례로 비교하면서 해쉬 테이블의 인덱스를 비교하는 단계; 및 상기 인덱스 비교 결과, 단어의 일치도에 따라 발음분석 점수를 산출하는 단계로 구성된다.

상기 소리근원분석단계는 학습자 음성 데이터를 불러와 잡음을 제거하는 단계; 주파수분석을 위해 상기 학습자 음성 데이터에 FFT를 적용하여 전처리하는 단계; 상기 FFT변환된 데이터의 주파수 특성을 분석하여 특정 주파수대역의 비율로 소리의 근원을 판단하는 단계로 구성된다.

또한 상기와 같은 목적을 달성하기 위하여 본 발명의 시스템은 학습자 컴퓨터와 어학학습 서비스 시스템이 인터넷으로 연결되어 학습자에게 어학학습을 제공할 수 있는 어학학습 서비스 시스템에 있어서, 상기 학습자 컴퓨터는, 상기 어학학습 서비스 시스템으로부터 어학학습을 위한 클라이언트 모듈을 다운로드받아 실행하고, 상기 어학학습 서비스 시스템이 제공하는 학습 페이지를 디스플레이하며, 학습자가 녹음을 선택하면 화면에 시간제한마크를 표시함과 아울러 학습자의 음성데이터를 입력받아 저장한 후 학습자가 업로드를 선택하면 녹음된 학습자의 음성데이터를 상기 어학학습 서비스 시스템으로 전송하고, 상기 어학학습 서비스 시스템으로부터 소리분석결과를 수신받아 화면에 표시하고, 상기 어학학습 서비스 시스템은, 학습 컨텐츠를 저장하고 있는 컨텐츠 데이터베이스와, 회원으로 가입된 학습자를 관리하기 위한 회원관리 데이터베이스와, 학습자의 음성 데이터를 수신받아 발음분석, 리듬분석, 소리의 근원분석을 하고 상기 회원관리 데이터베이스의 해당 학 습자 영역에 저장하는 소리분석서버와, 인터넷을 통해 접속된 학습자 컴퓨터로 상기 컨텐츠 데이터베이스에 저장된 학습 페이지를 제공하고 상기 학습자 컴퓨터로부터 전달된 학습자의 조작에 따라 해당 학습기능을 제공하며, 상기 학습자 컴퓨터로부터 학습자의 음성데이터가 수신되면 상기 소리분석서버로 전달하여 소리분석을 요구하고 분석결과를 수신받아 해당 학습자 컴퓨터로 전달해주는 웹서버를 포함하는 것을 특징으로 한다.

본 발명은 학습자가 학습한 내용을 거리에 상관없이 학습관리자가 확인할 수 있을 뿐 아니라 아울러 학습자의 학습내용을 구체적으로 파악할 수 있게 하여 학습자에게 맞는 학습지도를 가능하게 한다. 또한 학습자가 학습 페이지에서 학습하는 중에 오답을 입력하면 소정 횟수 반복 학습하도록 한 후, 정답을 제공하여 스스로 정답을 찾는 능력을 향상시킬 수 있고, 이전 과정을 완전히 학습한 후에만 다음 학습 페이지로 이동할 수 있도록 함으로써 철저한 학습이 이루어지도록 하는 효과가 있다.

그리고 본 발명에 따르면 학습과정에서 학습 페이지를 보고 듣고 따라 하는 훈련뿐만 아니라 마이크(녹음) 기능 및 음성인식을 이용하여 시간제한 하에서 학습자 자신이 따라 하며 연습한 문장을 실제로 말하게 (녹음시에는 따라하지 않음) 훈련하고 (제한 시간 내에 소정의 내용을 녹음하지 못하면 할 수 있을 때까지 계속 훈련함), 학습자의 음성데이터를 소리분석 알고리즘에 따라 과학적으로 분석하여 어학 학습 효과를 향상시킬 수 있다.

본 발명과 본 발명의 실시에 의해 달성되는 기술적 과제는 다음에서 설명하는 본 발명의 바람직한 실시예들에 의하여 보다 명확해질 것이다. 다음의 실시예들은 단지 본 발명을 설명하기 위하여 예시된 것에 불과하며, 본 발명의 범위를 제한하기 위한 것은 아니다.

도 1은 본 발명에 따른 어학학습 서비스 시스템의 전체 구성을 도시한 개략도이다.

본 발명에 따른 어학학습 서비스 시스템은 도 1에 도시된 바와 같이, 인터넷(102)을 통해 연결되는 어학학습 서비스 시스템(130)과, 어학학습 서비스 시스템(130)에 회원으로 가입하여 어학학습을 수행하는 학습자의 컴퓨터(110), 어학학습 서비스 시스템(130)에 등록하여 담당 학습자의 학습과정을 지도 및 관리하는 학습 관리자의 컴퓨터(120)로 구성된다.

도 1을 참조하면, 어학학습 서비스 시스템(130)은 학습 컨텐츠를 저장하고 있는 컨텐츠 데이터베이스(134)와, 회원으로 가입된 학습자를 관리하기 위한 회원관리 데이터베이스(136)와, 학습자의 음성 데이터를 수신받아 발음분석, 리듬분석, 소리의 근원분석을 하고 회원관리 데이터베이스(136)의 해당 학습자 영역에 저장하는 소리분석서버(138)와, 인터넷(102)을 통해 접속된 학습자의 컴퓨터(110)로 컨텐츠 데이터베이스(134)에 저장된 학습 페이지를 제공하고 학습자의 컴퓨터(110)로부 터 전달된 학습자의 조작에 따라 해당 학습기능을 제공하며, 학습자의 컴퓨터(110)로부터 학습자의 음성데이터가 수신되면 소리분석서버(138)로 전달하여 소리분석을 요구하고 분석결과를 수신받아 해당 학습자의 컴퓨터(110)로 전달해주는 웹서버(132)로 구성된다. 그리고 소리분석서버(138)는 학습자의 음성데이터를 표준음 데이터와 비교하여 발음을 분석하고, 학습자의 음성데이터를 표준음 데이터의 리듬과 비교하여 리듬을 분석하며, 학습자의 음성 데이터를 소정의 기준치와 비교하여 소리의 근원이 복부인지 성대인지를 판단하여 소리의 근원을 분석한다.

학습자의 컴퓨터(110)는 어학학습 서비스 시스템(130)으로부터 어학학습을 위한 클라이언트 모듈을 다운로드받아 실행하고, 어학학습 서비스 시스템(130)이 제공하는 학습 페이지를 디스플레이하며, 학습자가 녹음을 선택하면 화면에 시간제한마크를 표시함과 아울러 학습자의 음성데이터를 입력받아 저장한 후 학습자가 업로드를 선택하면 녹음된 학습자의 음성데이터를 어학학습 서비스 시스템(130)으로 전송하고, 어학학습 서비스 시스템(130)으로부터 소리분석결과를 수신받아 화면에 표시한다.

학습 관리자 혹은 선생님은 컴퓨터(120)를 이용하여 인터넷(102)을 통해 어학학습 서비스 시스템(130)에 접속하여 본인이 담당하는 학습자의 학습정보 혹은 기록을 통하여 학습과정을 지도 혹은 관리한다.

본 발명에 따른 어학학습 서비스 시스템(130)에 접속하여 로그인할 경우에는 어학학습을 실행하는 학습자 모드와, 학습자의 학습과정을 관리 및 지도할 수 있는 학습관리자 모드로 구분되어 로그인할 수 있고, 모드에 따라 제공되는 화면 혹은 접근할 수 있는 영역에서 차이가 있다.

도 2는 본 발명에 따른 어학학습방법에서 관리자 레벨의 처리 절차를 도시한 순서도이다.

도 2를 참조하면, 본 발명에 따른 어학학습 서비스를 제공하는 시스템(130)에 접속하여 등록된 학습관리자가 로그인하면, 관리자 기본화면을 제공한다(201,202). 관리자 기본화면에는 로그인 로그와 레슨 로그, 회원리스트, 컨텐츠 보기가 준비되어 있다.

학습관리자가 로그인 로그를 선택하면, 학습자 로그인 정보를 표시한다(203,204). 학습자 로그인 정보에는 아이디(ID)와, 로그인시간(Login Time), 로그아웃시간(Logout Time) 등이 표시되어 담당 학습자의 로그 정보를 확인할 수 있다.

학습관리자가 레슨 로그를 선택하면, 학습자의 레슨 로그정보를 표시한다(205,206). 학습자의 레슨 로그에는 학습자 성명 및 아이디와 학습과정(진도), 학습시간이 표시되어 담당 학습자의 학습내용을 파악할 수 있다. 학습관리자가 컨텐츠 보기를 선택하면, 해당 컨텐츠를 표시한다(207,208).

학습관리자가 회원리스트를 선택하면, 회원리스트를 표시한다(209,210). 회원리스트에는 순번과 아이디, 이름, 공부진도/상태, 연락처, 등록일, 수정, 삭제, 코멘트가 표시되고, 회원리스트에서 특정 회원을 선택하면 해당 회원의 학습정보화면이 표시된다(211,212).

학습관리자가 해당 회원의 학습정보화면에서 '학습영역보기'를 선택하면 도 10에 도시된 바와 같이, 해당 학습자의 학습영역별 성적을 표시하고(213,214), '페이지보기'를 선택하면 도 11에 도시된 바와 같이 해당 학습자의 레벨별 능력을 표시한다(215,216). 도 10을 참조하면, 학습영역보기 화면에는 해당 학습자의 학습영역(쓰기, 발음,독해, 듣기 등)과 영역별 성적그래프가 표시된다. 그리고 도 11을 참조하면 페이지보기 화면에서는 레벨과 능력평가그래프, 평균점수가 표시된다.

이어 학습관리자가 해당 회원의 학습정보화면에서 페이지별 성적을 선택하면, 도 12에 도시된 바와 같이 페이지별 성적화면을 표시한다(217,218). 도 12를 참조하면, 페이지별 성적화면에는 학습한 페이지와 페이지의 능력평가 그래프, 평균점수, 디테일(Detail), 사운드 프리뷰(Sound Preview)가 표시되고, 페이지별 성적 화면에서 페이지를 선택하면 해당 학습 페이지를 표시한다(219,220). 그리고 페이지별 성적화면에서 디테일을 선택하면 도 13에 도시된 바와 같이 시도횟수, 점수, 학습자가 입력한 답안 등을 표시하고, 사운드 프리뷰의 플레이 버튼을 선택하면 학습자가 업로드한 발음 혹은 음성을 반복해서 들을 수 있다(221,222). 이에 따라 학습관리자는 학습자가 어떤 문제에 대해서 어떤 답을 입력했는지, 그리고 학습자의 발음이 어떠하지를 파악하여 보다 정확하게 학습을 지도 및 상담할 수 있다.

도 3은 본 발명에 따른 어학학습방법에서 학습자가 '학습하기'를 선택한 경우의 처리 절차를 도시한 순서도이다.

도 3을 참조하면, 본 발명의 어학학습 서비스를 제공하는 어학학습 서비스 시스템(130)에 가입된 학습자가 로그인하면, 도 14에 도시된 바와 같이 학습자 기본화면을 제공한다(301,302). 학습자 기본화면에는 적어도 '학습하기' 버튼과 '학습정보' 버튼이 준비되어 있다.

학습자가 '학습하기'를 선택하면, 도 15에 도시된 바와 같이 학습페이지 화면을 제공하여 학습을 할 수 있도록 한다(303,304). 도 15에 도시된 학습 페이지는 컨텐츠 DB에 저장된 학습 페이지 중 하나의 예로서, 도움말부와, 학습 컨텐츠 그림, 답안 입력부, 마이크버튼, 재생 버튼, 업로드 버튼, 이전 페이지 이동(<) 등이 표시된다. 도 15에는 다음 페이지로 이동하는 버튼(>)이 표시되어 있으나 학습자 모드에서는 해당 학습 페이지의 학습에 성공하여 모두 정답을 맞출 경우에만 나타나도록 되어 있다. 이와 같은 학습 페이지 화면에서 학습을 수행한 후, 답안을 입력한다(305).

답안을 입력한 후, '결과보기' 버튼을 클릭하면, 입력한 답안을 미리 등록된 정답과 비교하여 평가한 후 입력된 답안에 오답이 있으면 오답 횟수를 체크하여 소정 횟수(본 발명의 실시예에서는 6회) 이내이면 재학습요구 메시지를 출력하여 재학습을 요구하고, 6회이면 정답을 안내한 후 재학습을 요구한다(306~312). 이와 같이 본 발명에서는 학습자가 오답을 입력할 경우에 바로 정답을 알려주지 않고 자신의 노력으로 풀 수 있도록 유도한 후 3회에 걸쳐 오답이 나올 경우 오답 문제 번호를 안내하고, 오답이 6회 반복되면 정답을 알려주고, 다시 학습하도록 함으로써 스스로 학습이 가능하도록 되어 있다.

그리고 학습자가 모두 정답을 입력한 경우에만 다음 페이지로 갈 수 있는 이동버튼(>)을 화면에 표시하여 다음 학습 페이지로 이동할 수 있게 하고, 만일 이전 페이지의 학습이 완료되지 않으면 다음 학습 페이지로 이동을 불가능하게 하여 효과적인 학습이 가능하게 한다(313,314). 이러한 본 발명의 특징은 어학학습에 대한 과학적인 연구분석을 통해 도달된 학습방식으로서, 학습자의 학습효과를 높일 수 있는 장점을 제공한다.

도 4는 본 발명에 따른 어학학습방법에서 학습자가 '학습정보'를 선택한 경우의 처리 절차를 도시한 순서도이다.

학습자가 로그인 후 학습자 기본화면에서 '학습정보'를 선택하면, 리포트카드(315-1)와 학습시간(315-2), 학습내용(315-3), 학습상담 버튼(315-4)이 있는 회원의 학습정보화면이 표시된다(315). 이에 따라 학습자는 자신의 학습정보화면에서 리포트 카드를 선택하면 '학습영역보기', '페이지 보기', '페이지별 성적' 버튼이 있는 해당 학습자의 학습 성적화면이 표시된다.

'학습영역보기'를 선택하면, 도 10에 도시된 바와 같이 해당 학습자의 학습영역별 성적을 표시하고, '페이지 보기'를 선택하면 도 11에 도시된 바와 같이 해당 학습자의 레벨별 능력을 표시한다(316~319).

이어 학습자가 자신의 학습정보화면에서 '페이지별 성적'을 선택하면, 도 12에 도시된 바와 같이 페이지별 학습정보를 표시한다. 그리고 페이지별 학습정보화면에서 페이지를 선택하면 해당 학습페이지를 표시하여 복습을 할 수 있고, 페이지별 학습정보화면에서 디테일을 선택하면 도 13에 도시된 바와 같이 시도횟수, 점수, 학습자가 입력한 답안 등을 표시한다. 이에 따라 학습자는 자신이 어떤 문제에 대해서 어떤 답을 입력했는지 파악하여 보다 정확하게 학습할 수 있다(320~325).

한편, 학습자가 학습시간(315-2)을 선택하면 학습시간 달력을 제공하고, 학습내용(315-3)을 선택하면 도 16에 도시된 바와 같이 학습내용 다시보기 화면을 제 공하며, 학습상담 버튼(315-4)을 선택하면 학습상담을 위한 게시판을 제공한다(326~328). 학습내용 다시보기 화면에서 보기를 클릭하면 해당 학습 내용을 다시 볼 수 있다.

도 5는 본 발명에 따라 학습자 음성 녹음에 시간제한을 갖는 어학학습 방법의 실시예를 도시한 순서도이다.

학습자가 컴퓨터(110) 화면에서 '학습하기'를 선택하면 어학학습 서비스 시스템(130)은 이전의 학습내용을 기억하고 있다가 학습 진도에 맞춰 학습할 학습 페이지(예컨대, 도 15 참조)를 표시한다(401). 학습 페이지는 학습 컨텐츠 데이터베이스(134)에 저장되어 있으며, 전체 학습과정은 레벨로 구분되어 다수의 학습 페이지들로 이루어져 있다. 또한 각 학습과정에서 일정 학습 페이지 후에 학습자의 흥미를 유발하기 위하여 다양한 퀴즈풀이 및 게임방식의 학습화면을 제공할 수 있다.

이와 같은 학습 페이지에서 학습자가 컨텐츠 그림을 클릭하면, 해당 그림과 관련된 단어/문장의 원어민 발음을 출력한다(402,403).

학습자가 학습 페이지에서 답안을 선택하거나, 답안을 입력할 수 있다(404,405). 답안 입력방식은 학습내용에 따라 키보드로 단어를 입력하거나 방향키로 설정하는 방식 등 매우 다양하게 구현될 수 있다. 학습자가 학습화면에서 사전을 클릭하면, 해당 컨텐츠에 대한 한국어 단어/문장을 표시한다(406,407).

학습자가 마이크를 클릭하면 시간제한마크의 시간경과 표시가 작동을 시작하고 이 제한시간 안에 자국어를 듣거나 보고 외국어를 말하는 학습자 음성을 학습자 마이크를 통해 녹음하며, 제한시간이 경과되면 녹음이 종료되고 시간제한마크의 시간경과 표시가 정지한다. 본 발명의 실시예에서는 문장 하나가 대략 5개의 단어로 이루어질 때 한 문장의 시간제한은 약 1.5초 정도이고, 문장이 4 내지 6개일 때 시간제한은 약 10초 정도가 바람직하다.

이후 업로드를 선택하면 녹음된 학습자 음성 데이터가 어학학습 서비스 시스템(130)으로 전송된다(408~414). 이때 학습자는 녹음에 시간제한을 받기 때문에 학습효과를 높일 수 있고, 제한시간은 필요에 따라 시스템 운영자가 조정할 수 있다. 학습 관리자(120)는 담당 학습자의 녹음 음성을 듣고 보다 정확하게 학습을 지도할 수 있다.

학습자가 학습화면에서 프린터를 클릭하면, 현재의 학습 페이지에 맞는 쓰기 연습장을 인쇄하여 학습자가 프린트된 연습장에 직접 쓸 수 있도록 한다(415,416). 이와 같이 본 발명에 따르면 학습자가 오프라인에서 실제로 학습 내용을 쓸 수 있도록 함으로써 단순히 듣고 보는 것에 더하여 직접 쓰기 학습을 할 수 있다.

도 6은 본 발명에 따른 소리분석을 이용한 어학학습방법의 전체 절차를 도시한 개략도이다.

도 6을 참조하면, 학습자가 컴퓨터(110)를 통해 어학학습 서비스 시스템(130)의 웹 서버(132)에 로그인하면 학습 페이지를 제공하고, 학습 페이지에 따라 학습자가 학습한 후 보이스 레코딩시스템을 구동하면 도 17에 도시된 바와 같이 보이스 레코딩 시스템 화면을 제공한다(S1~S4).

보이스 레코딩 시스템 화면에서 마이크 기능을 통해 녹음하여 학습자의 음성데이터를 업로드하면 녹음된 음성데이터가 소리분석서버(138)로 전송되어 평가된 다(S5,S7).

학습자의 음성데이터는 소리분석서버(138)에 의해 자동으로 분석되는데, 본 발명의 실시예에서는 발음분석과 리듬분석, 및 소리의 근원분석으로 구분되어 각각 평가된다. 즉, 소리분석서버(138)의 음성인식모듈에 의한 자동분석은 발음분석과 리듬분석, 소리의 근원분석으로 구분되어 이루어지는데, 발음분석은 엑센트 분석이나 억양분석 등을 포함할 수 있다. 그리고 소리분석서버(138)는 학습자의 음성데이터를 표준음 데이터와 비교하여 발음을 분석하고, 학습자의 음성데이터를 표준음 데이터의 리듬과 비교하여 리듬을 분석하며, 학습자의 음성 데이터를 소정의 기준치와 비교하여 소리의 근원이 복부인지 성대인지를 판단하여 소리의 근원을 분석한 후 표시하여 복부발성을 유도한다.

한편, 경우에 따라서는 학습자의 녹음 데이터는 학습관리자(120)에게 전송되어 학습관리자(120)가 학습자(110)의 녹음을 듣고 수동으로 소리분석하고 분석결과를 소리분석서버(138)에 부가할 수도 있다(S6,S8~S10). 학습관리자에 의한 보충분석은 자음/모음분석과 연음분석 등을 포함할 수 있으며 자동분석에 대한 보완기술로 부가될 수 있다.

소리분석서버(138)에 의한 분석결과는 종합평가된 후 학습자가 직관적으로 이해할 수 있도록 스펙트럼이나 그래프, 그래픽 형태로 처리되어 도 18에 도시된 바와 같이 보이스 레코딩 시스템 화면 상에 표시된다(S11~S13). 도 18을 참조하면, 화면의 좌측에 학습자의 음성 스펙트럼이 표시되고, 우측 상단에 평가결과가 그래픽으로 표시된다.

그리고 학습자의 평가결과는 도 19에 도시된 바와 같이 페이지별 평가결과 영역에 발음분석, 리듬분석, 소리근원 분석 항목으로 구분되어 점수로서 표시된다. 그리고 도 20에 도시된 바와 같이 페이지별 성적 결과에서 플레이(Play) 버튼을 클릭하면 자신이 녹음한 음성을 다시 들을 수 있다(S14).

이와 같이 본 발명에 따르면 학습자의 음성은 발음분석과, 리듬분석, 소리의 근원 분석으로 구분되어 세부적으로 분석되어 자신이 부족한 부분을 정확하게 인식할 수 있고, 학습 관리자는 담당 학생의 부족한 부분을 과학적으로 관리하여 정확한 발음이 가능하도록 한다.

도 7은 본 발명에 따른 소리분석 중 리듬분석의 세부절차를 도시한 흐름도이다.

도 7을 참조하면, 먼저 표준음 파형을 메모리 버퍼로 불러온다(S701). 표준음 파형을 분석하여 처음에 무음이 아닌 곳을 찾아 연속하는 다음 3개의 점에 무음이 없으면 시작점으로 정한다(S702). 표준음 파형에서 무음이 3개 이상 연속되고 시작점과 끝점이 10픽셀 이상인 점을 봉우리의 끝점으로 정한다(S703).

이어 학습자의 소리 파형을 메모리 버퍼로 불러온다(S704). 학습자 파형을 분석하여 처음에 무음이 아닌 곳을 찾아 연속하는 다음 3개의 점에 무음이 없으면 시작점으로 정한다(S705). 학습자의 파형에서 무음이 3개 이상 연속되고, 시작점과 끝점이 10 픽셀 이상인 점을 봉우리의 끝점으로 정한다(S706).

이어 표준음과 학습자의 파형 시작점이 같은가 판단하여 같으면, 표준음과 학습자의 파형 면적을 비율로 계산하고, 무성음 처리부분이면 표준음과 학습자의 파형의 끝점을 비교하여 무성음 처리가 되어 있는지 확인한다(S707~S709).

그리고 봉우리의 개수를 비교하여 일정구간의 매칭율을 계산하고, 악센트 구간을 찾기 위해 해쉬 테이블에 넣으면서 인덱스를 구한다(S710,S711). 해쉬 테이블에서 비교 시작점과 비교 종료점을 찾아 악센트가 일치하는 비율을 구한다(S712). 표준음과 학습자의 파형 면적 비율과 일정구간 매칭율과 악센트가 일치하는 비율을 평균하여 점수를 계산한다(S713).

도 8은 본 발명에 따른 소리분석 중 발음분석의 세부절차를 도시한 흐름도이다.

도 8을 참조하면, 원본 문장파일을 음성인식엔진이 인식할 수 있도록 XML 파일로 변환한다(S801). 연음으로 인해 비슷하게 발음되는 단어를 인식하기 위한 옵션 적용으로 특정단어 및 구절을 5개까지 입력하여 옵션테이블을 만든다(S802).

이어 학습자의 소리 데이터를 불러온다(S803). 음성인식엔진에서 인식한 문장을 단어별로 분리하여 철자가 2개 이상되는 단어만 세팅한다(S804).

이어 단어의 개수를 추출한다(S805). 추출한 단어에서 문장부호(".","?","!")와 중복단어를 제거한다(S806). 원본문장을 해쉬 테이블에 넣으면서 인덱스를 구한다(S807).

녹음된 단어맵 문장을 다른 해쉬 테이블에 넣으면서 인덱스를 구한다(S808).

원본 문장과 녹음문장을 차례로 비교하면서 해쉬 테이블의 인덱스를 비교한다(S809). 인식단어가 있으면, 인식문장의 순차적 인덱스를 추출하고, 중복문장별 로 비교한다(S810~S812). 2 단어 이상 일치하고 바로 다음 연결되는 단어가 일치하는지 판단하여 일치하면 포인트를 증가시키고, 발음 분석 점수를 계산한다(S813~S815).

도 9는 본 발명에 따른 소리분석 중 소리근원분석의 세부절차를 도시한 흐름도이다.

도 9를 참조하면, 분석할 학습자 음성 데이터를 불러온다(S901). 음성 데이터로부터 저주파 노이즈와 고주파 노이즈를 제거한다(S902).

주파수 분석을 위해 학습자 음성 데이터에 고속프리에변환(FFT)을 적용하여 전처리한다(S903).

특정 대역별 주파수의 분석을 수행하고, 분석주파수의 히스토그램 분석을 하여 특정 주파수 대역(예컨대, 영어의 경우 소리의 근원이 배로서 대략 2500Hz~3500Hz대역의 레벨이 높음)이 소정 비율(50%) 이상인지를 판단한다(S904~S906). 특정 주파수 대역이 일정비율 이상이면 학습자 음성의 소리근원을 배로 판단하고, 그 미만이면 목으로 판단하여 알려준다(S907). 그리고 필요시 2500Hz~3500Hz 대역의 비율을 점수화하여 점수로 나타낼 수도 있다.

이상에서 본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나, 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

도 1은 본 발명에 따른 어학학습 서비스 시스템의 전체 구성을 도시한 개략도,

도 2는 본 발명에 따른 어학학습방법에서 관리자 레벨의 처리 절차를 도시한 순서도,

도 3은 본 발명에 따른 어학학습방법에서 학습자가 '학습하기'를 선택한 경우의 처리 절차를 도시한 순서도,

도 4는 본 발명에 따른 어학학습방법에서 학습자가 '학습정보'를 선택한 경우의 처리 절차를 도시한 순서도,

도 5는 본 발명에 따라 학습자 음성 녹음에 시간제한을 갖는 어학학습방법의 실시예를 도시한 순서도,

도 6은 본 발명에 따른 소리분석 기반 어학학습 절차를 도시한 순서도,

도 7은 본 발명에 따른 소리분석 중 리듬분석의 세부절차를 도시한 흐름,

도 8은 본 발명에 따른 소리분석 중 발음분석의 세부절차를 도시한 흐름도,

도 9는 본 발명에 따른 소리분석 중 소리근원분석의 세부절차를 도시한 흐름도,

도 10은 본 발명에 따른 학습영역보기 화면의 예,

도 11은 본 발명에 따른 페이지보기 화면의 예,

도 12는 본 발명에 따른 페이지별 성적 화면의 예,

도 13은 본 발명에 따른 디테일 화면의 예,

도 14는 본 발명에 따른 학습자 기본화면의 예,

도 15는 본 발명에 따른 학습 페이지 화면의 예,

도 16은 본 발명에 따른 학습내용 다시 보기 화면의 예,

도 17은 본 발명에 따른 보이스 레코딩 시스템 화면의 예,

도 18은 본 발명에 따라 소리분석결과를 표시하는 보이스 레코딩 시스템 화면의 예,

도 19는 본 발명에 따른 소리분석결과 평가항목의 예,

도 20은 본 발명에 따른 소리분석결과 평가항목의 다른 예.

*도면의 주요부분에 대한 부호의 설명

102: 인터넷 110: 학습자 컴퓨터

120: 학습 관리자 컴퓨터 130: 어학학습 서비스 시스템

132: 웹서버 134: 컨텐츠 DB

136: 회원관리 DB 138: 소리분석서버

Claims (11)

1. 학습자 컴퓨터와 어학학습 서비스 시스템이 인터넷으로 연결되어 학습자에게 어학학습을 제공할 수 있는 어학 학습방법에 있어서,

   학습자가 학습자 컴퓨터로 어학학습 서비스 시스템에 접속하여 로그인하면, 어학학습 서비스 시스템이 학습자 페이지를 제공하는 단계;

   학습자가 상기 학습자 페이지 화면에서 학습하기를 선택하면, 어학학습 서비스 시스템이 해당 학습자의 이전 학습진도에 맞춰 학습할 학습 페이지를 제공하는 단계;

   학습자가 상기 학습 페이지에서 학습한 후 답안을 입력하면, 어학학습 서비스 시스템이 정답과 비교하여 평가하고, 평가 결과에 따라 소정 기준치 이상일 경우에만 다음 학습 페이지를 제공하는 단계;

   학습자가 상기 학습 페이지에서 녹음을 선택하면, 어학학습 서비스 시스템이 소정 시간의 시간제한 마크를 작동시키고 제한된 시간 안에 자국어를 듣거나 보고 외국어를 말하는 학습자의 음성을 녹음하는 단계;

   학습자의 음성데이터를 표준음 데이터의 리듬과 비교하여 리듬을 분석하는 리듬분석단계와, 학습자의 음성데이터를 표준음 데이터와 비교하여 발음을 분석하는 발음분석단계와, 학습자의 음성 데이터를 소정의 기준치와 비교하여 소리의 근원이 복부인지 성대인지를 판단하여 소리의 근원을 분석하는 소리근원분석단계로 이루어져 어학학습 서비스 시스템이 상기 녹음된 학습자의 음성을 소리분석하는 단계; 및

   어학학습 서비스 시스템이 상기 소리분석결과를 데이터베이스에 저장하여 관리하고 분석결과를 상기 학습자측으로 제공하는 단계를 구비하고,

   상기 소리근원분석단계는

   학습자 음성 데이터를 불러와 잡음을 제거하는 단계와,

   주파수분석을 위해 상기 학습자 음성 데이터에 FFT를 적용하여 전처리하는 단계와,

   상기 FFT 변환된 데이터의 주파수 특성을 분석하여 특정 주파수대의 비율이 일정비율 이상이면 소리의 근원을 복부로 판단하여 표시하고, 일정비율 미만이면 목으로 판단하여 표시하는 단계를 포함하여

   외국어 발음시 복부발성을 유도할 수 있는 것을 특징으로 하는 인터넷상에서의 소리분석 기반 어학 학습방법.
2. 제1항에 있어서, 상기 학습자의 음성을 녹음하는 단계는

   학습 페이지의 화면에서 녹음버튼을 선택받는 단계와, 녹음버튼이 선택되면 소정 시간의 시간제한마크를 표시하여 시간경과를 카운트하는 단계와, 시간제한마크의 시간경과 표시가 시작되면 학습자의 음성을 입력받아 녹음하는 단계와, 소정 시간이 경과되면 시간제한마크의 시간경과 표시를 종료시키고, 녹음을 정지하는 단계와, 업로드버튼이 선택되면 녹음된 학습자의 음성데이터를 소리분석서버로 전송하는 단계로 이루어진 것을 특징으로 하는 인터넷상에서의 소리분석 기반 어학 학습방법.
3. 제1항에 있어서, 상기 학습자의 음성을 녹음하는 단계는

   어학학습 서비스 시스템이 보이스 레코딩 시스템 화면을 제공하여 제한시간에 녹음하게 하고, 업로드를 선택하면 녹음된 학습자의 음성데이터를 소리분석서버로 전송하는 것을 특징으로 하는 인터넷상에서의 소리분석 기반 어학 학습방법.
4. 삭제
5. 제1항에 있어서, 상기 리듬분석단계는

   표준음 파형을 분석하여 처음에 무음이 아닌 곳을 찾아 연속하는 다음 3개의 점에 무음이 없으면 시작점으로 정하고, 무음이 3개 이상 연속되고 시작점과 끝점이 10픽셀 이상인 점을 봉우리의 끝점으로 정하는 단계;

   학습자 파형을 분석하여 처음에 무음이 아닌 곳을 찾아 연속하는 다음 3개의 점에 무음이 없으면 시작점으로 정하고, 무음이 3개 이상 연속되고, 시작점과 끝점이 10픽셀 이상인 점을 봉우리의 끝점으로 정하는 단계;

   상기 표준음 파형과 학습자 파형의 시작점이 같은가 판단하여 같으면, 표준음과 학습자의 파형면적을 비율로 계산하고, 무성음처리부분이면 표준음과 학습자의 파형의 끝점을 비교하여 무성음 처리가 되어 있는지 확인하는 단계;

   상기 봉우리의 개수를 비교하여 일정구간의 매칭율을 계산하고, 악센트 구간을 찾기 위해 해쉬 테이블에 넣으면서 인덱스를 산출하는 단계;

   상기 해쉬 테이블에서 비교시작점과 비교종료점을 찾아 악센트가 일치하는 비율을 산출하는 단계; 및

   상기 표준음 파형과 학습자의 파형 면적 비율과 일정구간 매칭율과 악센트가 일치하는 비율을 평균하여 점수를 산출하는 단계를 포함하는 것을 특징으로 하는 인터넷상에서의 소리분석 기반 어학 학습방법.
6. 제1항에 있어서, 상기 발음분석단계는

   원본 문장파일을 음성인식엔진이 인식할 수 있도록 XML 파일로 변환하는 단계;

   연음으로 인해 비슷하게 발음되는 단어를 인식하기 위해 특정 단어 및 구절을 입력하여 옵션 테이블을 만드는 단계;

   학습자의 녹음 문장을 가져와 음성인식엔진에서 인식한 문장을 단어별로 분리하여 철자가 2개 이상되는 단어만 세팅하는 단계;

   인식된 단어의 개수를 추출하는 단계;

   추출한 단어에서 문장부호와 중복단어를 제거하는 단계;

   원본 문장을 해쉬 테이블에 넣으면서 인덱스를 구하는 단계;

   녹음 문장을 다른 해쉬 테이블에 넣으면서 인덱스를 구하는 단계;

   원본 문장과 녹음 문장을 차례로 비교하면서 해쉬 테이블의 인덱스를 비교하는 단계; 및

   상기 인덱스 비교 결과, 단어의 일치도에 따라 발음분석 점수를 산출하는 단계를 포함하는 것을 특징으로 하는 인터넷상에서의 소리분석 기반 어학 학습방법.
7. 삭제
8. 제1항에 있어서, 상기 특정 주파수대역은 2500Hz~3500Hz인 것을 특징으로 하는 인터넷상에서의 소리분석 기반 어학 학습방법.
9. 제1항에 있어서, 상기 인터넷상에서의 소리분석 기반 어학 학습방법은,

   상기 학습 페이지에 도움말부와, 컨텐츠 그림, 답안 입력부, 마이크버튼, 업로드버튼, 이전 페이지 이동(<), 사전을 표시하고,

   학습자가 상기 학습 페이지의 화면에서 컨텐츠 그림을 클릭하면, 해당 그림과 관련된 단어/문장의 원어민 발음을 출력하고,

   학습자가 상기 학습 페이지의 화면에서 상기 사전을 클릭하면, 해당 컨텐츠에 대한 한국어 단어/문장을 표시하여 학습자의 이해를 증진시키고 한글을 영어로 말해 보도록 훈련하고,

   학습자가 상기 학습 페이지의 화면에서 마이크버튼을 클릭하면, 마이크를 통해 학습자 음성을 녹음한 후 업로드버튼이 선택되면, 상기 녹음된 학습자 음성 데이터를 서버로 전송하고,

   학습자가 상기 학습 페이지의 화면에서 프린터를 선택하면, 현재의 학습 페이지에 맞는 쓰기 연습장을 인쇄하는 것을 특징으로 하는 인터넷상에서의 소리분석 기반 어학 학습방법.
10. 삭제
11. 삭제

Images