KR20080087694A - 발음기관 동영상 시뮬레이션 시스템 및 구현 방법 - Google Patents
발음기관 동영상 시뮬레이션 시스템 및 구현 방법 Download PDFInfo
- Publication number
- KR20080087694A KR20080087694A KR1020080027104A KR20080027104A KR20080087694A KR 20080087694 A KR20080087694 A KR 20080087694A KR 1020080027104 A KR1020080027104 A KR 1020080027104A KR 20080027104 A KR20080027104 A KR 20080027104A KR 20080087694 A KR20080087694 A KR 20080087694A
- Authority
- KR
- South Korea
- Prior art keywords
- pronunciation
- text
- video
- pattern
- engine
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 210000000056 organ Anatomy 0.000 title claims abstract description 41
- 238000004088 simulation Methods 0.000 title claims abstract description 20
- 230000001755 vocal effect Effects 0.000 title abstract description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 210000001584 soft palate Anatomy 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims 2
- 210000000088 lip Anatomy 0.000 description 9
- 238000006073 displacement reaction Methods 0.000 description 6
- 210000000214 mouth Anatomy 0.000 description 6
- 210000002105 tongue Anatomy 0.000 description 6
- 210000000515 tooth Anatomy 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003254 palate Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000005181 root of the tongue Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000005182 tip of the tongue Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/04—Speaking
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/06—Foreign languages
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
언어 교육시 발음기관 변화과정의 동영상 제시를 통해 발음의 원리를 용이하게 교육할 수 있도록 지원하는 시스템 및 방법으로서, 기본텍스트에 따른 발음패턴이 저장된 발음패턴정보 데이터베이스; 상기 발음패턴별로 발음기관 변화과정에 대한 동영상 또는 동영상 생성정보를 저장하고 있는 발음기관 동영상 데이터베이스; 외부로부터 텍스트를 입력받는 텍스트 수신모듈; 상기 발음패턴정보 데이터베이스를 참조하여 상기 입력받은 텍스트의 발음패턴을 분석하는 발음패턴 분석모듈; 및 상기 분석된 발음패턴을 상기 발음기관 동영상 데이터베이스에서 검색하여 상기 입력받은 텍스트에 적합한 발음기관 동영상을 생성 및 시연하는 발음기관 동영상 제공모듈;을 포함하는 발음기관 동영상 시뮬레이션 시스템 및 방법.
발음기관, 동영상, 어학교육, 발음교정
Description
본 발명은 어학교육 솔루션에 관한 것으로서, 보다 상세하게는 발음의 원리를 용이하게 교육할 수 있도록 발성시 발음기관의 변화과정을 동영상으로 시뮬레이션하는 시스템 및 방법에 관한 것이다.
세계화가 가속되면서 외국어 구사력에 대한 필요성이 높아지고 있다. 이러한 상황에서 빠르게 외국어를 익히기 위해서는 우선적으로 해당 언어의 발음에 대해 익숙해질 필요가 있다. 해당 언어의 발음에 충분히 익숙해져야 원어민의 발음을 이해할 수 있고, 원어민의 발음을 이해할 수 있는 상황에서만이 다양한 구나 문장들을 더욱 효과적이고 효율적으로 습득할 수 있기 때문이다. 또한 정확한 발음으로 해당 언어를 구사해야만 원어민과의 대화가 가능해져 대화를 통한 언어습득이 가능해지기 때문이다.
이에 교육기관 및 교육사업업체들에서 발음 교정을 위한 다양한 솔루션들을 개발해 왔는데, 본 발명과 관련된 대표적인 두 가지를 소개하면 다음과 같다.
하나는 개별 발음 발화시 발음기관 요소들의 발화시 변화과정을 제시해주는 솔루션이다. 미국의 Pronunciation Power라는 제품, 프랑스의 Tell me more 및 미국 IWOA대학에서 인터넷으로 서비스하고 있는 솔루션이 있다. 이들은 모두 영어의 기본 음소들이 발화되는 과정을 얼굴 정면에서의 입모양과 얼굴 측단면에서의 입안 모양의 변화과정을 통해 제시해 줌으로써 해당 음가(음속)가 어떻게 발음되는지에 대한 이해를 도와준다.
다음은 발화된 음성을 음성파 이미지로 제시하고 유사성을 비교해주는 솔루션이다. 미국의 Pronunciation Power라는 제품, 프랑스의 Tell me more라는 제품 및 국내 (주)언어과학의 뿌리영어라는 제품이 있다. 이들은 문장 등에 대해 원어민이 발화한 음성파와 학습자의 음성파 및 둘의 유사성 정도를 보여주고 비교하여 학습자가 원어민과 유사한 발성을 하도록 유도하는 것을 특징으로 한다.
이상의 두 가지 솔루션은 학습자가 발음의 원리를 이해하고 자신의 발음이 올바른지를 가늠할 수 있는 수단을 제공한다는 점에서 유용한 면이 있다. 하지만 너무 단순하거나 이해하기 쉽지 않다는 점에서 발음의 원리를 다양한 상황별로 이해하기 쉽게 교육하기 위한 툴로 사용하기에는 부족한 면이 많다.
상기 발음기관의 변화과정을 제시해주는 방식은 단지 기본 음소들(해당 언어의 자음과 모음)의 발음 과정을 2차원 이미지들의 애니메이션으로 미리 구축해 둔 후 개별적으로만 보여주어, 동일한 음소라 하여도 인접한 음소에 따라, 발화시 강세나 빠르기 등에 따라, 발음 과정이 다양하게 존재할 수 있음을 이해시키지 못할 뿐만 아니라, 발음을 숙지시키는 과정을 실용 단어, 구 및 문장들을 교육하는 과정에서 분리함으로써 언어학습 전과정에서 지속적 발음교정을 유도하지는 못한다.
또한 상기 음성파 비교 방식은 일반 학습자들에게는 음성파 자체가 이해되기 쉽지 않으며, 발음의 원리를 숙지시키는 직감적인 방법을 제공하고 있지 못하다. 또한 원어민의 음성파와 비교하는 방식은 학습자가 올바르게 발음하였다 하더라도 원어민의 것과 다를 수 있고 이에 따라 부정적 평가가 제시되어 신뢰성이 떨어질 수 있다.
본 발명은 이와 같은 문제점을 개선하고자 창안된 것으로, 애니메이션 기술과 음성처리 기술을 접목하여 다음과 같은 기능을 갖는, 보다 더 직감적이며 효율적인 발음 교육 솔루션을 제공하는 데에 목적이 있다.
- 독립적인 음소들에 대해서만이 아니라 연속된 음소, 음절, 단어, 구 등에 따른 발음기관 동영상 제공
- 발음학습이 언어전반 학습이 되도록 다양하고 유용한 상용 단어, 구 및 문장에 대해 발음기관 동영상 제공
- 동일한 단어, 구 및 문장에 대해서도 발음조건에 따라 서로 다른 발음기관 동영상 제공
- 발음조건별로 대표적인 발음방식과 학습자의 발음방식을 발음기관 동영상을 통해 비교적 용이하게 비교할 수 있는 인터페이스 제공
- 동영상 원리를 교육자가 편집할 수 있게 하여 발음 원리에 대한 다른 견해 반영 가능
위와 같은 목적을 달성하기 위하여, 본 발명의 바람직한 실시예에 따른 발음기관 동영상 시뮬레이션 시스템 및 방법은, 언어 교육시 발음기관 변화과정의 동영상 제시를 통해 발음의 원리를 용이하게 교육할 수 있도록 지원하는 시스템으로서, 발음패턴정보 데이터베이스; 발음기관 동영상 데이터베이스; 텍스트 수신모듈; 발음패턴 분석모듈; 및 동영상 제공모듈;을 포함한다.
상기 발음패턴정보 데이터베이스에는 기본텍스트에 따른 발음패턴들이 저장되어 있다. 상기 기본텍스트는 해당 언어의 대표적인 문자, 음절, 단어, 구 또는 문장에 대한 문자 텍스트 또는 음성 텍스트로서의 음성파 데이터이다. 그리고 상기 발음패턴은 상기 기본텍스트가 문자 텍스트인 경우 발음기호들의 리스트이고 발음 상황에 따라 기본텍스트별로 1개 이상의 발음패턴들이 존재할 수 있으며, 상기 기본텍스트가 음성 텍스트인 경우 상기 기본텍스트 자체이고 상기 대표적인 문자, 음절, 단어, 구 또는 문장에 대해 발음상황에 따라 1개 이상 존재할 수 있다. 여기서 상기 발음상황이란 자음이나 모음과 같은 발음요소에 있어 강세, 발음길이, 생략유무, 상대적 음높이 등 발음방식에 대한 조건이다.
상기 발음기관 동영상 데이터베이스에는 상기 발음패턴별로 발음기관 변화과정에 대한 동영상 또는 동영상 생성정보들이 저장되어 있다. 상기 발음기관 변화과정은 얼굴 측단면 또는 구강내부의 발음기관 요소인 양 입술, 이, 혀, 연구개 등 발음기관 요소들의 변화과정이고, 상기 발음기관 변화과정에 대한 동영상은 상기 발음기관 변화과정에 대한 2D 또는 3D 애니메이션이다. 그리고 상기 발음기관 변화과정에 대한 동영상 생성정보는 발음기관 요소인 양 입술, 이, 혀, 연구개 등이 발성에 따라 변화되어 가는 과정에서의 변위정보와 같은 동영상 생성에 필요한 정보이다. 상기 변위정보는 일반적인 2D 또는 3D 그래픽 엔진을 통해 애니메이션을 제작할 때 사용하는 변위정보와 같다. 한편 2D 애니메이션으로 발음기관 변화과정의 동영상을 생성하는 경우에는 변위정보를 사용하지 않고 자음 및 모음 발성에 따른 발음기관 요소들의 변화과정 중의 이미지들을 미리 제작하여 두고 이들을 조합하여 애니메이션을 생성할 수도 있다.
상기 텍스트 수신모듈은 사용자로부터 발음기관 변화과정의 동영상을 생성할 대상 텍스트를 입력받아서 상기 발음패턴 분석모듈에 전송한다. 상기 입력받은 텍스트도 상기 기본텍스트처럼 문자 텍스트일 수도 있고 음성 텍스트인 음성파 데이 터일 수도 있다. 상기 입력받은 텍스트가 문자 텍스트인 경우에는 동일한 텍스트도 발음조건에 따라 다양하게 달리 발음될 수 있음으로 추가로 발음조건인 발음상황에 대한 정보를 함께 입력받아서 상기 발음패턴 분석모듈에 함께 전송한다.
다음으로 상기 발음패턴 분석모듈은 상기 텍스트 수신모듈로부터 전송받은 텍스트에 적합한 발음패턴들의 리스트를 상기 발음패턴정보 데이터베이스를 참조하여 생성한 후 상기 발음기관 동영상 제공모듈에 전송한다. 먼저 상기 전송받은 텍스트 자체로 상기 발음패턴정보 데이터베이스를 검색하고, 검색에 실패하는 경우 상기 전송받은 텍스트에 대해 분할 및 검색을 반복적으로 수행하면서 분할된 부분 텍스트들이 모두 검색에 성공하면, 추출된 발음패턴들의 리스트를 상기 발음기관 동영상 제공모듈에 전송한다. 한편 상기 전송받은 텍스트가 문자 텍스트인 경우에는 상기 텍스트 수신모듈로부터 발음상황에 대한 정보도 전송받게 되는데 이를 함께 이용하여 상기 발음패턴정보 데이터베이스를 검색하고, 상기 전송받은 텍스트가 음성 텍스트인 음성파 데이터인 경우에는 음성파 유사성 비교검색을 통해 전체적으로 가장 높은 유사성을 보이는 발음패턴들을 추출한다.
마지막으로 상기 발음기관 동영상 제공모듈은 상기 전송받음 일련의 발음패턴들을 상기 발음기관 동영상 데이터베이스에서 검색하여 상기 동영상 또는 동영상 생성정보를 검출하고 이들을 이용하여 최종적으로 상기 입력받은 텍스트에 적합한 발음기관 변화과정의 동영상을 생성 및 시연한다. 이때 상기 전송받은 발음패턴이 2개 이상인 경우 검출된 동영상 또는 동영상 생성정보를 이용하여 연속된 동영상을 생성하게 되는데, 검출결과가 기제작된 동영상들인 경우 연결부분이 자연스럽지 못 할 가능성이 높다. 이는 이미 제작된 동영상을 그대로 연결시키는 데에 따른 문제인데, 발음교육시 필요한 중요 연음들의 발음기관 변화과정은 기제작된 동영상들의 내부에 존재하는 것을 전제로 함으로 발음의 원리를 설명하는 관점만으로 볼 때는 크게 심각하지는 않다고 판단된다. 물론 검출결과가 동영상 생성정보들인 경우에는 발음패턴간 연결이 자연스러운 발음기관 동영상을 제공할 수 있다. 다만 이 경우에도 동영상 생성정보를 이용한 동영상 생성 방법이 정교할 필요가 있다. 다양한 발음기관의 변화과정에 대한 동영상을 변위정보 등의 동영상 생성정보로 생성할 경우 동영상 자체내에서 부분적으로 자연스럽지 못한 발음기관 변화과정들의 묘사가 있을 수 있기 때문이다. 이런 면에서 미리 제작된 중요 텍스트들에 대한 발음기관 동영상들은 경계부분을 제외하고는 자연스러움이 검증된 동영상들이 제공될 수 있다는 점에서 장점이 있다.
그리고 상기 발음기관 동영상 제공모듈은 생성된 동영상을 시연하는 데에 있어서, 부분 영상별로 끊어서 시연할 수 있도록 별도의 사용자 인터페이스를 제공할 수 있다. 이는 발음기관 변화과정을 면밀하게 확인할 수 있게 할 뿐만 아니라, 둘 이상의 동영상을 동시에 시연하는 경우 관련된 영상끼리 용이하게 동기화시켜 비교 시연할 수 있게 하기 위함이다.
한편 상기 기본텍스트와 상기 텍스트 수신모듈에서 입력받은 텍스트가 문자 텍스트인 경우, 음성합성 모듈을 더 포함하고, 상기 음성합성 모듈이 상기 입력받은 텍스트에 대해, 상기 텍스트 수신모듈이 함께 입력받은 발음상황 정보에 따라, 음성을 합성한 후 상기 발음기관 동영상 제공모듈에 전송하면, 상기 발음기관 동영 상 제공모듈은 시연될 동영상에 호응하는 음성 텍스트를 별도로 제공함으로써 시연되는 동영상의 이해를 더욱 심화시킬 수도 있다. 물론 더욱 바람직하게는 동영상과 음성이 동기화되어 동시에 시연될 수 있도록 한다. 이를 위해서는 음성합성시 음소들에 배정한 발성길이를 동영상내 음소영역들에 적용할 필요가 있다.
이상 설명한 바와 같이 본 발명에 따르면, 언어별 발음 교육시 발음의 원리를 발음기관 변화과정의 동영상으로 용이하게 설명할 수 있게 됨으로써 효과적인 발음 교육 환경을 제공할 수 있게 된다.
이하, 첨부도면을 참조하여 본 발명의 바람직한 실시예에 따른 발음기관 동영상 시뮬레이션 시스템과 방법에 대하여 설명하면 다음과 같다.
우선 도 1은 본 발명에 따른 발음기관 변화과정에 대한 동영상의 정지 영상 예이다. 도 1을 참조하면 본 발명에 따라 생성 및 시연되는 동영상은 얼굴 측단면 또는 구강내부의 입술, 이, 혀, 연구개, 입안 상태 및 공기 흐름 상태의 변화과정에 대한 동영상이다.
도 2는 본 발명의 실시예에 따른 발음기관 동영상 시뮬레이션 시스템의 구성도로서, 발음패턴정보 데이터베이스(10), 발음기관 동영상 데이터베이스(20), 텍스트 수신모듈(30), 발음패턴 분석모듈(40) 및 발음기관 동영상 제공모듈(50)을 포함한다. 그리고 도 3은 본 발명의 실시예에 따른 발음기관 동영상 시뮬레이션 방법의 순서도로서, 텍스트 수신단계(S10), 발음패턴 분석단계(S20) 및 동영상 제공단계(S30)을 포함한다.
여기서 상기 발음패턴정보 데이터베이스(10)에는 기본텍스트에 따른 발음패턴들이 저장되어 있다. 상기 기본텍스트는 해당 언어의 대표적인 문자, 음절, 단어, 구 또는 문장에 대한 문자 텍스트 또는 음성 텍스트로서의 음성파 데이터인데, 상기 기존텍스트가 문자 텍스트인 경우 다음과 같은 예가 가능하다.
- 문자: a, b, c, d, ...
- 음절: com, ac, to, day, get, put, ther, ...
- 단어: be, become, get, together, ...
- 구: it is important to, bone up on, catch up with, ...
- 문장: I don't think you are wrong, You'd better go now, ....
상기 발음패턴은 상기 기본텍스트가 문자 텍스트인 경우 발음기호들의 리스트이고 발음상황에 따라 기본텍스트별로 1개 이상의 발음패턴들이 존재할 수 있으며 다음과 같은 예를 들 수 있다. 여기서 상기 발음상황이란 자음이나 모음과 같은 발음요소에 있어 강세, 발음길이, 생략유무, 상대적 음높이 등 발음방식에 대한 조건이다.
- 단어 ‘internet'에 대한 발음패턴:
<[i n ah t r n e t], 사전식>, <[i n ah r n e t], 생략>, ...
- 단어 ‘water'에 대한 발음패턴:
<[w ah t r], 사전식>, <[w ah t1 r], 빠르게>, ...
상기 기본텍스트가 음성 텍스트인 음성파 데이터인 경우에는, 상기 기본텍스 트와 상기 발음패턴은 동일하며, 상기 대표적인 문자, 음절, 단어, 구 또는 문장에 대해 발음상황에 따라 1개 이상 존재할 수 있다. 바람직하게는 상기 발음패턴은 화자별로 상이한 음색 등은 배제되고 발음 현상 정보만을 포함한 음성파 데이터이다.
다음으로 상기 발음기관 동영상 데이터베이스(20)에는 상기 발음패턴별로 발음기관 변화과정에 대한 동영상 또는 동영상 생성정보들이 저장되어 있다. 상기 동영상은 상기 발음패턴별로 미리 제작해 놓은 동영상이며, 상기 동영상 생성정보는 발음이 발화되는 과정에서 각 발음기관 요소들의 형태 등 상태에 대한 정보로서 각 발음기관 요소들의 이미지들로 표현될 수도 있고, 이미지를 그릴 수 있는 특징값들 즉 변위정보로 표현될 수도 있다. 상기 특징값이란 각 발음기관 요소별로 다르며 해당 발음기관 요소를 그리는 데에 필요한 핵심 좌표 등을 포함한다. 예를 들어 입의 경우, 상하 입술의 끝 좌표, 입술의 좌우 끝 좌표, 상하 입술의 돌출 정도인 횡좌표 및 상하 이(tooth)와 상하 입술의 상대 좌표만 있어도 현행 그래픽 기법들로 충분히 각각의 입술 모양을 그릴 수 있다. 혀의 경우도 혀끝, 혀뿌리, 혀 중간 중간의 곡점들 및 굴곡 정도값들을 특징값으로 할 경우 해당 값들에 적합한 혀의 이미지를 자동으로 그려낼 수 있다.
상기 텍스트 수신모듈(30)은 사용자로부터 발음기관 변화과정의 동영상을 생성할 대상 텍스트를 입력받아서 상기 발음패턴 분석모듈(40)에 전송한다(S10). 상기 입력받은 텍스트도 상기 기본텍스트처럼 문자 텍스트일 수도 있고 음성 텍스트인 음성파 데이터일 수도 있다. 상기 입력받은 텍스트가 문자 텍스트인 경우에는 동일한 텍스트도 발음조건에 따라 다양하게 달리 발음될 수 있음으로 추가로 발음 조건인 발음상황에 대한 정보를 함께 입력받아서 상기 발음패턴 분석모듈(40)에 함께 전송한다. 상기 입력받은 텍스트가 문자 텍스트일 때, 상기 입력받은 텍스트와 발음상황에 대한 정보의 예를 들면 다음과 같다.
- <‘You are right', 빠르게&축약>
다음으로 상기 발음패턴 분석모듈(40)은 상기 텍스트 수신모듈(30)로부터 전송받은 텍스트에 적합한 발음패턴들의 리스트를 상기 발음패턴정보 데이터베이스(10)를 참조하여 생성한 후 상기 발음기관 동영상 제공모듈(50)에 전송한다(S20). 먼저 상기 전송받은 텍스트 자체로 상기 발음패턴정보 데이터베이스를 검색하고, 검색에 실패하는 경우 상기 전송받은 텍스트에 대해 분할 및 검색을 반복적으로 수행하면서 분할된 부분 텍스트들이 모두 검색에 성공하면, 추출된 발음패턴들의 리스트를 상기 발음기관 동영상 제공모듈(50)에 전송한다. 한편 상기 전송받은 텍스트가 문자 텍스트인 경우에는 상기 텍스트 수신모듈로부터 발음상황에 대한 정보도 전송받게 되는데 이를 함께 이용하여 상기 발음패턴정보 데이터베이스를 검색하고, 상기 전송받은 텍스트가 음성 텍스트인 음성파 데이터인 경우에는 음성파 유사성 비교검색을 통해 전체적으로 가장 높은 유사성을 보이는 발음패턴들을 추출한다.
이상의 상기 발음패턴 분석모듈(40)의 처리과정을 상기 전송받은 텍스트가 문자 텍스트인 경우의 예를 들어 설명하면, 상기 전송받은 텍스트 및 발음상황정보가
<‘You are right', 빠르게&축약>
일 때, <‘You are right', 빠르게&축약> 자체로 상기 발음패턴정보 데이터베이스(10)를 검색하고, 검색에 실패하면 상기 입력받은 텍스트를 다음과 같이 분할하여 재검색한다.
{<‘You are', 빠르게&축약>, <'right', 빠르게&축약>} 및
{<‘You', 빠르게&축약>, <'are right', 빠르게&축약>}
재검색도 실패한 경우 상기 입력받은 텍스트를 더욱 분할하여 다시 검색한다. 만일 다음의 내용이 모두 검색에 성공한 경우
{<‘You are', 빠르게&축약>, <'right', 빠르게&축약>}
검출되는 경과는
{<[u r], 빠르게&축약>, <[r a i t], 빠르게&축약>
와 같은 발음리스트와 발음상황조건의 쌍들로 예를 들 수 있다.
마지막으로 상기 발음기관 동영상 제공모듈(50)은 상기 전송받은 일련의 발음패턴들을 상기 발음기관 동영상 데이터베이스(20)에서 검색하여 상기 동영상 또는 동영상 생성정보를 검출하고 이들을 이용하여 최종적으로 상기 입력받은 텍스트에 적합한 발음기관 변화과정의 동영상을 생성 및 시연한다(S30). 상기 검출된 결과물이 동영상이면 이를 그대로 시연한다. 2개이상인 경우에도 바로 결합한 후 연이어 시연한다. 단 상기 검출된 결과물이 동영상 생성정보인 경우 이를 참조하여 애니메이션 엔진을 통해 동영상을 생성하되, 상기 동영상 생성정보가 2개 이상인 경우 결합시키는 과정에서 선행 동영상의 끝 부분의 발음기관 변화과정이 후행 동영상의 첫 부분의 발음기관 변화과정에 자연스럽게 연결되도록 조율한 후 최종 동 영상 생성정보를 생성하여 애니메이션 엔진을 통해 동영상을 생성한다.
이상 본 발명의 발음기관 동영상 시뮬레이션 시스템 및 방법을 설명하였다. 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
도 1. 본 발명에 따른 발음기관 변화과정에 대한 동영상의 정지 영상 예
도 2. 본 발명의 실시예에 따른 발음기관 동영상 시뮬레이션 시스템의 구성도
도 3. 본 발명의 실시예에 따른 발음기관 동영상 시뮬레이션 방법의 순서도
Claims (14)
- 언어 교육시 발음기관 변화과정의 동영상 제시를 통해 발음의 원리를 용이하게 교육할 수 있도록 지원하는 시스템으로서,기본텍스트에 따른 발음패턴이 저장된 발음패턴정보 데이터베이스;상기 발음패턴별로 발음기관 변화과정에 대한 동영상 또는 동영상 생성정보를 저장하고 있는 발음기관 동영상 데이터베이스;외부로부터 텍스트를 입력받는 텍스트 수신모듈;상기 발음패턴정보 데이터베이스를 참조하여 상기 입력받은 텍스트의 발음패턴을 분석하는 발음패턴 분석모듈; 및상기 분석된 발음패턴을 상기 발음기관 동영상 데이터베이스에서 검색하여 상기 입력받은 텍스트에 적합한 발음기관 동영상을 생성 및 시연하는 발음기관 동영상 제공모듈;을 포함하여 구현되는 것을 특징으로 하는 발음기관 동영상 시뮬레이션 시스템
- 제 1항에 있어서,상기 발음기관 변화과정은 얼굴 측단면 또는 구강내부의 발음기관 요소인 입, 이, 혀, 연구개 등 발음기관 요소들의 변화과정인 것을 특징으로 하는 발음기관 동영상 시뮬레이션 시스템
- 제 1항에 있어서,상기 기본텍스트는 문자 텍스트로서 해당 언어의 대표적인 문자, 음절, 단어, 구 또는 문장이고,상기 발음패턴은 발음기호들의 리스트이며,상기 발음패턴정보 데이터베이스에는 상기 기본텍스트별로 발음상황에 따라 1개 이상의 발음패턴들을 저장하고,상기 입력받은 텍스트는 문자텍스트이며,상기 텍스트 수신모듈은 발음상황에 대한 정보를 더 수신하고,상기 발음패턴 분석모듈은 상기 발음패턴정보 데이터베이스 참조시 상기 발음상황에 대한 정보를 함께 이용하는 것을 특징으로 하는 발음기관 동영상 시뮬레이션 시스템
- 제 3항에 있어서,상기 입력받은 텍스트를 상기 입력받은 발음상황에 대한 정보에 적합하게 음성으로 합성하는 음성합성 모듈;을 더 포함하고상기 발음기관 동영상 제공모듈이 발음기관 변화과정에 대한 동영상을 제공하면서 상기 합성된 음성을 함께 제공하는 것을 특징으로 하는 발음기관 동영상 시뮬레이션 시스템
- 제 1항에 있어서,상기 기본텍스트는 음성 텍스트로서 해당 언어의 대표적인 문자, 음절, 단어, 구 또는 문장에 대응하는 음성파 데이터로서 발음상황에 따라 1개 이상 존재하며,상기 발음패턴은 상기 기본텍스트와 동일하고,상기 입력받은 텍스트는 음성 텍스트인 것을 특징으로 하는 발음기관 동영상 시뮬레이션 시스템
- 제 3항 및 제 5항에 있어서,상기 발음상황은 자음이나 모음과 같은 발음요소에 있어 강세, 발음길이, 생략유무, 상대적음높이 등 발음방식에 대한 조건이고,상기 발음패턴 분석모듈은 상기 입력받은 텍스트의 부분들을 상기 발음패턴정보 데이터베이스내 기본텍스트들과 비교하면서 상기 입력받은 텍스트를 구성하는 발음패턴들의 리스트를 생성하되, 보다 긴 기본텍스트의 부분들을 우선 비교하며, 상기 입력받은 텍스트와 상기 기본텍스트가 음성파인 경우 상기 입력받은 텍스트의 부분들과 상기 기본텍스트의 비교 방식은 음성파의 유사성에 근거하는 것을 특징으로 하는 발음기관 동영상 시뮬레이션 시스템
- 제 1항에 있어서,상기 발음기관 동영상 제공모듈은 생성된 동영상을 시연하는 데에 있어서, 부분 영상별로 끊어서 시연할 수 있도록 별도의 사용자 인터페이스를 제공함으로 써, 발음기관 변화과정을 면밀하게 확인할 수 있게 할 뿐만 아니라, 둘 이상의 동영상을 동시에 시연하는 경우 관련된 영상끼리 용이하게 비교 시연할 수 있게 하는 것을 특징으로 하는 발음기관 동영상 시뮬레이션 시스템
- 언어 교육시 발음기관 변화과정의 동영상 제시를 통해 발음의 원리를 용이하게 교육할 수 있도록 지원하는 방법으로서,기본텍스트에 따른 발음패턴이 저장된 발음패턴정보 데이터베이스; 및상기 발음패턴별로 발음기관 변화과정에 대한 동영상 또는 동영상 생성정보를 저장하고 있는 발음기관 동영상 데이터베이스;를 구비하고,외부로부터 텍스트를 입력받는 텍스트 수신단계;상기 발음패턴정보 데이터베이스를 참조하여 상기 입력받은 텍스트의 발음패턴을 분석하는 발음패턴 분석단계; 및상기 분석된 발음패턴을 상기 발음기관 동영상 데이터베이스에서 검색하여 상기 입력받은 텍스트에 적합한 발음기관 동영상을 생성 및 시연하는 발음기관 동영상 제공단계;를 포함하여 구현되는 것을 특징으로 하는 발음기관 동영상 시뮬레이션 방법
- 제 8항에 있어서,상기 발음기관 변화과정은 얼굴 측단면 또는 구강내부의 발음기관 요소인 입, 이, 혀, 연구개 등 발음기관 요소들의 변화과정인 것을 특징으로 하는 발음기 관 동영상 시뮬레이션 방법
- 제 8항에 있어서,상기 기본텍스트는 문자 텍스트로서 해당 언어의 대표적인 문자, 음절, 단어, 구 또는 문장이고,상기 발음패턴은 발음기호들의 리스트이며,상기 발음패턴정보 데이터베이스에는 상기 기본텍스트별로 발음상황에 따라 1개 이상의 발음패턴들을 저장하고,상기 입력받은 텍스트는 문자텍스트이며,상기 텍스트 수신단계에서은 발음상황에 대한 정보를 더 수신하고,상기 발음패턴 분석단계에서 상기 발음패턴정보 데이터베이스 참조시 상기 발음상황에 대한 정보를 함께 이용하는 것을 특징으로 하는 발음기관 동영상 시뮬레이션 방법
- 제 10항에 있어서,상기 입력받은 텍스트를 상기 입력받은 발음상황에 대한 정보에 적합하게 음성으로 합성하는 음성합성 단계;를 더 포함하고상기 발음기관 동영상 제공단계에서 발음기관 변화과정에 대한 동영상을 제공하면서 상기 합성된 음성을 함께 제공하는 것을 특징으로 하는 발음기관 동영상 시뮬레이션 방법
- 제 8항에 있어서,상기 기본텍스트는 음성 텍스트로서 해당 언어의 대표적인 문자, 음절, 단어, 구 또는 문장에 대응하는 음성파 데이터로서 발음상황에 따라 1개 이상 존재하며,상기 발음패턴은 상기 기본텍스트와 동일하고,상기 입력받은 텍스트는 음성 텍스트인 것을 특징으로 하는 발음기관 동영상 시뮬레이션 방법
- 제 10항 및 제 12항에 있어서,상기 발음상황은 자음이나 모음과 같은 발음요소에 있어 강세, 발음길이, 생략유무, 상대적음높이 등 발음방식에 대한 조건이고,상기 발음패턴 분석단계에서 상기 입력받은 텍스트의 부분들을 상기 발음패턴정보 데이터베이스내 기본텍스트들과 비교하면서 상기 입력받은 텍스트를 구성하는 발음패턴들의 리스트를 생성하되, 보다 긴 기본텍스트의 부분들을 우선 비교하며, 상기 입력받은 텍스트와 상기 기본텍스트가 음성파인 경우 상기 입력받은 텍스트의 부분들과 상기 기본텍스트의 비교 방식은 음성파의 유사성에 근거하는 것을 특징으로 하는 발음기관 동영상 시뮬레이션 방법
- 제 1항에 있어서,상기 발음기관 동영상 제공단계에서 생성된 동영상을 시연하는 데에 있어서, 부분 영상별로 끊어서 시연할 수 있도록 별도의 사용자 인터페이스를 제공함으로써, 발음기관 변화과정을 면밀하게 확인할 수 있게 할 뿐만 아니라, 둘 이상의 동영상을 동시에 시연하는 경우 관련된 영상끼리 용이하게 비교 시연할 수 있게 하는 것을 특징으로 하는 발음기관 동영상 시뮬레이션 방법
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20070028965 | 2007-03-26 | ||
| KR1020070028965 | 2007-03-26 | ||
| KR20070035328 | 2007-04-11 | ||
| KR1020070035328 | 2007-04-11 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20080087694A true KR20080087694A (ko) | 2008-10-01 |
Family
ID=40150248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080027104A KR20080087694A (ko) | 2007-03-26 | 2008-03-24 | 발음기관 동영상 시뮬레이션 시스템 및 구현 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20080087694A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114420088A (zh) * | 2022-01-20 | 2022-04-29 | 安徽淘云科技股份有限公司 | 一种展示方法及其相关设备 |
-
2008
- 2008-03-24 KR KR1020080027104A patent/KR20080087694A/ko not_active Application Discontinuation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114420088A (zh) * | 2022-01-20 | 2022-04-29 | 安徽淘云科技股份有限公司 | 一种展示方法及其相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Eskenazi | An overview of spoken language technology for education | |
| US7877259B2 (en) | Prosodic speech text codes and their use in computerized speech systems | |
| JP2001159865A (ja) | 対話型語学指導のための方法および装置 | |
| JPH04501617A (ja) | 言語練習 | |
| KR101990021B1 (ko) | 영어 발음기호를 이용한 외국어 및 자국어 표시장치 및 방법 | |
| KR101487005B1 (ko) | 문장입력을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법 | |
| Karpov et al. | Automatic technologies for processing spoken sign languages | |
| KR20150076128A (ko) | 3차원 멀티미디어 활용 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법 | |
| Duan et al. | A Preliminary study on ASR-based detection of Chinese mispronunciation by Japanese learners | |
| US20180330715A1 (en) | Foreign language reading and displaying device and a method thereof, motion learning device based on foreign language rhythm detection sensor and motion learning method, electronic recording medium, and learning material | |
| Demenko et al. | The use of speech technology in foreign language pronunciation training | |
| Peabody et al. | Towards automatic tone correction in non-native mandarin | |
| Hirose et al. | A pronunciation training system for Japanese lexical accents with corrective feedback in learner's voice. | |
| Delmonte | Exploring speech technologies for language learning | |
| KR102006758B1 (ko) | 외국어 학습교재 | |
| Wilkinson et al. | Deriving Phonetic Transcriptions and Discovering Word Segmentations for Speech-to-Speech Translation in Low-Resource Settings. | |
| KR101854379B1 (ko) | 무의식적 절차 기억 강화를 통한 영어 학습 방법 | |
| Strik et al. | Speech technology for language tutoring | |
| AU2012100262B4 (en) | Speech visualisation tool | |
| KR20080087694A (ko) | 발음기관 동영상 시뮬레이션 시스템 및 구현 방법 | |
| KR101487006B1 (ko) | 연음법칙이 적용되는 발음의 발음교정을 실시하는 외국어 학습장치 및 그 학습방법 | |
| KR101487007B1 (ko) | 사용자의 발음을 분석하여 교정해주는 외국어 학습장치 및 그 학습방법 | |
| Yu | A Model for Evaluating the Quality of English Reading and Pronunciation Based on Computer Speech Recognition | |
| KR20210131698A (ko) | 발음 기관 영상을 이용한 외국어 발음 교육 방법 및 장치 | |
| US20140019123A1 (en) | Method and device for generating vocal organs animation using stress of phonetic value |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |